WO2023189071A1 - 撮像装置及び電子機器 - Google Patents

撮像装置及び電子機器 Download PDF

Info

Publication number
WO2023189071A1
WO2023189071A1 PCT/JP2023/006702 JP2023006702W WO2023189071A1 WO 2023189071 A1 WO2023189071 A1 WO 2023189071A1 JP 2023006702 W JP2023006702 W JP 2023006702W WO 2023189071 A1 WO2023189071 A1 WO 2023189071A1
Authority
WO
WIPO (PCT)
Prior art keywords
color filter
imaging device
light
image sensor
transmits
Prior art date
Application number
PCT/JP2023/006702
Other languages
English (en)
French (fr)
Inventor
純次 成瀬
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2023189071A1 publication Critical patent/WO2023189071A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith

Definitions

  • the present disclosure relates to an imaging device and an electronic device.
  • Imaging devices have been required to expand the illuminance range of objects that can be photographed with gradation, that is, the dynamic range. Therefore, as disclosed in Patent Document 1 below, the dynamic range is expanded by changing the area in plan view of image sensors that detect the same color light and intentionally creating a sensitivity difference between the image sensors. A technique to do this has been proposed.
  • the dynamic range can basically be expanded only by increasing the area ratio of the image sensor 100 that detects the same color light. There are limits to expansion. Further, in order to expand the dynamic range, it is possible to provide a waveguide or the like in the imaging device, but this increases the number of steps, making it difficult to avoid an increase in the manufacturing cost of the imaging device.
  • the present disclosure proposes an imaging device and an electronic device that can expand the dynamic range while suppressing an increase in manufacturing costs.
  • an imaging device including a pixel array section configured by arranging a unit area made up of a plurality of image sensors including a first image sensor and a second image sensor in a two-dimensional array, Each of the first image sensor and the second image sensor has a color filter that transmits light having a wavelength in a predetermined wavelength band, and the color filter that the first image sensor has is different from the second image sensor.
  • An imaging device having a higher refractive index than the color filter included in the imaging device is provided.
  • an electronic device equipped with an imaging device, wherein the imaging device arranges a unit area consisting of a plurality of imaging devices including a first imaging device and a second imaging device in a two-dimensional array.
  • each of the first image sensor and the second image sensor has a color filter that transmits light having a wavelength in a predetermined wavelength band;
  • An electronic device is provided in which the color filter included in the image sensor has a higher refractive index than the color filter included in the second image sensor.
  • FIG. 1 is an explanatory diagram showing an example of a planar configuration of an imaging device 10 according to an embodiment of the present disclosure.
  • FIG. 2 is an explanatory diagram showing an example of a cross-sectional configuration of an image sensor 100 according to a comparative example.
  • FIG. 7 is an explanatory diagram showing an example of a planar configuration of a color filter unit 74 according to the first embodiment of the present disclosure.
  • FIG. 3 is an explanatory diagram showing an example of a cross-sectional configuration of a color filter unit 74 according to the first embodiment of the present disclosure.
  • FIG. 7 is an explanatory diagram showing an example of a planar configuration of a color filter unit 74 according to Modification 1 of the first embodiment of the present disclosure.
  • FIG. 1 is an explanatory diagram showing an example of a planar configuration of an imaging device 10 according to an embodiment of the present disclosure.
  • FIG. 2 is an explanatory diagram showing an example of a cross-sectional configuration of an image sensor 100 according to a comparative
  • FIG. 7 is an explanatory diagram showing an example of a cross-sectional configuration of a color filter unit 74 according to modification example 1 of the first embodiment of the present disclosure.
  • FIG. 7 is an explanatory diagram showing an example of a planar configuration of a color filter unit 74 according to a second modification of the first embodiment of the present disclosure.
  • FIG. 7 is an explanatory diagram showing an example of a cross-sectional configuration of a color filter unit 74 according to a second modification of the first embodiment of the present disclosure.
  • FIG. 7 is an explanatory diagram showing an example of a planar configuration of a color filter unit 74 according to a second embodiment of the present disclosure.
  • FIG. 7 is an explanatory diagram showing an example of a cross-sectional configuration of a color filter unit 74 according to a second embodiment of the present disclosure.
  • FIG. 7 is an explanatory diagram showing an example of a cross-sectional configuration of a color filter unit 74 according to a third embodiment of the present disclosure.
  • FIG. 7 is an explanatory diagram showing an example of a cross-sectional configuration of a color filter unit 74 according to a fourth embodiment of the present disclosure.
  • FIG. 7 is an explanatory diagram showing an example of a planar configuration of a color filter unit 74 according to a fifth embodiment of the present disclosure.
  • FIG. 7 is an explanatory diagram showing an example of a cross-sectional configuration of a color filter unit 74 according to a fifth embodiment of the present disclosure.
  • FIG. 7 is an explanatory diagram showing an example of a planar configuration of a color filter unit 74 according to Modification 1 of the fifth embodiment of the present disclosure.
  • FIG. 7 is an explanatory diagram showing an example of a cross-sectional configuration of a color filter unit 74 according to Modification 1 of the fifth embodiment of the present disclosure.
  • FIG. 7 is an explanatory diagram showing an example of a planar configuration of a color filter unit 74 according to a second modification of the fifth embodiment of the present disclosure.
  • FIG. 7 is an explanatory diagram showing an example of a cross-sectional configuration of a color filter unit 74 according to a second modification of the fifth embodiment of the present disclosure.
  • FIG. 7 is an explanatory diagram showing an example of a planar configuration of a color filter unit 74 according to Modification 1 of the fifth embodiment of the present disclosure.
  • FIG. 7 is an explanatory diagram showing an example of a planar configuration of a color filter unit 74 according to a second modification of the fifth embodiment of the
  • FIG. 7 is an explanatory diagram showing an example of a planar configuration of a color filter unit 74 according to a third modification of the fifth embodiment of the present disclosure.
  • FIG. 7 is an explanatory diagram showing an example of a cross-sectional configuration of a color filter unit 74 according to a third modification of the fifth embodiment of the present disclosure.
  • FIG. 7 is an explanatory diagram showing an example of a cross-sectional configuration of a color filter unit 74 according to a sixth embodiment of the present disclosure.
  • FIG. 3 is a circuit diagram of an image sensor 100 according to a sixth embodiment of the present disclosure.
  • FIG. 7 is an explanatory diagram showing an example of a cross-sectional configuration of a color filter unit 74 according to a seventh embodiment of the present disclosure.
  • FIG. 7 is an explanatory diagram showing an example of a cross-sectional configuration of a color filter unit 74 according to Modification 1 of the seventh embodiment of the present disclosure.
  • FIG. 7 is an explanatory diagram showing an example of a cross-sectional configuration of a color filter unit 74 according to a second modification of the seventh embodiment of the present disclosure.
  • FIG. 7 is an explanatory diagram showing an example of a cross-sectional configuration of a color filter unit 74 according to an eighth embodiment of the present disclosure.
  • FIG. 12 is an explanatory diagram showing an example of a cross-sectional configuration of a color filter unit 74 according to Modification 1 of the eighth embodiment of the present disclosure.
  • FIG. 12 is an explanatory diagram showing an example of a planar configuration of a color filter unit 74 according to a second modification of the eighth embodiment of the present disclosure.
  • FIG. 12 is an explanatory diagram showing an example of a cross-sectional configuration of a color filter unit 74 according to a second modification of the eighth embodiment of the present disclosure.
  • FIG. 7 is an explanatory diagram showing an example of a planar configuration of a color filter unit 74 according to a ninth embodiment of the present disclosure.
  • FIG. 7 is an explanatory diagram showing an example of a cross-sectional configuration of a color filter unit 74 according to a ninth embodiment of the present disclosure.
  • FIG. 7 is an explanatory diagram showing an example of a cross-sectional configuration of a color filter unit 74 according to Modification 1 of the ninth embodiment of the present disclosure.
  • FIG. 7 is an explanatory diagram showing an example of a cross-sectional configuration of a color filter unit 74 according to a second modification of the ninth embodiment of the present disclosure.
  • FIG. 7 is an explanatory diagram (part 1) showing an example of a planar configuration of a color filter unit 74 according to a tenth embodiment of the present disclosure.
  • FIG. 7 is an explanatory diagram (part 2) showing an example of the planar configuration of a color filter unit 74 according to a tenth embodiment of the present disclosure.
  • FIG. 7 is an explanatory diagram (part 1) showing an example of the planar configuration of a color filter unit 74 according to an eleventh embodiment of the present disclosure.
  • FIG. 7 is an explanatory diagram (part 2) showing an example of the planar configuration of a color filter unit 74 according to an eleventh embodiment of the present disclosure.
  • FIG. 7 is an explanatory diagram (part 3) showing an example of the planar configuration of a color filter unit 74 according to an eleventh embodiment of the present disclosure.
  • FIG. 2 is an explanatory diagram showing an example of a schematic functional configuration of a camera.
  • FIG. 1 is a block diagram showing an example of a schematic functional configuration of a smartphone.
  • FIG. 1 is a block diagram showing a configuration example of a vehicle control system.
  • FIG. 3 is a diagram showing an example of a sensing area.
  • FIG. 1 is an explanatory diagram showing an example of a planar configuration of an imaging device 10 according to an embodiment of the present disclosure.
  • the imaging device 10 according to the embodiment of the present disclosure includes a pixel array section 33 in which a plurality of imaging elements (pixels) 100 are arranged in a matrix on a semiconductor substrate 15 made of silicon, for example. and a peripheral circuit section provided so as to surround the pixel array section 33.
  • the imaging device 10 includes a column signal processing circuit section 34, a vertical drive circuit section 35, a horizontal drive circuit section 36, an output circuit section 38, a control circuit section 40, etc. as the peripheral circuit sections. Below, details of each block of the imaging device 10 will be explained.
  • the pixel array section 33 includes a plurality of image sensors 100 two-dimensionally arranged in a matrix along the row and column directions on the semiconductor substrate 15.
  • Each image sensor 100 includes a photodiode (photoelectric conversion unit) (not shown) that performs photoelectric conversion on incident light and generates charge, and a plurality of pixel transistors (for example, MOS (Metal-Oxide-Semiconductor) transistors). ) (not shown).
  • the pixel transistor includes, for example, four MOS transistors: a transfer transistor, a selection transistor, a reset transistor, and an amplification transistor. Note that the detailed structure of the image sensor 100 will be described later.
  • the column signal processing circuit unit 34 is arranged for each column of the image sensor 100, and performs signal processing such as noise removal on pixel signals output from the image sensor 100 for one row for each pixel column.
  • the column signal processing circuit unit 34 performs signal processing such as CDS (Correlated Double Sampling) and AD (Analog-Digital) conversion in order to remove fixed pattern noise specific to pixels.
  • the vertical drive circuit unit 35 is formed by, for example, a shift register, selects a pixel drive wiring 42, supplies a pulse for driving the image sensor 100 to the selected pixel drive wiring 42, and drives the image sensor 100 row by row. drive That is, the vertical drive circuit section 35 selectively scans each image sensor 100 of the pixel array section 33 in the vertical direction (vertical direction in FIG. 1) sequentially row by row, and selects and scans each image sensor 100 of the pixel array section 33 in the vertical direction (up and down direction in FIG. 1). A pixel signal based on a signal charge generated in accordance with the amount of received light is supplied to a column signal processing circuit unit 34, which will be described later, through a vertical signal line 44.
  • the horizontal drive circuit section 36 is formed by, for example, a shift register, and sequentially outputs horizontal scanning pulses to select each of the above-mentioned column signal processing circuit sections 34 in turn, and selects a pixel from each of the column signal processing circuit sections 34.
  • the signal is output to the horizontal signal line 46.
  • the output circuit section 38 performs signal processing on pixel signals sequentially supplied from each of the above-mentioned column signal processing circuit sections 34 through the horizontal signal line 46 and outputs the pixel signals.
  • the output circuit section 38 may function as a functional section that performs buffering, for example, or may perform processing such as black level adjustment, column variation correction, and various digital signal processing. Note that buffering refers to temporarily storing pixel signals in order to compensate for differences in processing speed and transfer speed when exchanging pixel signals.
  • the input/output terminal 48 is a terminal for exchanging signals with an external device.
  • Control circuit section 40 The control circuit unit 40 receives an input clock and data instructing an operation mode, etc., and also outputs data such as internal information of the imaging device 10. That is, the control circuit section 40 generates a clock signal and a clock signal that serves as a reference for the operation of the vertical drive circuit section 35, the column signal processing circuit section 34, the horizontal drive circuit section 36, etc., based on the vertical synchronization signal, the horizontal synchronization signal, and the master clock. Generate control signals. Then, the control circuit unit 40 outputs the generated clock signal and control signal to the vertical drive circuit unit 35, column signal processing circuit unit 34, horizontal drive circuit unit 36, and the like.
  • FIG. 2 is an explanatory diagram showing an example of a cross-sectional configuration of an image sensor 100 according to a comparative example, and specifically corresponds to a cross section obtained by cutting the image sensor 100 along the thickness direction of the semiconductor substrate 15.
  • the comparative example herein refers to the imaging device 10 that the inventors had repeatedly studied before making the embodiments of the present disclosure.
  • the configuration of the imaging element 100 of the imaging device 10 is not limited to that shown in FIG. 2, and may include other configurations. Further, here, only a configuration example of elements for later explaining the embodiment of the present disclosure will be described, and other elements will not be described.
  • the plurality of image sensors 100a and 100b are provided adjacent to each other on the semiconductor substrate 15.
  • the image sensors 100a and 100b mainly include an on-chip lens 150, a color filter 154, a light shielding section 156, and an interlayer insulating film 180. Further, the image sensors 100a and 100b include a photoelectric conversion section 120 provided within the semiconductor substrate 15.
  • the stacked structure of the image sensors 100a and 100b will be described below, but the explanation below will basically be made in the order from the top to the bottom in FIG. 2.
  • each of the image sensors 100a and 100b is provided above the light incident surface (back surface) 15b of the semiconductor substrate 15, and the incident light is focused on a photoelectric conversion unit 120, which will be described later. It has one on-chip lens 150.
  • the color filter 154 is, for example, a color filter that transmits light having a red wavelength component (for example, a wavelength of 620 nm to 750 nm), a color filter that transmits light having a green wavelength component (for example, a wavelength of 495 nm to 570 nm), or a color filter that transmits light that has a green wavelength component (for example, a wavelength of 495 nm to 570 nm).
  • the color filter 154 can be a color filter or the like that transmits light having a wavelength component (for example, a wavelength of 450 nm to 495 nm).
  • the color filter 154 can be formed from a material in which a pigment or dye is dispersed in a transparent binder such as silicone, for example. Note that details of the color filter 154 according to the embodiment of the present disclosure will be described later.
  • a light shielding portion 156 is provided on the light incident surface (back surface) 15b of the semiconductor substrate 15 so as to surround the color filter 154. By being provided between the adjacent image sensors 100a and 100b, the light shielding section 156 can block light between the adjacent image sensors 100a and 100b. Furthermore, as shown in FIG. 2, an interlayer insulating film 180 is provided between the semiconductor substrate 15 and the color filter 154.
  • a photoelectric conversion unit 120 having an impurity of a first conductivity type (for example, n-type) is provided in each of the image pickup devices 100a and 100b in the semiconductor substrate 15 having a second conductivity type (for example, p-type).
  • the photoelectric conversion unit 120 can generate charges by absorbing light having a red wavelength component, a green wavelength component, a blue wavelength component, etc. that is incident through the color filter 154 described above.
  • an element separation wall may be provided in the semiconductor substrate 15 to surround the image sensors 100a and 100b and physically separate the adjacent image sensors 100a and 100b from each other.
  • the element isolation wall is made of, for example, DTI (Deep Trench Isolation).
  • the DTI forms a trench that extends from the light incident surface (back surface) 15b side of the semiconductor substrate 15 to the middle of the semiconductor substrate 15 or through the entire semiconductor substrate 15 along the thickness direction of the semiconductor substrate 15, It is formed by filling the trench with a material such as an oxide film or a metal film.
  • the charges generated in the photoelectric conversion unit 120 are transferred to the semiconductor substrate 15 via a transfer gate (not shown) provided on the surface 15a located on the opposite side to the light incident surface (back surface) 15b of the semiconductor substrate 15.
  • the light is transferred to a floating diffusion portion (not shown) provided in a semiconductor region having a first conductivity type (for example, n-type) provided in the semiconductor region 15 .
  • the charges transferred to the floating diffusion section are finally output from the imaging device 10 as an imaging signal.
  • the imaging device 10 is required to further expand the illuminance range of a subject that can be photographed with gradation, that is, the dynamic range. Therefore, as shown in FIG. 2, the areas of the image sensors 100a and 100b that detect the same color light are changed in plan view (specifically, when viewed from above the light incident surface 15b of the semiconductor substrate 15).
  • a technique has been proposed in which the dynamic range is expanded by intentionally creating a sensitivity difference between the image sensors 100a and 100b.
  • an imaging element 100a having a larger area in plan view than the imaging element 100b is provided. Since the image sensor 100a has a large area in a plan view, it generates a large amount of charge, and is an image sensor that can image a subject even in low illuminance.
  • the imaging device 10 is provided with an imaging element 100b whose area in plan view is smaller than that of the imaging element 100a.
  • the imaging device 10 according to the comparative example has the two types of imaging elements 100a and 100b, thereby expanding the dynamic range. In other words, the imaging device 10 according to the comparative example has an expanded dynamic range. It becomes possible to take pictures with
  • the dynamic range can basically be expanded only by increasing the area ratio of the imaging elements 100a and 100b. If advanced, there is a limit to the expansion of the dynamic range. Furthermore, in order to expand the dynamic range, it has been proposed to provide a waveguide or the like in the image sensor 100 to improve the sensitivity of a specific image sensor 100, but this increases the number of steps required to manufacture the image sensor 10. Difficult to avoid cost increases.
  • the present inventor has created an embodiment of the present disclosure that can expand the dynamic range while suppressing an increase in the manufacturing cost of the imaging device 10.
  • details of embodiments of the present disclosure will be sequentially described.
  • FIG. 3A is an explanatory diagram showing an example of the planar configuration of the color filter unit 74 according to this embodiment.
  • FIG. 3B is an explanatory diagram showing an example of the cross-sectional configuration of the color filter unit 74 according to the present embodiment, and more specifically, it is a cross-sectional view taken along the line AA' shown in FIG. 3A.
  • the color filter 154 is provided corresponding to one image sensor 100, and the plurality of image sensors 100 are arranged in accordance with a predetermined rule in the pixel array section 33. Arranged. Therefore, in this embodiment, a predetermined number of color filters 154 are regularly arranged to form one color filter unit (unit area) 74. Further, by arranging a plurality of color filter units (unit areas) 74 in a two-dimensional array, a color filter array (not shown) corresponding to the entire pixel array section 33 is formed as a whole.
  • each of the color filters 154 transmits light of a specific wavelength (for example, red light, green light, blue light, etc.) and transfers the transmitted light to the photoelectric conversion unit 120 of the image sensor 100. It can be input to Note that in this specification, the type of the color filter 154 is distinguished based on the wavelength (color) of the light transmitted through the color filter 154, and the type of the image sensor 100 corresponding to the color filter 154 is also distinguished. do.
  • each of the image sensors 100a and 100b has a polygonal shape (more specifically, a quadrangle and an octagon) in plan view, and each has a circular shape.
  • Color filters 154 corresponding to a predetermined number (eight in the example of FIG. 3A) of image sensors 100a and 100b are regularly arranged to form a color filter unit (unit area) 74.
  • each image sensor 100a, 100b has a color filter 154 of the same type (same color) that transmits light having a wavelength in a predetermined wavelength band.
  • the area of the image sensor (first image sensor) 100a in plan view is larger than the area of the image sensor (second image sensor) 100b in plan view.
  • the color filter 154 of the image sensor 100a has a higher refractive index than the color filter 154 of the image sensor 100b. Note that in FIG. 3A and the drawings attached to this specification, the color filter 154 with a high refractive index is denoted by "Hn”, and the color filter 154 with a low refractive index is denoted by "Ln”.
  • the ease with which light is guided to each color filter 154 is determined by the relationship between the height of the refractive index of two adjacent color filters 154. do. That is, light is more easily guided to the image sensor 100a having the color filter 154 with a high refractive index, and light is less likely to be guided to the image sensor 100b having the color filter 154 having a low refractive index. Therefore, according to the present embodiment, the sensitivity of the image sensor 100a is further increased, and the sensitivity of the image sensor 100b is further reduced. As a result, in this embodiment, a sensitivity ratio larger than the sensitivity ratio caused by the area ratio of the image sensors 100a and 100b occurs between the image sensors 100a and 100b, so that the dynamic range of the imaging device 10 can be expanded.
  • the image sensors 100a and 100b are provided adjacent to each other on the semiconductor substrate 15.
  • the image sensors 100a and 100b mainly include an on-chip lens 150, a color filter 154, a light shielding section 156, and an interlayer insulating film 180.
  • the image sensors 100a and 100b further include a photoelectric conversion section 120 provided within the semiconductor substrate 15.
  • each of the image sensors 100a and 100b is provided above the light incident surface (back surface) 15b of the semiconductor substrate 15, and has one sensor that focuses incident light on the photoelectric conversion section 120. It has an on-chip lens 150.
  • the incident light focused by the on-chip lens 150 enters the photoelectric conversion unit 120 via the color filter 154 provided below the on-chip lens 150.
  • the color filter 154 can be formed from a material in which a pigment or dye is dispersed in a transparent binder such as silicone, for example.
  • the color filter 154 of the image sensor 100a has a higher refractive index than the color filter 154 of the image sensor 100b.
  • the refractive index of the color filter 154 can be adjusted by including photosensitive particles or adjusting the content of the photosensitive particles.
  • the color filter 154 of the image sensor 100a contains photosensitive particles, and the color filter 154 of the image sensor 100b does not contain photosensitive particles.
  • the concentration of photosensitive particles in the color filter 154 of the image sensor 100b may be lower than the concentration of photosensitive particles in the color filter 154 of the image sensor 100a.
  • the refractive index of the color filter 154 can be set to 1. It can be about 7 to 2.2.
  • the photosensitive particles can be formed from at least one particle selected from the group consisting of titanium oxide particles, zirconium oxide (ZrO 2 ) particles, zinc oxide particles, and nanodiamond particles.
  • AES Auger electron spectroscopy
  • the amount of photosensitive particles contained in the minute color filter 154 can be measured using a TEM (transmission electron microscope) device equipped with energy dispersive X-ray analysis (EDX).
  • a light shielding portion 156 is provided on the light incident surface (back surface) 15b of the semiconductor substrate 15 so as to surround the color filter 154.
  • the light shielding section 156 is provided between the adjacent image sensors 100a and 100b, thereby blocking light between the adjacent image sensors 100a and 100b.
  • an interlayer insulating film 180 is provided between the semiconductor substrate 15 and the color filter 154.
  • a photoelectric conversion unit 120 having an impurity of a first conductivity type different from the second conductivity type is provided in the semiconductor substrate 15 having a second conductivity type for each of the image pickup devices 100a and 100b. It is provided.
  • the photoelectric conversion unit 120 can absorb the light incident through the color filter 154 described above and generate charges.
  • an element separation wall may be provided in the semiconductor substrate 15 to surround the image sensors 100a and 100b and physically separate the adjacent image sensors 100a and 100b from each other.
  • the element isolation wall is made of, for example, DTI.
  • the DTI forms a trench that extends from the light incident surface (back surface) 15b side of the semiconductor substrate 15 to the middle of the semiconductor substrate 15 or through the entire semiconductor substrate 15 along the thickness direction of the semiconductor substrate 15, It is formed by filling the trench with a material such as an oxide film or a metal film.
  • the charges generated in the photoelectric conversion unit 120 are transferred via a transfer gate (not shown) provided on the surface 15a of the semiconductor substrate 15 located on the opposite side from the light incident surface 15b. , is transferred to a floating diffusion section (not shown) provided in a semiconductor region of the first conductivity type provided in the semiconductor substrate 15. The charges transferred to the floating diffusion section are finally output from the imaging device 10 as an imaging signal.
  • the image sensor having the color filter 154 with a high refractive index can be used.
  • Light is easily guided to the image sensor 100a, and light is difficult to be guided to the image sensor 100b having the color filter 154 having a low refractive index. Therefore, according to the present embodiment, the sensitivity of the image sensor 100a is further increased, and the sensitivity of the image sensor 100b is further reduced.
  • a sensitivity ratio larger than the sensitivity ratio caused by the area ratio of the image sensors 100a and 100b occurs between the image sensors 100a and 100b, so that the dynamic range of the imaging device 10 can be expanded.
  • FIG. 4A is an explanatory diagram showing an example of the planar configuration of the color filter unit 74 according to this modification.
  • FIG. 4B is an explanatory diagram showing an example of the cross-sectional configuration of the color filter unit 74 according to this modification, and more specifically, it is a cross-sectional view taken along the line BB' shown in FIG. 4A.
  • the color filters 154 with different refractive indexes were used in the image sensors 100a and 100b, which have different areas in plan view, in order to further increase the sensitivity ratio.
  • this modification by applying color filters 154 with different refractive indexes to the image sensors 100 having the same area (size), a sensitivity ratio is created between the image sensors 100, and the dynamic Expand the range.
  • each image sensor 100 has a square shape in plan view and has a circular on-chip lens.
  • a color filter unit (unit area) 74 is configured by arranging color filters 154 in two rows and two columns. Note that in the present disclosure, the color filter unit 74 is not limited to being configured with the color filters 154 arranged in two rows and two columns as shown in FIG. 4A.
  • the image sensor 100 has color filters 154 with different refractive indexes, as shown in FIGS. 4A and 4B (in FIGS. 4A and 4B, the color filter 154 with a high refractive index is is marked with "Hn", and the low refractive index color filter 154 is marked with "Ln”).
  • each image sensor 100 has a color filter 154 of the same type (same color) that transmits light having a wavelength in a predetermined wavelength band.
  • the color filters 154 of some of the image sensors 100 are made to have a higher refractive index. Light is more easily guided to the image sensor 100 having the filter 154, and light is less likely to be guided to the image sensor 100 having the color filter 154 with a low refractive index. Therefore, according to the present embodiment, even if the image sensors 100 have the same area in plan view, a sensitivity ratio occurs between the image sensors 100, so that the dynamic range of the imaging device 10 can be expanded.
  • FIG. 5A is an explanatory diagram showing an example of the planar configuration of the color filter unit 74 according to this modification.
  • FIG. 5B is an explanatory diagram showing an example of the cross-sectional configuration of the color filter unit 74 according to this modification, and more specifically, it is a cross-sectional view taken along the line CC' shown in FIG. 5A.
  • each image sensor 100 of the above-described modification 1 may be composed of four minute image sensors 100 arranged in 2 rows and 2 columns. Note that in the present disclosure, each image sensor 100 of Modification 1 described above is arranged in two rows and two columns as shown in FIGS. The configuration is not limited to four fine image pickup devices 100 arranged in the same manner.
  • FIG. 6A is an explanatory diagram showing an example of the planar configuration of the color filter unit 74 according to this embodiment.
  • FIG. 6B is an explanatory diagram showing an example of the cross-sectional configuration of the color filter unit 74 according to the present embodiment, and more specifically, it is a cross-sectional view taken along the line AA' shown in FIG. 6A.
  • each image sensor 100a, 100b has a polygonal shape (in detail, a rectangular shape and a (octagonal) shape, and each has a circular on-chip lens.
  • each image sensor 100a, 100b has different types (colors) of light that transmit light having wavelengths in different predetermined wavelength bands.
  • It has a color filter 154. More specifically, the color filter 154 is, for example, a color filter that transmits light with a red wavelength component, a color filter that transmits light with a green wavelength component, or a color filter that transmits light with a blue wavelength component. It is.
  • this embodiment can be said to be a modification of the first embodiment into an RGB compatible imaging device that can detect red light, green light, and blue light.
  • the color filter 154 that transmits light with a red wavelength component is indicated by "R”
  • the color filter 154 that transmits light with a green wavelength component is indicated by "G”
  • the color filter 154 that transmits light having a blue wavelength component is indicated by "B”.
  • the image sensor (first image sensor) 100a is the image sensor (Second image sensor) The area is larger than that of the second image sensor 100b.
  • the color filter 154 of the image sensor 100a has a higher refractive index than the color filter 154 of the image sensor 100b.
  • the color filter 154 of the image sensor 100a is made to have a higher refractive index than the color filter 154 of the image sensor 100b. Light is more easily guided to the image sensor 100a that has the filter 154, and light is less likely to be guided to the image sensor 100b that has the color filter 154 with a low refractive index. Therefore, according to this embodiment, the sensitivity of the image sensor 100a is further increased, and the sensitivity of the image sensor 100 is further reduced.
  • a sensitivity ratio larger than the sensitivity ratio caused by the area ratio of the same type of image sensors 100a and 100b occurs between the image sensors 100a and 100b, so that the dynamic range of the imaging device 10 can be expanded. I can do it.
  • FIG. 7 is an explanatory diagram showing an example of the cross-sectional configuration of the color filter unit 74 according to the present embodiment, and more specifically, it is a cross-sectional view taken along line AA′ shown in FIG. 3A or FIG. 6A.
  • This embodiment is an embodiment in which unevenness is provided on the light incident surface 15b of the semiconductor substrate 15 in the configurations according to the first and second embodiments described above.
  • the imaging elements 100a and 100b have a semiconductor substrate 15 having a second conductivity type, for example, a semiconductor substrate 15 having a conductivity type different from the second conductivity type, as in the first and second embodiments. It has a photoelectric conversion section 120 (not shown in FIG. 7) having impurities of a first conductivity type. Furthermore, in this embodiment, as shown in FIG. 7, the surface of the semiconductor substrate 15 on the light incident surface 15b side located above the photoelectric conversion section 120 of each of the image sensors 100a and 100b has unevenness 170.
  • unevenness 170 on the light incidence surface 15b side, reflection of light on the light incidence surface 15b of the semiconductor substrate 15 is suppressed, and the optical path length is increased, so that the light can reach the photoelectric conversion unit 120 more easily.
  • acute-angled unevenness 170 is provided on the surface of the semiconductor substrate 15 on the light incidence surface 15b side, and in the lower part of FIG. A rectangular unevenness 170 is provided on the surface.
  • an interlayer insulating film 180 may be provided between the semiconductor substrate 15 and the color filter 154. Note that in FIG.
  • the semiconductor substrate 15 includes the interlayer insulating film 180 that covers the unevenness 170, and the outermost layer covered with the interlayer insulating film 180 is referred to as the semiconductor substrate 15.
  • the front surface is a light incident surface 15b.
  • FIG. 8 is an explanatory diagram showing an example of the cross-sectional configuration of the color filter unit 74 according to the present embodiment, and more specifically, it is a cross-sectional view taken along the line AA′ shown in FIG. 3A or FIG. 6A.
  • This embodiment is an example in which unevenness 170 is provided only on the surface of the semiconductor substrate 15 of the image sensor 100a on the light incident surface 15b side in the configurations according to the first and second embodiments.
  • the surface of the semiconductor substrate 15 located above the photoelectric conversion section 120 of the image sensor 100a on the light incident surface 15b side has unevenness 170.
  • the surface of the semiconductor substrate 15 located above the photoelectric conversion section 120 of the image sensor 100b on the light incident surface 15b side is flat.
  • by providing the unevenness 170 only on the light incidence surface 15b side of the image sensor 100a reflection of light on the light incidence surface 15b of the semiconductor substrate 15 is suppressed, the optical path length is extended, and the light is converted into photoelectric conversion. section 120.
  • acute-angled unevenness 170 is provided only on the surface of the semiconductor substrate 15 of the image sensor 100a on the light incident surface 15b side
  • Rectangular unevenness 170 is provided only on the surface of light incident surface 15b of 15.
  • the unevenness 170 only on the surface on the light incidence surface 15b side of the semiconductor substrate 15 of the image sensor 100a having the high refractive index color filter 154, light incidence on the semiconductor substrate 15 is Since reflection of light on the surface 15b is suppressed and the optical path length is increased, the light can reach the photoelectric conversion unit 120 more easily. Therefore, according to the present embodiment, since light can more easily reach the photoelectric conversion unit 120 of the image sensor 100a having the color filter 154 with a high refractive index, the sensitivity of the image sensor 100a is further increased. As a result, in this embodiment, the sensitivity ratio between the imaging elements 100a and 100b becomes larger, so that the dynamic range of the imaging device 10 can be further expanded.
  • FIG. 9A is an explanatory diagram showing an example of the planar configuration of the color filter unit 74 according to this embodiment.
  • FIG. 9B is an explanatory diagram showing an example of the cross-sectional configuration of the color filter unit 74 according to the present embodiment, and more specifically, it is a cross-sectional view taken along the line DD' shown in FIG. 9A.
  • the imaging device 10 detect green light with higher accuracy. Therefore, it is required to improve the sensitivity of the image sensor 100 corresponding to the color filter 154 that transmits green light. Furthermore, in the imaging device 10 according to the prior art, since no detailed study has been made on the refractive index of the color filter 154, the color filter 154 transmits red light having a higher refractive index than the color filter 154 that transmits green light. A color filter 154 is often used. Therefore, in the conventional imaging device 10, the sensitivity of the image sensor 100 that detects green light is lower than that of the image sensor 100 that detects red light.
  • the sensitivity of the image sensor 100 having the color filter 154 that transmits green light in the color filter unit 74 consisting of the color filter 154 arranged in a Bayer array is changed by applying the color filter 154 having a high refractive index. Improve by doing.
  • the color filter unit 74 includes a plurality of color filters 154 arranged two-dimensionally in two rows and two columns according to the Bayer array.
  • color filters 154 that transmit light with a green wavelength component are arranged in a checkerboard pattern, and the rest are color filters 154 that transmit light with a red wavelength component and color filters 154 that transmit light with a blue wavelength component.
  • a color filter 154 that transmits green light is disposed at the upper left and lower right of the color filter unit 74, and a color filter 154 that transmits red light is disposed at the upper right of the color filter unit 74.
  • a color filter 154 is arranged.
  • a color filter 154 that transmits blue light is arranged at the lower left of the color filter unit 74.
  • the color filter 154 that transmits light having a green wavelength component has a higher refractive index than the color filter 154 that transmits light having wavelength components of other colors (see FIG. 9A In FIG. 9B, the color filter 154 with a high refractive index is labeled with "Hn", and the color filter 154 with a low refractive index is labeled with "Ln").
  • the sensitivity of the image sensor 100 having the color filter 154 that transmits green light is improved.
  • FIG. 10A is an explanatory diagram showing an example of a planar configuration of a color filter unit 74 according to Modification 1
  • FIG. 10B is an explanatory diagram showing an example of a cross-sectional configuration of a color filter unit 74 according to Modification 1. Specifically, it is a cross-sectional view taken along line EE′ shown in FIG. 10A.
  • FIG. 11A is an explanatory diagram showing an example of the planar configuration of the color filter unit 74 according to the present modification 2
  • FIG. 11B is an explanatory diagram showing an example of the cross-sectional configuration of the color filter unit 74 according to the present modification 2.
  • FIG. 12A is an explanatory diagram showing an example of a planar configuration of a color filter unit 74 according to Modification 3
  • FIG. 12B is an explanatory diagram showing an example of a cross-sectional configuration of color filter unit 74 according to Modification 3.
  • it is a cross-sectional view taken along line GG′ shown in FIG. 12A.
  • the color filter 154 with a high refractive index is used in order to improve the sensitivity of a specific image sensor 100 among different types of image sensors 100.
  • this modification by applying color filters 154 having different refractive indexes, a sensitivity ratio is created between the same type of imaging elements 100, and the dynamic range of the imaging device 10 is expanded.
  • the color filter unit 74 configured by a plurality of color filters 154 arranged two-dimensionally in two rows and two columns, a high refractive index color filter 154 and a low refractive index color filter 154 are arranged. An example of a variation of the array will be explained.
  • high refractive index color filters 154 are arranged at the upper left and lower right of the color filter unit 74, and low refractive index filters 154 are arranged at the upper right and lower left of the color filter unit 74.
  • color filters 154 are arranged.
  • low refractive index color filters 154 are arranged at the upper left, upper right and lower left of the color filter unit 74, and high refractive index color filters 154 are arranged at the lower right of the color filter unit 74. is placed.
  • high refractive index color filters 154 are arranged at the upper left, upper right and lower right of the color filter unit 74, and low refractive index color filters 154 are arranged at the lower left of the color filter unit 74. is placed.
  • FIG. 13A is an explanatory diagram showing an example of the cross-sectional configuration of the color filter unit 74 according to the present embodiment
  • FIG. 13B is a circuit diagram of the image sensor 100 according to the present embodiment.
  • the image sensor 100 having the color filter 154 with a high refractive index is configured as an image sensor with the same potential.
  • high refractive index color filters 154 in FIGS. 13A and 13B, for differentiation, they are expressed as Hn 1 , Hn 2 , and Hn 3
  • the imaging devices 100 having a single photoelectric conversion unit 120 and a floating diffusion unit (not shown) share one photoelectric conversion unit 120 and one floating diffusion unit (not shown). Therefore, according to the present embodiment, the image sensor 100 can generate a large amount of charge even when photographing a subject under low illumination or when exposed for a short time. Therefore, according to this embodiment, the image sensor 100 is less susceptible to the adverse effects of noise, and its sensitivity is increased.
  • FIG. 14 is an explanatory diagram showing an example of the cross-sectional configuration of the color filter unit 74 according to the present embodiment, and more specifically, it is a cross-sectional view taken along the line EE' shown in FIG. 10A.
  • a light entrance surface 15b having unevenness 170 is applied to the configuration according to Modification 1 of the fifth embodiment.
  • the surface of the semiconductor substrate 15 located above the photoelectric conversion section 120 of the image sensor 100 on the light incident surface 15b side has unevenness 170.
  • FIG. 15 is an explanatory diagram showing an example of the cross-sectional configuration of the color filter unit 74 according to the present embodiment, and more specifically, it is a cross-sectional view taken along the line FF' shown in FIG. 11A. That is, this modification is an example in which a light entrance surface 15b having unevenness 170 is applied to the configuration according to modification 2 of the fifth embodiment, as shown in FIG.
  • FIG. 16 is an explanatory diagram showing an example of the cross-sectional configuration of the color filter unit 74 according to the present embodiment, and more specifically, it is a cross-sectional view taken along line GG′ shown in FIG. 12A. That is, this modification is an example in which a light entrance surface 15b having unevenness 170 is applied to the configuration according to modification 3 of the fifth embodiment, as shown in FIG.
  • FIG. 17 is an explanatory diagram showing an example of the cross-sectional configuration of the color filter unit 74 according to the present embodiment, and more specifically, it is a cross-sectional view taken along the line EE′ shown in FIG. 10A.
  • the unevenness 170 is provided only on the light entrance surface 15b of the image sensor 100 having the high refractive index color filter 154.
  • the image sensor 100 having a high refractive index color filter 154 has unevenness 170 on the light incident surface 15b side of the semiconductor substrate 15 located above the photoelectric conversion section 120.
  • the image sensor 100 having the low refractive index color filter 154 the surface of the semiconductor substrate 15 located above the photoelectric conversion section 120 on the light incidence surface 15b side is flat.
  • the sensitivity of the image sensor 100 is further increased. As a result, in this embodiment, the sensitivity ratio between the imaging elements 100 becomes larger, so that the dynamic range of the imaging device 10 can be further expanded.
  • FIG. 18 is an explanatory diagram showing an example of the cross-sectional configuration of the color filter unit 74 according to the present embodiment, and more specifically, it is a cross-sectional view taken along line FF′ shown in FIG. 11A.
  • this modification example is a structure according to modification example 2 of the fifth embodiment, in which the surface of the semiconductor substrate 15 of the image sensor 100 having a high refractive index color filter 154 on the light incident surface 15b side is The unevenness 170 is provided only on the surface.
  • FIG. 19A is an explanatory diagram showing an example of the planar configuration of the color filter unit 74 according to the present modification
  • FIG. 19B is an explanatory diagram showing an example of the cross-sectional configuration of the color filter unit 74 according to the present modification
  • 19A is a cross-sectional view taken along line HH' shown in FIG. 19A.
  • this modification example has a configuration according to Modification Example 3 of the fifth embodiment, in which the light incident surface 15b of the semiconductor substrate 15 of the image sensor 100 has a color filter 154 with a high refractive index.
  • the unevenness 170 is provided only on the side surface.
  • FIG. 20A is an explanatory diagram showing an example of the planar configuration of the color filter unit 74 according to the present embodiment
  • FIG. 20B is an explanatory diagram showing an example of the cross-sectional configuration of the color filter unit 74 according to the present embodiment
  • 20A is a cross-sectional view taken along the line JJ' shown in FIG. 20A.
  • the refractive index of the color filter 154 is in two stages, high refractive index and low refractive index, but in the present disclosure, the refractive index of the color filter 154 is not limited to this.
  • the refractive index may be set in multiple stages. In this way, even if the imaging devices 100 are of the same type, by applying the color filters 154 having different refractive indexes, a sensitivity ratio is created between the imaging devices 100 and the dynamic range of the imaging device 10 is expanded. be able to.
  • the refractive index of the color filter 154 can be changed to Hn, Hn, high refractive index, middle refractive index, and low refractive index.
  • an image sensor 100 having a high refractive index color filter 154 and a medium refractive index color filter 154 (in FIGS. 20A and 20B, , "Mn") and an image sensor 100 having a low refractive index color filter 154 are provided.
  • the refractive index of the color filter 154 is not limited to two or three levels, but may be four or more, that is, multiple levels.
  • FIG. 21 is an explanatory diagram showing an example of the cross-sectional configuration of the color filter unit 74 according to this modification, and more specifically, it is a cross-sectional view taken along the line JJ' shown in FIG. 20A. That is, in this modification, as shown in FIG. 21, a light entrance surface 15b having unevenness 170 is applied to the structure according to the ninth embodiment.
  • FIG. 22 is an explanatory diagram showing an example of the cross-sectional configuration of the color filter unit 74 according to this modification, and more specifically, it is a cross-sectional view taken along the line JJ′ shown in FIG. 20A.
  • unevenness 170 is formed only on the surface on the light incident surface 15b side of the semiconductor substrate 15 of the image sensor 100 having the high refractive index color filter 154. has been established.
  • asperities 170 may be further provided on the surface of the semiconductor substrate 15 on the light incidence surface 15b side of the image sensor 100 having the color filter 154 with a medium refractive index.
  • FIGS. 23 and 24 are explanatory diagrams showing examples of the planar configuration of the color filter unit 74 according to this embodiment.
  • the color filter unit 74 was composed of a plurality of color filters 154 arranged two-dimensionally in two rows and two columns according to the Bayer array.
  • the color filter unit 74 is not limited to being configured by a plurality of color filters 154 two-dimensionally arranged in two rows and two columns according to the Bayer array.
  • the color filter unit 74 is composed of a plurality of color filters 154 arranged two-dimensionally in 4 rows and 4 columns.
  • the color filter 154 is, for example, a color filter that transmits light having a red wavelength component, a color filter that transmits light that has a green wavelength component, and a color filter that transmits light that has a blue wavelength component. It is a color filter.
  • the same type of image sensor 100 having the same type of color filter 154 has color filters 154 with different refractive indexes (in FIGS. 23 and 24, the color filter 154 with a high refractive index has a "Hn" is attached, and the low refractive index color filter 154 is attached "Ln").
  • two color filters 154 having the same refractive index are diagonally arranged. It is located in Further, in the right diagram of FIG. 23, the color filter 154 that transmits light having four green wavelength components at the upper left of the color filter unit 74 has a high refractive index; The color filter 154, which transmits light having two green wavelength components, has a low refractive index.
  • FIGS. 25 to 27 are explanatory diagrams showing examples of the planar configuration of the color filter unit 74 according to this embodiment.
  • the color filter 154 is, for example, a color filter that transmits light with a red wavelength component, a color filter that transmits light with a green wavelength component, or a color filter that transmits light with a blue wavelength component. It is not limited to one thing.
  • the color filter 154 may be, for example, as shown in FIG. 25, a color filter 154 that transmits white light, as shown in FIG. 26, a color filter 154 that transmits yellow light, a color filter 154 that transmits magenta color light, or , a color filter 154 that transmits cyan light.
  • the color filter 154 that transmits light with a white wavelength component is indicated by "W”
  • the color filter 154 that transmits light with a yellow wavelength component is indicated by “Y”. It is indicated by.
  • the color filter 154 that transmits light having a cyan wavelength component is indicated by "C”
  • the color filter 154 that transmits light having a magenta wavelength component is indicated by "M”.
  • the color filter unit 74 is not limited to being configured by a plurality of color filters 154 arranged in 2 rows and 2 columns or 4 rows and 4 columns, and for example, as shown in the left diagram of FIG. Furthermore, the color filter unit 74 may include a plurality of color filters 154 arranged in 6 rows and 6 columns. Alternatively, in the present disclosure, the color filter unit 74 may be configured with a plurality of color filters 154 arranged in 8 rows and 8 columns, as shown in the right diagram of FIG. 27. That is, in this embodiment, the arrangement of the plurality of color filters 154 within the color filter unit 74 can be variously modified.
  • the color filter 154 of a specific image sensor 100 have a higher refractive index than the color filter 154 of other image sensors 100, Light is more easily guided to the image sensor 100 having the color filter 154, and light is less likely to be guided to the image sensor 100 having the color filter 154 having a low refractive index. Therefore, according to the present embodiment, the sensitivity of a specific image sensor 100 becomes higher, and the sensitivity of other image sensors 100 becomes lower. As a result, in this embodiment, a sensitivity ratio occurs or increases between the imaging elements 100a, so that the dynamic range of the imaging device 10 can be expanded.
  • the imaging device 10 according to the embodiment of the present disclosure can be manufactured using methods, devices, and conditions used for manufacturing general semiconductor devices. That is, the imaging device 10 according to this embodiment can be manufactured using existing semiconductor device manufacturing processes.
  • the above-mentioned methods include, for example, the PVD (Physical Vapor Deposition) method, the CVD (Chemical Vapor Deposition) method, and the ALD (Atomic Layer Deposition) method.
  • PVD Physical Vapor Deposition
  • CVD Chemical Vapor Deposition
  • ALD Atomic Layer Deposition
  • the PVD method include vacuum evaporation, EB (electron beam) evaporation, various sputtering methods (magnetron sputtering, RF (Radio Frequency)-DC (Direct Current) coupled bias sputtering, and ECR (Electron Cyclotron Resona).
  • examples of the CVD method include a plasma CVD method, a thermal CVD method, an organic metal (MO) CVD method, and a photoCVD method.
  • other methods include electrolytic plating, electroless plating, spin coating, dipping, casting, micro contact printing, drop casting, screen printing, inkjet printing, offset printing, and gravure printing.
  • various printing methods such as flexographic printing method; stamp method; spray method; air doctor coater method, blade coater method, rod coater method, knife coater method, squeeze coater method, reverse roll coater method, transfer roll coater method, gravure coater method , a kiss coater method, a cast coater method, a spray coater method, a slit orifice coater method, and a calendar coater method.
  • the patterning method include chemical etching such as shadow masking, laser transfer, and photolithography, and physical etching using ultraviolet rays, laser, and the like.
  • examples of the planarization technique include a CMP (Chemical Mechanical Polishing) method, a laser planarization method, a reflow method, and the like.
  • FIG. 28 is an explanatory diagram showing an example of a schematic functional configuration of a camera 700 to which the technology according to the present disclosure (present technology) can be applied.
  • the camera 700 includes an imaging device 10, an optical lens 710, a shutter mechanism 712, a drive circuit unit 714, and a signal processing circuit unit 716.
  • the optical lens 710 forms an image of image light (incident light) from the subject onto the imaging surface of the imaging device 10 .
  • signal charges are accumulated within the imaging element 100 of the imaging device 10 for a certain period of time.
  • the shutter mechanism 712 controls the light irradiation period and the light blocking period to the imaging device 10 by opening and closing.
  • the drive circuit unit 714 supplies drive signals for controlling the signal transfer operation of the imaging device 10, the shutter operation of the shutter mechanism 712, and the like.
  • the imaging device 10 performs signal transfer based on the drive signal (timing signal) supplied from the drive circuit unit 714.
  • the signal processing circuit unit 716 performs various signal processing. For example, the signal processing circuit unit 716 outputs the signal-processed video signal to a storage medium (not shown) such as a memory, or to a display unit (not shown).
  • Each of the above components may be constructed using general-purpose members, or may be constructed using hardware specialized for the function of each component. Such a configuration may be changed as appropriate depending on the level of technology at the time of implementation.
  • FIG. 29 is a block diagram illustrating an example of a schematic functional configuration of a smartphone 900 to which the technology according to the present disclosure (present technology) can be applied.
  • the smartphone 900 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, and a RAM (Random Access Memory) 903.
  • the smartphone 900 also includes a storage device 904, a communication module 905, and a sensor module 907.
  • the smartphone 900 includes an imaging device 10, a display device 910, a speaker 911, a microphone 912, an input device 913, and a bus 914.
  • the smartphone 900 may include a processing circuit such as a DSP (Digital Signal Processor) in place of or in addition to the CPU 901.
  • DSP Digital Signal Processor
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls all or part of the operations within the smartphone 900 according to various programs recorded in the ROM 902, RAM 903, storage device 904, or the like.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901 and parameters that change as appropriate during the execution.
  • the CPU 901, ROM 902, and RAM 903 are interconnected by a bus 914.
  • the storage device 904 is a data storage device configured as an example of a storage unit of the smartphone 900.
  • the storage device 904 includes, for example, a magnetic storage device such as a HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, and the like. This storage device 904 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • a magnetic storage device such as a HDD (Hard Disk Drive)
  • This storage device 904 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the communication module 905 is, for example, a communication interface configured with a communication device for connecting to the communication network 906.
  • the communication module 905 may be, for example, a communication card for wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), WUSB (Wireless USB), or the like.
  • the communication module 905 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various types of communication, or the like.
  • the communication module 905 transmits and receives signals, etc., to and from the Internet or other communication devices, for example, using a predetermined protocol such as TCP (Transmission Control Protocol)/IP (Internet Protocol).
  • a communication network 906 connected to the communication module 905 is a wired or wireless network, such as the Internet, a home LAN, infrared communication, or satellite communication.
  • the sensor module 907 is, for example, a motion sensor (for example, an acceleration sensor, a gyro sensor, a geomagnetic sensor, etc.), a biological information sensor (for example, a pulse sensor, a blood pressure sensor, a fingerprint sensor, etc.), or a position sensor (for example, a GNSS (Global Navigation sensor)). It includes various sensors such as Satellite System (receiver, etc.).
  • a motion sensor for example, an acceleration sensor, a gyro sensor, a geomagnetic sensor, etc.
  • a biological information sensor for example, a pulse sensor, a blood pressure sensor, a fingerprint sensor, etc.
  • GNSS Global Navigation sensor
  • the imaging device 10 is provided on the surface of the smartphone 900 and can image objects located on the back or front side of the smartphone 900. Specifically, the technology according to the present disclosure (this technology) can be applied to the imaging device 10. Furthermore, the imaging device 10 further includes an optical system mechanism (not shown) including an imaging lens, a zoom lens, a focus lens, etc., and a drive system mechanism (not shown) that controls the operation of the optical system mechanism. I can do it.
  • the imaging device 10 collects the incident light from the object as an optical image, and the signal processing circuit photoelectrically converts the formed optical image pixel by pixel, and converts the signal of each pixel into an imaging signal. A captured image can be obtained by reading out and performing image processing.
  • the display device 910 is provided on the surface of the smartphone 900, and can be, for example, a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence) display.
  • the display device 910 can display an operation screen, a captured image acquired by the imaging device 10 described above, and the like.
  • the speaker 911 can output to the user, for example, the voice of a telephone call or the voice accompanying the video content displayed by the display device 910 described above.
  • the microphone 912 can collect, for example, a user's call voice, voice including a command to activate a function of the smartphone 900, and voice of the surrounding environment of the smartphone 900.
  • the input device 913 is a device operated by the user, such as a button, keyboard, touch panel, or mouse.
  • Input device 913 includes an input control circuit that generates an input signal based on information input by the user and outputs it to CPU 901. By operating this input device 913, the user can input various data to the smartphone 900 and instruct processing operations.
  • Each of the above components may be constructed using general-purpose members, or may be constructed using hardware specialized for the function of each component. Such a configuration may be changed as appropriate depending on the level of technology at the time of implementation.
  • FIG. 30 is a block diagram showing a configuration example of a vehicle control system 11, which is an example of a mobile device control system to which the present technology is applied.
  • the vehicle control system 11 is provided in the vehicle 1 and performs processing related to travel support and automatic driving of the vehicle 1.
  • the vehicle control system 11 includes a vehicle control ECU (Electronic Control Unit) 21, a communication unit 22, a map information storage unit 23, a position information acquisition unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, a storage unit 28, and a driving unit. It includes a support/automatic driving control section 29, a DMS (Driver Monitoring System) 30, an HMI (Human Machine Interface) 31, and a vehicle control section 32.
  • vehicle control ECU Electronic Control Unit
  • communication unit 22 includes a communication unit 22, a map information storage unit 23, a position information acquisition unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, a storage unit 28, and a driving unit.
  • a position information acquisition unit includes a position information acquisition unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, a storage unit 28, and a driving unit. It includes a support/automatic driving control section 29, a DMS (Driver Monitoring System) 30, an HMI (Human Machine Interface) 31, and
  • Vehicle control ECU 21, communication unit 22, map information storage unit 23, position information acquisition unit 24, external recognition sensor 25, in-vehicle sensor 26, vehicle sensor 27, storage unit 28, driving support/automatic driving control unit 29, driver monitoring system ( DMS) 30, human machine interface (HMI) 31, and vehicle control unit 32 are connected to each other via a communication network 41 so that they can communicate with each other.
  • the communication network 41 is, for example, CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), FlexRay (registered trademark), or Ethernet ( In-vehicle devices that comply with digital two-way communication standards such as (registered trademark) It consists of communication networks, buses, etc.
  • the communication network 41 may be used depending on the type of data to be transmitted.
  • CAN may be applied to data related to vehicle control
  • Ethernet may be applied to large-capacity data.
  • each part of the vehicle control system 11 uses a wireless communication system that assumes relatively short-range communication, such as near field communication (NFC) or Bluetooth (registered trademark), without going through the communication network 41. They may also be directly connected using communications.
  • NFC near field communication
  • Bluetooth registered trademark
  • the vehicle control ECU 21 is composed of various processors such as a CPU (Central Processing Unit) and an MPU (Micro Processing Unit).
  • the vehicle control ECU 21 can control the entire or part of the functions of the vehicle control system 11.
  • the communication unit 22 can communicate with various devices inside and outside the vehicle, other vehicles, servers, base stations, etc., and can send and receive various data. At this time, the communication unit 22 may communicate using a plurality of communication methods.
  • the communication unit 22 communicates with an external network via a base station or an access point using a wireless communication method such as 5G (fifth generation mobile communication system), LTE (Long Term Evolution), or DSRC (Dedicated Short Range Communications). It is possible to communicate with a server (hereinafter referred to as an external server) located in the external server.
  • the external network with which the communication unit 22 communicates is, for example, the Internet, a cloud network, or a network unique to the operator.
  • the communication method that the communication unit 22 performs with the external network is not particularly limited as long as it is a wireless communication method that allows digital two-way communication at a communication speed of a predetermined rate or higher and over a predetermined distance or longer.
  • the communication unit 22 can communicate with a terminal located near the own vehicle using P2P (Peer To Peer) technology.
  • Terminals that exist near the own vehicle are, for example, terminals worn by moving objects that move at relatively low speeds such as pedestrians and bicycles, terminals that are installed at fixed locations in stores, or MTC (Machine Type) terminals. (Communication) terminals.
  • the communication unit 22 can also perform V2X communication.
  • V2X communication includes, for example, vehicle-to-vehicle communication with other vehicles, vehicle-to-infrastructure communication with roadside equipment, vehicle-to-home communication, etc. It also refers to communications between one's own vehicle and others, such as vehicle-to-pedestrian communications between pedestrians and terminals carried by pedestrians.
  • the communication unit 22 can receive, for example, a program for updating software that controls the operation of the vehicle control system 11 from the outside (over the air). Furthermore, the communication unit 22 can receive map information, traffic information, information about the surroundings of the vehicle 1, etc. from the outside. Further, for example, the communication unit 22 can transmit information regarding the vehicle 1, information around the vehicle 1, etc. to the outside. The information regarding the vehicle 1 that the communication unit 22 transmits to the outside includes, for example, data indicating the state of the vehicle 1, recognition results by the recognition unit 73, and the like. Furthermore, for example, the communication unit 22 can also perform communication compatible with a vehicle emergency notification system such as e-call.
  • a vehicle emergency notification system such as e-call.
  • the communication unit 22 can also receive electromagnetic waves transmitted by a vehicle information and communication system (VICS (registered trademark)) such as a radio beacon, an optical beacon, and FM multiplex broadcasting.
  • VICS vehicle information and communication system
  • the communication unit 22 can communicate with each device in the vehicle using, for example, wireless communication.
  • the communication unit 22 wirelessly communicates with in-vehicle devices using a communication method such as wireless LAN, Bluetooth (registered trademark), NFC, or WUSB (Wireless USB) that allows digital two-way communication at a communication speed higher than a predetermined speed. Can communicate.
  • the communication unit 22 is not limited to this, and can also communicate with each device in the vehicle using wired communication.
  • the communication unit 22 can communicate with each device in the vehicle through wired communication via a cable connected to a connection terminal (not shown).
  • the communication unit 22 uses, for example, USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface) (registered trademark), MHL (Mobile High-definition L) Digital two-way communication at a communication speed higher than the specified speed using wired communication such as It is possible to communicate with each device in the car using a communication method that allows for communication.
  • USB Universal Serial Bus
  • HDMI High-Definition Multimedia Interface
  • MHL Mobile High-definition L
  • the in-vehicle equipment refers to, for example, equipment that is not connected to the communication network 41 inside the car.
  • in-vehicle devices include mobile devices and wearable devices carried by passengers such as drivers, information devices brought into the vehicle and temporarily installed, and the like.
  • the map information storage unit 23 can store one or both of a map acquired from the outside and a map created by the vehicle 1.
  • the map information storage unit 23 stores three-dimensional high-precision maps, global maps that are less accurate than high-precision maps, and cover a wide area, and the like.
  • Examples of high-precision maps include dynamic maps, point cloud maps, vector maps, etc.
  • the dynamic map is, for example, a map consisting of four layers of dynamic information, semi-dynamic information, semi-static information, and static information, and is provided to the vehicle 1 from an external server or the like.
  • a point cloud map is a map composed of point clouds (point cloud data).
  • a vector map is a map that is compatible with ADAS (Advanced Driver Assistance System) and AD (Autonomous Driving) by associating traffic information such as lanes and traffic light positions with a point cloud map.
  • the point cloud map and vector map may be provided, for example, from an external server, or may be used as a map for matching with the local map described later based on sensing results from the camera 51, radar 52, LiDAR 53, etc. It may be created in the vehicle 1 and stored in the map information storage section 23. Furthermore, when a high-definition map is provided from an external server, etc., in order to reduce communication capacity, map data of, for example, several hundred meters square regarding the planned route that the vehicle 1 will travel from now on is obtained from the external server, etc. .
  • the position information acquisition unit 24 can receive a GNSS signal from a GNSS (Global Navigation Satellite System) satellite and acquire the position information of the vehicle 1.
  • the acquired position information is supplied to the driving support/automatic driving control section 29.
  • the location information acquisition unit 24 is not limited to the method using GNSS signals, and may acquire location information using a beacon, for example.
  • the external recognition sensor 25 has various sensors used to recognize the external situation of the vehicle 1, and can supply sensor data from each sensor to each part of the vehicle control system 11.
  • the type and number of sensors included in the external recognition sensor 25 are not particularly limited.
  • the external recognition sensor 25 includes a camera 51, a radar 52, a LiDAR (Light Detection and Ranging, a Laser Imaging Detection and Ranging) 53, and an ultrasonic sensor 54.
  • the configuration is not limited to this, and the external recognition sensor 25 may include one or more types of sensors among the camera 51, the radar 52, the LiDAR 53, and the ultrasonic sensor 54.
  • the number of cameras 51, radar 52, LiDAR 53, and ultrasonic sensors 54 is not particularly limited as long as it can be realistically installed in vehicle 1.
  • the types of sensors included in the external recognition sensor 25 are not limited to this example, and the external recognition sensor 25 may include other types of sensors. An example of the sensing area of each sensor included in the external recognition sensor 25 will be described later.
  • the photographing method of the camera 51 is not particularly limited.
  • cameras with various imaging methods such as a ToF (Time of Flight) camera, a stereo camera, a monocular camera, and an infrared camera, which are capable of distance measurement, can be applied to the camera 51 as necessary.
  • the camera 51 may be used simply to obtain photographed images, regardless of distance measurement.
  • the imaging device 10 according to the embodiment of the present disclosure can be applied to the camera 51.
  • the external recognition sensor 25 can include an environment sensor for detecting the environment for the vehicle 1.
  • the environmental sensor is a sensor for detecting the environment such as weather, meteorology, brightness, etc., and can include various sensors such as a raindrop sensor, a fog sensor, a sunlight sensor, a snow sensor, and an illuminance sensor.
  • the external recognition sensor 25 includes a microphone used to detect sounds around the vehicle 1 and the position of the sound source.
  • the in-vehicle sensor 26 has various sensors for detecting information inside the vehicle, and can supply sensor data from each sensor to each part of the vehicle control system 11.
  • the types and number of various sensors included in the in-vehicle sensor 26 are not particularly limited as long as they can be realistically installed in the vehicle 1.
  • the in-vehicle sensor 26 can include one or more types of sensors among a camera, radar, seating sensor, steering wheel sensor, microphone, and biological sensor.
  • the camera included in the in-vehicle sensor 26 it is possible to use cameras of various photographing methods capable of distance measurement, such as a ToF camera, a stereo camera, a monocular camera, and an infrared camera.
  • the present invention is not limited to this, and the camera included in the in-vehicle sensor 26 may simply be used to acquire photographed images, regardless of distance measurement.
  • the imaging device 10 according to the embodiment of the present disclosure can also be applied to a camera included in the in-vehicle sensor 26.
  • the biosensor included in the in-vehicle sensor 26 is provided, for example, on a seat, a steering wheel, etc., and detects various biometric information of a passenger such as a driver.
  • the vehicle sensor 27 has various sensors for detecting the state of the vehicle 1, and can supply sensor data from each sensor to each part of the vehicle control system 11.
  • the types and number of various sensors included in the vehicle sensor 27 are not particularly limited as long as they can be realistically installed in the vehicle 1.
  • the vehicle sensor 27 can include a speed sensor, an acceleration sensor, an angular velocity sensor (gyro sensor), and an inertial measurement unit (IMU) that integrates these.
  • the vehicle sensor 27 includes a steering angle sensor that detects the steering angle of the steering wheel, a yaw rate sensor, an accelerator sensor that detects the amount of operation of the accelerator pedal, and a brake sensor that detects the amount of operation of the brake pedal.
  • the vehicle sensor 27 includes a rotation sensor that detects the rotation speed of an engine or motor, an air pressure sensor that detects tire air pressure, a slip rate sensor that detects tire slip rate, and a wheel speed sensor that detects wheel rotation speed.
  • the vehicle sensor 27 includes a battery sensor that detects the remaining battery power and temperature, and an impact sensor that detects an external impact.
  • the storage unit 28 includes at least one of a nonvolatile storage medium and a volatile storage medium, and can store data and programs.
  • the storage unit 28 is used, for example, as an EEPROM (Electrically Erasable Programmable Read Only Memory) and a RAM (Random Access Memory), and as a storage medium, an HDD (Ha magnetic storage devices such as rd Disc Drive), semiconductor storage devices, optical storage devices, Also, a magneto-optical storage device can be applied.
  • the storage unit 28 stores various programs and data used by each part of the vehicle control system 11.
  • the storage unit 28 includes an EDR (Event Data Recorder) and a DSSAD (Data Storage System for Automated Driving), and stores information on the vehicle 1 before and after an event such as an accident, and information acquired by the in-vehicle sensor 26. do .
  • EDR Event Data Recorder
  • DSSAD Data Storage System for Automated Driving
  • the driving support/automatic driving control unit 29 can control driving support and automatic driving of the vehicle 1.
  • the driving support/automatic driving control section 29 includes an analysis section 61, an action planning section 62, and an operation control section 63.
  • the analysis unit 61 can perform analysis processing of the vehicle 1 and the surrounding situation.
  • the analysis section 61 includes a self-position estimation section 71, a sensor fusion section 72, and a recognition section 73.
  • the self-position estimating section 71 can estimate the self-position of the vehicle 1 based on the sensor data from the external recognition sensor 25 and the high-precision map stored in the map information storage section 23. For example, the self-position estimating unit 71 estimates the self-position of the vehicle 1 by generating a local map based on sensor data from the external recognition sensor 25 and matching the local map with a high-precision map. The position of the vehicle 1 can be based on, for example, the center of the rear wheels versus the axle.
  • the local map is, for example, a three-dimensional high-precision map created using a technology such as SLAM (Simultaneous Localization and Mapping), an occupancy grid map, or the like.
  • the three-dimensional high-precision map is, for example, the above-mentioned point cloud map.
  • the occupancy grid map is a map that divides the three-dimensional or two-dimensional space around the vehicle 1 into grids (grids) of a predetermined size and shows the occupancy state of objects in grid units.
  • the occupancy state of an object is indicated by, for example, the presence or absence of the object or the probability of its existence.
  • the local map is also used, for example, in the detection process and recognition process of the external situation of the vehicle 1 by the recognition unit 73.
  • the self-position estimation unit 71 may estimate the self-position of the vehicle 1 based on the position information acquired by the position information acquisition unit 24 and sensor data from the vehicle sensor 27.
  • the sensor fusion unit 72 performs sensor fusion processing to obtain new information by combining a plurality of different types of sensor data (for example, image data supplied from the camera 51 and sensor data supplied from the radar 52). be able to. Examples of methods for combining different types of sensor data include integration, fusion, and federation.
  • the recognition unit 73 can perform a detection process that detects the external situation of the vehicle 1 and a recognition process that recognizes the external situation of the vehicle 1.
  • the recognition unit 73 performs detection processing and recognition processing of the external situation of the vehicle 1 based on information from the external recognition sensor 25, information from the self-position estimation unit 71, information from the sensor fusion unit 72, etc. .
  • the recognition unit 73 performs detection processing and recognition processing of objects around the vehicle 1.
  • Object detection processing is, for example, processing for detecting the presence or absence, size, shape, position, movement, etc. of an object.
  • the object recognition process is, for example, a process of recognizing attributes such as the type of an object or identifying a specific object.
  • detection processing and recognition processing are not necessarily clearly separated, and may overlap.
  • the recognition unit 73 detects objects around the vehicle 1 by performing clustering to classify point clouds based on sensor data from the radar 52, LiDAR 53, etc. into point clouds. As a result, the presence, size, shape, and position of objects around the vehicle 1 are detected.
  • the recognition unit 73 detects the movement of objects around the vehicle 1 by performing tracking that follows the movement of a group of points classified by clustering. As a result, the speed and traveling direction (movement vector) of objects around the vehicle 1 are detected.
  • the recognition unit 73 detects or recognizes vehicles, people, bicycles, obstacles, structures, roads, traffic lights, traffic signs, road markings, etc. based on the image data supplied from the camera 51. Further, the recognition unit 73 may recognize the types of objects around the vehicle 1 by performing recognition processing such as semantic segmentation.
  • the recognition unit 73 uses the map stored in the map information storage unit 23, the self-position estimation result by the self-position estimating unit 71, and the recognition result of objects around the vehicle 1 by the recognition unit 73 to Recognition processing of traffic rules around the vehicle 1 can be performed. Through this processing, the recognition unit 73 can recognize the positions and states of traffic lights, the contents of traffic signs and road markings, the contents of traffic regulations, the lanes in which the vehicle can travel, and the like.
  • the recognition unit 73 can perform recognition processing of the environment around the vehicle 1.
  • the surrounding environment to be recognized by the recognition unit 73 includes weather, temperature, humidity, brightness, road surface conditions, and the like.
  • the action planning unit 62 creates an action plan for the vehicle 1.
  • the action planning unit 62 can create an action plan by performing route planning and route following processing.
  • global path planning is a process of planning a rough route from the start to the goal. This route planning is called trajectory planning, and involves generating a trajectory (local path planning) that can safely and smoothly proceed near the vehicle 1 on the planned route, taking into account the motion characteristics of the vehicle 1. It also includes the processing to be performed.
  • Route following is a process of planning actions to safely and accurately travel the route planned by route planning within the planned time.
  • the action planning unit 62 can calculate the target speed and target angular velocity of the vehicle 1, for example, based on the results of this route following process.
  • the motion control section 63 can control the motion of the vehicle 1 in order to realize the action plan created by the action planning section 62.
  • the operation control unit 63 controls a steering control unit 81, a brake control unit 82, and a drive control unit 83 included in the vehicle control unit 32, which will be described later, so that the vehicle 1 follows the trajectory calculated by the trajectory plan. Acceleration/deceleration control and direction control are performed to move forward.
  • the operation control unit 63 performs cooperative control aimed at realizing ADAS functions such as collision avoidance or shock mitigation, follow-up driving, vehicle speed maintenance driving, self-vehicle collision warning, and lane departure warning for self-vehicle.
  • the operation control unit 63 performs cooperative control for the purpose of automatic driving, etc., in which the vehicle autonomously travels without depending on the driver's operation.
  • the DMS 30 can perform driver authentication processing, recognition processing of the driver's state, etc. based on sensor data from the in-vehicle sensor 26, input data input to the HMI 31, which will be described later, and the like.
  • the driver's condition to be recognized includes, for example, physical condition, alertness level, concentration level, fatigue level, line of sight direction, drunkenness level, driving operation, posture, etc.
  • the DMS 30 may perform the authentication process of a passenger other than the driver and the recognition process of the state of the passenger. Further, for example, the DMS 30 may perform recognition processing of the situation inside the vehicle based on sensor data from the in-vehicle sensor 26.
  • the conditions inside the vehicle that are subject to recognition include, for example, temperature, humidity, brightness, and odor.
  • the HMI 31 is capable of inputting various data and instructions, and presenting various data to the driver and the like.
  • HMI 31 has an input device for a person to input data.
  • the HMI 31 generates input signals based on data, instructions, etc. input by an input device, and supplies them to each part of the vehicle control system 11 .
  • the HMI 31 has operators such as a touch panel, buttons, switches, and levers as input devices.
  • the present invention is not limited to this, and the HMI 31 may further include an input device capable of inputting information by a method other than manual operation using voice, gesture, or the like.
  • the HMI 31 may use, as an input device, an externally connected device such as a remote control device using infrared rays or radio waves, a mobile device or a wearable device compatible with the operation of the vehicle control system 11, for example.
  • the HMI 31 generates visual information, auditory information, and tactile information for the passenger or the outside of the vehicle. Furthermore, the HMI 31 performs output control to control the output, output content, output timing, output method, etc. of each generated information.
  • the HMI 31 generates and outputs, as visual information, information shown by images and lights, such as an operation screen, a status display of the vehicle 1, a warning display, and a monitor image showing the surrounding situation of the vehicle 1, for example.
  • the HMI 31 generates and outputs, as auditory information, information indicated by sounds such as audio guidance, warning sounds, and warning messages.
  • the HMI 31 generates and outputs, as tactile information, information given to the passenger's tactile sense by, for example, force, vibration, movement, or the like.
  • an output device for the HMI 31 to output visual information for example, a display device that presents visual information by displaying an image or a projector device that presents visual information by projecting an image can be applied.
  • the display device is not limited to a display device having a normal display, but also includes a head-up display, a transmissive display, and a wearable device with an AR (Augmented Reality) function that displays visual information within the passenger's field of vision. It may be a device.
  • the HMI 31 can also use a display device included in a navigation device, an instrument panel, a CMS (Camera Monitoring System), an electronic mirror, a lamp, etc. provided in the vehicle 1 as an output device that outputs visual information.
  • an output device through which the HMI 31 outputs auditory information for example, an audio speaker, headphones, or earphones can be used.
  • a haptics element using haptics technology can be applied as an output device from which the HMI 31 outputs tactile information.
  • the haptic element is provided in a portion of the vehicle 1 that comes into contact with a passenger, such as a steering wheel or a seat.
  • the vehicle control unit 32 can control each part of the vehicle 1.
  • the vehicle control section 32 includes a steering control section 81 , a brake control section 82 , a drive control section 83 , a body system control section 84 , a light control section 85 , and a horn control section 86 .
  • the steering control unit 81 can detect and control the state of the steering system of the vehicle 1.
  • the steering system includes, for example, a steering mechanism including a steering wheel, electric power steering, and the like.
  • the steering control unit 81 includes, for example, a steering ECU that controls the steering system, an actuator that drives the steering system, and the like.
  • the brake control unit 82 can detect and control the state of the brake system of the vehicle 1.
  • the brake system includes, for example, a brake mechanism including a brake pedal, an ABS (Antilock Brake System), a regenerative brake mechanism, and the like.
  • the brake control unit 82 includes, for example, a brake ECU that controls the brake system, an actuator that drives the brake system, and the like.
  • the drive control unit 83 can detect and control the state of the drive system of the vehicle 1.
  • the drive system includes, for example, an accelerator pedal, a drive force generation device such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to the wheels, and the like.
  • the drive control unit 83 includes, for example, a drive ECU that controls the drive system, an actuator that drives the drive system, and the like.
  • the body system control unit 84 can detect and control the state of the body system of the vehicle 1.
  • the body system includes, for example, a keyless entry system, a smart key system, a power window device, a power seat, an air conditioner, an air bag, a seat belt, a shift lever, and the like.
  • the body system control unit 84 includes, for example, a body system ECU that controls the body system, an actuator that drives the body system, and the like.
  • the light control unit 85 can detect and control the states of various lights on the vehicle 1. Examples of lights to be controlled include headlights, backlights, fog lights, turn signals, brake lights, projections, bumper displays, and the like.
  • the light control unit 85 includes a light ECU that controls the lights, an actuator that drives the lights, and the like.
  • the horn control unit 86 can detect and control the state of the car horn of the vehicle 1.
  • the horn control unit 86 includes, for example, a horn ECU that controls the car horn, an actuator that drives the car horn, and the like.
  • FIG. 31 is a diagram showing an example of sensing areas by the camera 51, radar 52, LiDAR 53, ultrasonic sensor 54, etc. of the external recognition sensor 25 in FIG. 30. Note that FIG. 31 schematically shows the vehicle 1 viewed from above, with the left end side being the front end (front) side of the vehicle 1, and the right end side being the rear end (rear) side of the vehicle 1.
  • the sensing region 101F and the sensing region 101B are examples of sensing regions of the ultrasonic sensor 54.
  • the sensing region 101F covers the area around the front end of the vehicle 1 by a plurality of ultrasonic sensors 54.
  • the sensing region 101B covers the area around the rear end of the vehicle 1 by a plurality of ultrasonic sensors 54.
  • the sensing results in the sensing area 101F and the sensing area 101B are used, for example, for parking assistance for the vehicle 1.
  • the sensing regions 102F and 102B are examples of sensing regions of the short-range or medium-range radar 52.
  • the sensing area 102F covers a position farther forward than the sensing area 101F in front of the vehicle 1.
  • Sensing area 102B covers the rear of vehicle 1 to a position farther than sensing area 101B.
  • the sensing region 102L covers the rear periphery of the left side surface of the vehicle 1.
  • the sensing region 102R covers the rear periphery of the right side of the vehicle 1.
  • the sensing results in the sensing region 102F are used, for example, to detect vehicles, pedestrians, etc. that are present in front of the vehicle 1.
  • the sensing results in the sensing region 102B are used, for example, for a rear collision prevention function of the vehicle 1.
  • the sensing results in the sensing region 102L and the sensing region 102R are used, for example, to detect an object in a blind spot on the side of the vehicle 1.
  • the sensing area 103F to the sensing area 103B are examples of sensing areas by the camera 51.
  • the sensing area 103F covers a position farther forward than the sensing area 102F in front of the vehicle 1.
  • Sensing area 103B covers the rear of vehicle 1 to a position farther than sensing area 102B.
  • the sensing region 103L covers the periphery of the left side of the vehicle 1.
  • the sensing region 103R covers the periphery of the right side of the vehicle 1.
  • the sensing results in the sensing region 103F can be used, for example, for recognition of traffic lights and traffic signs, lane departure prevention support systems, and automatic headlight control systems.
  • the sensing results in the sensing region 103B can be used, for example, in parking assistance and surround view systems.
  • the sensing results in the sensing region 103L and the sensing region 103R can be used, for example, in a surround view system.
  • the sensing area 104 shows an example of the sensing area of the LiDAR 53.
  • the sensing area 104 covers the front of the vehicle 1 to a position farther than the sensing area 103F.
  • the sensing region 104 has a narrower range in the left-right direction than the sensing region 103F.
  • the sensing results in the sensing area 104 are used, for example, to detect objects such as surrounding vehicles.
  • the sensing area 105 is an example of the sensing area of the long-distance radar 52. Sensing area 105 covers a position farther forward than sensing area 104 in front of vehicle 1 . On the other hand, the sensing region 105 has a narrower range in the left-right direction than the sensing region 104.
  • the sensing results in the sensing region 105 are used, for example, for ACC (Adaptive Cruise Control), emergency braking, collision avoidance, and the like.
  • ACC Adaptive Cruise Control
  • emergency braking braking
  • collision avoidance collision avoidance
  • the sensing areas of the cameras 51, radar 52, LiDAR 53, and ultrasonic sensors 54 included in the external recognition sensor 25 may have various configurations other than those shown in FIG. 31.
  • the ultrasonic sensor 54 may also sense the side of the vehicle 1, or the LiDAR 53 may sense the rear of the vehicle 1.
  • the installation position of each sensor is not limited to each example mentioned above. Further, the number of each sensor may be one or more than one.
  • An imaging device comprising a pixel array section configured by arranging a unit area consisting of a plurality of image sensors including a first image sensor and a second image sensor in a two-dimensional array, Each of the first image sensor and the second image sensor is It has a color filter that transmits light with a wavelength in a predetermined wavelength band, The color filter included in the first image sensor has a higher refractive index than the color filter included in the second image sensor. Imaging device.
  • the imaging device wherein the color filter included in the second imaging device contains the photosensitive particles at a lower concentration than the color filter included in the first imaging device.
  • the photosensitive particles according to any one of (2) to (4) above include at least one particle selected from the group consisting of titanium oxide particles, zirconium oxide particles, zinc oxide, and nanodiamond particles.
  • Imaging device. In plan view, The first and second image sensors have polygonal shapes, The area of the first image sensor is larger than that of the second image sensor.
  • the imaging device according to any one of (1) to (5) above.
  • Each of the first and second image sensors is the color filter; a photoelectric conversion unit that is provided in a semiconductor substrate located below the color filter and generates charges by light that is incident on a light incident surface of the semiconductor substrate via the color filter; has The light incidence surface located above the photoelectric conversion section of the first image sensor has unevenness.
  • the imaging device according to any one of (1) to (6) above.
  • (8) The imaging device according to (7) above, wherein the light incidence surface located above the photoelectric conversion section of the second imaging element is flat.
  • the imaging device according to (7) above, wherein the light incidence surface located above the photoelectric conversion section of the second imaging element has unevenness.
  • the plurality of image sensors include a third image sensor having the color filter, The color filter of the third image sensor has a different refractive index from the color filter of each of the first image sensor and the second image sensor.
  • the imaging device according to any one of (1) to (9) above.
  • (11) The imaging device according to (1) above, wherein the plurality of image sensors include four or more image sensors each having the color filter, and the color filters of the four or more image sensors have different refractive indexes. .
  • the color filter is A color filter that transmits red light, a color filter that transmits green light, or a color filter that transmits blue light, The imaging device according to any one of (1) to (11) above.
  • the color filter is A color filter that transmits red light, a color filter that transmits green light, a color filter that transmits blue light, or a color filter that transmits white light, The imaging device according to any one of (1) to (11) above.
  • the color filter is A color filter that transmits red light, a color filter that transmits green light, a color filter that transmits blue light, a color filter that transmits yellow light, a color filter that transmits magenta color light, or a color filter that transmits cyan color light. be, The imaging device according to any one of (1) to (11) above.
  • the plurality of image sensors are: Including an image sensor that generates a charge with red light, an image sensor that generates a charge with green light, and an image sensor that generates a charge with blue light.
  • the imaging device according to any one of (1) to (6) above.
  • the plurality of imaging devices further include an imaging device that generates electric charge using white light.
  • the plurality of image sensors are: The imaging device according to (15) or (16) above, further comprising an imaging device that generates charges with yellow light, an imaging device that generates charges with magenta light, or an imaging device that generates charges with cyan light.
  • the unit area is The plurality of image sensors are arranged in two rows and two columns, The imaging device according to any one of (1) to (17) above.
  • the unit area is The plurality of image sensors are arranged in 4 rows and 4 columns, The imaging device according to any one of (1) to (17) above.
  • An electronic device equipped with an imaging device includes: comprising a pixel array section configured by arranging a unit area consisting of a plurality of image sensors including a first image sensor and a second image sensor in a two-dimensional array, Each of the first image sensor and the second image sensor is It has a color filter that transmits light with a wavelength in a predetermined wavelength band, The color filter included in the first image sensor has a higher refractive index than the color filter included in the second image sensor. Electronics.
  • Imaging device 15 Semiconductor substrate 15a Surface 15b Light incident surface 33 Pixel array section 34 Column signal processing circuit section 35 Vertical drive circuit section 36 Horizontal drive circuit section 38 Output circuit section 40 Control circuit section 42 Pixel drive wiring 44 Vertical signal line 46 Horizontal Signal line 48 Input/output terminal 74 Color filter unit 100 Imaging device 120 Photoelectric conversion section 150 On-chip lens 154 Color filter 156 Light shielding section 170 Unevenness 180 Interlayer insulating film 700 Camera 710 Optical lens 712 Shutter mechanism 714 Drive circuit unit 716 Signal processing circuit unit 900 Smartphone 901 CPU 902 ROM 903 RAM 904 Storage device 905 Communication module 906 Communication network 907 Sensor module 910 Display device 911 Speaker 912 Microphone 913 Input device 914 Bus

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

第1の撮像素子(100a)及び第2の撮像素子(100b)を含む複数の撮像素子からなる単位領域を2次元アレイ配列させることにより構成される画素アレイ部(33)を備える撮像装置(10)であって、前記第1の撮像素子及び前記第2の撮像素子のそれぞれは、所定の波長帯の波長を持つ光を透過するカラーフィルタ(154)を有し、前記第1の撮像素子が有する前記カラーフィルタは、前記第2の撮像素子が有する前記カラーフィルタに比べて、屈折率が高い、撮像装置を提供する。

Description

撮像装置及び電子機器
 本開示は、撮像装置及び電子機器に関する。
 撮像装置に対しては、階調性を持たせて撮影可能な被写体の照度範囲、すなわちダイナミックレンジを拡大することが求められていた。そこで、下記特許文献1に開示されるように、同色光を検出する撮像素子の、平面視における面積を変えて、意図的に当該撮像素子の間で感度差を設けることにより、ダイナミックレンジを拡大する技術が提案されている。
特開2017-163010号公報
 しかしながら、上述した上記特許文献1に開示の技術では、基本的には、同色光を検出する撮像素子100の面積比を大きくすることでしか、ダイナミックレンジを拡大することができないため、ダイナミックレンジの拡大には限界がある。また、ダイナミックレンジを拡大するために、撮像素子に導波路等を設ける等のことも考えられるが、工程が増加するため、撮像装置の製造コストの増加を避けることが難しい。
 そこで、本開示では、製造コストの増加を抑えつつ、ダイナミックレンジを拡大することが可能な撮像装置及び電子機器を提案する。
 本開示によれば、第1の撮像素子及び第2の撮像素子を含む複数の撮像素子からなる単位領域を2次元アレイ配列させることにより構成される画素アレイ部を備える撮像装置であって、前記第1の撮像素子及び前記第2の撮像素子のそれぞれは、所定の波長帯の波長を持つ光を透過するカラーフィルタを有し、前記第1の撮像素子が有する前記カラーフィルタは、前記第2の撮像素子が有する前記カラーフィルタに比べて、屈折率が高い、撮像装置が提供される。
 また、本開示によれば、撮像装置を搭載する電子機器であって、前記撮像装置は、第1の撮像素子及び第2の撮像素子を含む複数の撮像素子からなる単位領域を2次元アレイ配列させることにより構成される画素アレイ部を備え、前記第1の撮像素子及び前記第2の撮像素子のそれぞれは、所定の波長帯の波長を持つ光を透過するカラーフィルタを有し、前記第1の撮像素子が有する前記カラーフィルタは、前記第2の撮像素子が有する前記カラーフィルタに比べて、屈折率が高い、電子機器が提供される。
本開示の実施形態に係る撮像装置10の平面構成例を示す説明図である。 比較例に係る撮像素子100の断面構成例を示す説明図である。 本開示の第1の実施形態に係るカラーフィルタユニット74の平面構成例を示す説明図である。 本開示の第1の実施形態に係るカラーフィルタユニット74の断面構成例を示す説明図である。 本開示の第1の実施形態の変形例1に係るカラーフィルタユニット74の平面構成例を示す説明図である。 本開示の第1の実施形態の変形例1に係るカラーフィルタユニット74の断面構成例を示す説明図である。 本開示の第1の実施形態の変形例2に係るカラーフィルタユニット74の平面構成例を示す説明図である。 本開示の第1の実施形態の変形例2に係るカラーフィルタユニット74の断面構成例を示す説明図である。 本開示の第2の実施形態に係るカラーフィルタユニット74の平面構成例を示す説明図である。 本開示の第2の実施形態に係るカラーフィルタユニット74の断面構成例を示す説明図である。 本開示の第3の実施形態に係るカラーフィルタユニット74の断面構成例を示す説明図である。 本開示の第4の実施形態に係るカラーフィルタユニット74の断面構成例を示す説明図である。 本開示の第5の実施形態に係るカラーフィルタユニット74の平面構成例を示す説明図である。 本開示の第5の実施形態に係るカラーフィルタユニット74の断面構成例を示す説明図である。 本開示の第5の実施形態の変形例1に係るカラーフィルタユニット74の平面構成例を示す説明図である。 本開示の第5の実施形態の変形例1に係るカラーフィルタユニット74の断面構成例を示す説明図である。 本開示の第5の実施形態の変形例2に係るカラーフィルタユニット74の平面構成例を示す説明図である。 本開示の第5の実施形態の変形例2に係るカラーフィルタユニット74の断面構成例を示す説明図である。 本開示の第5の実施形態の変形例3に係るカラーフィルタユニット74の平面構成例を示す説明図である。 本開示の第5の実施形態の変形例3に係るカラーフィルタユニット74の断面構成例を示す説明図である。 本開示の第6の実施形態に係るカラーフィルタユニット74の断面構成例を示す説明図である。 本開示の第6の実施形態に係る撮像素子100の回路図である。 本開示の第7の実施形態に係るカラーフィルタユニット74の断面構成例を示す説明図である。 本開示の第7の実施形態の変形例1に係るカラーフィルタユニット74の断面構成例を示す説明図である。 本開示の第7の実施形態の変形例2に係るカラーフィルタユニット74の断面構成例を示す説明図である。 本開示の第8の実施形態に係るカラーフィルタユニット74の断面構成例を示す説明図である。 本開示の第8の実施形態の変形例1に係るカラーフィルタユニット74の断面構成例を示す説明図である。 本開示の第8の実施形態の変形例2に係るカラーフィルタユニット74の平面構成例を示す説明図である。 本開示の第8の実施形態の変形例2に係るカラーフィルタユニット74の断面構成例を示す説明図である。 本開示の第9の実施形態に係るカラーフィルタユニット74の平面構成例を示す説明図である。 本開示の第9の実施形態に係るカラーフィルタユニット74の断面構成例を示す説明図である。 本開示の第9の実施形態の変形例1に係るカラーフィルタユニット74の断面構成例を示す説明図である。 本開示の第9の実施形態の変形例2に係るカラーフィルタユニット74の断面構成例を示す説明図である。 本開示の第10の実施形態に係るカラーフィルタユニット74の平面構成例を示す説明図(その1)である。 本開示の第10の実施形態に係るカラーフィルタユニット74の平面構成例を示す説明図(その2)である。 本開示の第11の実施形態に係るカラーフィルタユニット74の平面構成例を示す説明図(その1)である。 本開示の第11の実施形態に係るカラーフィルタユニット74の平面構成例を示す説明図(その2)である。 本開示の第11の実施形態に係るカラーフィルタユニット74の平面構成例を示す説明図(その3)である。 カメラの概略的な機能構成の一例を示す説明図である。 スマートフォンの概略的な機能構成の一例を示すブロック図である。 車両制御システムの構成例を示すブロック図である。 センシング領域の例を示す図である。
 以下に、添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。また、本明細書及び図面において、実質的に同一又は類似の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、実質的に同一又は類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
 また、以下の説明で参照される図面は、本開示の一実施形態の説明とその理解を促すための図面であり、わかりやすくするために、図中に示される形状や寸法、比などは実際と異なる場合がある。さらに、図中に示される撮像装置は、以下の説明と公知の技術を参酌して適宜、設計変更することができる。
 なお、説明は以下の順序で行うものとする。
  1. 撮像装置の概略構成
    1.1 撮像装置
    1.2 撮像素子
  2. 本開示の実施形態を創作するに至る背景
  3. 第1の実施形態
    3.1 詳細構成
    3.2 変形例1
    3.3 変形例2
  4. 第2の実施形態
  5. 第3の実施形態
  6. 第4の実施形態
  7. 第5の実施形態
    7.1 詳細構成
    7.2 変形例
  8. 第6の実施形態
  9. 第7の実施形態
    9.1 詳細構成
    9.2 変形例1
    9.3 変形例2
  10. 第8の実施形態
    10.1 詳細構成
    10.2 変形例1
    10.3 変形例2
  11. 第9の実施形態
    11.1 詳細構成
    11.2 変形例1
    11.3 変形例2
  12. 第10の実施形態
  13. 第11の実施形態
  14. まとめ
  15. 適用例
    15.1 カメラへの適用例
    15.2 スマートフォンへの適用例
    15.3 移動装置制御システムへの適用例
  16. 補足
 <<1. 撮像装置の概略構成>>
 <1.1 撮像装置>
 まずは、図1を参照して、本開示の実施形態に係る撮像装置10の概略構成について説明する。図1は、本開示の実施形態に係る撮像装置10の平面構成例を示す説明図である。図1に示すように、本開示の実施形態に係る撮像装置10は、例えば、シリコンからなる半導体基板15上に、複数の撮像素子(画素)100がマトリック状に配置されている画素アレイ部33と、当該画素アレイ部33を取り囲むように設けられた周辺回路部とを有する。さらに、上記撮像装置10には、当該周辺回路部として、カラム信号処理回路部34、垂直駆動回路部35、水平駆動回路部36、出力回路部38、制御回路部40等が含まれる。以下に、撮像装置10の各ブロックの詳細について説明する。
 (画素アレイ部33)
 画素アレイ部33は、半導体基板15上に、行方向及び列方向に沿ってマトリックス状に、2次元配置された複数の撮像素子100を有する。各撮像素子100は、入射された光に対して光電変換を行い、電荷を発生させるフォトダイオード(光電変換部)(図示省略)と、複数の画素トランジスタ(例えばMOS(Metal-Oxide-Semiconductor)トランジスタ)(図示省略)とを有している。そして、当該画素トランジスタは、例えば、転送トランジスタ、選択トランジスタ、リセットトランジスタ、及び、増幅トランジスタの4つのMOSトランジスタを含む。なお、撮像素子100の詳細構造については後述する。
 (カラム信号処理回路部34)
 カラム信号処理回路部34は、撮像素子100の列ごとに配置されており、1行分の撮像素子100から出力される画素信号に対して画素列ごとにノイズ除去等の信号処理を行う。例えば、カラム信号処理回路部34は、画素固有の固定パターンノイズを除去するためにCDS(Correlated Double Sampling:相関2重サンプリング)及びAD(Analog-Digital)変換等の信号処理を行う。
 (垂直駆動回路部35)
 垂直駆動回路部35は、例えばシフトレジスタによって形成され、画素駆動配線42を選択し、選択された画素駆動配線42に撮像素子100を駆動するためのパルスを供給し、行単位で撮像素子100を駆動する。すなわち、垂直駆動回路部35は、画素アレイ部33の各撮像素子100を行単位で順次垂直方向(図1中の上下方向)に選択走査し、各撮像素子100の光電変換部(図示省略)の受光量に応じて生成された信号電荷に基づく画素信号を、垂直信号線44を通して後述するカラム信号処理回路部34に供給する。
 (水平駆動回路部36)
 水平駆動回路部36は、例えばシフトレジスタによって形成され、水平走査パルスを順次出力することによって、上述したカラム信号処理回路部34の各々を順番に選択し、カラム信号処理回路部34の各々から画素信号を水平信号線46に出力させる。
 (出力回路部38)
 出力回路部38は、上述したカラム信号処理回路部34の各々から水平信号線46を通して順次に供給される画素信号に対し、信号処理を行って出力する。出力回路部38は、例えば、バッファリング(buffering)を行う機能部として機能してもよく、もしくは、黒レベル調整、列ばらつき補正、各種デジタル信号処理等の処理を行ってもよい。なお、バッファリングとは、画素信号のやり取りの際に、処理速度や転送速度の差を補うために、一時的に画素信号を保存することをいう。さらに、入出力端子48は、外部装置との間で信号のやり取りを行うための端子である。
 (制御回路部40)
 制御回路部40は、入力クロックと、動作モード等を指令するデータを受け取り、また撮像装置10の内部情報等のデータを出力する。すなわち、制御回路部40は、垂直同期信号、水平同期信号及びマスタクロックに基づいて、垂直駆動回路部35、カラム信号処理回路部34及び水平駆動回路部36等の動作の基準となるクロック信号や制御信号を生成する。そして、制御回路部40は、生成したクロック信号や制御信号を、垂直駆動回路部35、カラム信号処理回路部34及び水平駆動回路部36等に出力する。
 <1.2 撮像素子>
 次に、図2を参照して、比較例に係る撮像素子100の概略構成を説明する。図2は、比較例に係る撮像素子100の断面構成例を示す説明図であり、詳細には、撮像素子100を半導体基板15の厚み方向に沿って切断した断面に対応する。なお、ここで、比較例とは、本発明者が本開示の実施形態をなす前に、検討を重ねていた撮像装置10のことを意味するものとする。また、撮像装置10の撮像素子100の構成は、図2に示すものに限定されるものではなく、他の構成を含み得る。さらに、ここでは、この後に本開示の実施形態を説明するための要素の構成例のみ説明し、他の要素については、説明しない。
 図2に示すように、複数の撮像素子100a、100bは、半導体基板15に互いに隣接するように設けられている。そして、当該撮像素子100a、100bは、オンチップレンズ150と、カラーフィルタ154と、遮光部156と、層間絶縁膜180とを主に有する。さらに、当該撮像素子100a、100bは、半導体基板15内に設けられた光電変換部120を有する。以下、撮像素子100a、100bの積層構造について説明するが、以下の説明においては、基本的には、図2中の上側から下側に向かう順に従って説明する。
 まずは、図2に示すように、撮像素子100a、100bのぞれぞれは、半導体基板15の光入射面(裏面)15bの上方に設けられ、入射光を後述する光電変換部120に集光する1つのオンチップレンズ150を有する。
 そして、オンチップレンズ150により集光された入射光は、オンチップレンズ150の下方に設けられたカラーフィルタ154を介して、半導体基板15内の光電変換部120に入射する。当該カラーフィルタ154は、例えば、赤色の波長成分(例えば波長620nm~750nm)を持つ光を透過するカラーフィルタ、緑色の波長成分(例えば波長495nm~570nm)を持つ光を透過するカラーフィルタ、青色の波長成分(例えば波長450nm~495nm)の光を透過するカラーフィルタ等であることができる。当該カラーフィルタ154は、例えば、シリコーン等の透明バインダ中に顔料又は染料が分散させた材料から形成することができる。なお、本開示の実施形態に係るカラーフィルタ154の詳細については、後述する。
 また、カラーフィルタ154を取り囲むように、半導体基板15の光入射面(裏面)15b上に、遮光部156が設けられている。当該遮光部156は、隣り合う撮像素子100a、100bの間に設けられることにより、隣り合う撮像素子100a、100bの間における遮光を行うことができる。さらに、図2に示すように、半導体基板15とカラーフィルタ154との間には、層間絶縁膜180が設けられる。
 また、第2の導電型(例えばp型)を持つ半導体基板15内に、第1の導電型(例えばn型)の不純物を持つ光電変換部120が撮像素子100a、100bごとに設けられている。光電変換部120は、上述したカラーフィルタ154を介して入射された、赤色の波長成分、緑色の波長成分、青色の波長成分等を有する光を吸収して、電荷を生成することができる。
 また、半導体基板15内には、撮像素子100a、100bを取り囲み、隣接する撮像素子100a、100b同士を物理的に分離する、素子分離壁(図示省略)が設けられていてもよい。当該素子分離壁は、例えば、DTI(Deep Trench Isolation)からなる。当該DTIは、半導体基板15の光入射面(裏面)15b側から、半導体基板15の厚み方向に沿って、当該半導体基板15の途中まで、又は、半導体基板15の全部を貫くトレンチを形成し、当該トレンチ内に、酸化膜や金属膜からなる材料を埋め込むことにより形成される。
 さらに、光電変換部120で生成された電荷は、半導体基板15の光入射面(裏面)15bとは反対側に位置する表面15a上に設けられた転送ゲート(図示省略)を介して、半導体基板15内に設けられた第1の導電型(例えばn型)を持つ半導体領域に設けられたフローティングディフュージョン部(図示省略)に転送される。当該フローティングディフュージョン部に転送された電荷は、最終的には撮像信号として撮像装置10から出力される。
 <<2. 本開示の実施形態を創作するに至る背景>>
 次に、本開示の実施形態を説明する前に、本発明者が本開示の実施形態を創作するに至る背景について、図2を参照して説明する。
 先に説明したように、撮像装置10に対しては、階調性を持たせて撮影可能な被写体の照度範囲、すなわちダイナミックレンジをより拡大することが求められている。そこで、図2に示すように、同色光を検出する撮像素子100a、100bの、平面視(具体的には、半導体基板15の光入射面15bの上方から見た場合)における面積を変えて、意図的に撮像素子100a、100b間で感度差を生じさせて、ダイナミックレンジを拡大する技術が提案されている。
 詳細には、低照度の被写体を撮影する場合には、撮像素子100の感度が高いことが望ましく、高照度の被写体を撮影する場合には、撮像素子100によって生じた電荷量によりフローティングディフュージョン部(図示省略)が飽和しにくいことが望ましい。そこで、図2に示される比較例に係る撮像装置10においては、平面視における面積が撮像素子100bに比べて大きな撮像素子100aを設けている。撮像素子100aは、平面視における面積が大きいことから、発生する電荷量が多くなり、低照度の被写体であっても撮影可能な撮像素子である。加えて、当該撮像装置10においては、平面視における面積が撮像素子100aに比べて小さな撮像素子100bを設けている。撮像素子100bは、平面視における面積が小さいことから、発生する電荷量が少なくなり、高照度の被写体であってもフローティングディフュージョン部(図示省略)が飽和しにくい。このようにして、比較例に係る撮像装置10は、2つのタイプの撮像素子100a、100bを有することにより、ダイナミックレンジが拡大し、言い換えると、階調性を備えた画像を広い照度範囲に渡って撮影することが可能となる。
 しかしながら、近年、撮像装置10に対して、ダイナミックレンジをより拡大することが求められている。しかしながら、上述した比較例に係る撮像装置10では、基本的には、撮像素子100a、100bの面積比を大きくすることでしか、ダイナミックレンジを拡大することができないため、撮像素子100の微細化が進んだ場合には、ダイナミックレンジの拡大には限界がある。また、ダイナミックレンジを拡大するために、撮像素子100に導波路等を設けて、特定の撮像素子100の感度を向上させることが提案されているが、工程が増加するため、撮像装置10の製造コストの増加を避けることが難しい。
 そこで、本発明者は、このような状況を鑑みて、撮像装置10の製造コストの増加を抑えつつ、ダイナミックレンジを拡大することが可能な本開示の実施形態を創作するに至った。以下、本開示の実施形態の詳細を順次説明する。
 <<3. 第1の実施形態>>
 <3.1 詳細構成>
 まずは、図3A及び図3Bを参照して、本開示の第1の実施形態の詳細を説明する。図3Aは、本実施形態に係るカラーフィルタユニット74の平面構成例を示す説明図である。また、図3Bは、本実施形態に係るカラーフィルタユニット74の断面構成例を示す説明図であり、詳細には、図3Aに示すA-A´線で切断した場合の断面図である。
 本実施形態においても、先に説明したように、カラーフィルタ154は、1つの撮像素子100に対応して設けられており、且つ、複数の撮像素子100は、画素アレイ部33において所定の規則に従って配列している。従って、本実施形態においては、所定の数のカラーフィルタ154は、規則的に配列し、1つのカラーフィルタユニット(単位領域)74を形成している。さらに、複数のカラーフィルタユニット(単位領域)74が2次元アレイ配列することにより、全体として、画素アレイ部33の全体に対応するカラーフィルタアレイ(図示省略)を形成している。また、カラーフィルタ154のそれぞれは、先に説明したように、特定の波長の光(例えば、赤色光、緑色光、青色光等)を透過し、透過した光を撮像素子100の光電変換部120に入射させることができる。なお、本明細書においては、カラーフィルタ154を透過する光の波長(色)によって、当該カラーフィルタ154の種別を区別するとともに、当該カラーフィルタ154に対応する撮像素子100の種別も区別するものとする。
 詳細には、本実施形態においては、図3Aに示すように、各撮像素子100a、100bは、平面視において多角形状(詳細には、四角形及び八角形)の形状を持ち、それぞれ円形状のオンチップレンズを持つ。所定の数の(図3Aの例では、8個)撮像素子100a、100bに対応するカラーフィルタ154が、規則的に配列し、カラーフィルタユニット(単位領域)74を形成している。また、図3Aに示す例では、各撮像素子100a、100bは、所定の波長帯の波長を持つ光を透過する同種(同色)のカラーフィルタ154を持つものとする。
 さらに、本実施形態においては、撮像素子(第1の撮像素子)100aの平面視における面積は、撮像素子(第2の撮像素子)100bの平面視における面積に比べて、大きい。加えて、本実施形態においては、撮像素子100aのカラーフィルタ154は、撮像素子100bのカラーフィルタ154に比べて、屈折率が高い。なお、図3A、並びに本明細書に添付の図面においては、高屈折率のカラーフィルタ154には「Hn」を付し、低屈折率のカラーフィルタ154には「Ln」を付すものとする。
 光は、屈折率が低い方から高い方への進む性質があることから、隣接する2つのカラーフィルタ154の屈折率の高低の関係により、カラーフィルタ154それぞれへの光が導かれやすさが決定する。すなわち、高屈折率のカラーフィルタ154を持つ撮像素子100aには、光が導かれやすくなり、低屈折率のカラーフィルタ154を持つ撮像素子100bには、光が導かれ難くなる。そのため、本実施形態によれば、撮像素子100aの感度がより高まり、撮像素子100bの感度はより低くなる。その結果、本実施形態においては、撮像素子100a、100bの面積比により生じる感度比よりも大きな感度比が撮像素子100a、100b間で生じるため、撮像装置10のダイナミックレンジを拡大することができる。
 また、図3Bに示すように、本実施形態においても、撮像素子100a、100bは、半導体基板15に互いに隣接するように設けられている。そして、当該撮像素子100a、100bは、オンチップレンズ150と、カラーフィルタ154と、遮光部156と、層間絶縁膜180とを主に有する。さらに、当該撮像素子100a、100bは、半導体基板15内に設けられた光電変換部120をさらに有する。
 詳細には、図3Bに示すように、撮像素子100a、100bのそれぞれは、半導体基板15の光入射面(裏面)15bの上方に設けられ、入射光を光電変換部120に集光する1つのオンチップレンズ150を有する。
 そして、本実施形態においても、オンチップレンズ150により集光された入射光は、オンチップレンズ150の下方に設けられたカラーフィルタ154を介して光電変換部120に入射する。当該カラーフィルタ154は、例えば、シリコーン等の透明バインダ中に顔料又は染料が分散させた材料から形成することができる。
 また、本実施形態においては、先に説明したように、撮像素子100aのカラーフィルタ154は、撮像素子100bのカラーフィルタ154に比べて、屈折率が高い。カラーフィルタ154の屈折率は、感光性粒子を含ませたり、当該感光性粒子の含有量を調整したりすることにより、調整することが可能である。例えば、本実施形態においては、撮像素子100aのカラーフィルタ154に、感光性粒子を含ませ、撮像素子100bのカラーフィルタ154に感光性粒子を含ませないようにする。もしくは、本実施形態においては、例えば、撮像素子100bのカラーフィルタ154の感光性粒子の濃度を、撮像素子100aのカラーフィルタ154の感光性粒子の濃度に比べて低くしてもよい。より具体的には、例えば、撮像素子100aのカラーフィルタ154に、感光性粒子として酸化チタン(TiO)粒子や酸化亜鉛(ZnO)粒子を含ませることで、カラーフィルタ154の屈折率を1.7~2.2程度とすることができる。
 上記感光性粒子は、酸化チタン粒子、酸化ジルコニウム(ZrO)粒子、酸化亜鉛粒子及びナノダイヤモンド粒子からなる群から選択される少なくとも1つの粒子から形成することができる。また、例えば、直径数0nmレベルの局所領域の最表面の金属成分の量を計測することができるオージェ電子分光法(AES)や、直径数nmレベルの局所領域の金属成分の量を計測することができるエネルギー分散型X線分析(EDX)を備えたTEM(透過電子顕微鏡)装置により、微小なカラーフィルタ154に含まれる感光性粒子の量の計測を行うことができる。
 また、本実施形態においても、カラーフィルタ154を取り囲むように、半導体基板15の光入射面(裏面)15b上に、遮光部156が設けられている。当該遮光部156は、隣り合う撮像素子100a、100bの間に設けられることにより、隣り合う撮像素子100a、100bの間における遮光を行う。さらに、本実施形態においても、半導体基板15とカラーフィルタ154との間には、層間絶縁膜180が設けられる。
 さらに、本実施形態においても、第2の導電型を持つ半導体基板15内に、第2の導電型と異なる第1の導電型の不純物を持つ光電変換部120が、撮像素子100a、100bごとに設けられている。光電変換部120は、上述したカラーフィルタ154を介して入射された光を吸収して、電荷を生成することができる。
 また、半導体基板15内には、撮像素子100a、100bを取り囲み、隣接する撮像素子100a、100b同士を物理的に分離する、素子分離壁(図示省略)が設けられていてもよい。当該素子分離壁は、例えば、DTIからなる。当該DTIは、半導体基板15の光入射面(裏面)15b側から、半導体基板15の厚み方向に沿って、当該半導体基板15の途中まで、又は、半導体基板15の全部を貫くトレンチを形成し、当該トレンチ内に、酸化膜や金属膜からなる材料を埋め込むことにより形成される。
 さらに、本実施形態においても、光電変換部120で生成された電荷は、半導体基板15の光入射面15bとは反対側に位置する表面15a上に設けられた転送ゲート(図示省略)を介して、半導体基板15内に設けられた第1の導電型を持つ半導体領域に設けられたフローティングディフュージョン部(図示省略)に転送される。当該フローティングディフュージョン部に転送された電荷は、最終的には撮像信号として撮像装置10から出力される。
 以上のように、本実施形態においては、撮像素子100aのカラーフィルタ154を、撮像素子100bのカラーフィルタ154に比べて、屈折率が高くすることにより、高屈折率のカラーフィルタ154を持つ撮像素子100aには、光が導かれやすくなり、低屈折率のカラーフィルタ154を持つ撮像素子100bには、光が導かれ難くなる。そのため、本実施形態によれば、撮像素子100aの感度がより高まり、撮像素子100bの感度はより低くなる。その結果、本実施形態においては、撮像素子100a、100bの面積比により生じる感度比よりも大きな感度比が撮像素子100a、100b間で生じるため、撮像装置10のダイナミックレンジを拡大することができる。
 <3.2 変形例1>
 次に、図4A及び図4Bを参照して、本実施形態の変形例1の詳細を説明する。図4Aは、本変形例に係るカラーフィルタユニット74の平面構成例を示す説明図である。また、図4Bは、本変形例に係るカラーフィルタユニット74の断面構成例を示す説明図であり、詳細には、図4Aに示すB-B´線で切断した場合の断面図である。
 先に説明した本実施形態においては、平面視において異なる面積を持つ撮像素子100a、100bにおいて、感度比をさらに大きくさせるために、異なる屈折率を持つカラーフィルタ154を用いていた。一方、本変形例においては、同面積(サイズ)の撮像素子100に対して、異なる屈折率を持つカラーフィルタ154を適用することで、撮像素子100間に感度比を作り出し、撮像装置10のダイナミックレンジを拡大する。
 詳細には、本変形例においては、図4Aに示すように、各撮像素子100は、平面視において正方形状の形状を持ち、円形状のオンチップレンズを持つ。さらに、図4Aに示すように、本変形例においては、カラーフィルタ154が2行2列で配列することで構成されるカラーフィルタユニット(単位領域)74が構成される。なお、本開示においては、カラーフィルタユニット74は、図4Aに示すような2行2列に配列するカラーフィルタ154で構成されることに限定されるものではない。
 さらに、本変形例においては、撮像素子100は、図4A及び図4Bに示すように、異なる屈折率を持つカラーフィルタ154を有する(図4A及び図4Bにおいては、高屈折率のカラーフィルタ154には「Hn」を付されており、低屈折率のカラーフィルタ154には「Ln」を付されている)。なお、本変形例では、各撮像素子100は、所定の波長帯の波長を持つ光を透過する同種(同色)のカラーフィルタ154を持つものとする。
 以上のように、本変形例によれば、一部の撮像素子100のカラーフィルタ154を、残りの撮像素子100のカラーフィルタ154に比べて、屈折率が高くすることにより、高屈折率のカラーフィルタ154を持つ撮像素子100には、光が導かれやすくなり、低屈折率のカラーフィルタ154を持つ撮像素子100には、光が導かれ難くなる。そのため、本実施形態によれば、平面視において同面積の撮像素子100であっても、撮像素子100間で感度比が生じるため、撮像装置10のダイナミックレンジを拡大することができる。
 <3.3 変形例2>
 次に、図5A及び図5Bを参照して、本実施形態の変形例2の詳細を説明する。図5Aは、本変形例に係るカラーフィルタユニット74の平面構成例を示す説明図である。また、図5Bは、本変形例に係るカラーフィルタユニット74の断面構成例を示す説明図であり、詳細には、図5Aに示すC-C´線で切断した場合の断面図である。
 詳細には、本変形例においては、図5Aに示すように、上述した変形例1の各撮像素子100は、2行2列に配列する4つの微細な撮像素子100から構成されてもよい。なお、本開示においては、上述した変形例1の各撮像素子100は、所定の規則に従って配列する複数の微細な撮像素子100から構成される限りにおいて、図5A及び図5Bに示す2行2列に配列する4つの微細な撮像素子100から構成されることに限定されるものではない。
 <<4. 第2の実施形態>>
 次に、図6A及び図6Bを参照して、本開示の第2の実施形態の詳細を説明する。図6Aは、本実施形態に係るカラーフィルタユニット74の平面構成例を示す説明図である。また、図6Bは、本実施形態に係るカラーフィルタユニット74の断面構成例を示す説明図であり、詳細には、図6Aに示すA-A´線で切断した場合の断面図である。
 本実施形態においては、図6Aに示すように、各撮像素子100a、100bは、第1の実施形態と同様に、各撮像素子100a、100bは、平面視において多角形状(詳細には、四角形及び八角形)の形状を持ち、それぞれ円形状のオンチップレンズを持つ。しかしながら、本実施形態においては、第1の実施形態と異なり、図4Aに示すように、各撮像素子100a、100bは、異なる所定の波長帯の波長を持つ光を透過する異なる種(色)のカラーフィルタ154を持つ。より具体的には、カラーフィルタ154は、例えば、赤色の波長成分を持つ光を透過するカラーフィルタ、緑色の波長成分を持つ光を透過するカラーフィルタ、青色の波長成分の光を透過するカラーフィルタである。すなわち、本実施形態は、第1の実施形態を、赤色光、緑色光及び青色光を検出可能なRGB対応の撮像装置に変形したものといえる。なお、本明細書に添付の図においては、赤色の波長成分をもつ光を透過するカラーフィルタ154は「R」で示され、緑色の波長成分をもつ光を透過するカラーフィルタ154は「G」で示され、青色の波長成分をもつ光を透過するカラーフィルタ154は「B」で示される。
 さらに、本実施形態においても、第1の実施形態と同様に、同種(色)のカラーフィルタ154を持つ同種の撮像素子100a、100bにおいて、撮像素子(第1の撮像素子)100aは、撮像素子(第2の撮像素子)100bに比べて、面積が広い。加えて、本実施形態においても、撮像素子100aのカラーフィルタ154は、撮像素子100bのカラーフィルタ154に比べて、屈折率が高い。
 従って、本実施形態においては、同種の撮像素子100a、100bにおいて、撮像素子100aのカラーフィルタ154を、撮像素子100bのカラーフィルタ154に比べて、屈折率が高くすることにより、高屈折率のカラーフィルタ154を持つ撮像素子100aには、光が導かれやすくなり、低屈折率のカラーフィルタ154を持つ撮像素子100bには、光が導かれ難くなる。そのため、本実施形態によれば、撮像素子100aの感度がより高まり、撮像素子100の感度はより低くなる。その結果、本実施形態においては、同種の撮像素子100a、100bの面積比により生じる感度比よりも大きな感度比が当該撮像素子100a、100b間で生じるため、撮像装置10のダイナミックレンジを拡大することができる。
 <<5. 第3の実施形態>>
 次に、図7を参照して、本開示の第3の実施形態の詳細を説明する。図7は、本実施形態に係るカラーフィルタユニット74の断面構成例を示す説明図であり、詳細には、図3A又は図6Aに示すA-A´線で切断した場合の断面図である。本実施形態は、上述した第1及び第2の実施形態に係る構成において、半導体基板15の光入射面15bに凹凸を設けた実施形態である。
 詳細には、本実施形態においては、撮像素子100a、100bは、第1及び第2の実施形態と同様に、例えば、第2の導電型を持つ半導体基板15内に第2の導電型と異なる第1の導電型の不純物を持つ光電変換部120(図7では図示省略)を持つ。さらに、本実施形態においては、図7に示すように、撮像素子100a、100bのそれぞれの光電変換部120の上方に位置する半導体基板15の光入射面15b側の面は、凹凸170を有する。本実施形態においては、光入射面15b側に凹凸170を設けることにより、半導体基板15の光入射面15bでの光の反射を抑制し、光路長を伸ばし光が光電変換部120へより到達できるようにする。具体的には、図7の上段では、半導体基板15の光入射面15b側の面には鋭角状の凹凸170が設けられ、図7の下段では、半導体基板15の光入射面15b側の面に矩形状の凹凸170が設けられている。さらに、本実施形態においては、半導体基板15とカラーフィルタ154との間には、層間絶縁膜180が設けられてもよい。なお、図7及び図7以降の図(凹凸170が図示されている図)においては、便宜上、凹凸170を覆う層間絶縁膜180を含めて半導体基板15とし、層間絶縁膜180に覆われた最表面を光入射面15bとしている。
 以上のように、本実施形態においては、光入射面15b側に凹凸170を設けることにより、半導体基板15の光入射面15bでの光の反射を抑制し、光路長が伸びるため、光が光電変換部120へより到達できるようになる。その結果、本実施形態によれば、光電変換部120に光が到達しやすくなることから、撮像素子100a、100bの光電変換効率が上昇する。加えて、本実施形態によれば、反射により隣接する撮像素子100a、100bへ光が進むことが抑制されることから、混色の発生を抑制することができる。
 <<6. 第4の実施形態>>
 次に、図8を参照して、本開示の第4の実施形態の詳細を説明する。図8は、本実施形態に係るカラーフィルタユニット74の断面構成例を示す説明図であり、詳細には、図3A又は図6Aに示すA-A´線で切断した場合の断面図である。本実施形態は、第1及び第2の実施形態に係る構成において、撮像素子100aの半導体基板15の光入射面15b側の面にのみ凹凸170を設けた例である。
 詳細には、本実施形態によれば、図8に示すように、撮像素子100aの光電変換部120の上方に位置する半導体基板15の光入射面15b側の面は、凹凸170を有する。一方、撮像素子100bの光電変換部120の上方に位置する半導体基板15の光入射面15b側の面は、平坦である。本実施形態においては、撮像素子100aの光入射面15b側にのみ凹凸170を設けることにより、半導体基板15の光入射面15bでの光の反射を抑制し、光路長を伸ばし、光が光電変換部120へより到達できるようにする。具体的には、図8の上段では、撮像素子100aの半導体基板15の光入射面15b側の面にのみ、鋭角状の凹凸170が設けられ、図8の下段では、撮像素子100aの半導体基板15の光入射面15b側の面のみに矩形状の凹凸170が設けられている。
 以上のように、本実施形態においては、高屈折率のカラーフィルタ154を持つ撮像素子100aの半導体基板15の光入射面15b側の面にのみ凹凸170を設けることにより、半導体基板15の光入射面15bでの光の反射を抑制し、光路長が伸びるため光が光電変換部120へより到達できるようになる。従って、本実施形態によれば、高屈折率のカラーフィルタ154を持つ撮像素子100aの光電変換部120に光が到達しやすくなることから、撮像素子100aの感度がより高まる。その結果、本実施形態においては、撮像素子100a、100bの間の感度比がより大きくなるため、撮像装置10のダイナミックレンジをより拡大することができる。
 <<7. 第5の実施形態>>
 <7.1 詳細構成>
 まずは、図9A及び図9Bを参照して、本開示の第5の実施形態の詳細を説明する。図9Aは、本実施形態に係るカラーフィルタユニット74の平面構成例を示す説明図である。また、図9Bは、本実施形態に係るカラーフィルタユニット74の断面構成例を示す説明図であり、詳細には、図9Aに示すD-D´線で切断した場合の断面図である。
 人間の目で見た際の色により近い色を再現できるようにするためには、撮像装置10は、緑色光をより精度よく検知することが好ましい。従って、緑色光を透過するカラーフィルタ154に対応する撮像素子100の感度を向上させることが求められている。さらに、従来技術に係る撮像装置10においては、カラーフィルタ154の屈折率についての詳細な検討がなされていないことから、緑色光を透過するカラーフィルタ154に比べて屈折率の高い赤色光を透過するカラーフィルタ154が用いられることが多い。そのため、従来技術に係る撮像装置10においては、赤色光を検出する撮像素子100に比べて、緑色光を検出する撮像素子100の感度が悪い。
 そこで、本実施形態においては、ベイヤー配列するカラーフィルタ154からなるカラーフィルタユニット74での、緑色光を透過するカラーフィルタ154を持つ撮像素子100の感度を、高屈折率を持つカラーフィルタ154を適用することにより、向上させる。
 詳細には、図9Aに示すように、カラーフィルタユニット74は、ベイヤー配列に従って2次元状に2行2列で配列する複数のカラーフィルタ154によって構成される。ベイヤー配列とは、緑色の波長成分をもつ光を透過するカラーフィルタ154が市松状に並び、残りの部分に、赤色の波長成分をもつ光を透過するカラーフィルタ154と、青色の波長成分をもつ光を透過するカラーフィルタ154とが一列ごとに交互に並ぶような、配列パターンである。より具体的には、図9Aの例においては、カラーフィルタユニット74の左上及び右下には、緑色光を透過するカラーフィルタ154が配置され、カラーフィルタユニット74の右上には、赤色光を透過するカラーフィルタ154が配置される。さらに、図9Aの例においては、カラーフィルタユニット74の左下には、青色光を透過するカラーフィルタ154が配置されている。
 さらに、本実施形態においては、緑色の波長成分をもつ光を透過するカラーフィルタ154を、他の色の波長成分をもつ光を透過するカラーフィルタ154に比べて、屈折率を高くする(図9A及び図9Bにおいては、高屈折率のカラーフィルタ154には「Hn」を付されており、低屈折率のカラーフィルタ154には「Ln」を付されている)。その結果、本実施形態においては、緑色光を透過するカラーフィルタ154を持つ撮像素子100の感度が向上する。
 <7.2 変形例>
 次に、図10Aから図12Bを参照して、本実施形態の変形例の詳細を説明する。図10Aは、本変形例1に係るカラーフィルタユニット74の平面構成例を示す説明図であり、図10Bは、本変形例1に係るカラーフィルタユニット74の断面構成例を示す説明図であり、詳細には、図10Aに示すE-E´線で切断した場合の断面図である。また、図11Aは、本変形例2に係るカラーフィルタユニット74の平面構成例を示す説明図であり、図11Bは、本変形例2に係るカラーフィルタユニット74の断面構成例を示す説明図であり、詳細には、図11Aに示すF-F´線で切断した場合の断面図である。さらに、図12Aは、本変形例3に係るカラーフィルタユニット74の平面構成例を示す説明図であり、図12Bは、本変形例3に係るカラーフィルタユニット74の断面構成例を示す説明図であり、詳細には、図12Aに示すG-G´線で切断した場合の断面図である。
 先に説明した本実施形態においては、異種の撮像素子100において、特定の撮像素子100の感度を向上させるために、高い屈折率を持つカラーフィルタ154を用いていた。それに対して、本変形例においては、異なる屈折率を持つカラーフィルタ154を適用することで、同種の撮像素子100間で感度比を作り出し、撮像装置10のダイナミックレンジを拡大する。さらに、本変形例においては、2次元状に2行2列で配列する複数のカラーフィルタ154によって構成されるカラーフィルタユニット74において、高屈折率のカラーフィルタ154と低屈折率のカラーフィルタ154との配列のバリエーションの例を説明する。
 より具体的には、図10Aの例においては、カラーフィルタユニット74の左上及び右下には、高屈折率のカラーフィルタ154が配置され、カラーフィルタユニット74の右上及び左下には、低屈折率のカラーフィルタ154が配置される。
 また、図11Aの例においては、カラーフィルタユニット74の左上、右上及び左下には、低屈折率のカラーフィルタ154が配置され、カラーフィルタユニット74の右下には、高屈折率のカラーフィルタ154が配置される。
 また、図12Aの例においては、カラーフィルタユニット74の左上、右上及び右下には、高屈折率のカラーフィルタ154が配置され、カラーフィルタユニット74の左下には、低屈折率のカラーフィルタ154が配置される。
 なお、本変形例においては、カラーフィルタユニット74での高屈折率のカラーフィルタ154と低屈折率のカラーフィルタ154との配列のバリエーションは、図10Aから図12Bに示す例に限定されるものではない。
 <<8. 第6の実施形態>>
 次に、図13A及び図13Bを参照して、本開示の第6の実施形態の詳細を説明する。図13Aは、本実施形態に係るカラーフィルタユニット74の断面構成例を示す説明図であり、図13Bは、本実施形態に係る撮像素子100の回路図である。
 本実施形態においては、第5の実施形態の変形例3において、高屈折率のカラーフィルタ154を有する撮像素子100を同ポテンシャルの撮像素子として構成する。詳細には、本実施形態においては、図13A及び図13Bに示すように、高屈折率のカラーフィルタ154(図13A及び図13Bにおいては、区別のため、Hn、Hn、Hnと表記する)を有する撮像素子100は、1つの光電変換部120を共有し、1つのフローティングディフュージョン部(図示省略)を共有する。従って、本実施形態によれば、撮像素子100は、低照度の被写体を撮影する場合や、短い時間の露光であっても、電荷を多量に発生することができる。そのため、本実施形態によれば、撮像素子100は、ノイズの悪影響を受けにくく、その感度が高くなる。
 <<9. 第7の実施形態>>
 <9.1 詳細構成>
 次に、図14を参照して、本開示の第7の実施形態の詳細を説明する。図14は、本実施形態に係るカラーフィルタユニット74の断面構成例を示す説明図であり、詳細には、図10Aに示すE-E´線で切断した場合の断面図である。本実施形態においては、第5の実施形態の変形例1に係る構成に、凹凸170を持つ光入射面15bを適用する。
 詳細には、本実施形態においては、図14に示すように、撮像素子100の光電変換部120の上方に位置する半導体基板15の光入射面15b側の面は、凹凸170を有する。
 以上のように、本実施形態においては、光入射面15b側に凹凸170を設けることにより、半導体基板15の光入射面15bでの光の反射を抑制し、光路長が伸びるため光が光電変換部120へより到達できるようになる。その結果、本実施形態によれば、光電変換部120に光が到達しやすくなることから、撮像素子100の光電変換効率が上昇する。加えて、本実施形態によれば、反射により隣接する撮像素子100へ光が進むことが抑制されることから、混色の発生を抑制することができる。
 <9.2 変形例1>
 次に、図15を参照して、本開示の第7の実施形態の変形例1の詳細を説明する。図15は、本実施形態に係るカラーフィルタユニット74の断面構成例を示す説明図であり、詳細には、図11Aに示すF-F´線で切断した場合の断面図である。すなわち、本変形例は、図15に示すように、第5の実施形態の変形例2に係る構成に、凹凸170を持つ光入射面15bを適用した例である。
 <9.3 変形例2>
 次に、図16を参照して、本開示の第7の実施形態の変形例2の詳細を説明する。図16は、本実施形態に係るカラーフィルタユニット74の断面構成例を示す説明図であり、詳細には、図12Aに示すG-G´線で切断した場合の断面図である。すなわち、本変形例は、図16に示すように、第5の実施形態の変形例3に係る構成に、凹凸170を持つ光入射面15bを適用した例である。
 <<10. 第8の実施形態>>
 <10.1 詳細構成>
 次に、図17を参照して、本開示の第8の実施形態の詳細を説明する。図17は、本実施形態に係るカラーフィルタユニット74の断面構成例を示す説明図であり、詳細には、図10Aに示すE-E´線で切断した場合の断面図である。本実施形態は、第5の実施形態の変形例1に係る構成において、高屈折率のカラーフィルタ154を持つ撮像素子100の光入射面15bにのみ凹凸170を設けている。
 詳細には、図17に示すように、高屈折率のカラーフィルタ154を持つ撮像素子100は、光電変換部120の上方に位置する半導体基板15の光入射面15b側の面は、凹凸170を有する。一方、低屈折率のカラーフィルタ154を持つ撮像素子100は、光電変換部120の上方に位置する半導体基板15の光入射面15b側の面は、平坦である。
 以上のように、本実施形態においては、高屈折率のカラーフィルタ154を持つ撮像素子100の光入射面15bにのみ凹凸170を設けることにより、半導体基板15の光入射面15bでの光の反射を抑制し、光路長が伸びるため光が光電変換部120へより到達できるようになる。従って、本実施形態によれば、高屈折率のカラーフィルタ154を持つ撮像素子100の光電変換部120に光が到達しやすくなることから、当該撮像素子100の感度がより高まる。その結果、本実施形態においては、撮像素子100の間の感度比がより大きくなるため、撮像装置10のダイナミックレンジをより拡大することができる。
 <10.2 変形例1>
 次に、図18を参照して、本開示の第8の実施形態の変形例1の詳細を説明する。図18は、本実施形態に係るカラーフィルタユニット74の断面構成例を示す説明図であり、詳細には、図11Aに示すF-F´線で切断した場合の断面図である。本変形例は、図18に示すように、第5の実施形態の変形例2に係る構成において、高屈折率のカラーフィルタ154を持つ撮像素子100の半導体基板15の光入射面15b側の面にのみ凹凸170を設けている。
 <10.3 変形例2>
 次に、図19A及び図19Bを参照して、本実施形態の変形例2の詳細を説明する。図19Aは、本変形例に係るカラーフィルタユニット74の平面構成例を示す説明図であり、図19Bは、本変形例に係るカラーフィルタユニット74の断面構成例を示す説明図であり、詳細には、図19Aに示すH-H´線で切断した場合の断面図である。本変形例は、図19A及び図19Bに示すように、第5の実施形態の変形例3に係る構成において、高屈折率のカラーフィルタ154を持つ撮像素子100の半導体基板15の光入射面15b側の面にのみ凹凸170を設けている。
 <<11. 第9の実施形態>>
 <11.1 詳細構成>
 次に、図20A及び図20Bを参照して、本開示の第9の実施形態の詳細を説明する。図20Aは、本実施形態に係るカラーフィルタユニット74の平面構成例を示す説明図であり、図20Bは、本実施形態に係るカラーフィルタユニット74の断面構成例を示す説明図であり、詳細には、図20Aに示すJ-J´線で切断した場合の断面図である。
 これまで説明した実施形態においては、カラーフィルタ154の屈折率は、高屈折率及び低屈折率の2段階であったが、本開示においては、これに限定されるものではなく、カラーフィルタ154の屈折率を、複数の段階にしてもよい。このようにすることで、同種の撮像素子100であっても、異なる屈折率を持つカラーフィルタ154を適用することで、撮像素子100間で感度比を作り出し、撮像装置10のダイナミックレンジを拡大することができる。
 詳細には、本実施形態においては、カラーフィルタ154の感光性粒子の含有量を調整することにより、高屈折率、中屈折率、低屈折率というように、カラーフィルタ154の屈折率をHn、Mn、Ln(Hn>Mn>Ln)の3段階にしてもよい。詳細には、本実施形態においては、図20A及び図20Bに示すように、高屈折率のカラーフィルタ154を持つ撮像素子100と、中屈折率のカラーフィルタ154(図20A及び図20B中においては、「Mn」と表記する)を持つ撮像素子(第3の撮像素子)100と、低屈折率のカラーフィルタ154を持つ撮像素子100とが設けられている。
 なお、本実施形態においては、カラーフィルタ154の屈折率は2段階又は3段階に限定されるものではなく、4以上であってもよく、すなわち複数段階であればよい。
 <11.2 変形例1>
 次に、図21を参照して、本開示の第9の実施形態の変形例1の詳細を説明する。図21は、本変形例に係るカラーフィルタユニット74の断面構成例を示す説明図であり、詳細には、図20Aに示すJ-J´線で切断した場合の断面図である。すなわち、本変形例は、図21に示すように、第9の実施形態に係る構成に、凹凸170を持つ光入射面15bを適用する。
 <11.3 変形例2>
 次に、図22を参照して、本開示の第9の実施形態の変形例2の詳細を説明する。図22は、本変形例に係るカラーフィルタユニット74の断面構成例を示す説明図であり、詳細には、図20Aに示すJ-J´線で切断した場合の断面図である。本変形例は、図22に示すように、第9の実施形態に係る構成において、高屈折率のカラーフィルタ154を持つ撮像素子100の半導体基板15の光入射面15b側の面にのみ凹凸170を設けている。なお、本変形例においては、さらに、中屈折率のカラーフィルタ154を持つ撮像素子100の半導体基板15の光入射面15b側の面に凹凸170を設けてもよい。
 <<12. 第10の実施形態>>
 次に、図23及び図24を参照して、本開示の第10の実施形態の詳細を説明する。図23及び図24は、本実施形態に係るカラーフィルタユニット74の平面構成例を示す説明図である。
 先に説明した第5の実施形態においては、カラーフィルタユニット74は、ベイヤー配列に従って2次元状に2行2列で配列する複数のカラーフィルタ154によって構成されていた。しかしながら、本開示においては、カラーフィルタユニット74は、ベイヤー配列に従って2次元状に2行2列で配列する複数のカラーフィルタ154によって構成されることに限定されるものではない。
 詳細には、本実施形態においては、図23、24に示すように、カラーフィルタユニット74は、2次元状に4行4列で配列する複数のカラーフィルタ154によって構成される。また、本実施形態においては、カラーフィルタ154は、例えば、赤色の波長成分を持つ光を透過するカラーフィルタ、緑色の波長成分を持つ光を透過するカラーフィルタ、青色の波長成分の光を透過するカラーフィルタである。さらに、本実施形態においても、同種のカラーフィルタ154を持つ同種の撮像素子100において、異なる屈折率を持つカラーフィルタ154を有する(図23及び図24においては、高屈折率のカラーフィルタ154には「Hn」を付されており、低屈折率のカラーフィルタ154には「Ln」を付されている)。
 より具体的には、図23の左図では、同種のカラーフィルタ154を持つ2行2列で配列する4つの同種の撮像素子100において、同じ屈折率を持つ2つのカラーフィルタ154は、対角線上に配置されている。また、図23の右図では、カラーフィルタユニット74の左上の4つの緑色の波長成分を持つ光を透過するカラーフィルタ154は、高屈折率であり、一方、カラーフィルタユニット74の右下の4つの緑色の波長成分を持つ光を透過するカラーフィルタ154は、低屈折率である。
 また、図24では、同種のカラーフィルタ154を持つ2行2列で配列する4つの同種の撮像素子100において、同じ屈折率を持つ2つのカラーフィルタ154は、横方向又は縦方向に沿って並んで配置される。
 <<13. 第11の実施形態>>
 次に、図25から図27を参照して、本開示の第11の実施形態の詳細を説明する。図25から図27は、本実施形態に係るカラーフィルタユニット74の平面構成例を示す説明図である。
 本開示においては、カラーフィルタ154は、例えば、赤色の波長成分を持つ光を透過するカラーフィルタ、緑色の波長成分を持つ光を透過するカラーフィルタ、青色の波長成分の光を透過するカラーフィルタであることに限定されるものではない。カラーフィルタ154は、例えば、図25に示すように、白色光を透過するカラーフィルタ154や、図26に示すように、黄色光を透過するカラーフィルタ154、マゼンタ色光を透過するカラーフィルタ154、又は、シアン色光を透過するカラーフィルタ154であることができる。
 なお、本明細書に添付の図においては、白色の波長成分をもつ光を透過するカラーフィルタ154は「W」で示され、黄色の波長成分をもつ光を透過するカラーフィルタ154は「Y」で示される。また、シアン色の波長成分をもつ光を透過するカラーフィルタ154は「C」で示され、マゼンタ色の波長成分をもつ光を透過するカラーフィルタ154は「M」で示される。
 本開示においては、カラーフィルタユニット74は、2行2列又は4行4列で配列する複数のカラーフィルタ154によって構成されることに限定されるものではなく、例えば、図27の左図のように、カラーフィルタユニット74は、6行6列で配列する複数のカラーフィルタ154によって構成されてもよい。もしくは、本開示においては、図27の右図のように、カラーフィルタユニット74は、8行8列で配列する複数のカラーフィルタ154によって構成されてもよい。すなわち、本実施形態においては、カラーフィルタユニット74内の複数のカラーフィルタ154の配列は、様々に変形することが可能である。
 <<14. まとめ>>
 以上のように、本開示の実施形態によれば、特定の撮像素子100のカラーフィルタ154を、他の撮像素子100のカラーフィルタ154に比べて、屈折率が高くすることにより、高屈折率のカラーフィルタ154を持つ撮像素子100には、光が導かれやすくなり、低屈折率のカラーフィルタ154を持つ撮像素子100には、光が導かれ難くなる。そのため、本実施形態によれば、特定の撮像素子100の感度がより高まり、他の撮像素子100の感度はより低くなる。その結果、本実施形態においては、撮像素子100aの間で感度比が生じたり、又は、大きくなるため、撮像装置10のダイナミックレンジを拡大することができる。
 また、本開示の実施形態に係る撮像装置10は、一般的な半導体装置の製造に用いられる、方法、装置、及び条件を用いることで製造することが可能である。すなわち、本実施形態に係る撮像装置10は、既存の半導体装置の製造工程を用いて製造することが可能である。
 なお、上述の方法としては、例えば、PVD(Physical Vapor Deposition)法、CVD(Chemical Vapor Deposition)法及びALD(Atomic Layer Deposition)法等を挙げることができる。PVD法としては、真空蒸着法、EB(電子ビーム)蒸着法、各種スパッタリング法(マグネトロンスパッタリング法、RF(Radio Frequency)-DC(Direct Current)結合形バイアススパッタリング法、ECR(Electron Cyclotron Resonance)スパッタリング法、対向ターゲットスパッタリング法、高周波スパッタリング法等)、イオンプレーティング法、レーザーアブレーション法、分子線エピタキシー法(MBE(Molecular Beam Epitaxy)法)、レーザ転写法を挙げることができる。また、CVD法としては、プラズマCVD法、熱CVD法、有機金属(MO)CVD法、光CVD法を挙げることができる。さらに、他の方法としては、電解メッキ法や無電解メッキ法、スピンコート法;浸漬法;キャスト法;マイクロコンタクトプリント法;ドロップキャスト法;スクリーン印刷法やインクジェット印刷法、オフセット印刷法、グラビア印刷法、フレキソ印刷法といった各種印刷法;スタンプ法;スプレー法;エアドクタコーター法、ブレードコーター法、ロッドコーター法、ナイフコーター法、スクイズコーター法、リバースロールコーター法、トランスファーロールコーター法、グラビアコーター法、キスコーター法、キャストコーター法、スプレーコーター法、スリットオリフィスコーター法、カレンダーコーター法といった各種コーティング法を挙げることができる。さらに、パターニング法としては、シャドーマスク、レーザ転写、フォトリソグラフィー等の化学的エッチング、紫外線やレーザ等による物理的エッチング等を挙げることができる。加えて、平坦化技術としては、CMP(Chemical Mechanical Polishing)法、レーザ平坦化法、リフロー法等を挙げることができる。
 <<15. 適用例>>
 <15.1 カメラへの適用例>
 本開示に係る技術(本技術)は、さらに様々な製品へ適用することができる。例えば、本開示に係る技術は、カメラ等に適用されてもよい。そこで、図28を参照して、本技術を適用した電子機器としての、カメラ700の構成例について説明する。図28は、本開示に係る技術(本技術)が適用され得るカメラ700の概略的な機能構成の一例を示す説明図である。
 図28に示すように、カメラ700は、撮像装置10、光学レンズ710、シャッタ機構712、駆動回路ユニット714、及び、信号処理回路ユニット716を有する。光学レンズ710は、被写体からの像光(入射光)を撮像装置10の撮像面上に結像させる。これにより、撮像装置10の撮像素子100内に、一定期間、信号電荷が蓄積される。シャッタ機構712は、開閉することにより、撮像装置10への光照射期間及び遮光期間を制御する。駆動回路ユニット714は、撮像装置10の信号の転送動作やシャッタ機構712のシャッタ動作等を制御する駆動信号をこれらに供給する。すなわち、撮像装置10は、駆動回路ユニット714から供給される駆動信号(タイミング信号)に基づいて信号転送を行うこととなる。信号処理回路ユニット716は、各種の信号処理を行う。例えば、信号処理回路ユニット716は、信号処理を行った映像信号を例えばメモリ等の記憶媒体(図示省略)に出力したり、表示部(図示省略)に出力したりする。
 以上、カメラ700の構成例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更され得る。
 <15.2 スマートフォンへの適用例>
 例えば、本開示に係る技術は、スマートフォン等に適用されてもよい。そこで、図29を参照して、本技術を適用した電子機器としての、スマートフォン900の構成例について説明する。図29は、本開示に係る技術(本技術)が適用され得るスマートフォン900の概略的な機能構成の一例を示すブロック図である。
 図29に示すように、スマートフォン900は、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、及びRAM(Random Access Memory)903を含む。また、スマートフォン900は、ストレージ装置904、通信モジュール905、及びセンサモジュール907を含む。さらに、スマートフォン900は、撮像装置10、表示装置910、スピーカ911、マイクロフォン912、入力装置913、及びバス914を含む。また、スマートフォン900は、CPU901に代えて、又はこれとともに、DSP(Digital Signal Processor)等の処理回路を有してもよい。
 CPU901は、演算処理装置及び制御装置として機能し、ROM902、RAM903、又はストレージ装置904等に記録された各種プログラムに従って、スマートフォン900内の動作全般又はその一部を制御する。ROM902は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。CPU901、ROM902、及びRAM903は、バス914により相互に接続されている。また、ストレージ装置904は、スマートフォン900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置904は、例えば、HDD(Hard Disk Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス等により構成される。このストレージ装置904は、CPU901が実行するプログラムや各種データ、及び外部から取得した各種のデータ等を格納する。
 通信モジュール905は、例えば、通信ネットワーク906に接続するための通信デバイスなどで構成された通信インタフェースである。通信モジュール905は、例えば、有線又は無線LAN(Local Area Network)、Bluetooth(登録商標)、WUSB(Wireless USB)用の通信カード等であり得る。また、通信モジュール905は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は、各種通信用のモデム等であってもよい。通信モジュール905は、例えば、インターネットや他の通信機器との間で、TCP(Transmission Control Protocol)/IP(Internet Protocol)等の所定のプロトコルを用いて信号等を送受信する。また、通信モジュール905に接続される通信ネットワーク906は、有線又は無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信又は衛星通信等である。
 センサモジュール907は、例えば、モーションセンサ(例えば、加速度センサ、ジャイロセンサ、地磁気センサ等)、生体情報センサ(例えば、脈拍センサ、血圧センサ、指紋センサ等)、又は位置センサ(例えば、GNSS(Global Navigation Satellite System)受信機等)等の各種のセンサを含む。
 撮像装置10は、スマートフォン900の表面に設けられ、スマートフォン900の裏側又は表側に位置する対象物等を撮像することができる。詳細には、撮像装置10は、本開示に係る技術(本技術)が適用され得る。さらに、撮像装置10は、撮像レンズ、ズームレンズ、及びフォーカスレンズ等により構成される光学系機構(図示省略)及び、上記光学系機構の動作を制御する駆動系機構(図示省略)をさらに有することができる。そして、上記撮像装置10は、対象物からの入射光を光学像として集光し、上記信号処理回路は、結像された光学像を画素単位で光電変換し、各画素の信号を撮像信号として読み出し、画像処理することにより撮像画像を取得することができる。
 表示装置910は、スマートフォン900の表面に設けられ、例えば、LCD(Liquid Crystal Display)、有機EL(Electro Luminescence)ディスプレイ等の表示装置であることができる。表示装置910は、操作画面や、上述した撮像装置10が取得した撮像画像などを表示することができる。
 スピーカ911は、例えば、通話音声や、上述した表示装置910が表示する映像コンテンツに付随する音声等を、ユーザに向けて出力することができる。
 マイクロフォン912は、例えば、ユーザの通話音声、スマートフォン900の機能を起動するコマンドを含む音声や、スマートフォン900の周囲環境の音声を集音することができる。
 入力装置913は、例えば、ボタン、キーボード、タッチパネル、マウス等、ユーザによって操作される装置である。入力装置913は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置913を操作することによって、スマートフォン900に対して各種のデータを入力したり処理動作を指示したりすることができる。
 以上、スマートフォン900の構成例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更され得る。
 <15.3 移動装置制御システムへの適用例>
 例えば、本開示に係る技術は、移動装置制御システム等に適用されてもよい。そこで、図30を参照して、本開示で提案した技術が適用され得る移動装置制御システムの一例について説明する。図30は、本技術が適用される移動装置制御システムの一例である車両制御システム11の構成例を示すブロック図である。
 車両制御システム11は、車両1に設けられ、車両1の走行支援及び自動運転に関わる処理を行う。
 車両制御システム11は、車両制御ECU(Electronic Control Unit)21、通信部22、地図情報蓄積部23、位置情報取得部24、外部認識センサ25、車内センサ26、車両センサ27、記憶部28、走行支援・自動運転制御部29、DMS(Driver Monitoring System)30、HMI(Human Machine Interface)31、及び、車両制御部32を有する。
 車両制御ECU21、通信部22、地図情報蓄積部23、位置情報取得部24、外部認識センサ25、車内センサ26、車両センサ27、記憶部28、走行支援・自動運転制御部29、ドライバモニタリングシステム(DMS)30、ヒューマンマシーンインタフェース(HMI)31、及び、車両制御部32は、通信ネットワーク41を介して相互に通信可能に接続されている。通信ネットワーク41は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、FlexRay(登録商標)、イーサネット(登録商標)といったデジタル双方向通信の規格に準拠した車載通信ネットワークやバス等により構成される。通信ネットワーク41は、伝送されるデータの種類によって使い分けられてもよい。例えば、車両制御に関するデータに対してCANが適用され、大容量データに対してイーサネットが適用されるようにしてもよい。なお、車両制御システム11の各部は、通信ネットワーク41を介さずに、例えば、近距離無線通信(NFC(Near Field Communication))やBluetooth(登録商標)といった比較的近距離での通信を想定した無線通信を用いて直接的に接続されてもよい。
 なお、以下、車両制御システム11の各部が、通信ネットワーク41を介して通信を行う場合、通信ネットワーク41の記載を省略するものとする。例えば、車両制御ECU21と通信部22が通信ネットワーク41を介して通信を行う場合、単に車両制御ECU21と通信部22とが通信を行うと記載する。
 車両制御ECU21は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)といった各種のプロセッサにより構成される。車両制御ECU21は、車両制御システム11全体又は一部の機能の制御を行うことができる。
 通信部22は、車内及び車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行うことができる。このとき、通信部22は、複数の通信方式を用いて通信を行ってもよい。
 ここで、通信部22が実行可能な車外との通信について概略的に説明する。通信部22は、例えば、5G(第5世代移動通信システム)、LTE(Long Term Evolution)、DSRC(Dedicated Short Range Communications)等の無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク上に存在するサーバ(以下、外部のサーバと呼ぶ)等と通信を行うことができる。通信部22が通信を行う外部ネットワークは、例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク等である。通信部22が外部ネットワークに対して行う通信方式は、所定以上の通信速度、且つ、所定以上の距離間でデジタル双方向通信が可能な無線通信方式であれば、特に限定されるものではない。
 また、例えば、通信部22は、P2P(Peer To Peer)技術を用いて、自車の近傍に存在する端末と通信を行うことができる。自車の近傍に存在する端末は、例えば、歩行者や自転車等の比較的低速で移動する移動体が装着する端末、店舗等に位置が固定されて設置される端末、又は、MTC(Machine Type Communication)端末を挙げることができる。さらに、通信部22は、V2X通信を行うこともできる。V2X通信とは、例えば、他の車両との間の車車間(Vehicle to Vehicle)通信、路側器等との間の路車間(Vehicle to Infrastructure)通信、家との間(Vehicle to Home)の通信、及び、歩行者が所持する端末等との間の歩車間(Vehicle to Pedestrian)通信等の、自車と他との通信のことをいう。
 通信部22は、例えば、車両制御システム11の動作を制御するソフトウエアを更新するためのプログラムを外部から受信することができる(Over The Air)。さらに、通信部22は、地図情報、交通情報、車両1の周囲の情報等を外部から受信することができる。また、例えば、通信部22は、車両1に関する情報や、車両1の周囲の情報等を外部に送信することができる。通信部22が外部に送信する車両1に関する情報としては、例えば、車両1の状態を示すデータ、認識部73による認識結果等を挙げることができる。さらに、例えば、通信部22は、eコール等の車両緊急通報システムに対応した通信を行うこともできる。
 例えば、通信部22は、電波ビーコン、光ビーコン、FM多重放送等の道路交通情報通信システム(VICS(Vehicle Information and Communication System)(登録商標))により送信される電磁波を受信することもできる。
 さらに、通信部22が実行可能な車内との通信について、概略的に説明する。通信部22は、例えば無線通信を用いて、車内の各機器と通信を行うことができる。通信部22は、例えば、無線LAN、Bluetooth(登録商標)、NFC、WUSB(Wireless USB)といった、無線通信により所定以上の通信速度でデジタル双方向通信が可能な通信方式により、車内の機器と無線通信を行うことができる。これに限らず、通信部22は、有線通信を用いて車内の各機器と通信を行うこともできる。例えば、通信部22は、図示しない接続端子に接続されるケーブルを介した有線通信により、車内の各機器と通信を行うことができる。通信部22は、例えば、USB(Universal Serial Bus)、HDMI(High-Definition Multimedia Interface)(登録商標)、MHL(Mobile High-definition Link)といった、有線通信により所定以上の通信速度でデジタル双方向通信が可能な通信方式により、車内の各機器と通信を行うことができる。
 ここで、車内の機器とは、例えば、車内において通信ネットワーク41に接続されていない機器を指す。車内の機器としては、例えば、運転者等の搭乗者が所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器等が想定される。
 地図情報蓄積部23は、外部から取得した地図及び車両1で作成した地図の一方又は両方を蓄積することができる。例えば、地図情報蓄積部23は、3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積する。
 高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップ等である。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の4層からなる地図であり、外部のサーバ等から車両1に提供される。ポイントクラウドマップは、ポイントクラウド(点群データ)により構成される地図である。ベクターマップは、例えば、車線や信号機の位置といった交通情報等をポイントクラウドマップに対応付け、ADAS(Advanced Driver Assistance System)やAD(Autonomous Driving)に適合させた地図である。
 ポイントクラウドマップ及びベクターマップは、例えば、外部のサーバ等から提供されてもよいし、カメラ51、レーダ52、LiDAR53等によるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両1で作成され、地図情報蓄積部23に蓄積されてもよい。また、外部のサーバ等から高精度地図が提供される場合、通信容量を削減するため、車両1がこれから走行する計画経路に関する、例えば数百メートル四方の地図データが外部のサーバ等から取得される。
 位置情報取得部24は、GNSS(Global Navigation Satellite System)衛星からGNSS信号を受信し、車両1の位置情報を取得することができる。取得した位置情報は、走行支援・自動運転制御部29に供給される。なお、位置情報取得部24は、GNSS信号を用いた方式に限定されず、例えば、ビーコンを用いて位置情報を取得してもよい。
 外部認識センサ25は、車両1の外部の状況の認識に用いられる各種のセンサを有し、各センサからのセンサデータを車両制御システム11の各部に供給することができる。外部認識センサ25が有するセンサの種類や数は、特に限定されるものではない。
 例えば、外部認識センサ25は、カメラ51、レーダ52、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)53、及び、超音波センサ54を有する。これに限らず、外部認識センサ25は、カメラ51、レーダ52、LiDAR53、及び、超音波センサ54のうち1種類以上のセンサを有する構成であってもよい。カメラ51、レーダ52、LiDAR53、及び、超音波センサ54の数は、現実的に車両1に設置可能な数であれば特に限定されない。また、外部認識センサ25が備えるセンサの種類は、この例に限定されず、外部認識センサ25は、他の種類のセンサを有してもよい。外部認識センサ25が有する各センサのセンシング領域の例については、後述する。
 なお、カメラ51の撮影方式は、特に限定されない。例えば、測距が可能な撮影方式であるToF(Time of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった各種の撮影方式のカメラを、必要に応じてカメラ51に適用することができる。さらに、カメラ51は、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。また、カメラ51に、本開示の実施形態に係る撮像装置10を適用し得る。
 また、例えば、外部認識センサ25は、車両1に対する環境を検出するための環境センサを有することができる。環境センサは、天候、気象、明るさ等の環境を検出するためのセンサであって、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサ等の各種センサを含むことができる。
 さらに、例えば、外部認識センサ25は、車両1の周囲の音や音源の位置の検出等に用いられるマイクロフォンを有する。
 車内センサ26は、車内の情報を検出するための各種のセンサを有し、各センサからのセンサデータを車両制御システム11の各部に供給することができる。車内センサ26が備える各種センサの種類や数は、現実的に車両1に設置可能な種類や数であれば特に限定されない。
 例えば、車内センサ26は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロフォン、生体センサのうち1種類以上のセンサを有することができる。車内センサ26が備えるカメラとしては、例えば、ToFカメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった、測距可能な各種の撮影方式のカメラを用いることができる。これに限らず、車内センサ26が備えるカメラは、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。車内センサ26が備えるカメラにも、本開示の実施形態に係る撮像装置10を適用し得る。また、車内センサ26が備える生体センサは、例えば、シートやステアリングホイール等に設けられ、運転者等の搭乗者の各種の生体情報を検出する。
 車両センサ27は、車両1の状態を検出するための各種のセンサを有し、各センサからのセンサデータを車両制御システム11の各部に供給することができる。車両センサ27が備える各種センサの種類や数は、現実的に車両1に設置可能な種類や数であれば特に限定されない。
 例えば、車両センサ27は、速度センサ、加速度センサ、角速度センサ(ジャイロセンサ)、及び、それらを統合した慣性計測装置(IMU(Inertial Measurement Unit))を有することができる。例えば、車両センサ27は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、及び、ブレーキペダルの操作量を検出するブレーキセンサを有する。例えば、車両センサ27は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、及び、車輪の回転速度を検出する車輪速センサを有する。例えば、車両センサ27は、バッテリの残量及び温度を検出するバッテリセンサ、並びに、外部からの衝撃を検出する衝撃センサを有する。
 記憶部28は、不揮発性の記憶媒体及び揮発性の記憶媒体のうち少なくとも一方を含み、データやプログラムを記憶することができる。記憶部28は、例えばEEPROM(Electrically Erasable Programmable Read Only Memory)及びRAM(Random Access Memory)として用いられ、記憶媒体としては、HDD(Hard Disc Drive)といった磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイスを適用することができる。記憶部28は、車両制御システム11の各部が用いる各種プログラムやデータを記憶する。例えば、記憶部28は、EDR(Event Data Recorder)やDSSAD(Data Storage System for Automated Driving)を有し、事故等のイベントの前後の車両1の情報や車内センサ26によって取得された情報を記憶する。
 走行支援・自動運転制御部29は、車両1の走行支援及び自動運転の制御を行うことができる。例えば、走行支援・自動運転制御部29は、分析部61、行動計画部62、及び、動作制御部63を有する。
 分析部61は、車両1及び周囲の状況の分析処理を行うことができる。分析部61は、自己位置推定部71、センサフュージョン部72、及び、認識部73を有する。
 自己位置推定部71は、外部認識センサ25からのセンサデータ、及び、地図情報蓄積部23に蓄積されている高精度地図に基づいて、車両1の自己位置を推定することができる。例えば、自己位置推定部71は、外部認識センサ25からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両1の自己位置を推定する。車両1の位置は、例えば、後輪対車軸の中心を基準とすることができる。
 ローカルマップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いて作成される3次元の高精度地図、占有格子地図(Occupancy Grid Map)等である。3次元の高精度地図は、例えば、上述したポイントクラウドマップ等である。占有格子地図は、車両1の周囲の3次元又は2次元の空間を所定の大きさのグリッド(格子)に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識部73による車両1の外部の状況の検出処理及び認識処理にも用いられる。
 なお、自己位置推定部71は、位置情報取得部24により取得される位置情報、及び、車両センサ27からのセンサデータに基づいて、車両1の自己位置を推定してもよい。
 センサフュージョン部72は、複数の異なる種類のセンサデータ(例えば、カメラ51から供給される画像データ、及び、レーダ52から供給されるセンサデータ)を組み合わせて、新たな情報を得るセンサフュージョン処理を行うことができる。異なる種類のセンサデータを組合せる方法としては、統合、融合、連合等を挙げることができる。
 認識部73は、車両1の外部の状況の検出を行う検出処理、及び、車両1の外部の状況の認識を行う認識処理を実行することができる。
 例えば、認識部73は、外部認識センサ25からの情報、自己位置推定部71からの情報、センサフュージョン部72からの情報等に基づいて、車両1の外部の状況の検出処理及び認識処理を行う。
 具体的には、例えば、認識部73は、車両1の周囲の物体の検出処理及び認識処理等を行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理である。物体の認識処理とは、例えば、物体の種類等の属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複することがある。
 例えば、認識部73は、レーダ52又はLiDAR53等によるセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両1の周囲の物体を検出する。これにより、車両1の周囲の物体の有無、大きさ、形状、位置が検出される。
 例えば、認識部73は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両1の周囲の物体の動きを検出する。これにより、車両1の周囲の物体の速度及び進行方向(移動ベクトル)が検出される。
 例えば、認識部73は、カメラ51から供給される画像データに基づいて、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示等を検出又は認識する。また、認識部73は、セマンティックセグメンテーション等の認識処理を行うことにより、車両1の周囲の物体の種類を認識してもよい。
 例えば、認識部73は、地図情報蓄積部23に蓄積されている地図、自己位置推定部71による自己位置の推定結果、及び、認識部73による車両1の周囲の物体の認識結果に基づいて、車両1の周囲の交通ルールの認識処理を行うことができる。認識部73は、この処理により、信号機の位置及び状態、交通標識及び道路標示の内容、交通規制の内容、並びに、走行可能な車線等を認識することができる。
 例えば、認識部73は、車両1の周囲の環境の認識処理を行うことができる。認識部73が認識対象とする周囲の環境としては、天候、気温、湿度、明るさ、及び、路面の状態等が想定される。
 行動計画部62は、車両1の行動計画を作成する。例えば、行動計画部62は、経路計画、経路追従の処理を行うことにより、行動計画を作成することができる。
 なお、経路計画(Global path planning)とは、スタートからゴールまでの大まかな経路を計画する処理である。この経路計画には、軌道計画と言われ、計画した経路において、車両1の運動特性を考慮して、車両1の近傍で安全かつ滑らかに進行することが可能な軌道生成(Local path planning)を行う処理も含まれる。
 経路追従とは、経路計画により計画された経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。行動計画部62は、例えば、この経路追従の処理の結果に基づき、車両1の目標速度と目標角速度を計算することができる。
 動作制御部63は、行動計画部62により作成された行動計画を実現するために、車両1の動作を制御することができる。
 例えば、動作制御部63は、後述する車両制御部32に含まれる、ステアリング制御部81、ブレーキ制御部82、及び、駆動制御部83を制御して、軌道計画により計算された軌道を車両1が進行するように、加減速制御及び方向制御を行う。例えば、動作制御部63は、衝突回避又は衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告等のADASの機能実現を目的とした協調制御を行う。例えば、動作制御部63は、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行う。
 DMS30は、車内センサ26からのセンサデータ、及び、後述するHMI31に入力される入力データ等に基づいて、運転者の認証処理、及び、運転者の状態の認識処理等を行うことができる。認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。
 なお、DMS30が、運転者以外の搭乗者の認証処理、及び、当該搭乗者の状態の認識処理を行うようにしてもよい。また、例えば、DMS30が、車内センサ26からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。
 HMI31は、各種のデータや指示等の入力と、各種のデータの運転者等への提示を行うことができる。
 HMI31によるデータの入力について、概略的に説明する。HMI31は、人がデータを入力するための入力デバイスを有する。HMI31は、入力デバイスにより入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム11の各部に供給する。HMI31は、入力デバイスとして、例えばタッチパネル、ボタン、スイッチ、及び、レバーといった操作子を有する。これに限らず、HMI31は、音声やジェスチャ等により手動操作以外の方法で情報を入力可能な入力デバイスをさらに有してもよい。さらに、HMI31は、例えば、赤外線又は電波を利用したリモートコントロール装置や、車両制御システム11の操作に対応したモバイル機器又はウェアラブル機器等の外部接続機器を入力デバイスとして用いてもよい。
 HMI31によるデータの提示について、概略的に説明する。HMI31は、搭乗者又は車外に対する視覚情報、聴覚情報、及び、触覚情報の生成を行う。また、HMI31は、生成された各情報の出力、出力内容、出力タイミング及び出力方法等を制御する出力制御を行う。HMI31は、視覚情報として、例えば、操作画面、車両1の状態表示、警告表示、車両1の周囲の状況を示すモニタ画像等の画像や光により示される情報を生成及び出力する。また、HMI31は、聴覚情報として、例えば、音声ガイダンス、警告音、警告メッセージ等の音により示される情報を生成及び出力する。さらに、HMI31は、触覚情報として、例えば、力、振動、動き等により搭乗者の触覚に与えられる情報を生成及び出力する。
 HMI31が視覚情報を出力する出力デバイスとしては、例えば、自身が画像を表示することで視覚情報を提示する表示装置や、画像を投影することで視覚情報を提示するプロジェクタ装置を適用することができる。なお、表示装置は、通常のディスプレイを有する表示装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)機能を備えるウエアラブルデバイスといった、搭乗者の視界内に視覚情報を表示する装置であってもよい。また、HMI31は、車両1に設けられるナビゲーション装置、インストルメントパネル、CMS(Camera Monitoring System)、電子ミラー、ランプ等が有する表示デバイスを、視覚情報を出力する出力デバイスとして用いることも可能である。
 HMI31が聴覚情報を出力する出力デバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホンを適用することができる。
 HMI31が触覚情報を出力する出力デバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子を適用することができる。ハプティクス素子は、例えば、ステアリングホイール、シートといった、車両1の搭乗者が接触する部分に設けられる。
 車両制御部32は、車両1の各部の制御を行うことができる。車両制御部32は、ステアリング制御部81、ブレーキ制御部82、駆動制御部83、ボディ系制御部84、ライト制御部85、及び、ホーン制御部86を有する。
 ステアリング制御部81は、車両1のステアリングシステムの状態の検出及び制御等を行うことができる。ステアリングシステムは、例えば、ステアリングホイール等を含むステアリング機構、電動パワーステアリング等を有する。ステアリング制御部81は、例えば、ステアリングシステムの制御を行うステアリングECU、ステアリングシステムの駆動を行うアクチュエータ等を有する。
 ブレーキ制御部82は、車両1のブレーキシステムの状態の検出及び制御等を行うことができる。ブレーキシステムは、例えば、ブレーキペダル等を含むブレーキ機構、ABS(Antilock Brake System)、回生ブレーキ機構等を有する。ブレーキ制御部82は、例えば、ブレーキシステムの制御を行うブレーキECU、ブレーキシステムの駆動を行うアクチュエータ等を有する。
 駆動制御部83は、車両1の駆動システムの状態の検出及び制御等を行うことができる。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を有する。駆動制御部83は、例えば、駆動システムの制御を行う駆動ECU、駆動システムの駆動を行うアクチュエータ等を有する。
 ボディ系制御部84は、車両1のボディ系システムの状態の検出及び制御等を行うことができる。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバー等を有する。ボディ系制御部84は、例えば、ボディ系システムの制御を行うボディ系ECU、ボディ系システムの駆動を行うアクチュエータ等を有する。
 ライト制御部85は、車両1の各種のライトの状態の検出及び制御等を行うことができる。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示等が想定される。ライト制御部85は、ライトの制御を行うライトECU、ライトの駆動を行うアクチュエータ等を有する。
 ホーン制御部86は、車両1のカーホーンの状態の検出及び制御等を行うことができる。ホーン制御部86は、例えば、カーホーンの制御を行うホーンECU、カーホーンの駆動を行うアクチュエータ等を有する。
 図31は、図30の外部認識センサ25のカメラ51、レーダ52、LiDAR53、及び、超音波センサ54等によるセンシング領域の例を示す図である。なお、図31において、車両1を上面から見た様子が模式的に示され、左端側が車両1の前端(フロント)側であり、右端側が車両1の後端(リア)側となっている。
 センシング領域101F及びセンシング領域101Bは、超音波センサ54のセンシング領域の例を示している。センシング領域101Fは、複数の超音波センサ54によって車両1の前端周辺をカバーしている。センシング領域101Bは、複数の超音波センサ54によって車両1の後端周辺をカバーしている。
 センシング領域101F及びセンシング領域101Bにおけるセンシング結果は、例えば、車両1の駐車支援等に用いられる。
 センシング領域102F乃至センシング領域102Bは、短距離又は中距離用のレーダ52のセンシング領域の例を示している。センシング領域102Fは、車両1の前方において、センシング領域101Fより遠い位置までカバーしている。センシング領域102Bは、車両1の後方において、センシング領域101Bより遠い位置までカバーしている。センシング領域102Lは、車両1の左側面の後方の周辺をカバーしている。センシング領域102Rは、車両1の右側面の後方の周辺をカバーしている。
 センシング領域102Fにおけるセンシング結果は、例えば、車両1の前方に存在する車両や歩行者等の検出等に用いられる。センシング領域102Bにおけるセンシング結果は、例えば、車両1の後方の衝突防止機能等に用いられる。センシング領域102L及びセンシング領域102Rにおけるセンシング結果は、例えば、車両1の側方の死角における物体の検出等に用いられる。
 センシング領域103F乃至センシング領域103Bは、カメラ51によるセンシング領域の例を示している。センシング領域103Fは、車両1の前方において、センシング領域102Fより遠い位置までカバーしている。センシング領域103Bは、車両1の後方において、センシング領域102Bより遠い位置までカバーしている。センシング領域103Lは、車両1の左側面の周辺をカバーしている。センシング領域103Rは、車両1の右側面の周辺をカバーしている。
 センシング領域103Fにおけるセンシング結果は、例えば、信号機や交通標識の認識、車線逸脱防止支援システム、自動ヘッドライト制御システムに用いることができる。センシング領域103Bにおけるセンシング結果は、例えば、駐車支援、及び、サラウンドビューシステムに用いることができる。センシング領域103L及びセンシング領域103Rにおけるセンシング結果は、例えば、サラウンドビューシステムに用いることができる。
 センシング領域104は、LiDAR53のセンシング領域の例を示している。センシング領域104は、車両1の前方において、センシング領域103Fより遠い位置までカバーしている。一方、センシング領域104は、センシング領域103Fより左右方向の範囲が狭くなっている。
 センシング領域104におけるセンシング結果は、例えば、周辺車両等の物体検出に用いられる。
 センシング領域105は、長距離用のレーダ52のセンシング領域の例を示している。センシング領域105は、車両1の前方において、センシング領域104より遠い位置までカバーしている。一方、センシング領域105は、センシング領域104より左右方向の範囲が狭くなっている。
 センシング領域105におけるセンシング結果は、例えば、ACC(Adaptive Cruise Control)、緊急ブレーキ、衝突回避等に用いられる。
 なお、外部認識センサ25が含むカメラ51、レーダ52、LiDAR53、及び、超音波センサ54の各センサのセンシング領域は、図31以外に各種の構成をとってもよい。具体的には、超音波センサ54が車両1の側方もセンシングするようにしてもよいし、LiDAR53が車両1の後方をセンシングするようにしてもよい。また、各センサの設置位置は、上述した各例に限定されない。また、各センサの数は、1つでもよいし、複数であってもよい。
 <<16. 補足>>
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、本技術は以下のような構成も取ることができる。
(1)
 第1の撮像素子及び第2の撮像素子を含む複数の撮像素子からなる単位領域を2次元アレイ配列させることにより構成される画素アレイ部を備える撮像装置であって、
 前記第1の撮像素子及び前記第2の撮像素子のそれぞれは、
 所定の波長帯の波長を持つ光を透過するカラーフィルタを有し、
 前記第1の撮像素子が有する前記カラーフィルタは、前記第2の撮像素子が有する前記カラーフィルタに比べて、屈折率が高い、
 撮像装置。
(2)
 前記第1の撮像素子が有する前記カラーフィルタは、感光性粒子を含む、上記(1)に記載の撮像装置。
(3)
 前記第2の撮像素子が有する前記カラーフィルタは、前記感光性粒子を含まない、上記(2)に記載の撮像装置。
(4)
 前記第2の撮像素子が有する前記カラーフィルタは、前記第1の撮像素子が有する前記カラーフィルタと比べて少ない濃度で前記感光性粒子を含む、上記(2)に記載の撮像装置。
(5)
 前記感光性粒子は、酸化チタン粒子、酸化ジルコニウム粒子、酸化亜鉛及びナノダイヤモンド粒子からなる群から選択される少なくとも1つの粒子からなる、上記(2)~(4)のいずれか1つに記載の撮像装置。
(6)
 平面視において、
 前記第1及び第2の撮像素子は、多角形状の形状を有し、
 前記第1の撮像素子の面積は、前記第2の撮像素子に比べて広い、
 上記(1)~(5)のいずれか1つに記載の撮像装置。
(7)
 前記第1及び第2の撮像素子のそれぞれは、
 前記カラーフィルタと、
 前記カラーフィルタの下方に位置する半導体基板内に設けられ、前記カラーフィルタを介して、前記半導体基板の光入射面に入射した光によって電荷を発生する光電変換部と、
 を有し、
 前記第1の撮像素子の前記光電変換部の上方に位置する前記光入射面は、凹凸を有する、
 上記(1)~(6)のいずれか1つに記載の撮像装置。
(8)
 前記第2の撮像素子の前記光電変換部の上方に位置する前記光入射面は、平坦である、上記(7)に記載の撮像装置。
(9)
 前記第2の撮像素子の前記光電変換部の上方に位置する前記光入射面は、凹凸を有する、上記(7)に記載の撮像装置。
(10)
 前記複数の撮像素子は、前記カラーフィルタを有する第3の撮像素子を含み、
 前記第3の撮像素子の有する前記カラーフィルタは、前記第1の撮像素子及び前記第2の撮像素子のそれぞれの有する前記カラーフィルタと異なる屈折率を有する、
 上記(1)~(9)のいずれか1つに記載の撮像装置。
(11)
 前記複数の撮像素子は、前記カラーフィルタをそれぞれ有する4以上の撮像素子を含み、当該4以上の撮像素子が有する前記カラーフィルタは、互いに異なる屈折率を有する、上記(1)に記載の撮像装置。
(12)
 前記カラーフィルタは、
 赤色光を透過するカラーフィルタ、緑色光を透過するカラーフィルタ、又は、青色光を透過するカラーフィルタである、
 上記(1)~(11)のいずれか1つに記載の撮像装置。
(13)
 前記カラーフィルタは、
 赤色光を透過するカラーフィルタ、緑色光を透過するカラーフィルタ、青色光を透過するカラーフィルタ、又は、白色光を透過するカラーフィルタである、
 上記(1)~(11)のいずれか1つに記載の撮像装置。
(14)
 前記カラーフィルタは、
 赤色光を透過するカラーフィルタ、緑色光を透過するカラーフィルタ、青色光を透過するカラーフィルタ、黄色光を透過するカラーフィルタ、マゼンタ色光を透過するカラーフィルタ、又は、シアン色光を透過するカラーフィルタである、
 上記(1)~(11)のいずれか1つに記載の撮像装置。
(15)
 前記複数の撮像素子は、
 赤色光により電荷を発生する撮像素子、緑色光により電荷を発生する撮像素子、及び、青色光により電荷を発生する撮像素子を含む、
 上記(1)~(6)のいずれか1つに記載の撮像装置。
(16)
 前記複数の撮像素子は、白色光により電荷を発生する撮像素子をさらに含む、上記(15)に記載の撮像装置。
(17)
 前記複数の撮像素子は、
 黄色光により電荷を発生する撮像素子、マゼンタ色光により電荷を発生する撮像素子、又は、シアン色光により電荷を発生する撮像素子をさらに含む、上記(15)又は(16)に記載の撮像装置。
(18)
 前記単位領域は、
 前記複数の撮像素子が2行2列で配列することで構成される、
 上記(1)~(17)のいずれか1つに記載の撮像装置。
(19)
 前記単位領域は、
 前記複数の撮像素子が4行4列で配列することで構成される、
 上記(1)~(17)のいずれか1つに記載の撮像装置。
(20)
 撮像装置を搭載する電子機器であって、
 前記撮像装置は、
 第1の撮像素子及び第2の撮像素子を含む複数の撮像素子からなる単位領域を2次元アレイ配列させることにより構成される画素アレイ部を備え、
 前記第1の撮像素子及び前記第2の撮像素子のそれぞれは、
 所定の波長帯の波長を持つ光を透過するカラーフィルタを有し、
 前記第1の撮像素子が有する前記カラーフィルタは、前記第2の撮像素子が有する前記カラーフィルタに比べて、屈折率が高い、
 電子機器。
  10  撮像装置
  15  半導体基板
  15a  表面
  15b  光入射面
  33  画素アレイ部
  34  カラム信号処理回路部
  35  垂直駆動回路部
  36  水平駆動回路部
  38  出力回路部
  40  制御回路部
  42  画素駆動配線
  44  垂直信号線
  46  水平信号線
  48  入出力端子
  74  カラーフィルタユニット
  100  撮像素子
  120  光電変換部
  150  オンチップレンズ
  154  カラーフィルタ
  156  遮光部
  170  凹凸
  180  層間絶縁膜
  700  カメラ
  710  光学レンズ
  712  シャッタ機構
  714  駆動回路ユニット
  716  信号処理回路ユニット
  900  スマートフォン
  901  CPU
  902  ROM
  903  RAM
  904  ストレージ装置
  905  通信モジュール
  906  通信ネットワーク
  907  センサモジュール
  910  表示装置
  911  スピーカ
  912  マイクロフォン
  913  入力装置
  914  バス

Claims (20)

  1.  第1の撮像素子及び第2の撮像素子を含む複数の撮像素子からなる単位領域を2次元アレイ配列させることにより構成される画素アレイ部を備える撮像装置であって、
     前記第1の撮像素子及び前記第2の撮像素子のそれぞれは、
     所定の波長帯の波長を持つ光を透過するカラーフィルタを有し、
     前記第1の撮像素子が有する前記カラーフィルタは、前記第2の撮像素子が有する前記カラーフィルタに比べて、屈折率が高い、
     撮像装置。
  2.  前記第1の撮像素子が有する前記カラーフィルタは、感光性粒子を含む、請求項1に記載の撮像装置。
  3.  前記第2の撮像素子が有する前記カラーフィルタは、前記感光性粒子を含まない、請求項2に記載の撮像装置。
  4.  前記第2の撮像素子が有する前記カラーフィルタは、前記第1の撮像素子が有する前記カラーフィルタと比べて少ない濃度で前記感光性粒子を含む、請求項2に記載の撮像装置。
  5.  前記感光性粒子は、酸化チタン粒子、酸化ジルコニウム粒子、酸化亜鉛及びナノダイヤモンド粒子からなる群から選択される少なくとも1つの粒子からなる、請求項2に記載の撮像装置。
  6.  平面視において、
     前記第1及び第2の撮像素子は、多角形状の形状を有し、
     前記第1の撮像素子の面積は、前記第2の撮像素子に比べて広い、
     請求項1に記載の撮像装置。
  7.  前記第1及び第2の撮像素子のそれぞれは、
     前記カラーフィルタと、
     前記カラーフィルタの下方に位置する半導体基板内に設けられ、前記カラーフィルタを介して、前記半導体基板の光入射面に入射した光によって電荷を発生する光電変換部と、
     を有し、
     前記第1の撮像素子の前記光電変換部の上方に位置する前記光入射面は、凹凸を有する、
     請求項1に記載の撮像装置。
  8.  前記第2の撮像素子の前記光電変換部の上方に位置する前記光入射面は、平坦である、請求項7に記載の撮像装置。
  9.  前記第2の撮像素子の前記光電変換部の上方に位置する前記光入射面は、凹凸を有する、請求項7に記載の撮像装置。
  10.  前記複数の撮像素子は、前記カラーフィルタを有する第3の撮像素子を含み、
     前記第3の撮像素子の有する前記カラーフィルタは、前記第1の撮像素子及び前記第2の撮像素子のそれぞれの有する前記カラーフィルタと異なる屈折率を有する、
     請求項1に記載の撮像装置。
  11.  前記複数の撮像素子は、前記カラーフィルタをそれぞれ有する4以上の撮像素子を含み、当該4以上の撮像素子が有する前記カラーフィルタは、互いに異なる屈折率を有する、請求項1に記載の撮像装置。
  12.  前記カラーフィルタは、
     赤色光を透過するカラーフィルタ、緑色光を透過するカラーフィルタ、又は、青色光を透過するカラーフィルタである、
     請求項1に記載の撮像装置。
  13.  前記カラーフィルタは、
     赤色光を透過するカラーフィルタ、緑色光を透過するカラーフィルタ、青色光を透過するカラーフィルタ、又は、白色光を透過するカラーフィルタである、
     請求項1に記載の撮像装置。
  14.  前記カラーフィルタは、
     赤色光を透過するカラーフィルタ、緑色光を透過するカラーフィルタ、青色光を透過するカラーフィルタ、黄色光を透過するカラーフィルタ、マゼンタ色光を透過するカラーフィルタ、又は、シアン色光を透過するカラーフィルタである、
     請求項1に記載の撮像装置。
  15.  前記複数の撮像素子は、
     赤色光により電荷を発生する撮像素子、緑色光により電荷を発生する撮像素子、及び、青色光により電荷を発生する撮像素子を含む、
     請求項1に記載の撮像装置。
  16.  前記複数の撮像素子は、白色光により電荷を発生する撮像素子をさらに含む、請求項15に記載の撮像装置。
  17.  前記複数の撮像素子は、
     黄色光により電荷を発生する撮像素子、マゼンタ色光により電荷を発生する撮像素子、又は、シアン色光により電荷を発生する撮像素子をさらに含む、請求項15に記載の撮像装置。
  18.  前記単位領域は、
     前記複数の撮像素子が2行2列で配列することで構成される、
     請求項1に記載の撮像装置。
  19.  前記単位領域は、
     前記複数の撮像素子が4行4列で配列することで構成される、
     請求項1に記載の撮像装置。
  20.  撮像装置を搭載する電子機器であって、
     前記撮像装置は、
     第1の撮像素子及び第2の撮像素子を含む複数の撮像素子からなる単位領域を2次元アレイ配列させることにより構成される画素アレイ部を備え、
     前記第1の撮像素子及び前記第2の撮像素子のそれぞれは、
     所定の波長帯の波長を持つ光を透過するカラーフィルタを有し、
     前記第1の撮像素子が有する前記カラーフィルタは、前記第2の撮像素子が有する前記カラーフィルタに比べて、屈折率が高い、
     電子機器。
PCT/JP2023/006702 2022-03-28 2023-02-24 撮像装置及び電子機器 WO2023189071A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-051555 2022-03-28
JP2022051555 2022-03-28

Publications (1)

Publication Number Publication Date
WO2023189071A1 true WO2023189071A1 (ja) 2023-10-05

Family

ID=88200487

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/006702 WO2023189071A1 (ja) 2022-03-28 2023-02-24 撮像装置及び電子機器

Country Status (1)

Country Link
WO (1) WO2023189071A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000308079A (ja) * 1999-02-19 2000-11-02 Sony Corp 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体
JP2007281875A (ja) * 2006-04-06 2007-10-25 Toppan Printing Co Ltd 撮像素子
JP2007287891A (ja) * 2006-04-14 2007-11-01 Sony Corp 固体撮像装置
JP2008107530A (ja) * 2006-10-25 2008-05-08 Sumitomo Osaka Cement Co Ltd 感光性着色組成物およびこれを用いた光学部材
JP2013143737A (ja) * 2012-01-12 2013-07-22 Toshiba Corp 固体撮像装置
JP2014003190A (ja) * 2012-06-20 2014-01-09 Fujifilm Corp 固体撮像素子および撮像装置
JP2020174158A (ja) * 2019-04-12 2020-10-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置
US20210144315A1 (en) * 2019-11-12 2021-05-13 Samsung Electronics Co., Ltd. Image sensor, imaging device having the same, and method of operating the same

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000308079A (ja) * 1999-02-19 2000-11-02 Sony Corp 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体
JP2007281875A (ja) * 2006-04-06 2007-10-25 Toppan Printing Co Ltd 撮像素子
JP2007287891A (ja) * 2006-04-14 2007-11-01 Sony Corp 固体撮像装置
JP2008107530A (ja) * 2006-10-25 2008-05-08 Sumitomo Osaka Cement Co Ltd 感光性着色組成物およびこれを用いた光学部材
JP2013143737A (ja) * 2012-01-12 2013-07-22 Toshiba Corp 固体撮像装置
JP2014003190A (ja) * 2012-06-20 2014-01-09 Fujifilm Corp 固体撮像素子および撮像装置
JP2020174158A (ja) * 2019-04-12 2020-10-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置
US20210144315A1 (en) * 2019-11-12 2021-05-13 Samsung Electronics Co., Ltd. Image sensor, imaging device having the same, and method of operating the same

Similar Documents

Publication Publication Date Title
US11743604B2 (en) Imaging device and image processing system
US10840284B2 (en) Imaging element with a first and second converging portion for converging light between a first and second signal extraction portion of adjacent pixels
US10847561B2 (en) Solid-state imaging element and method for manufacturing the same, and electronic device
WO2022153896A1 (ja) 撮像装置、画像処理方法及び画像処理プログラム
WO2023189071A1 (ja) 撮像装置及び電子機器
US20240120356A1 (en) Imaging device and electronic apparatus
WO2023171331A1 (ja) 半導体装置及び電子機器
WO2024106196A1 (ja) 固体撮像装置および電子機器
WO2024127912A1 (en) Solid-state imaging device and electronic apparatus
WO2024185361A1 (ja) 固体撮像装置
WO2024106132A1 (ja) 固体撮像装置および情報処理システム
US20240304646A1 (en) Imaging device and electronic apparatus
WO2023195395A1 (en) Light detection device and electronic apparatus
WO2024009739A1 (ja) 光学式測距センサ、及び光学式測距システム
WO2022014383A1 (ja) 固体撮像装置及びその製造方法
WO2023195392A1 (en) Light detection device
WO2019082559A1 (ja) 撮像素子および撮像素子の製造方法、並びに、電子機器
US20240179429A1 (en) Solid-state imaging device, imaging device, processing method in solid-state imaging device, processing program in solid-state imaging device, processing method in imaging device, and processing program in imaging device
WO2023229018A1 (ja) 光検出装置
JP2023060730A (ja) 光検出素子、及び光検出装置
WO2023053498A1 (ja) 情報処理装置、情報処理方法、記録媒体、および車載システム
JP2024073899A (ja) 撮像素子
WO2019142661A1 (ja) 撮像素子、製造方法、および電子機器
CN118830085A (zh) 光检测装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23779101

Country of ref document: EP

Kind code of ref document: A1