WO2022239394A1 - 撮像素子、撮像装置及び電子機器 - Google Patents

撮像素子、撮像装置及び電子機器 Download PDF

Info

Publication number
WO2022239394A1
WO2022239394A1 PCT/JP2022/008716 JP2022008716W WO2022239394A1 WO 2022239394 A1 WO2022239394 A1 WO 2022239394A1 JP 2022008716 W JP2022008716 W JP 2022008716W WO 2022239394 A1 WO2022239394 A1 WO 2022239394A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
pixel
divided
pixels
receives
Prior art date
Application number
PCT/JP2022/008716
Other languages
English (en)
French (fr)
Inventor
征志 中田
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to CN202280033137.XA priority Critical patent/CN117280704A/zh
Priority to US18/551,087 priority patent/US20240171868A1/en
Publication of WO2022239394A1 publication Critical patent/WO2022239394A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Definitions

  • the present disclosure relates to imaging elements, imaging devices, and electronic devices.
  • Image sensors that perform imaging in the three primary colors of RGB are often used, but it is known that faithful color reproduction is difficult with only RGB information.
  • the color matching function expression has a large negative component at wavelengths around 520 nm. A pixel having a peak in this band is required to generate this negative component in matrix arithmetic processing using a linear matrix.
  • the present disclosure provides an imaging device that realizes imaging with high color reproducibility.
  • the imaging device includes pixels that receive light corresponding to three primary colors, and divided pixels that form light receiving portions in the pixels.
  • the divided pixels are composed of divided pixels that receive the light of the first color among the pixels that receive the light of the first color among the three primary colors, and pixels that receive the light of the second color among the three primary colors. a divided pixel that receives the light of the second color, a divided pixel that receives the light of the third color in the pixel that receives the light of the third color among the three primary colors, and any one of the three primary colors.
  • the pixel receiving colored light includes a divided pixel receiving a fourth color different from any of the three primary colors, wherein the spectrum of the light of the fourth color is the first color, the second color, and the The color matching function of the third color has a maximum value in a region where the absolute value of the negative value is large compared to other regions.
  • the number of divided pixels may be 2 ⁇ 2 or more in the pixel.
  • the three primary colors may be RGB (Red, Green, and Blue), and the color matching function of the fourth color has a maximum value in a wavelength range of 520 nm ⁇ 10 nm, and receives G light.
  • the number of divided pixels that receive the light of the fourth color may be smaller than the number of divided pixels.
  • the fourth color may be emerald, and the divided pixel that receives the light of the fourth color may be at least one of the divided pixels included in the pixels that receive R light. good.
  • the divided pixels that receive emerald light may be provided at a rate equal to or less than the number of divided pixels that receive R light.
  • the divided pixels may be 2 ⁇ 2 in the pixel that receives the R light, and the divided pixel that receives the emerald light is one of the divided pixels in the pixel that receives the R light. may be
  • the divided pixels may be provided in the pixel that receives the R light, and the divided pixel that receives the emerald light is, among the divided pixels in the pixel that receives the R light, It may be provided diagonally.
  • 3 ⁇ 2 or more of the divided pixels may be provided in the pixel that receives the R light, and the center of the divided pixel that receives the R light and the center of the divided pixel that receives the emerald light. may match.
  • the output from the divided pixel that receives the emerald light may be used to correct the output from the divided pixel that receives the R light.
  • An analog-to-digital conversion circuit that acquires analog signals output from the divided pixels and converts them into digital signals may be further provided. signals may be counted in the opposite direction.
  • the fourth color may be emerald, and the divided pixel that receives the light of the fourth color is at least one divided pixel among the divided pixels included in the pixel that receives the B light.
  • the output from the divided pixel that receives the emerald light may be used to correct the output from the divided pixel that receives the B light.
  • the pixels may include on-chip lenses, and the on-chip lenses provided in the pixels including the divided pixels that receive the fourth color are different from the on-chip lenses provided in the other pixels. It may have a shape.
  • the pixel may include an on-chip lens, and the on-chip lens provided in the pixel including the split pixel for receiving R and emerald light is provided for the split pixel for receiving G and B light. It may have a different shape than the on-chip lens that is used.
  • the pixel may include an on-chip lens, and in the pixel including the divided pixels that receive R and emerald light in a vertically and horizontally symmetrical arrangement, the on-chip lens is arranged so as to cover all of the divided pixels. may be provided.
  • the pixels may include on-chip lenses, and the on-chip lenses provided in the pixels including the divided pixels that receive B and emerald light are provided in the divided pixels that receive G and R light. It may have a different shape than the tone deaf lens used.
  • the pixel may include an on-chip lens, and in the pixel including the divided pixels that receive B and emerald light in a vertically and horizontally symmetrical arrangement, the on-chip lens is arranged so as to cover all of the divided pixels. may be provided.
  • an imaging device includes any of the imaging elements described above.
  • an electronic device includes any of the imaging elements described above, and a display having a display surface on the light receiving surface side of the imaging element and having the imaging element embedded therein.
  • an electronic device includes a pixel that receives light corresponding to the three primary colors of RGB, divided pixels that are provided in a number of 2 ⁇ 2 or more constituting a light receiving section in the pixel, and the pixel.
  • a display having a display surface on the light-receiving surface side of the display, wherein the pixels are embedded in the display, and the divided pixels are the pixels that receive light of a first color among the three primary colors; a divided pixel that receives light of a color; and a divided pixel that receives the light of the second color in the pixel that receives light of a second color among the three primary colors; and a third color of the three primary colors.
  • the pixels that receive the light of the above divided pixels that receive the light of the third color, and in the pixels that receive the light of any one of the three primary colors, an emerald different from any of the three primary colors
  • the spectrum of the emerald light has a maximum value in the wavelength range of 520 nm ⁇ 10 nm, and the number of the divided pixels is smaller than the number of the divided pixels that receive the G light.
  • the display may be made of a material including a material that absorbs in a wavelength region of 450 nm or less.
  • the display may be made of a material containing polyimide.
  • the output from the divided pixel that receives the R light may be corrected based on the output from the divided pixel that receives the emerald light.
  • the output from the divided pixel that receives the B light may be corrected based on the output from the divided pixel that receives the emerald light.
  • An analog-to-digital conversion circuit that converts an analog signal output from the divided pixels into a digital signal, and a signal processing circuit that performs signal processing on the output of the analog-to-digital conversion circuit.
  • the signal processing circuit may improve light sensing accuracy based on the digital signal.
  • the signal processing circuit may improve color reproducibility.
  • the signal processing circuit may perform light source estimation.
  • the above electronic device may be an imaging device.
  • the above electronic devices may be medical devices.
  • the above electronic device may be a smartphone.
  • the imaging element includes pixels and a pixel group in which the pixels that receive light of colors corresponding to three primary colors are arranged in a predetermined array, and the pixels are the three primary colors.
  • the pixel group that receives light of a first color among the primary colors the pixel that receives light of the first color
  • the second color a pixel that receives light of a color
  • the pixel group that receives light of a third color among the three primary colors a pixel that receives light of the third color, and one of the three primary colors.
  • the The color matching function of the second color and the third color has a maximum value in a region where the absolute value of the negative value is large compared to other regions.
  • the pixels may form a pixel pair with the adjacent pixels, and may further include an on-chip lens formed for the pixel pair.
  • the three primary colors may be RGB (Red, Green, Blue), the color matching function of the fourth color may have a maximum value in a wavelength range of 520 nm ⁇ 10 nm, and G light may be The number of the pixels that receive the light of the fourth color may be smaller than the number of the pixels that receive the light.
  • the fourth color may be emerald, and the divided pixels that receive light of the fourth color may be included in the pixels that receive R light.
  • the center of gravity of the pixels that receive R light may coincide with the center of gravity of the pixels that receive emerald light.
  • the fourth color may be emerald, and the pixels receiving light of the fourth color may be included in the pixel group receiving B light.
  • an imaging device includes the imaging element described above.
  • an electronic device includes the imaging device described above.
  • the imaging element described above may be formed of stacked semiconductors.
  • This semiconductor may be stacked in the form of CoC.
  • This semiconductor may be stacked in the form of CoW.
  • This semiconductor may be stacked in the form of WoW.
  • FIG. 4 is a diagram schematically showing a pixel array according to one embodiment;
  • FIG. 4 is a diagram schematically showing pixels according to one embodiment;
  • FIG. 4 is a diagram schematically showing pixels according to one embodiment;
  • FIG. 4 is a diagram schematically showing pixels according to one embodiment;
  • FIG. 4 is a diagram schematically showing pixels according to one embodiment;
  • FIG. 4 is a diagram schematically showing pixels according to one embodiment;
  • FIG. 4 is a diagram schematically showing pixels according to one embodiment;
  • FIG. 4 is a diagram schematically showing pixels according to one embodiment;
  • FIG. 4 is a diagram schematically showing pixels according to one embodiment;
  • FIG. 4 is a diagram schematically showing pixels according to one embodiment;
  • FIG. 4 is a diagram schematically showing pixels according to one embodiment;
  • FIG. 4 is a diagram schematically showing pixels according to one embodiment;
  • FIG. 4 is a diagram schematically showing pixels according to one embodiment;
  • FIG. 4 is a diagram
  • FIG. 4 is a diagram schematically showing pixels according to one embodiment;
  • FIG. 4 is a diagram schematically showing pixels according to one embodiment;
  • FIG. 4 is a diagram schematically showing pixels according to one embodiment;
  • FIG. 4 is a diagram schematically showing pixels according to one embodiment;
  • FIG. 4 is a diagram schematically showing pixels according to one embodiment;
  • FIG. 4 is a diagram schematically showing pixels according to one embodiment;
  • 1 is a block diagram showing the configuration of an imaging element according to one embodiment;
  • FIG. 4A and 4B are diagrams showing processing in an image sensor according to an embodiment;
  • FIG. FIG. 4 is a diagram showing AD conversion according to one embodiment;
  • FIG. 2 is a diagram showing a mounting example of an image sensor according to one embodiment;
  • FIG. 2 is a diagram showing a mounting example of an image sensor according to one embodiment;
  • FIG. 2 is a diagram showing a mounting example of an image sensor according to one embodiment;
  • FIG. 4 is a diagram schematically showing pixels according to one embodiment;
  • FIG. 4 is a diagram schematically showing pixels according to one embodiment;
  • FIG. 4 is a diagram schematically showing pixels according to one embodiment;
  • FIG. 4 is a diagram schematically showing pixels according to one embodiment;
  • FIG. 4 is a diagram schematically showing pixels according to one embodiment;
  • FIG. 4 is a diagram schematically showing pixels according to one embodiment;
  • FIG. 4 is a diagram schematically showing pixels according to one embodiment;
  • FIG. 4 is a diagram schematically showing pixels according to one embodiment;
  • FIG. 4 is a diagram schematically showing pixels according to one embodiment;
  • FIG. 4 is a diagram schematically showing pixels according
  • FIG. 4 is a diagram schematically showing pixels according to one embodiment; The figure which shows the state inside a vehicle from the back of a vehicle to the front. The figure which shows the state inside a vehicle from the diagonal back of a vehicle to the diagonal front.
  • FIG. 4 is a front view of a digital camera, which is a second application example of the electronic device; Rear view of the digital camera.
  • FIG. 3 is an external view of an HMD, which is a third application example of electronic equipment. Appearance of smart glasses.
  • FIG. 11 is an external view of a TV, which is a fourth application example of electronic equipment.
  • FIG. 10 is an external view of a smartphone, which is a fifth application example of the electronic device;
  • FIG. 1 is an external view and a cross-sectional view schematically showing an electronic device according to an embodiment.
  • the electronic device 1 is any electronic device having both a display function and a photographing function, such as a smart phone, a mobile phone, a tablet terminal, or a PC.
  • the electronic device 1 is not limited to these examples, and may be other devices such as imaging devices such as cameras, medical devices, and inspection devices. As shown in the figure, a first direction, a second direction and a third direction are defined for convenience.
  • An electronic device 1 includes an imaging device 2, a component layer 3, a display 4, and a cover glass 5.
  • the electronic device 1 includes, for example, a display area 1a and a bezel 1b as shown in the external view.
  • the electronic device 1 displays images, videos, etc. on the display area 1a.
  • the bezel 1b is sometimes provided with an in-camera to acquire an image on the display surface side, but today, it is often required to narrow the area occupied by the bezel 1b.
  • the electronic device 1 according to the present embodiment includes the imaging element 2 below the display, and narrows the area occupied by the bezel 1b on the display surface side.
  • the imaging element 2 includes a light receiving element and a signal processing circuit that performs signal processing on the signal output by the light receiving element.
  • the imaging element 2 acquires information about an image based on the light received by the light receiving element.
  • the imaging element 2 may be mounted, for example, by a semiconductor formed from multiple layers. Details of the imaging device 2 will be described later. Although the imaging device 2 is circular in the drawing, it is not limited to this and may be of any shape such as a rectangle.
  • the component layer 3 is the layer to which the imaging device 2 belongs.
  • the component layer 3 includes, for example, various modules and devices for realizing processing other than imaging in the electronic device 1 .
  • the display 4 is a display for outputting images, videos, etc. As shown in the cross-sectional view, the display 4 has an imaging element 2 and a component layer 3 on the back side thereof. Further, the imaging device 2 is provided so as to be embedded in the display 4 as shown in the figure.
  • the display 4 may be made of a material that includes a material that absorbs light in the wavelength region of 450 nm or less, for example.
  • a material that absorbs light in the wavelength region of 450 nm or less is, for example, polyimide.
  • Polyimide is a material that absorbs light in the wavelength region of 450 nm or less, that is, in the blue wavelength region. more likely to become Therefore, it is desirable to appropriately improve the intensity of blue light in the imaging device 2 .
  • the cover glass 5 is a glass layer that protects the display 4.
  • a polarizing layer may be provided between the display 4 and the cover glass 5 so that the light output from the display 4 can be appropriately viewed by the user, and the display area 1a can be used as a touch panel.
  • layers of any type (pressure-sensitive, electrostatic) and the like may be provided between the display 4 and the cover glass 5 in a form in which the imaging device 2 and the display 4 appropriately capture images.
  • FIG. 2 is a diagram showing a pixel array provided in the imaging device 2.
  • the imaging device 2 has a pixel array 20 as a light receiving area.
  • Pixel array 20 comprises a plurality of pixels 200 .
  • the pixels 200 are arranged in an array along the first direction and the second direction, for example. Note that the directions are given as an example, and are not limited to the first direction and the second direction. It can be a direction.
  • the pixels 200 are light-receiving pixels, and each pixel 200 may be configured to receive light of a predetermined color.
  • the color of the light obtained by the pixel 200 may be, for example, the three primary colors of R (red), G (green), and B (blue).
  • R red
  • G green
  • B blue
  • a region is provided in the pixel that receives light of emerald color that transmits a spectrum different from any of RGB.
  • FIG. 3 is a diagram in which a portion of the pixel 200 is extracted.
  • Each pixel 200 has a plurality of divided pixels 202 .
  • a pixel 200 comprises 2 ⁇ 2 divided pixels 202 .
  • Solid lines represent boundaries of pixels 200 and dotted lines represent boundaries of divided pixels 202 .
  • the divided pixel 202 indicates, for example, a region obtained by dividing the light receiving element in the pixel 200, which is the unit of imaging.
  • the pixel 200 has a pixel circuit for each pixel 200, and the image sensor 2 acquires information for each pixel based on the output of this pixel circuit.
  • a divided pixel 202 belonging to the same pixel 200 outputs a signal through the pixel circuit corresponding to the pixel 200 in question.
  • divided pixels 202 belonging to the same pixel 200 share transistors forming floating diffusions and other switches, capacitors for storing electricity, etc., and output analog signals to other circuits.
  • the divided pixels 202 are units that do not have independent pixel circuits, but are controlled by pixel circuits that are provided for each pixel 200, and can appropriately perform individual outputs.
  • the divided pixel 202 is not simply a set of small pixels 200, but a unit indicated by dividing the light receiving area of the pixel 200. As shown in FIG.
  • the pixel 200 is configured with a light-receiving element that receives light of three primary colors, as described above.
  • the pixel 200 includes a pixel that receives R light, a pixel that receives G light, and a pixel that receives B light.
  • the color of the light received by the pixel 200 is set by forming a color filter for each pixel 200 or each divided pixel 202, or by forming an organic photoelectric conversion film for each color. be.
  • a pixel 200 that receives R light includes divided pixels 202 that receive R light and emerald (hereinafter sometimes referred to as E) light. and a divided pixel 202 that receives the light.
  • the pixel 200 that receives the G light is composed of the divided pixels 202 that receive the G light
  • the pixel 200 that receives the B light is composed of the divided pixels 202 that receive the B light.
  • the pixels 200 that receive each of R, G, and B light are arranged in, for example, a Bayer array. It is not limited to this, and other arrangements may be used. Regardless of the arrangement, it is desirable that the divided pixels 202 that receive the E light are provided at a smaller ratio than the divided pixels 202 that receive the G light. This is because G light has a great influence on brightness information, and it is not desirable to reduce brightness information in a captured image or the like.
  • the divided pixels 202 that receive the E light are included in a smaller ratio than the divided pixels 202 that receive the B light. It is desirable that the light-receiving divided pixels 202 or less be included.
  • the divided pixel 202 that receives the E light is, for example, one of the divided pixels 202 that belong to the pixel 200 that receives the R light, and is arranged as shown.
  • Fig. 4 is a graph showing RGB color matching functions. As shown in this graph, when the three primary colors of RGB are represented by the color matching function, the R color matching function has a large negative value in the wavelength region of 520 nm. Color reproducibility may deteriorate.
  • emerald has a spectrum with a maximum value (peak) at 520 nm ⁇ 10 nm. Therefore, by correcting the signal output from the divided pixel 202 that receives the R light with the signal output from the divided pixel 202 that receives the E light, the signal in the negative value area of the R color matching function is corrected. can be reinforced. For this reason, as shown in FIG. 3, it is desirable that part of the divided pixels 202 belonging to the pixel 200 that receives the R light is the divided pixel 202 that receives the E light. Therefore, it is not limited to emerald, and the divided pixels 202 may receive light of other colors having a spectrum peaking in this region.
  • the divided pixel 202 for receiving the E light in the pixel 200 for receiving the R light it is possible to receive the light in the same or near region as the divided pixel 202 for receiving the R light as a signal of a different color. can. Therefore, by providing the divided pixel 202 for receiving the E light in this way, it is possible to reduce the deviation of the light receiving position when the E signal is used to correct the R signal, thereby improving the color reproducibility. can be further improved.
  • the divided pixel 202 for receiving the E light in the pixel 200 for receiving the R light can be used in common in the pixel circuit. Therefore, it is also possible to correct the R signal at the timing of outputting a digital signal in an analog-to-digital conversion circuit (hereinafter referred to as ADC: Analog to Digital Converter).
  • ADC Analog to Digital Converter
  • the output from the divided pixel 202 that receives the E light is counted on the negative side, and the output from the divided pixel 202 that receives the R light is added to this negative value.
  • the output can be the R-corrected signal. This process may be reversed, and after addition with the R signal, the E signal may be subtracted.
  • the signal from the divided pixel 202 that receives the E light in the P phase is counted negatively, and the divided pixel that receives the R light in the D phase is counted negatively.
  • a configuration for outputting a signal from the pixel 202 may be employed.
  • FIG. 5 is a diagram showing another example of the arrangement of divided pixels 202.
  • the divided pixels 202 that receive the E light may be provided as diagonal components.
  • FIG. 6 is a diagram showing another example of the arrangement of divided pixels 202.
  • the divided pixel 202 for receiving the E light may be provided in the pixel 200 for receiving the R light as the diagonal component in the direction opposite to that in FIG.
  • the pixel 200 When the pixel 200 is provided with the divided pixels 202 of 2 ⁇ 2, by providing the divided pixels 202 that receive the E light in the diagonal direction, the divided pixels that receive the R light in the pixel 200 that receives the R light. It is possible to align the center of gravity of 202 with the center of gravity of divided pixel 202 that receives E light. By arranging them in this way, it is possible to further suppress the influence of misalignment, such as the occurrence of false colors as described above. Even in these arrangements, the proportion of divided pixels 202 that receive R light can be maintained at the same value as the proportion of divided pixels 202 that receive E light.
  • Fig. 7 is a diagram showing yet another example. As shown in this figure, in order to reinforce the R signal, the divided pixel 202 that receives the reduced R light is arranged by arranging the divided pixel 202 that receives the E light, and the pixel 200 that receives the G light. may be placed inside.
  • the division of the pixel 200 does not have to be 2 ⁇ 2, as in FIGS. 3 and 5 to 7. More divisions may be made. Even when the pixel 200 has more divided pixels 202 than 2 ⁇ 2, it is desirable that the center of gravity of the divided pixel 202 that receives the R light coincides with the center of the divided pixel 202 that receives the E light. .
  • FIG. 8 is a diagram showing an example in which the pixel 200 is divided into 3 ⁇ 2.
  • 3 ⁇ 2 divided pixels 202 may be provided within the pixel 200 .
  • the divided pixel 202 that receives the E light may be provided so that the proportion of the divided pixel 202 that receives the R light is equal to or less than that of the divided pixel 202 that receives the R light.
  • the center of gravity of the divided pixel 202 that receives the R light and the center of gravity of the divided pixel 202 that receives the E light are arranged to match. good too.
  • FIG. 9 is a diagram showing an example in which the pixel 200 is divided into 3 ⁇ 3.
  • pixel 200 may be divided into 3 ⁇ 3 sub-pixels 202 .
  • the central pixel may be a divided pixel 202 that receives the E light.
  • the center of gravity of the divided pixel 202 that receives the R light can be aligned with the center of gravity of the divided pixel 202 that receives the E light.
  • FIG. 10 is a diagram showing another example in which the pixel 200 is divided into 3 ⁇ 3.
  • the pixel 200 is divided into 3 ⁇ 3 divided pixels 202.
  • the divided pixel 202 that is the diagonal component is formed as the divided pixel 202 that receives the E light.
  • the center of gravity of the divided pixel 202 that receives the R light can be aligned with the center of gravity of the divided pixel 202 that receives the E light.
  • FIG. 11 is a diagram showing yet another example in which the pixel 200 is divided into 3 ⁇ 3.
  • the divided pixels 202 that receive the R light may be arranged in the center and diagonally, and the other divided pixels 202 may be the divided pixels 202 that receive the E light.
  • the center of gravity of the divided pixel 202 that receives the R light can be aligned with the center of gravity of the divided pixel 202 that receives the E light.
  • the ratio of divided pixels 202 that receive R light is higher than the ratio of divided pixels 202 that receive E light. get higher
  • the divided pixels 202 can be provided in a larger number in the pixel 200, for example, 4 ⁇ 4, 5 ⁇ 5, or more. Even in these cases, as described above, in the pixels 200 that receive R light, the proportion of divided pixels 202 that receive R light is higher than the proportion of divided pixels 202 that receive E light. It is desirable to Similarly, in the pixel 200, it is desirable that the center of gravity of the divided pixel 202 that receives the R light coincides with the center of gravity of the divided pixel 202 that receives the E light. As a condition that satisfies both simultaneously, for example, as shown in FIGS. 5 and 10, in the pixel 200 that receives R light, the divided pixels 202 positioned at the diagonal corners may be used as the divided pixels 202 that receive E light. good. It is also possible to extend as shown in each figure.
  • FIG. 12 is a diagram showing how the pixel 200 is divided according to one embodiment. As shown in this figure, for example, only a pixel 200 that receives R light may have a divided pixel 202, and the pixel 200 that receives G and B light may not be divided. By forming the pixel 200 in this way, it is possible to reduce the influence of the division into the divided pixels 202 in the pixel 200 that receives the G and B light. Other examples other than FIG. 5 can be similarly implemented.
  • the imaging device 2 may optionally include an on-chip lens for the pixels 200.
  • FIG. The shape of the on-chip lens in the pixel 200 can also be changed depending on the information to be acquired. That is, pixel 200 can have an on-chip lens of any shape.
  • FIG. 13 is a diagram showing an example with an on-chip lens in the example of FIG. As shown, pixel 200 may include an on-chip lens 204 .
  • an on-chip lens may be provided so as to cover the entire pixel 200.
  • the on-chip lens 204 may be provided for each of the divided pixel 202 that receives the R light and the divided pixel 202 that receives the E light. In this way, by providing the on-chip lens 204, in the pixel 200 that receives the G and B light, the image sensor 2 can appropriately convert the light received in that region into a signal. can be done. Furthermore, the imaging device 2 can appropriately acquire the light intensity for each region in the pixel 200 in the divided pixels 202 that receive the R and E light.
  • FIG. 14A and 14B are diagrams showing different arrangements of the on-chip lens 204.
  • the pixel 200 that receives the G and B light may also be provided with an on-chip lens 204 so as to converge the light on each divided pixel 202 .
  • the shape and arrangement of the on-chip lens 204 for the split pixel 202 for receiving R and E light and the split pixel 202 for receiving G and B light can be the same as shown in FIG. It can also be different, as shown in FIG.
  • FIG. 15 is a diagram showing still another example of the on-chip lens 204.
  • the shape of the divided pixel 202 that receives the R and E light may be a shape that covers the entire pixel 200.
  • FIG. For example, when divided pixels 202 for receiving R and E light are provided in the pixel 200 as targets, such a shape and arrangement are also possible.
  • FIG. 16 is a diagram showing an example with the on-chip lens 204 when the pixel 200 is divided into 3 ⁇ 3.
  • each divided pixel 202 may be provided with an on-chip lens 204.
  • an on-chip lens 204 may be provided for each pixel 200 .
  • 17 and 18 are diagrams showing another example of the arrangement of the on-chip lens 204 when the pixel 200 is divided into 3 ⁇ 3.
  • FIG. 19 is an example of an arrangement of the divided pixels 202 different from the above when the on-chip lens 204 is provided.
  • the pixel 200 that receives the R light has adjacent divided pixels 202, for example, two horizontally adjacent divided pixels 202 that receive the R light and the E light. and two horizontally adjacent divided pixels 202 .
  • one on-chip lens 204 is arranged so as to cover two divided pixels 202 that receive R light within the pixel 200 that receives R light.
  • One on-chip lens 204 may be arranged to cover the two split pixels 202 that receive the light.
  • the on-chip lens 204 may be formed as a shape based on a rectangular shape instead of a shape based on a square shape.
  • the on-chip lens 204 for the 2 ⁇ 1 split pixel 202 for example, in the pixel 200 that receives R light, it is possible to obtain a phase difference within the pixel.
  • the wavelength region corresponding to the region exists.
  • FIG. 20 is a block diagram showing an example of the configuration of the imaging device 2.
  • the imaging device 2 includes a light receiving section 210, a storage section 212, a control section 214, a signal processing section 216, and an image processing section 218, for example.
  • the imaging device 2 is a device that appropriately processes the light received by the light receiving unit 210, converts it into image information, and outputs the information.
  • Each of these units may be implemented as a circuit at an appropriate location.
  • the light receiving unit 210 receives light from the outside and outputs a signal based on the intensity of the received light.
  • the light receiving section 210 includes the pixel array 20 described above, and may further include an optical system that allows light to enter the pixel array 20 appropriately.
  • the storage unit 212 stores data necessary for each component of the imaging device 2 or data output from each component.
  • Storage unit 212 may comprise any suitable temporary or non-transitory storage medium, memory, storage, or the like.
  • the control unit 214 controls the light receiving unit 210 and the like.
  • the control unit 214 may perform control based on an input from the user, or may perform control based on preset conditions. Also, the control unit 214 may perform control based on outputs from the signal processing unit 216, the image processing unit 218, and the like.
  • the signal processing unit 216 appropriately processes the signal output by the light receiving unit 210 and outputs the processed signal.
  • the signal processor 216 may include, for example, the ADC described above. In addition to this, processing such as signal clamp processing may be executed.
  • the signal processing unit 216 converts the analog signal acquired by the light receiving unit 210 into a digital signal using an ADC, and outputs the digital signal to the image processing unit 218 .
  • a digital signal reflecting the signal from the divided pixel 202 receiving the E light is obtained. may be output.
  • the signal obtained by the divided pixel 202 that receives the E light may be output separately from the R signal.
  • the R signal may be a signal corrected using the E signal. may be output respectively.
  • the signal processing unit 216 may correct the signal output from the pixel 200 receiving the B light based on the signal output from the divided pixel 202 receiving the E light. By performing such correction, even when the imaging element 2 is provided below the display 4, it is possible to appropriately correct the blue light component whose intensity is weakened due to absorption. .
  • the image processing unit 218 generates and outputs an image signal and a video signal based on the signal output by the signal processing unit 216.
  • the image processing unit 218 may use the R, G, B, and E signals output by the signal processing unit 216 to improve the color reproducibility of the image. It is also possible to realize light source estimation based on the intensity of light of each color received by each light receiving element. Some or all of these processes may be performed in the signal processing unit 216 instead of the image processing unit 218.
  • the image processing unit 218 may implement color reproducibility improvement processing using each of the R, G, B, and E signals, for example, using a model trained by machine learning.
  • the arithmetic processing may be a form in which information processing by software is specifically implemented using a processing circuit.
  • the software processing may be, for example, a processing circuit executing a program stored in the storage unit 212 based on parameters stored in the storage unit 212, or a dedicated processing circuit. , may be executed by the dedicated processing circuit.
  • the above-mentioned imaging device can also be used in electronic devices that acquire changes in oxygen saturation in blood from spectral curves.
  • the spectral curve of the oxygen saturation in blood does not have a large difference in the received light of B, E, and G, and the light source effect is corrected in this region.
  • E light it is possible to perform correction using the signals acquired in the wavelength region with three types of peaks, which is more precise than when correcting from two types of signals B and G. can be improved.
  • This correction may be performed by the signal processor 216 or the image processor 218, for example.
  • the output begins to deviate depending on the oxygen saturation, so by obtaining the oxygen saturation from this feature, it is possible to estimate the oxygen saturation with visible light.
  • pixels that receive infrared light or divided pixels may be partially introduced.
  • processing for improving the sensing accuracy of the received light for example, improving color reproducibility, estimating the light source, external light Processing such as processing such as removal may be performed.
  • the combination of the three primary colors and the fourth color is not limited to the above. As in the above, for example, three primary colors that are sufficiently capable of reproducing the visible light region may be set. In color reproduction using these three primary colors, if the negative values of the color matching functions of these three primary colors can affect the execution of highly accurate color reproduction, it is possible to cover the area of these negative values. A fourth color may be set.
  • FIG. 21 is a diagram more specifically showing the data flow of the imaging device. For example, each data processing is executed by an appropriate component among the light receiving unit 210 to the image processing unit 218 in FIG.
  • the pixels output analog signals photoelectrically converted by the light receiving elements of the pixels.
  • This analog signal is suitably converted to a digital signal in the ADC.
  • this digital signal may subtract the received light intensity of the emerald light from the received light intensity of the R light.
  • Fig. 22 is a diagram showing the situation during this AD conversion.
  • subtracting the emerald intensity from the R intensity during AD conversion it can be implemented by down-counting during the E readout period and up-counting during the R readout period, as shown in this figure.
  • By performing subtraction processing in this way it is possible to correct R based on the received light intensity of E at the time of AD conversion.
  • the reset period starts before the E readout period, and the reset level is reached. E reading is executed by down-counting from this reset level. Subsequently, a data read period is started, and R read is executed by up-counting. By processing in this manner, it is possible to output a value obtained by subtracting the E signal from the R signal in the AD conversion from the counter.
  • E reading can be executed by down-counting.
  • the ramp signal used for counting the E signal is controlled to have a slope different from that of R, or the frequency of the clock signal that indicates the count timing of the E signal may be controlled.
  • Similar processing can be performed when the intensity of the E signal is used to correct the intensity of the B signal. That is, by considering up-counting during the E readout period and up-counting during the B readout period, the B signal can be corrected using the E signal during AD conversion.
  • the ADC executes the processing as described above.
  • correction is performed on this digital signal.
  • This signal correction may be performed externally rather than within the imager. Corrections for the signal in E above may be performed at this stage.
  • the signal of E may be used for the correction, and three color signals may be output from the sensor, or the signal of E may be included. Four-color signals may be sensor-output to the outside.
  • White balance adjustment, linear matrix processing, and YUV conversion are performed, and output as an appropriate image signal. If correction is not executed before sensor output, correction using the signal of E may be executed during these balance processing, linear matrix processing, and YUV processing.
  • FIG. 23 is a diagram showing an example of a substrate provided with an imaging device 2.
  • FIG. Substrate 30 includes pixel area 300 , control circuitry 302 , and logic circuitry 304 . As shown in FIG. 30, the pixel region 300, the control circuit 302, and the logic circuit 304 may be provided on the same 30 substrates.
  • a pixel region 300 is, for example, a region in which the pixel array 20 and the like described above are provided.
  • the pixel circuits and the like described above may be appropriately provided in this pixel region 300 or may be provided in another region (not shown) of the substrate 30 .
  • the control circuit 302 includes a control section 214 .
  • the logic circuit 304 for example, the ADC of the signal processing unit 216 may be provided in the pixel region 300 and may output the converted digital signal to the logic circuit 304 .
  • the image processing unit 218 may be provided in this logic circuit 304 .
  • at least part of the signal processing unit 216 and the image processing unit 218 may be mounted on another signal processing chip provided at a location different from the substrate 30 instead of on this chip, or may be mounted on another processor. may be implemented within
  • FIG. 24 is a diagram showing another example of a substrate provided with the imaging device 2.
  • a first substrate 32 and a second substrate 34 are provided.
  • the first substrate 32 and the second substrate 34 have a laminated structure, and can transmit and receive signals to and from each other appropriately through connection portions such as via holes.
  • the first substrate 32 may comprise the pixel area 300 and the control circuit 302, and the second substrate 34 may comprise the logic circuit 304.
  • FIG. 25 is a diagram showing another example of a substrate provided with an imaging device 2.
  • a first substrate 32 and a second substrate 34 are provided.
  • the first substrate 32 and the second substrate 34 have a laminated structure, and signals can be transmitted and received to and from each other appropriately through connection portions such as via holes.
  • the first substrate 32 may comprise the pixel area 300 and the second substrate 34 may comprise the control circuit 302 and the logic circuit 304 .
  • the storage area may be provided in an arbitrary area.
  • a substrate for storage area may be provided, and this substrate may be provided between the first substrate 32 and the second substrate 34 or below the second substrate 34. .
  • a plurality of stacked substrates may be connected to each other through via holes as described above, or may be connected by a method such as micro-dumping. These substrates can be laminated by any method such as CoC (Chip on Chip), CoW (Chip on Wafer), or WoW (Wafer on Wafer).
  • FIG. 26 is a diagram showing a modification of the arrangement of pixels according to one embodiment.
  • a divided pixel 202 for receiving E light may be provided in a divided pixel 202 in a B pixel instead of an R pixel.
  • the intensity of light within the same pixel 200 by adopting such a configuration.
  • the E signal may be used to correct the signal in this wavelength region.
  • the loss may be compensated by simply adding the E signal value to the B signal value.
  • the output of B in the wavelength region near 520 nm, where the loss is small is overcorrected.
  • the spectral balance may be lost.
  • the value obtained by multiplying the output value of the E signal by the gain may be subtracted from the value obtained by multiplying the output value of the B signal by the gain.
  • FIG. 27 is a graph showing relative output values with respect to wavelength when polyimide is used as the material.
  • the dashed line indicates the transmittance of polyimide.
  • the thin solid line shows the output for the wavelengths that make up B when not transmitted through polyimide.
  • the dashed line shows the attenuated output for the B wavelength through polyimide.
  • the thin line shows the curve where the power of the dotted line is doubled (multiplied by the gain).
  • the thick solid line indicates the output obtained by subtracting the output of the wavelengths forming E at a constant rate from the output of the thin line.
  • Polyimide used in displays causes loss in the blue wavelength band, as shown by this dashed line. Therefore, in order to compensate for the output (thin solid line) of the pixel 200 that receives light in the blue wavelength band, that is, outputs a B signal, gain is added to B in signal processing as indicated by the thin line. be done.
  • the output of the pixel 200 that receives the B light may be corrected using the E signal.
  • FIG. 26 is shown as an example, and similar to the case where the pixel 200 that receives the R light is provided with the split pixel 202 that receives the E light, as shown in FIGS.
  • the pixel 200 may be configured as shown in FIGS. 30 to 32, which will be described later.
  • FIG. 28 is a diagram showing yet another example of pixel arrangement.
  • each of the pixel 200 that receives the R light and the pixel 200 that receives the B light may be provided with a divided pixel 202 that receives the E light.
  • the output from the E divided pixel 202 provided in each pixel 200 can be used for the R correction and the B correction.
  • FIG. 29A is a diagram showing yet another example of pixel arrangement.
  • the colors of signals obtained by the divided pixels 202 in the pixel 200 may not be three colors.
  • E divided pixels 202 may be provided in addition to four or more colors.
  • a divided pixel 202 that receives E light may be provided in addition to divided pixels 202 that receive complementary colors in addition to the three primary colors.
  • the image sensor 2 includes, in the pixel 200 that receives R light, a divided pixel 202 that receives R light and a divided pixel 202 that receives E light.
  • the image sensor 2 includes divided pixels 202 that receive G light and divided pixels 202 that receive yellow (Ye) light.
  • the image sensor 2 includes divided pixels 202 for receiving B light and divided pixels 202 for receiving cyan (Cy) light.
  • the complementary colors of the three primary colors may be appropriately provided as divided pixels 202 .
  • the image pickup element 2 includes a pixel 200 that receives R light, a divided pixel 202 that receives R light, and a divided pixel that receives magenta (Mg) light. 202 and.
  • the image sensor 2 includes divided pixels 202 that receive G light and divided pixels 202 that receive Ye light.
  • the image sensor 2 includes a divided pixel 202 that receives the B light and a divided pixel 202 that receives the E light.
  • the divided pixel 202 for receiving E light may be provided in the pixel 200 for receiving B light instead of the pixel 200 for receiving R light as in the above-described embodiment.
  • FIG. 29B is a diagram showing still another example of pixel arrangement.
  • each of the pixel 200 that receives the R light and the pixel 200 that receives the B light may be provided with a divided pixel 202 that receives the E light. That is, in the pixel 200 that receives R light, the image sensor 2 includes a divided pixel 202 that receives R light, a divided pixel 202 that receives Mg light, and a divided pixel 202 that receives E light. . In the pixel 200 that receives G light, the image sensor 2 includes divided pixels 202 that receive G light and divided pixels 202 that receive Ye light. In the pixel 200 that receives the B light, the image sensor 2 includes a divided pixel 202 that receives the B light, a divided pixel 202 that receives the Cy light, and a divided pixel 202 that receives the E light. .
  • the signal processing unit 216 can correct the intensity of light in a wavelength region that is difficult to obtain in the wavelength region of the received color by using the result of receiving light of complementary color. For this reason, as shown in these drawings, a form including divided pixels 202 that receive light of complementary colors may be provided. As shown in FIG. 29A, by aligning the center of gravity of the divided pixel 202 that receives light of the complementary color or E with the center of gravity of the divided pixel 202 that receives light of the three primary colors, it is possible to suppress the occurrence of false colors in correction. . On the other hand, as shown in FIG.
  • the divided pixel for receiving the E light is obtained.
  • the R and B signals from 202 can be corrected within the pixel 200 .
  • FIG. 29C is a diagram showing still another example of pixel arrangement. As shown in this figure, pixel 200 may comprise more than 2 ⁇ 2 sub-pixels 202 as described above.
  • the image pickup device 2 has a divided pixel 202 that receives R light, a divided pixel 202 that receives Mg light, and a divided pixel 202 that receives E light.
  • the image sensor 2 includes divided pixels 202 that receive G light and divided pixels 202 that receive Ye light.
  • the image sensor 2 includes a divided pixel 202 that receives the B light, a divided pixel 202 that receives the Cy light, and a divided pixel 202 that receives the E light. .
  • a pixel is provided with divided pixels, and at least one of the divided pixels is provided with a divided pixel that receives light of a fourth color different from the three primary colors.
  • they may be implemented as collections of pixels.
  • FIG. 30 is a diagram extracting some of the pixels in the pixel array 20 according to one embodiment. Pixels 200 are indicated by dotted lines, and pixels 200 surrounded by solid lines indicate a group of pixels 206 that receive light of the same color. These pixels may be implemented as 2 ⁇ 1 pairs of pixels.
  • the pixel group 206 may comprise a pixel group comprising 5 pixel pairs (10 pixels 200) and a pixel group comprising 4 pixel pairs (8 pixels 200). Each pixel pair is provided with an on-chip lens 204 . As shown, a pixel group 206 with five pixel pairs receives light of G color, and a pixel group 206 with four pixel pairs receives light of R or B color. do. Even if such pixels 200 are assembled to receive light of the same color, part of the pixel group 206 that receives R light can be configured as the pixels 200 that receive E light. .
  • the central pixel 200 may be configured as a pixel 200 that receives E light. This combination of E and R may be reversed.
  • FIG. 31 is a diagram showing another combination in a configuration similarly provided with pixel groups.
  • the pixel group 206 that receives the R light the pixel 200 that receives the E light may be positioned at the center, and the other pixels 200 may be the pixels 200 that receive the R light.
  • one on-chip lens 204 is provided for each of the R-light-receiving pair pixel and the E-light-receiving pair pixel.
  • a sized on-chip lens 204 may be provided.
  • FIG. 32 is a diagram showing another example of configuring pixel pairs.
  • all pixel groups 206 may be formed from four pixel pairs (eight pixels 200).
  • pixels 200 for receiving E light are provided in the pixel group 206 for receiving R light.
  • the imaging device 2 may be formed to have a configuration in which the drawing is tilted by 45 degrees with respect to the first direction and the second direction in FIG.
  • the proportion of pixels 200 that receive E light is less than or equal to the proportion of pixels 200 that receive R light.
  • the position of the center of gravity of the pixels 200 that receive R light and the position of the center of gravity of the pixels 200 that receive E light desirably match.
  • the pixel group 206 which is a set of pixels 200 that receive light of the same color and are arranged according to a predetermined rule
  • one pixel belonging to the pixel group 206 that receives light of R is similar to the above-described embodiment.
  • the pixels 200 in the part may be the pixels 200 that receive the E light.
  • the image plane phase difference can be obtained using the output signals from the pixels 200 belonging to the same pixel group 206. can be done.
  • the electronic device 1 can accurately detect the defocus amount, and as a result, it is possible to achieve highly accurate autofocus processing.
  • the color reproducibility can be improved and the sensing accuracy can be improved as in the above-described embodiments. can also
  • the number of pixels 200 that receive G light can be made greater than the number of pixels 200 that receive R and B light.
  • the pixel group 206 for receiving the B light is provided with the pixel 200 for receiving the E light instead of the pixel group 206 for receiving the R light. It may be in the form
  • the pixels 200, divided pixels 202, and/or pixel groups 206 (hereinafter referred to as pixels and the like) that receive the respective colors are basically of the same size.
  • the form in the present disclosure is not limited to this.
  • E, Ye, Cy, or Mg pixels may have higher sensitivity than RGB three primary color pixels in the same area.
  • the size of pixels such as E, Ye, Cy, or Mg may be smaller than the size of pixels such as RGB.
  • the size of a pixel or the like may be considered as the area of a unit light receiving region, for example.
  • an ND filter may be provided on the light-receiving surface of the E, Ye, Cy, or Mg pixels, or the exposure amount may be changed.
  • FIG. 33 is a diagram showing a non-limiting example of the above pixel states. A case is shown in which the sensitivity of pixels receiving E, Ye, and Cy light is higher than the sensitivity of pixels receiving RGB colors. As shown in FIG. 33, for example, pixels that receive E, Ye, and Cy light may have light-receiving regions that are narrower than the light-receiving regions of pixels that receive RGB light.
  • the light-receiving regions of the pixels that receive E, Ye, and Cy light are shown to have the same size, but are not limited to this. Depending on the light-receiving sensitivity of each pixel of E, Ye, and Cy, the light-receiving regions that receive light of these colors may have different areas.
  • the area of the light receiving region may be changed, an ND filter may be provided, or the amount of exposure may be changed, depending on the sensitivity of each color pixel or the like.
  • the configuration is not limited to these, and a configuration that can appropriately control the sensitivity may be employed.
  • 34A and 34B are diagrams showing the internal configuration of a vehicle 360, which is a first application example of the electronic device 1 including the imaging device 2 according to the present disclosure.
  • 34A is a diagram showing the interior of the vehicle 360 from the rear to the front of the vehicle 360
  • FIG. 34B is a diagram showing the interior of the vehicle 360 from the oblique rear to the oblique front of the vehicle 360.
  • a vehicle 360 in FIGS. 34A and 34B has a center display 361, a console display 362, a heads-up display 363, a digital rear mirror 364, a steering wheel display 365, and a rear entertainment display 366.
  • the center display 361 is arranged on the dashboard 367 at a location facing the driver's seat 368 and the passenger's seat 369.
  • FIG. 34 shows an example of a horizontally elongated center display 361 extending from the driver's seat 368 side to the passenger's seat 369 side, but the screen size and placement of the center display 361 are arbitrary.
  • Information detected by various sensors can be displayed on the center display 361 .
  • the center display 361 displays images captured by the image sensor, images of the distance to obstacles in front of and to the side of the vehicle measured by the ToF sensor, and passenger temperatures detected by the infrared sensor. Displayable.
  • Center display 361 can be used to display at least one of safety-related information, operation-related information, lifelogs, health-related information, authentication/identification-related information, and entertainment-related information, for example.
  • Safety-related information includes information such as the detection of falling asleep, the detection of looking away, the detection of tampering by children riding in the same vehicle, the presence or absence of seatbelt wearing, and the detection of occupants being left behind. It is information detected by The operation-related information uses a sensor to detect a gesture related to the operation of the passenger. Detected gestures may include manipulating various equipment within vehicle 360 . For example, it detects the operation of an air conditioner, a navigation device, an AV device, a lighting device, or the like.
  • the lifelog includes lifelogs of all crew members. For example, the lifelog includes a record of each occupant's behavior during the ride.
  • the health-related information detects the body temperature of the occupant using a temperature sensor, and infers the health condition of the occupant based on the detected body temperature.
  • an image sensor may be used to capture an image of the occupant's face, and the occupant's health condition may be estimated from the captured facial expression.
  • an automated voice conversation may be conducted with the passenger, and the health condition of the passenger may be estimated based on the content of the passenger's answers.
  • Authentication/identification-related information includes a keyless entry function that performs face authentication using a sensor, and a function that automatically adjusts seat height and position by face recognition.
  • the entertainment-related information includes a function of detecting operation information of the AV device by the passenger using a sensor, a function of recognizing the face of the passenger with the sensor, and providing content suitable for the passenger with the AV device.
  • the console display 362 can be used, for example, to display lifelog information.
  • Console display 362 is located near shift lever 371 on center console 370 between driver's seat 368 and passenger's seat 369 .
  • a console display 362 can also display information detected by various sensors.
  • the console display 362 may display an image of the surroundings of the vehicle captured by an image sensor, or may display an image of the distance to obstacles around the vehicle.
  • the head-up display 363 is virtually displayed behind the windshield 372 in front of the driver's seat 368. Heads-up display 363 can be used to display at least one of safety-related information, operation-related information, lifelogs, health-related information, authentication/identification-related information, and entertainment-related information, for example.
  • the heads-up display 363 is often placed virtually in front of the driver's seat 368 and is therefore used to display information directly related to the operation of the vehicle 360, such as vehicle 360 speed and fuel (battery) level. Are suitable.
  • the digital rear mirror 364 can display not only the rear of the vehicle 360 but also the state of the passengers in the rear seats. be able to.
  • the steering wheel display 365 is arranged near the center of the steering wheel 373 of the vehicle 360.
  • Steering wheel display 365 can be used, for example, to display at least one of safety-related information, operational-related information, lifelogs, health-related information, authentication/identification-related information, and entertainment-related information.
  • life log information such as the driver's body temperature and information regarding the operation of AV equipment and air conditioning equipment.
  • the rear entertainment display 366 is attached to the back side of the driver's seat 368 and passenger's seat 369, and is intended for viewing by passengers in the rear seats.
  • Rear entertainment display 366 can be used to display at least one of safety-related information, operation-related information, lifelogs, health-related information, authentication/identification-related information, and entertainment-related information, for example.
  • information relevant to the rear seat occupants is displayed. For example, information about the operation of an AV device or an air conditioner may be displayed, or the results obtained by measuring the body temperature of passengers in the rear seats with a temperature sensor may be displayed.
  • Optical distance measurement methods are broadly classified into passive and active methods.
  • the passive type measures distance by receiving light from an object without projecting light from the sensor to the object.
  • Passive types include lens focusing, stereo, and monocular vision.
  • the active type measures distance by projecting light onto an object and receiving reflected light from the object with a sensor.
  • Active types include an optical radar method, an active stereo method, a photometric stereo method, a moiré topography method, an interferometric method, and the like.
  • the electronic device 1 according to the present disclosure is applicable to any of these methods of distance measurement.
  • the passive or active distance measurement described above can be performed.
  • the electronic device 1 including the imaging device 2 according to the present disclosure can be applied not only to various displays used in vehicles, but also to displays mounted on various electronic devices.
  • FIG. 35A is a front view of a digital camera 310, which is a second application example of the electronic device 1, and FIG. 35B is a rear view of the digital camera 310.
  • FIG. The digital camera 310 in FIGS. 35A and 35B shows an example of a single-lens reflex camera with an interchangeable lens 121, but it can also be applied to a camera in which the lens 121 is not interchangeable.
  • FIGS. 35A and 35B With the camera of FIGS. 35A and 35B, when the photographer holds the grip 313 of the camera body 311, looks through the electronic viewfinder 315, determines the composition, adjusts the focus, and presses the shutter, the Captured data is stored in memory.
  • a monitor screen 316 for displaying photographed data and the like, a live image and the like, and an electronic viewfinder 315 are provided on the rear side of the camera.
  • a sub-screen for displaying setting information such as shutter speed and exposure value is provided on the upper surface of the camera.
  • the senor By arranging the sensor on the back side of the monitor screen 316, the electronic viewfinder 315, the sub-screen, etc. used for the camera, it can be used as the electronic device 1 according to the present disclosure.
  • the electronic device 1 according to the present disclosure can also be applied to a head-mounted display (hereinafter referred to as HMD).
  • HMDs can be used for VR, AR, MR (Mixed Reality), SR (Substitutional Reality), and the like.
  • FIG. 36A is an external view of the HMD 320, which is the third application example of the electronic device 1.
  • FIG. The HMD 320 of FIG. 36A has a mounting member 322 for wearing over the human eye. This mounting member 322 is fixed by being hooked on a human ear, for example.
  • a display device 321 is provided inside the HMD 320 , and the wearer of the HMD 320 can visually recognize a stereoscopic image or the like on the display device 321 .
  • the HMD 320 has, for example, a wireless communication function and an acceleration sensor, and can switch stereoscopic images and the like displayed on the display device 321 according to the posture and gestures of the wearer.
  • the HMD 320 may be provided with a camera to capture an image of the wearer's surroundings, and the display device 321 may display an image obtained by synthesizing the image captured by the camera and an image generated by a computer.
  • a camera is placed on the back side of the display device 321 that is visually recognized by the wearer of the HMD 320, and the area around the wearer's eyes is captured by this camera. By displaying it on the display, people around the wearer can grasp the wearer's facial expressions and eye movements in real time.
  • FIG. 36B the electronic device 1 according to the present disclosure can also be applied to smart glasses 340 that display various information on glasses 344.
  • FIG. A smart glass 340 in FIG. 36B has a body portion 341, an arm portion 342, and a barrel portion 343.
  • Body portion 341 is connected to arm portion 342 .
  • the body portion 341 is detachable from the glasses 344 .
  • the main unit 341 incorporates a control board for controlling the operation of the smart glasses 340 and a display unit.
  • the body portion 341 and the lens barrel are connected to each other via the arm portion 342 .
  • the lens barrel portion 343 emits image light emitted from the body portion 341 via the arm portion 342 to the lens 345 side of the glasses 344 .
  • This image light enters the human eye through lens 345 .
  • the wearer of the smart glasses 340 in FIG. 36B can visually recognize not only the surroundings but also various information emitted from the lens barrel 343 in the same manner as ordinary glasses.
  • the electronic device 1 according to the present disclosure can also be applied to a television device (hereinafter referred to as TV).
  • TV television device
  • Recent TVs tend to have a frame as small as possible from the viewpoint of miniaturization and design. For this reason, when a camera for photographing the viewer is provided on the TV, it is desirable to place the camera on the back side of the display panel 331 of the TV.
  • FIG. 37 is an external view of a TV 330, which is a fourth application example of the electronic device 1.
  • the frame of the TV 330 in FIG. 37 is minimized, and almost the entire front side is the display area.
  • the TV 330 has a built-in sensor such as a camera for photographing the viewer.
  • the sensor in FIG. 37 is arranged behind a portion of the display panel 331 (for example, the portion indicated by the dashed line).
  • the sensor may be an image sensor module, and various sensors such as face authentication sensors, distance measurement sensors, and temperature sensors can be applied. may be placed.
  • the image sensor module can be arranged overlapping the back side of the display panel 331, so there is no need to arrange a camera or the like in the frame, and the TV 330 can be miniaturized. In addition, there is no fear that the design will be spoiled by the frame.
  • FIG. 38 is an external view of a smartphone 350, which is a fifth application example of the electronic device 1.
  • the display surface 2z extends close to the external size of the electronic device 1, and the width of the bezel 2y around the display surface 2z is several millimeters or less.
  • a front camera is often mounted on the bezel 2y, but in FIG. 38, an image sensor module 9 functioning as a front camera is mounted on the back side of the display surface 2z, for example, in the approximate center, as indicated by the dashed line. are placed.
  • the spectrum of the light of the fourth color has a maximum value in a region in which the absolute value of negative values in the color matching functions of the first color, the second color, and the third color is larger than in other regions. image sensor.
  • the number of divided pixels is 2 ⁇ 2 or more in the pixel, (1)
  • the imaging device according to (1) The imaging device according to (1).
  • the three primary colors are RGB (Red, Green, Blue); the color matching function of the fourth color has a maximum value in a wavelength range of 520 nm ⁇ 10 nm; the number of the divided pixels that receive the light of the fourth color is smaller than the number of the divided pixels that receive the light of G; (2) The imaging device according to the above.
  • the divided pixels that receive emerald light are provided at a rate equal to or less than the number of divided pixels that receive R light.
  • the imaging device according to the above.
  • the fourth color is emerald
  • the divided pixel that receives the light of the fourth color is at least one divided pixel among the divided pixels included in the pixel that receives the B light,
  • the imaging device according to any one of (3) to (10).
  • the pixel comprises an on-chip lens
  • the on-chip lenses provided in the pixels including the divided pixels that receive the fourth color have a shape different from the on-chip lenses provided in the other pixels,
  • the imaging device according to any one of (1) to (12).
  • the pixel comprises an on-chip lens
  • the on-chip lenses provided in the pixels including the divided pixels that receive R and emerald light have a shape different from the on-chip lenses provided in the divided pixels that receive G and B light, (12)
  • the imaging device according to any one of (12).
  • the pixel comprises an on-chip lens
  • the on-chip lens is provided so as to cover all the divided pixels in the pixels including the divided pixels that receive R and emerald light in a vertically and horizontally symmetrical arrangement.
  • the imaging device according to any one of (4) to (12).
  • the pixel comprises an on-chip lens
  • the on-chip lenses provided in the pixels including the divided pixels that receive B and emerald light have a shape different from the on-chip lenses provided in the divided pixels that receive G and R light.
  • the pixel comprises an on-chip lens,
  • the on-chip lens is provided so as to cover all the divided pixels in the pixels including the divided pixels that receive the B and emerald light in a vertically and horizontally symmetrical arrangement.
  • An imaging device comprising the imaging device according to any one of (1) to (17).
  • an imaging device according to any one of (1) to (17); a display having a display surface on the light-receiving surface side of the imaging device, and having the imaging device embedded therein; electronic equipment.
  • pixels that receive light corresponding to the three primary colors of RGB a divided pixel having a number of 2 ⁇ 2 or more constituting a light-receiving portion in the pixel; a display having a display surface on the light-receiving surface side of the pixels, in which the pixels are embedded; with The divided pixels are a divided pixel that receives the light of the first color in the pixel that receives the light of the first color among the three primary colors; a divided pixel that receives the light of the second color in the pixel that receives the light of the second color among the three primary colors; a divided pixel that receives the light of the third color in the pixel that receives the light of the third color among the three primary colors; a divided pixel that receives an emerald different from any of the three primary colors in the pixel that receives light of any one of the three primary colors; including
  • the spectrum of emerald light has a maximum value in a wavelength range of 520 nm ⁇ 10 nm, and the number
  • the display is made of a material containing a material that absorbs in a wavelength region of 450 nm or less, (20) Electronic equipment according to.
  • (28) is a medical device, The electronic device according to any one of (20) to (27).
  • (29) is a smartphone, The electronic device according to any one of (20) to (27).
  • a pixel a pixel group in which the pixels receiving light of colors corresponding to the three primary colors are arranged in a predetermined array; with The pixels are a pixel that receives the first color light in the pixel group that receives the first color light among the three primary colors; a pixel that receives light of the second color in the pixel group that receives the light of the second color among the three primary colors; a pixel that receives the third color light in the pixel group that receives the third color light among the three primary colors; a pixel, in the pixel group that receives light of any one of the three primary colors, that receives a fourth color that is different from any of the three primary colors; including
  • the spectrum of the light of the fourth color has a maximum value in a region in which the absolute value of negative values in the color matching functions of the first color, the second color, and the third color is larger than in other regions. image sensor.
  • the imaging device further comprising:
  • the three primary colors are RGB (Red, Green, Blue); the color matching function of the fourth color has a maximum value in a wavelength range of 520 nm ⁇ 10 nm; the number of the pixels receiving the light of the fourth color is smaller than the number of the pixels receiving the light of G;
  • the fourth color is emerald
  • the pixel that receives the fourth color light is included in the pixel group that receives the R light, (33) The imaging device described in (33).
  • the fourth color is emerald, the pixel that receives the fourth color light is included in the pixel group that receives the B light; (33) The imaging device described in (33).
  • the imaging device according to any one of (1) to (38) may be formed of stacked semiconductors.
  • said semiconductor is laminated in the form of CoC, (39) The imaging device described in (39).
  • an ND filter is provided on the light receiving surface side of the light receiving area, or the exposure amount of the light receiving area is changed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

［課題］撮像素子の色に関する性能を向上させる。 ［解決手段］撮像素子は、3原色に対応する光を受光する画素と、前記画素において受光部を構成する分割画素と、を備える。前記分割画素は、前記3原色のうち第1色の光を受光する前記画素において前記第1色の光を受光する分割画素と、前記3原色のうち第2色の光を受光する前記画素において前記第2色の光を受光する分割画素と、前記3原色のうち第3色の光を受光する前記画素において前記第3色の光を受光する分割画素と、前記3原色のうちいずれかの色の光を受光する前記画素において、前記3原色のいずれとも異なる第4色を受光する分割画素と、を含み、前記第4色の光のスペクトルは、前記第1色、前記第2色及び前記第3色の等色関数における負値の絶対値が大きい領域において最大値を有する。

Description

撮像素子、撮像装置及び電子機器
　本開示は、撮像素子、撮像装置及び電子機器に関する。
　RGBの3原色において撮像を実行するイメージセンサが多く利用されているが、RGBだけの情報では、忠実な色再現が困難であることが知られている。この原因の1つとして、等色関数表現において520nm前後の波長で大きな負の成分を有することが挙げられる。リニアマトリックスによる行列演算処理で、この負の成分を生成するには、この帯域にピークを有する画素が必要となる。
　これに対応するために、RGBにエメラルド(E)の素子を加えたRGBE配列を備える撮像素子がある。しかしながら、このような配列では、輝度信号に対する寄与率が高いGの画素を減らすことになり、SNR(Signal to Noise Ratio)や色再現の両面において課題があり、普及には至っていない。
特開2004-200357号公報
　そこで、本開示では、色再現性の高い撮像を実現する撮像素子を提供する。
　一実施形態によれば、撮像素子は、3原色に対応する光を受光する画素と、前記画素において受光部を構成する分割画素と、を備える。前記分割画素は、前記3原色のうち第1色の光を受光する前記画素において前記第1色の光を受光する分割画素と、前記3原色のうち第2色の光を受光する前記画素において前記第2色の光を受光する分割画素と、前記3原色のうち第3色の光を受光する前記画素において前記第3色の光を受光する分割画素と、前記3原色のうちいずれかの色の光を受光する前記画素において、前記3原色のいずれとも異なる第4色を受光する分割画素と、を含み、前記第4色の光のスペクトルは、前記第1色、前記第2色及び前記第3色の等色関数における負値の絶対値が他の領域と比較して大きい領域において最大値を有する。
　前記分割画素は、前記画素において2 × 2以上の個数が備えられてもよい。
　前記3原色は、RGB(Red、Green、Blue)であってもよく、前記第4色の等色関数は、波長が520nm±10nmの範囲において最大値を有し、Gの光を受光する前記分割画素の数よりも、前記第4色の光を受光する前記分割画素の数が少なくてもよい。
　前記第4色は、エメラルドであってもよく、前記第4色の光を受光する前記分割画素は、Rの光を受光する前記画素に含まれる前記分割画素のうち少なくとも1つであってもよい。
　エメラルドの光を受光する前記分割画素は、Rの光を受光する前記分割画素の個数以下の割合で備えられてもよい。
　前記分割画素は、Rの光を受光する前記画素において2 × 2個備えられもよく、エメラルドの光を受光する前記分割画素は、Rの光を受光する前記画素における前記分割画素のうち1つであってもよい。
　前記分割画素は、Rの光を受光する前記画素において2 × 2個備えられてもよく、エメラルドの光を受光する前記分割画素は、Rの光を受光する前記画素における前記分割画素のうち、対角方向に備えられてもよい。
　前記分割画素は、Rの光を受光する前記画素において3 × 2個以上備えられてもよく、Rの光を受光する前記分割画素の重心と、エメラルドの光を受光する前記分割画素の重心とが一致していてもよい。
　エメラルドの光を受光する前記分割画素からの出力を用いて、Rの光を受光する前記分割画素からの出力を補正してもよい。
　前記分割画素から出力されるアナログ信号を取得してデジタル信号に変換する、アナログ－デジタル変換回路、をさらに備えてもよく、前記アナログ－デジタル変換回路において、Rの光の信号と、エメラルドの光の信号とが逆方向にカウントされてもよい。
　前記第4色は、エメラルドであってもよく、前記第4色の光を受光する前記分割画素は、Bの光を受光する前記画素に含まれる前記分割画素のうち少なくとも1つの分割画素であってもよい。
　エメラルドの光を受光する前記分割画素からの出力を用いて、Bの光を受光する前記分割画素からの出力を補正してもよい。
　前記画素は、オンチップレンズを備えてもよく、前記第4色を受光する前記分割画素を含む前記画素に備えられる前記オンチップレンズは、他の前記画素に備えられる前記オンチップレンズとは異なる形状を有してもよい。
　前記画素は、オンチップレンズを備えてもよく、R及びエメラルドの光を受光する前記分割画素を含む前記画素に備えられる前記オンチップレンズは、G及びBの光を受光する前記分割画素に備えられる前記オンチップレンズとは異なる形状を有してもよい。
　前記画素は、オンチップレンズを備えてもよく、上下左右に対称な配置にR及びエメラルドの光を受光する前記分割画素を含む前記画素において、当該分割画素の全てを覆うように前記オンチップレンズが備えられてもよい。
　前記画素は、オンチップレンズを備えてもよく、B及びエメラルドの光を受光する前記分割画素を含む前記画素に備えられる前記オンチップレンズは、G及びRの光を受光する前記分割画素に備えられる前記音痴婦レンズとは異なる形状を有してもよい。
　前記画素は、オンチップレンズを備えてもよく、上下左右に対称な配置にB及びエメラルドの光を受光する前記分割画素を含む前記画素において、当該分割画素の全てを覆うように前記オンチップレンズが備えられてもよい。
　一実施形態によれば、撮像装置は、上記のいずれかの撮像素子を備える。
　一実施形態によれば、電子機器は、上記にいずれかの撮像素子と、前記撮像素子の受光面側に表示面を有し、前記撮像素子が埋め込まれている、ディスプレイと、を備える。
　一実施形態によれば、電子機器は、RGBの3原色に対応する光を受光する、画素と、前記画素において受光部を構成する2 × 2以上の個数が備えられる、分割画素と、前記画素の受光面側に表示面を有し、前記画素が埋め込まれている、ディスプレイと、を備え、前記分割画素は、前記3原色のうち第1色の光を受光する前記画素において、前記第1色の光を受光する、分割画素と、前記3原色のうち第2色の光を受光する前記画素において、前記第2色の光を受光する、分割画素と、前記3原色のうち第3色の光を受光する前記画素において、前記第3色の光を受光する、分割画素と、前記3原色のうちいずれかの色の光を受光する前記画素において、前記3原色のいずれとも異なるエメラルドを受光する、分割画素と、を含み、エメラルドの光のスペクトルは、波長が520nm±10nmの範囲において最大値を有し、Gの光を受光する前記分割画素の数よりも数が少ない。
　前記ディスプレイは、450nm以下の波長領域で吸収性を有する材料を含む材料により形成されていてもよい。
　前記ディスプレイは、ポリイミドを含む材料により形成されていてもよい。
　エメラルドの光を受光する前記分割画素からの出力に基づいて、Rの光を受光する前記分割画素からの出力を補正してもよい。
　エメラルドの光を受光する前記分割画素からの出力に基づいて、Bの光を受光する前記分割画素からの出力を補正してもよい。
　前記分割画素から出力されるアナログ信号をデジタル信号に変換する、アナログ－デジタル変換回路と、前記アナログ－デジタル変換回路の出力に対して信号処理を実行する、信号処理回路と、を備えてもよく、前記信号処理回路は、前記デジタル信号に基づいて、光に関するセンシング精度を向上させてもよい。
　前記信号処理回路は、色再現性を向上させてもよい。
　前記信号処理回路は、光源推定を実行してもよい。
　上記の電子機器は、撮像装置であってもよい。
　上記の電子機器は、医療機器であってもよい。
　上記の電子機器は、スマートフォンであってもよい。
　一実施形態によれば、撮像素子は、画素と、3原色に対応する色の光を受光する前記画素同士が所定の配列で配置された、画素群と、を備え、前記画素は、前記3原色のうち第1色の光を受光する前記画素群において、前記第1色の光を受光する、画素と、前記3原色のうち第2色の光を受光する前記画素群において、前記第2色の色の光を受光する、画素と、前記3原色のうち第3色の光を受光する前記画素群において、前記第3色の色の光を受光する、画素と、前記3原色のうちいずれかの色の光を受光する前記画素群において、前記3原色のいずれとも異なる第4色を受光する、画素と、を含み、前記第4色の光のスペクトルは、前記第1色、前記第2色及び前記第3色の等色関数における負値の絶対値が他の領域と比較して大きい領域において最大値を有する。
　前記画素は、隣接する前記画素と、画素ペアを構成してもよく、前記画素ペアに対して形成される、オンチップレンズをさらに備えてもよい。
　前記3原色は、RGB(Red、Green、Blue)であってもよく、前記第4色の等色関数は、波長が520nm±10nmの範囲において最大値を有してもよく、Gの光を受光する前記画素の数よりも、前記第4色の光を受光する前記画素の数が少なくてもよい。
　前記第4色は、エメラルドであってもよく、前記第4色の光を受光する前記分割画素は、Rの光を受光する前記画素に含まれてもよい。
　Rの光を受光する前記画素群においてRの光を受光する前記画素の重心と、エメラルドの光を受光する前記画素の重心とが一致していてもよい。
　前記第4色はエメラルドであってもよく、前記第4色の光を受光する前記画素は、Bの光を受光する前記画素群に含まれてもよい。
　一実施形態によれば、撮像装置は、上記の撮像素子を備える。
　一実施形態によれば、電子機器は、上記の撮像素子を備える。
　上記に記載の撮像素子は、積層された半導体により形成されてもよい。
　この半導体は、CoCの形式で積層されてもよい。
　この半導体は、CoWの形式で積層されてもよい。
　この半導体は、WoWの形式で積層されてもよい。
一実施形態に係る電子機器を模式的に示す外観図。 一実施形態に係る画素アレイを模式的に示す図。 一実施形態に係る画素を模式的に示す図。 RGBの等色関数を示すグラフ。 一実施形態に係る画素を模式的に示す図。 一実施形態に係る画素を模式的に示す図。 一実施形態に係る画素を模式的に示す図。 一実施形態に係る画素を模式的に示す図。 一実施形態に係る画素を模式的に示す図。 一実施形態に係る画素を模式的に示す図。 一実施形態に係る画素を模式的に示す図。 一実施形態に係る画素を模式的に示す図。 一実施形態に係る画素を模式的に示す図。 一実施形態に係る画素を模式的に示す図。 一実施形態に係る画素を模式的に示す図。 一実施形態に係る画素を模式的に示す図。 一実施形態に係る画素を模式的に示す図。 一実施形態に係る画素を模式的に示す図。 一実施形態に係る画素を模式的に示す図。 一実施形態に係る撮像素子の構成を示すブロック図。 一実施形態に係る撮像素子における処理を示す図。 一実施形態に係るAD変換を示す図。 一実施形態に係る撮像素子の実装例を示す図。 一実施形態に係る撮像素子の実装例を示す図。 一実施形態に係る撮像素子の実装例を示す図。 一実施形態に係る画素を模式的に示す図。 一実施形態に係る補正の一例を示すグラフ。 一実施形態に係る画素を模式的に示す図。 一実施形態に係る画素を模式的に示す図。 一実施形態に係る画素を模式的に示す図。 一実施形態に係る画素を模式的に示す図。 一実施形態に係る画素を模式的に示す図。 一実施形態に係る画素を模式的に示す図。 一実施形態に係る画素を模式的に示す図。 一実施形態に係る画素を模式的に示す図。 乗物の後方から前方にかけての乗物の内部の様子を示す図。 乗物の斜め後方から斜め前方にかけての乗物の内部の様子を示す図。 電子機器の第2適用例であるデジタルカメラの正面図。 デジタルカメラの背面図。 電子機器の第3適用例であるＨＭＤの外観図。 スマートグラスの外観図。 電子機器の第4適用例であるTVの外観図。 電子機器の第5適用例であるスマートフォンの外観図。
　以下、図面を参照して本開示における実施形態の説明をする。図面は、説明のために用いるものであり、実際の装置における各部の構成の形状、サイズ、又は、他の構成とのサイズの比等が図に示されている通りである必要はない。また、図面は、簡略化して書かれているため、図に書かれている以外にも実装上必要な構成は、適切に備えるものとする。
　(第1実施形態)
　図1は、一実施形態に係る電子機器を模式的に示す外観図及び断面図である。電子機器1は、例えば、スマートフォン、携帯電話、タブレット型端末、PC等の表示機能と撮影機能とを兼ね備えた任意の電子機器である。電子機器1は、これらの例に限定されるものではなく、例えば、カメラ等の撮像装置、医療機器、検査装置等の他のデバイスであってもよい。図に示すように、第1方向、第2方向及び第3方向を便宜的に定義する。電子機器1は、撮像素子2と、部品層3と、ディスプレイ4と、カバーガラス5と、を備える。
　電子機器1は、例えば、外観図に示すように表示領域1aとベゼル1bとを備える。電子機器1は、画像、映像等をこの表示領域1aに表示させる。ベゼル1bは、ディスプレイ表示面側における画像を取得するべくインカメラが備えられることがあるが、今日においてはこのベゼル1bの占有する領域を狭くすることが求められることが多い。このため、本実施形態に係る電子機器1は、ディスプレイの下側に撮像素子2を備え、ベゼル1bが表示面側で占める領域を狭めている。
　撮像素子2は、受光素子及び受光素子が出力する信号について信号処理を実行する信号処理回路を備える。撮像素子2は、受光素子が受光した光に基づいて、画像に関する情報を取得する。撮像素子2は、例えば、複数の層から形成される半導体により実装されてもよい。撮像素子2の詳細については、後述する。なお、図においては、撮像素子2は、円状であるが、これには限られず矩形等の任意の形状であってもよい。
　部品層3は、撮像素子2が属する層である。この部品層3には、例えば、電子機器1において撮像以外の処理を実現するための種々のモジュール、デバイスが備えられる。
　ディスプレイ4は、画像、映像等を出力するディスプレイであり、断面図に示すように、ディスプレイ4の裏面側に撮像素子2及び部品層3が備えられる。また、撮像素子2は、図に示すように、ディスプレイ4に埋め込まれるように備えられる。
　このディスプレイ4は、その性質から、例えば、450nm以下の波長領域の光を吸収する材料が含まれる材料で形成されてもよい。この450nm以下の波長領域の光を吸収する材料は、例えば、ポリイミドである。ポリイミドは、450nm以下の波長領域、すなわち、青色の波長領域の光を吸収する材料であるため、ディスプレイ4に撮像素子2が埋め込まれていると撮像素子2において青色の領域の光を受光しづらくなる可能性が高くなる。このため、撮像素子2において青色の光の強度を適切に向上させることが望ましい。
　カバーガラス5は、ディスプレイ4を保護するガラス層である。ディスプレイ4とカバーガラス5の間には、ディスプレイ4から出力される光が適切にユーザにとって見やすくなるように偏光層が備えられていてもよいし、表示領域1aをタッチパネルとして用いることができるように、任意の形式(感圧式、静電式)等の層を備えていてもよい。これらの他にも、ディスプレイ4とカバーガラス5との間には、適切に撮像素子2における撮影とディスプレイ4における表示をする形態において任意の層等が備えられていてもよい。
　以下の説明において半導体層等における受光素子、レンズ、回路等の具体的な実装については、本開示の本質的な構成ではないので説明しないが、図面、説明等から読み取れる形状、構成等に任意の手法を用いて実装できるものである。例えば、撮像素子の制御、信号の取得等は、特に記載のない限り任意の手法で実現することが可能である。
　図2は、撮像素子2に備えられる画素アレイを示す図である。撮像素子2は、受光する領域として画素アレイ20を備える。画素アレイ20は、複数の画素200を備える。画素200は、例えば、第1方向及び第2方向に沿ってアレイ状に備えられる。なお、方向は、一例としてあげたものであり、第1方向及び第2方向に限定されるものではなく、例えば、45度ずれた方向であってもよいし、その他の任意の角度分ずれた方向であってもよい。
　この画素200は、受光画素であり、それぞれの画素200において所定の色の光を受光する構成であってもよい。画素200において取得される光の色は、例えば、R(赤)、G(緑)、B(青)の3原色で示される色であってもよい。本実施形態においては、このRGBの3原色に対して、第4色としてRGBのいずれとも異なるスペクトルを透過するエメラルドの色の光を受光する領域を画素中に設ける。
　図3は、画素200の一部を抽出した図である。画素200は、それぞれに複数の分割画素202を備える。例えば、この図3に示すように、画素200は、2 × 2の分割画素202を備える。実線は、画素200の境界を表し、点線は、分割画素202の境界を表す。
　本開示において分割画素202とは、例えば、撮像の単位となる画素200における受光素子を分割した領域を示す。画素200は、画素200ごとに画素回路を備え、撮像素子2は、この画素回路の出力に基づいて1画素ごとの情報を取得する。同じ画素200に属する分割画素202は、当該画素200に対応する画素回路を介して信号を出力する。例えば、同じ画素200に属する分割画素202は、フローティングディフュージョン及びその他のスイッチを形成するトランジスタ、蓄電するキャパシタ等を共有してアナログ信号を他の回路へと出力する。このように、分割画素202は、それぞれに独立に画素回路を備えず、画素200ごとに備えられる画素回路により制御され、適切に個々の出力が実行できる単位のことを示す。すなわち、分割画素202は、単なる小さい画素200の集合ではなく、画素200の受光領域を分割した領域で示される単位のことを示す。
　画素200は、上述したように、3原色の光を受光する受光素子を備えて構成される。例えば、画素200は、Rの光を受光する画素と、Gの光を受光する画素と、Bの光を受光する画素と、を備える。例えば、画素200ごと、又は、分割画素202ごとにカラーフィルタを備えて形成されたり、色ごとの有機光電変換膜を備えて形成されたりすることにより、画素200の受光する光の色が設定される。
　図3に示すように、本実施形態の一例として、Rの光を受光する画素200は、Rの光を受光する分割画素202と、エメラルド(以下、Eと記載することがある。)の光を受光する分割画素202と、を備える。また、一例として、Gの光を受光する画素200は、Gの光を受光する分割画素202により構成され、Bの光を受光する画素200は、Bの光を受光する分割画素202により構成されてもよい。
　R、G、Bのそれぞれの光を受光する画素200は、例えば、ベイヤ配列で配置される。これに限定されるものではなく、他の配列であってもよい。配列によらず、Eの光を受光する分割画素202は、Gの光を受光する分割画素202よりも小さい割合で備えられるのが望ましい。これは、Gの光は、輝度情報に寄与する影響が大きく撮影された画像等における輝度情報を減少させることが望ましくないからである。
　また、Gの光を受光する分割画素202と同様に、Eの光を受光する分割画素202は、Bの光を受光する分割画素202よりも小さい割合で含まれ、さらには、Rの光を受光する分割画素202以下の割合で含まれることが望ましい。
　Eの光を受光する分割画素202は、一例として、Rの光を受光する画素200に属する分割画素202のうち1つであり、図のように配置される。
　図4は、RGBの等色関数を示すグラフである。このグラフに示すように、等色関数でRGBの3原色を表すと、Rの等色関数が520nmの波長領域で負値が大きくなり、このようなフィルタを用いることにより、この波長領域での色再現性を劣化させる可能性がある。
　一方でエメラルドは、520nm±10nmで最大値(ピーク)をとるスペクトルを有する。このため、Eの光を受光する分割画素202から出力される信号により、Rの光を受光する分割画素202から出力される信号を補正することで、Rの等色関数の負値領域の信号を補強することが可能となる。このため、図3に示すように、Rの光を受光する画素200に属する分割画素202の一部をEの光を受光する分割画素202とすることが望ましい。このため、エメラルドには限られず、この領域でピークとなるようなスペクトルを有する他の色の光を受光する分割画素202であってもよい。
　Rの光を受光する画素200にEの光を受光する分割画素202を備えることにより、Rの光を受光する分割画素202と同じ又は近傍の領域における光を異なる色の信号として受光することができる。このため、このようにEの光を受光する分割画素202を備えることで、Eの信号を用いてRの信号を補正する場合に受光位置のずれを小さくすることが可能となり、色の再現性をより向上させることが可能となる。
　例えば、画素自体がEの光を受光する場合では、Rの光を受光する画素と、Eの画素との位置ずれが発生し、補正する際にはこのずれを考慮しなくてはならないか、又は、精度の低い補正をすることとなる。このため、処理によっては、偽色が発生することが多い。これに対して、本実施形態のように、Rの光を受光する画素200中にEの光を受光する分割画素202を備えることで、偽色のような位置ずれによる補正ずれの影響を抑制することができる。
　また、Rの光を受光する画素200にEの光を受光する分割画素202を備えることにより、画素回路においてRの光を受光する分割画素202とフローティングディフュージョンを共通して用いることができる。このため、アナログ－デジタル変換回路(以下ADC: Analog to Digital Converterと記載する。)においてデジタル信号を出力するタイミングでRの信号を補正することも可能となる。
　例えば、ADCにおけるカウンタ回路においてEの光を受光する分割画素202からの出力をマイナス側にカウントし、Rの光を受光する分割画素202からの出力をこのマイナス値に加算することで、ADCの出力をRが補正された信号とすることができる。この処理は、逆でもよく、Rの信号で加算した後に、Eの信号をマイナスしてもよい。
　別の例として、ADCにおいてCDS(Correlated Double Sampling)を実行する場合には、P相においてEの光を受光する分割画素202からの信号をマイナスカウントし、D相においてRの光を受光する分割画素202からの信号を出力する構成等としてもよい。
　このように、Eの光を受光する分割画素202をRの光を受光する画素200内に備えることにより、信号処理の効率化及び高精度化を実現することができる。
　図5は、分割画素202の配置の別の例を示す図である。このように、Rの光を受光する画素200内において、Eの光を受光する分割画素202が対角成分として備えられてもよい。
　図6は、分割画素202の配置の別の例を示す図である。このように、図5とは逆方向の対角成分としてRの光を受光する画素200内において、Eの光を受光する分割画素202が備えられてもよい。
　画素200において2 × 2の分割画素202が備えられる場合、対角にEの光を受光する分割画素202を備えることにより、Rの光を受光する画素200において、Rの光を受光する分割画素202の重心と、Eの光を受光する分割画素202の重心とをそろえることが可能となる。このように配置することで、上述した偽色の発生等の位置ずれによる影響をより抑制することが可能となる。これらの配置においても、Rの光を受光する分割画素202の割合は、Eの光を受光する分割画素202の割合と同じ値を維持することが可能である。
　図7は、さらに別の例を示す図である。この図に示すように、Rの信号を補強するために、Eの光を受光する分割画素202を配置することにより減少したRの光を受光する分割画素202をGの光を受光する画素200内に設けてもよい。
　画素200の分割は、図3、図5から図7のように、2 × 2である必要は無い。さらに多くの分割がされていてもよい。2 × 2よりも多くの分割画素202が画素200に備えられる場合においても、Rの光を受光する分割画素202の重心と、Eの光を受光する分割画素202の重心が一致することが望ましい。
　図8は、画素200が3 × 2に分割される例を示す図である。この図8に示すように、分割画素202は、画素200内に3 × 2個備えられてもよい。この場合においても、Rの光を受光する画素200において、その割合がRの光を受光する分割画素202の割合以下となるようにEの光を受光する分割画素202が備えられてもよい。さらに、図5等の場合と同じように、画素200内において、Rの光を受光する分割画素202の重心と、Eの光を受光する分割画素202の重心とが一致するように備えられてもよい。
　図9は、画素200が3 × 3に分割される例を示す図である。この図に示すように、画素200は、3 × 3の分割画素202に分割されていてもよい。Rの光を受光する画素200において、中央の1画素がEの光を受光する分割画素202であってもよい。この場合、画素200において、Rの光を受光する分割画素202の重心と、Eの光を受光する分割画素202の重心とを一致させることができる。
　図10は、画素200が3 × 3に分割される別の例を示す図である。画素200は、3 × 3の分割画素202に分割され、Rの光を受光する画素200において分割画素202の内、対角成分となる分割画素202がEの光を受光する分割画素202として形成されてもよい。この場合においても、画素200において、Rの光を受光する分割画素202の重心と、Eの光を受光する分割画素202の重心とを一致させることができる。
　図11は、画素200が3 × 3に分割されるさらに別の例を示す図である。Rの光を受光する画素200において、Rの光を受光する分割画素202を中央及び対角に配置し、その他の分割画素202をEの光を受光する分割画素202としてもよい。この場合においても、画素200において、Rの光を受光する分割画素202の重心と、Eの光を受光する分割画素202の重心とを一致させることができる。
　また、図9から図11のいずれの例においても、Rの光を受光する画素200において、Rの光を受光する分割画素202の割合を、Eの光を受光する分割画素202の割合よりも高くなる。
　分割画素202は、画素200中に、これよりも多くの数、例えば、4 × 4、5 × 5といった数、又は、これ以上の数で備えられることも可能である。これらの場合であっても、上述のように、Rの光を受光する画素200において、Rの光を受光する分割画素202の割合を、Eの光を受光する分割画素202の割合よりも高くすることが望ましい。また、同様に、画素200において、Rの光を受光する分割画素202の重心と、Eの光を受光する分割画素202の重心とを一致させることが望ましい。双方を同時に満たす条件として、例えば、図5や図10に示すように、Rを受光する画素200において、対角の角に位置する分割画素202をそれぞれEの光を受光する分割画素202としてもよい。また、それぞれの図に示すような拡張をすることも可能である。
　複数の例を用いて全ての画素200が分割画素202を備える場合について説明したが、これらには限られない。
　図12は、一実施形態に係る画素200の分割の様子を示す図である。この図に示すように、例えば、Rの光を受光する画素200のみに分割画素202を形成し、G及びBの光を受光する画素200においては、画素200を分割しない形態としてもよい。このように形成することにより、G及びBの光を受光する画素200において、分割画素202に分割することによる影響を小さくすることが可能となる。図5以外の他の例についても同様に実装することが可能である。
　次に、画素200においてオンチップレンズを備える場合について説明する。撮像素子2は、画素200に対してオンチップレンズを任意に備えてもよい。画素200におけるオンチップレンズの形状は、取得したい情報により変更することも可能である。すなわち、画素200は、任意の形状のオンチップレンズを備えることができる。
　図13は、図5の例においてオンチップレンズを備える一例を示す図である。図に示すように、画素200は、オンチップレンズ204を備えてもよい。
　例えば、GとBの光を受光する画素200については、画素200全体を覆うようにオンチップレンズを備えてもよい。一方で、Rの光を受光する画素200については、Rの光を受光する分割画素202、Eの光を受光する分割画素202のそれぞれについてオンチップレンズ204が備えられてもよい。このように、オンチップレンズ204を備えることにより、G及びBの光を受光する画素200においては、撮像素子2は、その領域に受光した光を適切に信号に変換することを可能とすることができる。さらに、撮像素子2は、R及びEの光を受光する分割画素202においては、画素200内におけるそれぞれの領域についての光の強度を適切に取得することができる。
　図14は、オンチップレンズ204の異なる配置を示す図である。この図に示すように、G及びBの光を受光する画素200においても、それぞれの分割画素202に集光するように、オンチップレンズ204を備えてもよい。
　すなわち、R及びEの光を受光する分割画素202と、G及びBの光を受光する分割画素202に対するオンチップレンズ204の形状及び配置を図14に示すように同一にすることもできるし、図13に示すように、異なるものとすることもできる。
　図15は、オンチップレンズ204のさらに別の例を示す図である。この図に示すように、図14とは逆に、R及びEの光を受光する分割画素202の形状を、画素200全体を覆う形状としてもよい。例えば、R及びEの光を受光する分割画素202が画素200内で対象に備えられる場合には、このような形状及び配置とすることも可能である。
　図16は、画素200が3 × 3に分割される場合にオンチップレンズ204を備える例を示す図である。図13の場合と同様に、Rの光を受光する画素200においては、それぞれの分割画素202ごとにオンチップレンズ204を備えてもよいし、一方で、G及びBの光を受光する画素200においては、画素200ごとにオンチップレンズ204を備えてもよい。
　図17、図18は、それぞれ画素200が3 × 3に分割される場合のオンチップレンズ204の配置の別の例を示す図である。
　このように、図13、図14、図15等のオンチップレンズ204の配置を3 × 3以上の画素200の分割において拡張することも可能である。
　図19は、オンチップレンズ204を備える場合の、前述とは異なる分割画素202の配置の例である。この図19に示すように、Rの光を受光する画素200は、隣接した分割画素202同士、例えば、Rの光を受光する水平方向に隣接する2つの分割画素202と、Eの光を受光する水平方向に隣接する2つの分割画素202と、を備えていてもよい。
　このような配置の場合、図に示すように、Rの光を受光する画素200内において、Rの光を受光する2つの分割画素202を覆うように1つのオンチップレンズ204が配置され、Eの光を受光する2つの分割画素202を覆うように1つのオンチップレンズ204が配置されてもよい。このように、オンチップレンズ204は、正方形の形状に基づいた形状ではなく、長方形の形状に基づいた形状として形成されてもよい。
　2 × 1の分割画素202に対するオンチップレンズ204を用いることにより、例えば、Rの光を受光する画素200において、画素内における位相差を取得する形態とすることもできる。
　以上のように、本実施形態によれば、画素を分割する形態を有する撮像素子において、3原色の等色関数の負値が大きくなる領域が存在する場合に、当該領域に対応する波長域にピークを有する第4色の分割画素を配置することで、受光素子において受光可能なスペクトルに依存する種々の影響を抑制することが可能となる。
　例えば、RGBの3原色を用いる場合、これらの等色関数の負値が大きくなりうる520nm付近(例えば、520nm±10nmの領域)においてピークを有するエメラルドの分割画素を備えることにより、Rの等色関数の負値領域に依存する画質の劣化を抑制することができる。さらに、エメラルドの光を受光する分割画素をRの光を受光する画素に配置することで、画素回路を共有することが可能となり、また、Rの光を受光する分割画素との重心を一致させることが可能となり、偽色等の位置ずれに関する影響を抑えることができる。
　次に、この第1実施形態における撮像素子2の信号処理について説明する。
　図20は、撮像素子2の構成の一例を示すブロック図である。撮像素子2は、例えば、受光部210と、記憶部212と、制御部214と、信号処理部216と、画像処理部218と、を備える。この撮像素子2は、受光部210において受光した光を適切に処理して、画像情報等に変換して出力する素子である。これらの各部は、適切な箇所において、回路として実装されていてもよい。
　受光部210は、外部からの光を受光し、受光した光の強度に基づいた信号を出力する。この受光部210は、前述の画素アレイ20を備え、さらに画素アレイ20に光が適切に入射するような光学系を備えていてもよい。
　記憶部212は、撮像素子2の各構成要素において必要となるデータ、又は、各構成要素から出力されたデータを格納する。記憶部212は、任意の一時的又は非一時的な適切な記憶媒体であるメモリ、ストレージ等を備えて構成される。
　制御部214は、受光部210等の制御をする。制御部214は、例えば、ユーザからの入力に基づいて制御をしてもよいし、あらかじめ設定された条件に基づいて制御をしてもよい。また、制御部214は、信号処理部216、画像処理部218等の出力に基づいた制御をしてもよい。
　信号処理部216は、受光部210が出力した信号を適切に処理して出力する。信号処理部216は、例えば、上述のADCを備えていてもよい。このほかにも、信号のクランプ処理といった処理を実行してもよい。信号処理部216は、一例として、ADCにより、受光部210が取得したアナログ信号をデジタル信号に変換して、画像処理部218へと出力する。Rの光を受光する画素200からのアナログ信号に対して、上述したように、カウンタへの入力信号の制御を行うことにより、Eの光を受光する分割画素202からの信号を反映したデジタル信号を出力してもよい。
　別の例として、Eの光を受光する分割画素202により取得された信号をRの信号とは別に出力してもよい。この場合、Rの信号は、Eの信号を用いて補正された後の信号であってもよく、すなわち、信号処理部216からは、補正されたRの信号と、G、B、Eの信号がそれぞれ出力されてもよい。
　また、信号処理部216は、Eの光を受光する分割画素202から出力された信号に基づいて、Bの光を受光する画素200から出力される信号を補正してもよい。このような補正を行うことで、ディスプレイ4の下側に撮像素子2が備えられる場合等においても、吸収されて強度が弱くなっている青色の光の成分を適切に補正することが可能となる。
　画像処理部218は、信号処理部216が出力した信号に基づいて、画像信号、映像信号を生成して出力する。例えば、画像処理部218は、信号処理部216が出力したR、G、B、Eの信号を用いて画像における色再現性を向上させてもよい。また、各受光素子が受光した各色の光の強度に基づいて、光源推定を実現することもできる。これらの処理の一部又は全部は、画像処理部218ではなく、信号処理部216において実行されてもよい。
　画像処理部218は、例えば、機械学習により訓練されたモデルを用いて、R、G、B、Eのそれぞれの信号を用いた色再現性の向上処理を実現してもよい。この場合、この演算処理は、ソフトウェアによる情報処理が処理回路を用いて具体的に実装される形態であってもよい。ソフトウェアによる処理は、例えば、記憶部212に記憶されているパラメータ等に基づいて、記憶部212に記憶されているプログラムを処理回路が実行するものであってもよいし、専用の処理回路を備え、当該専用の処理回路が実行するものであってもよい。
　前述の撮像素子は、血液中の酸素飽和度の変化を分光カーブから取得する電子機器にも用いることができる。血中の酸素飽和度の分光カーブは、B、E、Gの受光においては大きな差分がなく、この領域で光源影響の補正を行うこととなる。このような場合、Eの受光をすることで、3種類のピークを有する波長領域において取得した信号により補正を行うことが可能となり、B、Gの2種類の信号から補正を行う場合よりも制度を向上することができる。この補正は、例えば、信号処理部216又は画像処理部218により実行されてもよい。
　一方で、Rの領域では、酸素飽和度によって出力が乖離し始めるため、この特徴から酸素飽和度を取得することにより、可視光での酸素飽和度推定が可能となる。この場合には、赤外光を受光する画素、又は、分割画素を部分的に取り入れてもよい。
　同様の電子機器で、心拍等の測定をする場合には、血色の変化をリアルタイムに捉える必要がある。このような場合でも同様に、光源推定や外光除去を実現することで精度向上を図ることができる。
　このように、信号処理部216(又は画像処理部218)から出力されたデジタル信号にも基づいて、受光した光に関するセンシング精度の向上する処理、例えば、色再現性の向上や光源推定、外光除去等の処理といった処理を実行してもよい。
　なお、3原色及び第4色の組み合わせは、上記に限定されるものではない。上述したものと同様に、例えば可視光領域の再現が十分に可能な3原色を設定してもよい。そして、この3原色を用いる色再現において、この3原色の等色関数の負値が高精度な色再現を実行することに対して影響を及ぼしうる場合に、この負値の領域をカバーできるような第4色を設定してもよい。
　図21は、撮像素子のデータの流れをより具体的に示す図である。例えば、図20における受光部210から画像処理部218のうち適切な構成要素により各データ処理が実行される。
　画素からは、画素の受光素子において光電変換されたアナログ信号が出力される。このアナログ信号は、適切にADCにおいてデジタル信号に変換される。上述したように、AD変換時に、このデジタル信号は、エメラルドの光の受光強度をRの光の受光強度から減算してもよい。
　図22は、このAD変換時の様子を示す図である。AD変換時にエメラルドの強度をRの強度から減算する場合には、この図のようにEの読み出し期間においてダウンカウントをし、Rの読み出し期間においてアップカウントをすることで実装することができる。このように減算処理を行うことにより、AD変換時においてEの受光強度に基づいてRの補正を実行することが可能となる。
　例えば、CDSにおいて、図22に示すタイミングチャートの一部を有する場合、E読み出し期間の前にリセット期間が開始され、リセットレベルとなる。このリセットレベルからE読み出しをダウンカウントにより実行する。続いて、データ読み出し期間が開始され、R読み出しをアップカウントにより実行する。このように処理することで、AD変換において、Rの信号からEの信号を減算した値をカウンタからの出力とすることが可能となる。もちろん、CDSにおいてもこれ以外の実装も可能であるし、CDS以外の場合においてもE読み出しをダウンカウントで実行することが可能である。
　Eの信号に対してゲインを掛ける場合には、例えば、Eの信号のカウントに用いるランプ信号をRとは異なる傾斜へと制御したり、又は、Eの信号のカウントタイミングを示すクロック信号の周波数を制御したりしてもよい。
　Eの信号の強度をBの信号の強度の補正に用いる場合も、同様の処理を実行することが可能である。すなわち、Eの読み出し期間におけるアップカウントと、Bの読み出し期間におけるアップカウントと、を考慮することにより、AD変換時にBの信号をEの信号を用いて補正することができる。
　AD変換時においてEの信号による補正を実行する場合には、上記のようにADCが処理を実行する。
　ADCによりデジタル信号に変換されると、このデジタル信号に対して補正が実行される。この信号補正は、撮像素子内ではなく、外部で実行されてもよい。上記のEの信号に関する補正は、この段階で実行されてもよい。
　補正が撮像素子内で行われる場合においても、行われない場合においても、上述のようにEの信号を補正に用いた3色の信号をセンサ出力してもよいし、Eの信号を含めた4色の信号を外部へとセンサ出力してもよい。
　ホワイトバランスの調整、リニアマトリックス処理、YUV変換が実行され、適切な画像信号として出力される。センサ出力前に補正が実行されていない場合には、これらの穂わいたバランス処理、リニアマトリックス処理、YUV処理時にEの信号を用いた補正を実行してもよい。
　なお、上記の処理は、一例としてあげたものであり、この処理の流れに限定されるものではない。
　図23は、撮像素子2を備える基板の一例を示す図である。基板30は、画素領域300と、制御回路302と、ロジック回路304と、を備える。この図30に示すように、画素領域300と、制御回路302と、ロジック回路304とが同じ基板30条に備えられる構成であってもよい。
　画素領域300は、例えば、前述の画素アレイ20等が備えられる領域である。上述した画素回路等は、適切にこの画素領域300に備えられてもよいし、基板30における図示しない別の領域において備えられていてもよい。制御回路302は、制御部214を備える。ロジック回路304は、例えば、信号処理部216のADCは、画素領域300に備えられ、変換したデジタル信号を、このロジック回路304に出力をする形態であってもよい。また、画像処理部218は、このロジック回路304に備えられてもよい。また、信号処理部216、画像処理部218の少なくとも一部は、このチップ上ではなく、基板30とは別の箇所に備えられる別の信号処理チップに実装されていてもよいし、別のプロセッサ内に実装されていてもよい。
　図24は、撮像素子2を備える基板の別の例を示す図である。基板として、第1基板32と、第2基板34と、が備えられる。この第1基板32と第2基板34は、積層された構造であり、適切にビアホール等の接続部を介して相互に信号を送受信できる。例えば、第1基板32が、画素領域300と、制御回路302と、を備え、第2基板34が、ロジック回路304を備えて構成されてもよい。
　図25は、撮像素子2を備える基板の別の例を示す図である。基板として、第1基板32と、第2基板34と、が備えられる。この第1基板32と、第2基板34は、積層された構造であり、適切にビアホール等の接続部を介して相互に信号を送受信できる。例えば、第1基板32が、画素領域300を備え、第2基板34が、制御回路302と、ロジック回路304と、を備えて構成されてもよい。
　なお、図23から図25において、記憶領域が任意の領域に備えられてもよい。また、これらの基板とは別に、記憶領域用の基板が備えられ、この基板が第1基板32と第2基板34との間、又は、第2基板34の下側に備えられていてもよい。
　積層された複数の基板同士は、上記したようにビアホールで接続されてもよいし、マイクロダンプ等の方法で接続されてもよい。これらの基板の積層は、例えば、CoC(Chip on Chip)、CoW(Chip on Wafer)、又は、WoW(Wafer on Wafer)等の任意の手法で積層させることが可能である。
　(変形例)
　図26は、一実施形態に係る画素の配置の変形例を示す図である。この図に示すように、Rの画素ではなく、Bの画素における分割画素202にEの受光をする分割画素202が備えられてもよい。撮像素子2においてEの信号を用いてBの信号を補正する場合には、このような構成にすることで同じ画素200内における光の強度を調整することが可能となる。
　例えば、ポリイミドを材料として含むディスプレイ4においては、500nm以下の波長、特に、青の波長領域の信号に損失が大きくなることが知られている。このため、この波長領域における信号を補正するためにEの信号を用いてもよい。
　具体的には、単純にBの信号の値に、Eの信号の値を加算して損失を補填してもよい。
　また、Bにゲインを掛けて出力を補正する場合には、損失が少ない520nm近辺の波長域におけるBの出力が過剰に補正されてしまう。この結果、分光のバランスが崩れることがある。この分光のバランスを維持するべく、Bの信号の出力値にゲインを掛けた値から、Eの信号の出力値にゲインを掛けた値を減算してもよい。
　図27は、ポリイミドが材料として用いられる場合の波長に対する出力値を相対的に示すグラフである。破線は、ポリイミドの透過率を示す。細い実線は、ポリイミドを透過させない場合のBを構成する波長に対する出力を示す。点線は、ポリイミドを透過した場合のBの波長に対する減衰した出力を示す。薄線は、点線の出力を2倍にした(ゲインを掛けた)曲線を示す。太い実線は、薄線の出力に対して、Eを構成する波長の出力を一定割合で減算した出力を示す。
　ディスプレイに用いられるポリイミドは、この破線に示されるように、青の波長帯域の損失を発生させる。このため、この青の波長帯域の受光をする、すなわち、Bの信号を出力する画素200の出力(細い実線)を補うためには、薄線で示すように、信号処理においてBにゲインが加えられる。
　一方で、このように信号にゲインを掛けると、ポリイミドによる損失が少ない500nm-550nmの波長領域の出力が過剰に補正されてしまう。この過剰に補正される波長領域は、エメラルドの波長領域でもあるため、この一点鎖線の出力に対して、適切な割合でEの信号を減算することにより、分光形状を調整することが可能となる。
　このように、Bの光を受光する画素200の出力を、Eの信号を用いて補正してもよい。この場合、図26に示すように、Bの光を受光する画素200内に、Eの光を受光する分割画素202が備えられることがより望ましい。
　もちろん、図26は、一例として示したものであり、Rの光を受光する画素200にEの光を受光する分割画素202が備えられる場合と同様に、図5から図19に示されるように、又は、後述する図30から図32に示されるように、画素200を構成してもよい。
　図28は、画素の配置についてのさらに別の例を示す図である。この図に示すように、Rの光を受光する画素200及びBの光を受光する画素200のそれぞれにEの光を受光する分割画素202を備えてもよい。この場合、Rの補正と、Bの補正とでそれぞれの画素200に備えられるEの分割画素202からの出力を用いることもできる。
　図29Aは、画素の配置についてのさらに別の例を示す図である。画素200において分割画素202が取得する信号の色は、3色でなくともよい。例えば、4色以上の色に加えて、Eの分割画素202を備えてもよい。
　限定されない例として、図29Ａに示すように、3原色以外にも補色を受光する分割画素202に加えてEの光を受光する分割画素202が備えられていてもよい。
　例えば、上図に示すように、撮像素子2は、Rの光を受光する画素200において、Rの光を受光する分割画素202と、Eの光を受光する分割画素202と、を備える。撮像素子2は、Gの光を受光する画素200において、Gの光を受光する分割画素202と、黄色(Ye)の光を受光する分割画素202と、を備える。撮像素子2は、Bの光を受光する画素200において、Bの光を受光する分割画素202と、シアン(Cy)の光を受光する分割画素202と、を備える。このように、3原色の補色を適切に分割画素202として備えてもよい。
　また、別の例として、下図に示すように、撮像素子2は、Rの光を受光する画素200において、Rの光を受光する分割画素202と、マゼンダ(Mg)の光を受光する分割画素202と、を備える。撮像素子2は、Gの光を受光する画素200において、Gの光を受光する分割画素202と、Yeの光を受光する分割画素202と、を備える。撮像素子2は、Bの光を受光する画素200において、Bの光を受光する分割画素202と、Eの光を受光する分割画素202と、を備える。このように上述した形態と同様にRの光を受光する画素200ではなく、Bの光を受光する画素200にEの光を受光する分割画素202が備えられてもよい。
　図29Ｂは、画素の配置についてさらに別の例を示す図である。図28に示すように、Ｒの光を受光する画素200と、Ｂの光を受光する画素200のそれぞれにＥの光を受光する分割画素202を備えてもよい。すなわち、撮像素子2は、Ｒの光を受光する画素200において、Ｒの光を受光する分割画素202と、Mgの光を受光する分割画素202と、Ｅの光を受光する分割画素202を備える。撮像素子2は、Gの光を受光する画素200において、Gの光を受光する分割画素202と、Yeの光を受光する分割画素202と、を備える。撮像素子2は、Bの光を受光する画素200において、Bの光を受光する分割画素202と、Cyの光を受光する分割画素202と、Eの光を受光する分割画素202と、を備える。
　信号処理部216は、補色の光の受光結果を用いることにより、受光する色の波長領域において取得が困難な波長領域の光の強度を補正することが可能である。このため、これらの図に示すように、補色の光を受光する分割画素202を備える形態としてもよい。なお、図29Aに示すように補色又はEの光を受光する分割画素202と、3原色の光を受光する分割画素202の重心をそろえることにより、補正における偽色の発生を抑制することができる。一方で、図29Bに示すように、Rの光を受光する画素200及びBの光を受光する画素200にEの光を受光する分割画素202を備えることにより、Eの光を受光する分割画素202によるR及びBの信号を画素200内で補正することが可能となる。
　図29Cは、画素の配置についてさらに別の例を示す図である。この図に示すように、画素200は、上述したように2 × 2個よりも多い分割画素202を備えてもよい。
　一例として、撮像素子2は、Ｒの光を受光する画素200において、Ｒの光を受光する分割画素202と、Mgの光を受光する分割画素202と、Ｅの光を受光する分割画素202を備える。撮像素子2は、Gの光を受光する画素200において、Gの光を受光する分割画素202と、Yeの光を受光する分割画素202と、を備える。撮像素子2は、Bの光を受光する画素200において、Bの光を受光する分割画素202と、Cyの光を受光する分割画素202と、Eの光を受光する分割画素202と、を備える。
　このように、3 × 3のような分割画素202が画素200に備えられる場合には、画素200内におけるそれぞれの色の光を受光する分割画素202の重心の位置をそろえることも可能となる。この結果、等色関数における負値の補間をし、補色による色再現の向上を図るとともに、これらの補正による偽色の発生を抑制することも可能となる。
　もちろん、これらの例は限定されないものとして挙げられたものであり、効果を奏するように、適切な任意の分割画素202の色の配置とすることも可能である。
　(第2実施形態)
　前述の第1実施形態では、画素内に分割画素を備え、当該分割画素の少なくとも1つに3原色とは異なる第4色の光を受光する分割画素を備える構成であったが、分割画素ではなく、画素の集合としてこれらが実装されてもよい。
　図30は、一実施形態に係る画素アレイ20における画素の一部を抽出した図である。点線で示すのは、画素200であり、実線で囲まれた画素200が同じ色の光を受光する画素群206を示す。これらの画素は、2 × 1のペアの画素として実装されてもよい。
　画素群206は、5個の画素ペア(10個の画素200)を備える画素群と、4個の画素ペア(8個の画素200)を備える画素群を備えていてもよい。それぞれの画素ペアには、オンチップレンズ204が備えられる。図に示すように、5個の画素ペアが備えられる画素群206は、Gの色の光を受光し、4個の画素ペアが備えられる画素群206は、R又はBの色の光を受光する。このような画素200を集合して同じ色の受光を行う場合であっても、Rの光を受光する画素群206において、その一部をEの光を受光する画素200として構成することができる。
　例えば、図30に示すように、Rの光を受光する画素群206において、中央に位置する画素200をEの光を受光する画素200として構成してもよい。このEとRの組み合わせは、逆であってもよい。
　図31は、同様に画素群を備える構成において、別の組み合わせを示す図である。この図31に示すように、Rの光を受光する画素群206において、Eの光を受光する画素200の位置を中央にして、他の画素200をRの光を受光する画素200としてもよい。この場合、オンチップレンズ204は、Rを受光するペア画素、及び、Eを受光するペア画素においてそれぞれ1つずつ備えられ、Eを受光するペア画素の両端に備えられる画素200については、それぞれの大きさに応じたオンチップレンズ204が備えられてもよい。
　図32は、画素ペアを構成する別の例について示す図である。この図32に示すように、全ての画素群206は、4個の画素ペア(8個の画素200)から形成されていてもよい。図30の場合と同様に、Rの光を受光する画素群206において、Eの光を受光する画素200が備えられている。このように形成することで、色ごとに取得する画素200の数を、前述の実施形態と同様の比率にすることも可能である。もちろん、図32の形態において、図31のRの光を受光する画素群206の形態としてもよい。また、このように画素群を形成する場合には、図1における第1方向、第2方向に対してこの図面を45度傾けた構成を有する撮像素子2として形成してもよい。
　いずれの場合においても、Rの光を受光する画素群206において、Eの光を受光する画素200の割合は、Rの光を受光する画素200の割合以下とすることが望ましい。同様に、同じ画素群206においては、Rの光を受光する画素200の重心の位置と、Eの光を受光する画素200の重心の位置は、一致していることが望ましい。
　このように、所定の規則に従って配置されている同じ色の光を受光する画素200の集合である画素群206において、前述した実施形態と同様に、Rの光を受光する画素群206に属する一部の画素200をEの光を受光する画素200としてもよい。このように画素ペアを生成すると、それぞれの画素ペアにおいてオンチップレンズ204が配置されているため、同一の画素群206に属する画素200からの出力信号を用いて、像面位相差を取得することができる。この位相差を用いることにより、例えば、電子機器1は、デフォーカス量を精度よく検出することが可能となり、この結果、精度の高いオートフォーカス処理を実現することが可能となる。さらに、Eの光を受光する画素200をRの光を受光する画素群206内に備えることにより、前述の実施形態と同様に、色の再現性を向上したり、センシング精度を向上したりすることもできる。
　また、図30、図31のように、Gの光を受光する画素200の数を、R、Bの光を受光する画素200の数よりも多くすることも可能である。このように形成することで、撮影画像等における輝度情報をより適切に取得し、画質を高めることもできる。
　なお、本実施形態においても、前述の実施形態と同様に、Rの光を受光する画素群206ではなく、Bの光を受光する画素群206に、Eの光を受光する画素200が備えられる形態としてもよい。
　なお、前述の各実施形態においては、それぞれの色を受光する画素200、分割画素202及び／又は画素群206(以下、画素等と記載する。)は、基本的に同じ大きさである図を用いて説明したが、本開示における形態はこれに限定されるものではない。
　E、Ye、Cy、又は、Mgの画素等は、同じ面積のRGBの3原色の画素等よりも感度が高い場合がある。このような場合、E、Ye、Cy、又は、Mgの画素等のサイズをRGBの画素等のサイズよりも小さくしてもよい。画素等のサイズは、例えば、単位受光領域の面積と考えてもよい。
　別の例として、E、Ye、Cy、又は、Mgの画素等の受光面に対してNDフィルタを設けたり、露光量を変化させたりしてもよい。
　逆に、E、Ye、Cy、又は、Mgの画素等の感度がRGBの画素等の感度よりも低い場合には、E、Ye、Cy、又は、Mgの画素等の画素等の面積をRGBの画素等の面積よりも大きくしてもよいし、RGBの画素等にNDフィルタを設けてもよいし、RGBの画素等よりも露光量が多くなるようにしてもよい。
　図33は、上記の画素の状態の限定されない一例を示す図である。E、Ye及びCyの光を受光する画素の感度がRGBの色を受光する画素の感度よりも高い場合について示す。この図33に示すように、例えば、E、Ye及びCyの光を受光する画素は、RGBの光を受光する画素の受光領域よりも狭い受光領域を有していてもよい。
　図33においては、E、Ye及びCyの光を受光する画素の受光領域は、同じ大きさで示されているが、これに限定されるものではない。E、Ye及びCyのそれぞれの画素における受光感度により、これらの色の光を受光する受光領域を相互に異なる面積としてもよい。
　このように、それぞれの色の画素等の感度により、受光領域の面積を変化させ、NDフィルタを設け、又は、露光量を変化させてもよい。もちろん、これらに限定されるものではなく、適切に感度を制御できる構成としてもよい。
　(本開示による電子機器1又は撮像素子2の適用例)
　(第１適用例)
　本開示による電子機器1又は撮像素子2は、種々の用途に用いることができる。図34Ａ及び図34Ｂは本開示による撮像素子2を備えた電子機器1の第１適用例である乗物360の内部の構成を示す図である。図34Ａは乗物360の後方から前方にかけての乗物360の内部の様子を示す図、図34Ｂは乗物360の斜め後方から斜め前方にかけての乗物360の内部の様子を示す図である。
　図34Ａ及び図34Ｂの乗物360は、センターディスプレイ361と、コンソールディスプレイ362と、ヘッドアップディスプレイ363と、デジタルリアミラー364と、ステアリングホイールディスプレイ365と、リアエンタテイメントディスプレイ366とを有する。
　センターディスプレイ361は、ダッシュボード367上の運転席368及び助手席369に対向する場所に配置されている。図34では、運転席368側から助手席369側まで延びる横長形状のセンターディスプレイ361の例を示すが、センターディスプレイ361の画面サイズや配置場所は任意である。センターディスプレイ361には、種々のセンサで検知された情報を表示可能である。具体的な一例として、センターディスプレイ361には、イメージセンサで撮影した撮影画像、ToFセンサで計測された乗物前方や側方の障害物までの距離画像、赤外線センサで検出された乗客の体温などを表示可能である。センターディスプレイ361は、例えば、安全関連情報、操作関連情報、ライフログ、健康関連情報、認証／識別関連情報、及びエンタテイメント関連情報の少なくとも一つを表示するために用いることができる。
　安全関連情報は、居眠り検知、よそ見検知、同乗している子供のいたずら検知、シートベルト装着有無、乗員の置き去り検知などの情報であり、例えばセンターディスプレイ361の裏面側に重ねて配置されたセンサにて検知される情報である。操作関連情報は、センサを用いて乗員の操作に関するジェスチャを検知する。検知されるジェスチャは、乗物360内の種々の設備の操作を含んでいてもよい。例えば、空調設備、ナビゲーション装置、ＡＶ装置、照明装置等の操作を検知する。ライフログは、乗員全員のライフログを含む。例えば、ライフログは、乗車中の各乗員の行動記録を含む。ライフログを取得及び保存することで、事故時に乗員がどのような状態であったかを確認できる。健康関連情報は、温度センサを用いて乗員の体温を検知し、検知した体温に基づいて乗員の健康状態を推測する。あるいは、イメージセンサを用いて乗員の顔を撮像し、撮像した顔の表情から乗員の健康状態を推測してもよい。さらに、乗員に対して自動音声で会話を行って、乗員の回答内容に基づいて乗員の健康状態を推測してもよい。認証／識別関連情報は、センサを用いて顔認証を行うキーレスエントリ機能や、顔識別でシート高さや位置の自動調整機能などを含む。エンタテイメント関連情報は、センサを用いて乗員によるＡＶ装置の操作情報を検出する機能や、センサで乗員の顔を認識して、乗員に適したコンテンツをＡＶ装置にて提供する機能などを含む。
　コンソールディスプレイ362は、例えばライフログ情報の表示に用いることができる。コンソールディスプレイ362は、運転席368と助手席369の間のセンターコンソール370のシフトレバー371の近くに配置されている。コンソールディスプレイ362にも、種々のセンサで検知された情報を表示可能である。また、コンソールディスプレイ362には、イメージセンサで撮像された車両周辺の画像を表示してもよいし、車両周辺の障害物までの距離画像を表示してもよい。
　ヘッドアップディスプレイ363は、運転席368の前方のフロントガラス372の奥に仮想的に表示される。ヘッドアップディスプレイ363は、例えば、安全関連情報、操作関連情報、ライフログ、健康関連情報、認証／識別関連情報、及びエンタテイメント関連情報の少なくとも一つを表示するために用いることができる。ヘッドアップディスプレイ363は、運転席368の正面に仮想的に配置されることが多いため、乗物360の速度や燃料（バッテリ）残量などの乗物360の操作に直接関連する情報を表示するのに適している。
　デジタルリアミラー364は、乗物360の後方を表示できるだけでなく、後部座席の乗員の様子も表示できるため、デジタルリアミラー364の裏面側に重ねてセンサを配置することで、例えばライフログ情報の表示に用いることができる。
　ステアリングホイールディスプレイ365は、乗物360のハンドル373の中心付近に配置されている。ステアリングホイールディスプレイ365は、例えば、安全関連情報、操作関連情報、ライフログ、健康関連情報、認証／識別関連情報、及びエンタテイメント関連情報の少なくとも一つを表示するために用いることができる。特に、ステアリングホイールディスプレイ365は、運転者の手の近くにあるため、運転者の体温等のライフログ情報を表示したり、ＡＶ装置や空調設備等の操作に関する情報などを表示するのに適している。
　リアエンタテイメントディスプレイ366は、運転席368や助手席369の背面側に取り付けられており、後部座席の乗員が視聴するためのものである。リアエンタテイメントディスプレイ366は、例えば、安全関連情報、操作関連情報、ライフログ、健康関連情報、認証／識別関連情報、及びエンタテイメント関連情報の少なくとも一つを表示するために用いることができる。特に、リアエンタテイメントディスプレイ366は、後部座席の乗員の目の前にあるため、後部座席の乗員に関連する情報が表示される。例えば、ＡＶ装置や空調設備の操作に関する情報を表示したり、後部座席の乗員の体温等を温度センサで計測した結果を表示してもよい。
　上述したように、電子機器１の裏面側に重ねてセンサを配置することで、周囲に存在する物体までの距離を計測することができる。光学的な距離計測の手法には、大きく分けて、受動型と能動型がある。受動型は、センサから物体に光を投光せずに、物体からの光を受光して距離計測を行うものである。受動型には、レンズ焦点法、ステレオ法、及び単眼視法などがある。能動型は、物体に光を投光して、物体からの反射光をセンサで受光して距離計測を行うものである。能動型には、光レーダ方式、アクティブステレオ方式、照度差ステレオ法、モアレトポグラフィ法、干渉法などがある。本開示による電子機器１は、これらのどの方式の距離計測にも適用可能である。本開示による電子機器１の裏面側に重ねて配置されるセンサを用いることで、上述した受動型又は能動型の距離計測を行うことができる。
　(第２適用例)
　本開示による撮像素子2を備える電子機器1は、乗物で用いられる種々のディスプレイに適用されるだけでなく、種々の電子機器に搭載されるディスプレイにも適用可能である。
　図35Ａは電子機器1の第２適用例であるデジタルカメラ310の正面図、図35Ｂはデジタルカメラ310の背面図である。図35Ａ及び図35Ｂのデジタルカメラ310は、レンズ１２１を交換可能な一眼レフカメラの例を示しているが、レンズ１２１を交換できないカメラにも適用可能である。
　図35Ａ及び図35Ｂのカメラは、撮影者がカメラボディ311のグリップ313を把持した状態で電子ビューファインダ315を覗いて構図を決めて、焦点調節を行った状態でシャッタを押すと、カメラ内のメモリに撮影データが保存される。カメラの背面側には、図35Ｂに示すように、撮影データ等やライブ画像等を表示するモニタ画面316と、電子ビューファインダ315とが設けられている。また、カメラの上面には、シャッタ速度や露出値などの設定情報を表示するサブ画面が設けられる場合もある。
　カメラに用いられるモニタ画面316、電子ビューファインダ315、サブ画面等の裏面側に重ねてセンサを配置することで、本開示による電子機器１として用いることができる。
　(第３適用例)
　本開示による電子機器１は、ヘッドマウントディスプレイ(以下、HMDと呼ぶ)にも適用可能である。HMDは、VR、AR、MR(Mixed Reality)、又はSR(Substitutional Reality)等に利用されることができる。
　図36Ａは電子機器1の第３適用例であるHMD320の外観図である。図36ＡのHMD320は、人間の目を覆うように装着するための装着部材322を有する。この装着部材322は例えば人間の耳に引っ掛けて固定される。HMD320の内側には表示装置321が設けられており、HMD320の装着者はこの表示装置321にて立体映像等を視認できる。HMD320は例えば無線通信機能と加速度センサなどを備えており、装着者の姿勢やジェスチャなどに応じて、表示装置321に表示される立体映像等を切り換えることができる。
　また、HMD320にカメラを設けて、装着者の周囲の画像を撮影し、カメラの撮影画像とコンピュータで生成した画像とを合成した画像を表示装置321で表示してもよい。例えば、HMD320の装着者が視認する表示装置321の裏面側に重ねてカメラを配置して、このカメラで装着者の目の周辺を撮影し、その撮影画像をHMD320の外表面に設けた別のディスプレイに表示することで、装着者の周囲にいる人間は、装着者の顔の表情や目の動きをリアルタイムに把握可能となる。
　なお、HMD320には種々のタイプが考えられる。例えば、図36Ｂのように、本開示による電子機器1は、メガネ344に種々の情報を映し出すスマートグラス340にも適用可能である。図36Ｂのスマートグラス340は、本体部341と、アーム部342と、鏡筒部343とを有する。本体部341はアーム部342に接続されている。本体部341は、メガネ344に着脱可能とされている。本体部341は、スマートグラス340の動作を制御するための制御基板や表示部を内蔵している。本体部341と鏡筒は、アーム部342を介して互いに連結されている。鏡筒部343は、本体部341からアーム部342を介して出射される画像光を、メガネ344のレンズ345側に出射する。この画像光は、レンズ345を通して人間の目に入る。図36Ｂのスマートグラス340の装着者は、通常のメガネと同様に、周囲の状況だけでなく、鏡筒部343から出射された種々の情報を合わせて視認できる。
　(第４適用例)
　本開示による電子機器１は、テレビジョン装置(以下、TV)にも適用可能である。最近のTVは、小型化の観点及び意匠デザイン性の観点から、額縁をできるだけ小さくする傾向にある。このため、視聴者を撮影するカメラをTVに設ける場合には、TVの表示パネル331の裏面側に重ねて配置するのが望ましい。
　図37は電子機器1の第4適用例であるTV 330の外観図である。図37のTV 330は、額縁が極小化されており、正面側のほぼ全域が表示エリアとなっている。TV 330には視聴者を撮影するためのカメラ等のセンサが内蔵されている。図37のセンサは、表示パネル331内の一部（例えば破線箇所）の裏側に配置されている。センサは、イメージセンサモジュールでもよいし、顔認証用のセンサや距離計測用のセンサ、温度センサなど、種々のセンサが適用可能であり、複数種類のセンサをTV 330の表示パネル331の裏面側に配置してもよい。
　上述したように、本開示の電子機器1によれば、表示パネル331の裏面側に重ねてイメージセンサモジュールを配置できるため、額縁にカメラ等を配置する必要がなくなり、TV 330を小型化でき、かつ額縁により意匠デザインが損なわれるおそれもなくなる。
　(第５適用例)
　本開示による電子機器1は、スマートフォンや携帯電話にも適用可能である。図38は電子機器1の第5適用例であるスマートフォン350の外観図である。図38の例では、電子機器1の外形サイズの近くまで表示面2zが広がっており、表示面2zの周囲にあるベゼル2yの幅を数mm以下にしている。通常、ベゼル2yには、フロントカメラが搭載されることが多いが、図38では、破線で示すように、表示面2zの例えば略中央部の裏面側にフロントカメラとして機能するイメージセンサモジュール9を配置している。このように、フロントカメラを表示面2zの裏面側に設けることで、ベゼル2yにフロントカメラを配置する必要がなくなり、ベゼル2yの幅を狭めることができる。
　前述した実施形態は、以下のような形態としてもよい。
(1)
　3原色に対応する光を受光する、画素と、
　前記画素において受光部を構成する、分割画素と、
　を備え、
　前記分割画素は、
　　前記3原色のうち第1色の光を受光する前記画素において、前記第1色の光を受光する、分割画素と、
　　前記3原色のうち第2色の光を受光する前記画素において、前記第1色の光を受光する、分割画素と、
　　前記3原色のうち第3色の光を受光する前記画素において、前記第1色の光を受光する、分割画素と、
　　前記3原色のうちいずれかの色の光を受光する前記画素において、前記3原色のいずれとも異なる第4色を受光する、分割画素と、
　を含み、
　前記第4色の光のスペクトルは、前記第1色、前記第2色及び前記第3色の等色関数における負値の絶対値が他の領域と比較して大きい領域において最大値を有する、
　撮像素子。
(2)
　前記分割画素は、前記画素において2 × 2以上の個数が備えられる、
　(1)に記載の撮像素子。
(3)
　前記3原色は、RGB(Red、Green、Blue)であり、
　前記第4色の等色関数は、波長が520nm±10nmの範囲において最大値を有し、
　Gの光を受光する前記分割画素の数よりも、前記第4色の光を受光する前記分割画素の数が少ない、
　(2)に記載の撮像素子。
(4)
　前記第4色は、エメラルドであり、
　前記第4色の光を受光する前記分割画素は、Rの光を受光する前記画素に含まれる前記分割がそのうち少なくとも１つである、
　(3)に記載の撮像素子。
(5)
　エメラルドの光を受光する前記分割画素は、Rの光を受光する前記分割画素の個数以下の割合で備えられる、
　(4)に記載の撮像素子。
(6)
　前記分割画素は、Rの光を受光する前記画素において2 × 2個備えられ、
　エメラルドの光を受光する前記分割画素は、Rの光を受光する前記画素における前記分割画素のうち1つである、
　(5)に記載の撮像素子。
(7)
　前記分割画素は、Rの光を受光する前記画素において2 × 2個備えられ、
　エメラルドの光を受光する前記分割画素は、Rの光を受光する前記画素における前記分割画素のうち、対角方向に備えられる、
　(5)に記載の撮像素子。
(8)
　前記分割画素は、Rの光を受光する前記画素において3 × 2個以上備えられ、
　Rの光を受光する前記分割画素の重心と、エメラルドの光を受光する前記分割画素の重心とが一致している、
　(5)に記載の撮像素子。
(9)
　エメラルドの光を受光する前記分割画素からの出力を用いて、Rの光を受光する前記分割画素からの出力を補正する、
　(4)から(8)のいずれかに記載の撮像素子。
(10)
　前記分割画素から出力されるアナログ信号を取得してデジタル信号に変換する、アナログ－デジタル変換回路、
　をさらに備え、
　前記アナログ－デジタル変換回路において、Rの光の信号と、エメラルドの光の信号とが逆方向にカウントされる、
　(9)に記載の撮像素子。
(11)
　前記第4色は、エメラルドであり、
　前記第4色の光を受光する前記分割画素は、Bの光を受光する前記画素に含まれる前記分割画素のうち少なくとも1つの分割画素である、
　(3)から(10)のいずれかに記載の撮像素子。
(12)
　エメラルドの光を受光する前記分割画素からの出力を用いて、Bの光を受光する前記分割画素からの出力を補正する、
　(11)のいずれかに記載の撮像素子。
(13)
　前記画素は、オンチップレンズを備え、
　前記第4色を受光する前記分割画素を含む前記画素に備えられる前記オンチップレンズは、他の前記画素に備えられる前記オンチップレンズとは異なる形状を有する、
　(1)から(12)のいずれかに記載の撮像素子。
(14)
　前記画素は、オンチップレンズを備え、
　R及びエメラルドの光を受光する前記分割画素を含む前記画素に備えられる前記オンチップレンズは、G及びBの光を受光する前記分割画素に備えられる前記オンチップレンズとは異なる形状を有する、
　(12)のいずれかに記載の撮像素子。
(15)
　前記画素は、オンチップレンズを備え、
　上下左右に対称な配置にR及びエメラルドの光を受光する前記分割画素を含む前記画素において、当該分割画素の全てを覆うように前記オンチップレンズが備えられる、
　(4)から(12)のいずれかに記載の撮像素子。
(16)
　前記画素は、オンチップレンズを備え、
　B及びエメラルドの光を受光する前記分割画素を含む前記画素に備えられる前記オンチップレンズは、G及びRの光を受光する前記分割画素に備えられる前記オンチップレンズとは異なる形状を有する、
　(11)又は(12)に記載の撮像素子。
(17)
　前記画素は、オンチップレンズを備え、
　上下左右に対称な配置にB及びエメラルドの光を受光する前記分割画素を含む前記画素において、当該分割画素の全てを覆うように前記オンチップレンズが備えられる、
　(11)又は(12)に記載の撮像素子。
(18)
　(1)から(17)のいずれかに記載の撮像素子を備える撮像装置。
(19)
　(1)から(17)のいずれかに記載の撮像素子と、
　前記撮像素子の受光面側に表示面を有し、前記撮像素子が埋め込まれている、ディスプレイと、
　を備える電子機器。
(20)
　RGBの3原色に対応する光を受光する、画素と、
　前記画素において受光部を構成する2 × 2以上の個数が備えられる、分割画素と、
　前記画素の受光面側に表示面を有し、前記画素が埋め込まれている、ディスプレイと、
　を備え、
　前記分割画素は、
　　前記3原色のうち第1色の光を受光する前記画素において、前記第1色の光を受光する、分割画素と、
　　前記3原色のうち第2色の光を受光する前記画素において、前記第2色の光を受光する、分割画素と、
　　前記3原色のうち第3色の光を受光する前記画素において、前記第3色の光を受光する、分割画素と、
　　前記3原色のうちいずれかの色の光を受光する前記画素において、前記3原色のいずれとも異なるエメラルドを受光する、分割画素と、
　を含み、
　エメラルドの光のスペクトルは、波長が520nm±10nmの範囲において最大値を有し、Gの光を受光する前記分割画素の数よりも数が少ない、
　電子機器。
(21)
　前記ディスプレイは、450nm以下の波長領域で吸収性を有する材料を含む材料により形成されている、
　(20)に記載の電子機器。
(22)
　前記ディスプレイは、ポリイミドを含む材料により形成されている、
　(21)に記載の電子機器。
(23)
　エメラルドの光を受光する前記分割画素からの出力に基づいて、Rの光を受光する前記分割画素からの出力を補正する、
　(20)から(22)のいずれかに記載の電子機器。
(24)
　エメラルドの光を受光する前記分割画素からの出力に基づいて、Bの光を受光する前記分割画素からの出力を補正する、
　(20)から(23)のいずれかに記載の電子機器。
(25)
　前記分割画素から出力されるアナログ信号をデジタル信号に変換する、アナログ－デジタル変換回路と、
　前記アナログ－デジタル変換回路の出力に対して信号処理を実行する、信号処理回路と、
　を備え、
　前記信号処理回路は、前記デジタル信号に基づいて、光に関するセンシング精度を向上する、
　(20)から(24)のいずれかに記載の電子機器。
(26)
　前記信号処理回路は、色再現性を向上する、
　(25)に記載の電子機器。
(27)
　前記信号処理回路は、光源推定を実行する、
　(25)又は(26)に記載の電子機器。
(28)
　撮像装置である、
　(20)から(27)のいずれかに記載の電子機器。
(28)
　医療機器である、
　(20)から(27)のいずれかに記載の電子機器。
(29)
　スマートフォンである、
　(20)から(27)のいずれかに記載の電子機器。
(31)
　画素と、
　3原色に対応する色の光を受光する前記画素同士が所定の配列で配置された、画素群と、
　を備え、
　前記画素は、
　　前記3原色のうち第1色の光を受光する前記画素群において、前記第1色の光を受光する、画素と、
　　前記3原色のうち第2色の光を受光する前記画素群において、前記第2色の光を受光する、画素と、
　　前記3原色のうち第3色の光を受光する前記画素群において、前記第3色の光を受光する、画素と、
　　前記3原色のうちいずれかの色の光を受光する前記画素群において、前記3原色のいずれとも異なる第4色を受光する、画素と、
　を含み、
　前記第4色の光のスペクトルは、前記第1色、前記第2色及び前記第3色の等色関数における負値の絶対値が他の領域と比較して大きい領域において最大値を有する、
　撮像素子。
(32)
　前記画素は、隣接する前記画素と、画素ペアを構成し、
　前記画素ペアに対して形成される、オンチップレンズ、
　をさらに備える、(31)に記載の撮像素子。
(33)
　前記3原色は、RGB(Red、Green、Blue)であり、
　前記第4色の等色関数は、波長が520nm±10nmの範囲において最大値を有し、
　Gの光を受光する前記画素の数よりも、前記第4色の光を受光する前記画素の数が少ない、
　(31)又は(32)に記載の撮像素子。
(34)
　前記第4色は、エメラルドであり、
　前記第4色の光を受光する前記画素は、Rの光を受光する前記画素群に含まれる、
　(33)に記載の撮像素子。
(35)
　Rの光を受光する前記画素群においてRの光を受光する前記画素の重心と、エメラルドの光を受光する前記画素の重心とが一致している、
　(34)に記載の撮像素子。
(36)
　前記第4色は、エメラルドであり、
　前記第4色の光を受光する前記画素は、Bの光を受光する前記画素群に含まれる、
　(33)に記載の撮像素子。
(37)
　(35)又は(36)に記載の撮像素子を備える、撮像装置。
(38)
　(34)に記載の撮像素子を備える、電子機器。
(39)
　(1)から(38)にいずれかに記載の撮像素子は、積層された半導体により形成されてもよい。
(20)
　前記半導体は、CoCの形式で積層される、
　(39)に記載の撮像素子。
(41)
　前記半導体は、CoWの形式で積層される、
　(39)に記載の撮像素子。
(42)
　前記半導体は、WoWの形式で積層される、
　(39)に記載の撮像素子。
(43)
　受光する色により、単位受光領域の面積を変化させ、受光領域の受光面側にNDフィルタを備え、又は、受光領域の露光量を変化させる、
　(1)から(42)のいずれかに記載の撮像素子。
　本開示の態様は、前述した実施形態に限定されるものではなく、想到しうる種々の変形も含むものであり、本開示の効果も前述の内容に限定されるものではない。各実施形態における構成要素は、適切に組み合わされて適用されてもよい。すなわち、特許請求の範囲に規定された内容及びその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更及び部分的削除が可能である。
1: 電子機器、
 1a: 表示領域、1b: ベゼル、
2: 撮像素子、
 20: 画素アレイ、
　200: 画素、
　202: 分割画素、
　204: オンチップレンズ、
　206: 画素群、
 210: 受光部、
 212: 記憶部、
 214: 制御部、
 216: 信号処理部、
 218: 画像処理部、
3: 部品層、
4: ディスプレイ、
5: カバーガラス、
30: 基板、
 32: 第1基板、
 34: 第2基板、
　300: 画素領域、
　302: 制御回路、
　304: ロジック回路

Claims (20)

  1. 　3原色に対応する光を受光する、画素と、
    　前記画素において受光部を構成する、分割画素と、
    　を備え、
    　前記分割画素は、
    　　前記3原色のうち第1色の光を受光する前記画素において、前記第1色の光を受光する、分割画素と、
    　　前記3原色のうち第2色の光を受光する前記画素において、前記第2色の光を受光する、分割画素と、
    　　前記3原色のうち第3色の光を受光する前記画素において、前記第3色の光を受光する、分割画素と、
    　　前記3原色のうちいずれかの色の光を受光する前記画素において、前記3原色のいずれとも異なる第4色を受光する、分割画素と、
    　を含み、
    　前記第4色の光のスペクトルは、前記第1色、前記第2色及び前記第3色の等色関数における負値の絶対値が他の領域と比較して大きい領域において最大値を有する、
    　撮像素子。
  2. 　前記分割画素は、前記画素において2 × 2以上の個数が備えられる、
    　請求項1に記載の撮像素子。
  3. 　前記3原色は、RGB(Red、Green、Blue)であり、
    　前記第4色の等色関数は、波長が520nm±10nmの範囲において最大値を有し、
    　Gの光を受光する前記分割画素の数よりも、前記第4色の光を受光する前記分割画素の数が少ない、
    　請求項2に記載の撮像素子。
  4. 　前記第4色は、エメラルドであり、
    　前記第4色の光を受光する前記分割画素は、Rの光を受光する前記画素に含まれる前記分割画素のうち少なくとも1つである、
    　請求項3に記載の撮像素子。
  5. 　エメラルドの光を受光する前記分割画素は、Rの光を受光する前記分割画素の個数以下の割合で備えられる、
    　請求項4に記載の撮像素子。
  6. 　前記分割画素は、Rの光を受光する前記画素において2 × 2個以上備えられ、
    　エメラルドの光を受光する前記分割画素は、Rの光を受光する前記画素における前記分割画素のうち1つである、
    　請求項5に記載の撮像素子。
  7. 　前記分割画素は、Rの光を受光する前記画素において2 × 2個以上備えられ、
    　エメラルドの光を受光する前記分割画素は、Rの光を受光する前記画素における前記分割画素のうち、Rの光を受光する前記分割画素の重心と、エメラルドの光を受光する前記分割画素の重心とが一致する配置に備えられる、
    　請求項5に記載の撮像素子。
  8. 　エメラルドの光を受光する前記分割画素からの出力を用いて、Rの光を受光する前記分割画素からの出力を補正する、
    　請求項4に記載の撮像素子。
  9. 　前記分割画素から出力されるアナログ信号を取得してデジタル信号に変換する、アナログ－デジタル変換回路、
    　をさらに備え、
    　前記アナログ－デジタル変換回路において、Rの光の信号と、エメラルドの光の信号とが逆方向にカウントされる、
    　請求項8に記載の撮像素子。
  10. 　前記第4色は、エメラルドであり、
    　前記第4色の光を受光する前記分割画素は、Bの光を受光する前記画素に含まれる前記分割画素のうち少なくとも1つである、
    　請求項3に記載の撮像素子。
  11. 　エメラルドの光を受光する前記分割画素からの出力を用いて、Bの光を受光する前記分割画素からの出力を補正する、
    　請求項10に記載の撮像素子。
  12. 　前記画素は、オンチップレンズを備え、
    　前記第4色を受光する前記分割画素を含む前記画素に備えられる前記オンチップレンズは、他の前記画素に備えられる前記オンチップレンズとは異なる形状を有する、
    　請求項1に記載の撮像素子。
  13. 　前記画素は、オンチップレンズを備え、
    　R及びエメラルドの光を受光する前記分割画素を含む前記画素に備えられる前記オンチップレンズは、G及びBの光を受光する前記分割画素に備えられる前記オンチップレンズとは異なる形状を有する、
    　請求項4に記載の撮像素子。
  14. 　前記画素は、オンチップレンズを備え、
    　上下左右に対称な配置にR及びエメラルドの光を受光する前記分割画素を含む前記画素において、当該分割画素の全てを覆うように前記オンチップレンズが備えられる、
    　請求項4に記載の撮像素子。
  15. 　請求項1に記載の撮像素子を備える撮像装置。
  16. 　RGBの3原色に対応する光を受光する、画素と、
    　前記画素において受光部を構成する2 × 2以上の個数が備えられる、分割画素と、
    　前記画素の受光面側に表示面を有し、前記画素が埋め込まれている、ディスプレイと、
    　を備え、
    　前記分割画素は、
    　　前記3原色のうち第1色の光を受光する、分割画素と、
    　　前記3原色のうち第2色の光を受光する、分割画素と、
    　　前記3原色のうち第3色の光を受光する、分割画素と、
    　　前記3原色のいずれとも異なるエメラルドを受光する、分割画素と、
    　を含み、
    　エメラルドの光のスペクトルは、波長が520nm±10nmの範囲において最大値を有し、Gの光を受光する前記分割画素の数よりも数が少ない、
    　電子機器。
  17. 　前記ディスプレイは、450nm以下の波長領域で吸収性を有する材料を含む材料により形成されている、
    　請求項16に記載の電子機器。
  18. 　エメラルドの光を受光する前記分割画素からの出力に基づいて、Rの光を受光する前記分割画素からの出力を補正する、
    　請求項16に記載の電子機器。
  19. 　エメラルドの光を受光する前記分割画素からの出力に基づいて、Bの光を受光する前記分割画素からの出力を補正する、
    　請求項16に記載の電子機器。
  20. 　前記分割画素から出力されるアナログ信号をデジタル信号に変換する、アナログ－デジタル変換回路と、
    　前記アナログ－デジタル変換回路の出力に対して信号処理を実行する、信号処理回路と、
    　を備え、
    　前記信号処理回路は、前記デジタル信号に基づいて、光に関するセンシング精度を向上する、
    　請求項16に記載の電子機器。
PCT/JP2022/008716 2021-05-11 2022-03-02 撮像素子、撮像装置及び電子機器 WO2022239394A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280033137.XA CN117280704A (zh) 2021-05-11 2022-03-02 成像元件、成像装置和电子装置
US18/551,087 US20240171868A1 (en) 2021-05-11 2022-03-02 Imaging element, imaging device and electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021080601 2021-05-11
JP2021-080601 2021-05-11

Publications (1)

Publication Number Publication Date
WO2022239394A1 true WO2022239394A1 (ja) 2022-11-17

Family

ID=84029147

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/008716 WO2022239394A1 (ja) 2021-05-11 2022-03-02 撮像素子、撮像装置及び電子機器

Country Status (3)

Country Link
US (1) US20240171868A1 (ja)
CN (1) CN117280704A (ja)
WO (1) WO2022239394A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004200357A (ja) * 2002-12-18 2004-07-15 Nikon Corp カラー撮像素子、カラーフィルタアレイ、及びカラー撮像装置
JP2013045917A (ja) * 2011-08-25 2013-03-04 Sony Corp 撮像素子、撮像装置及び生体撮像装置
WO2013100036A1 (ja) * 2011-12-27 2013-07-04 富士フイルム株式会社 カラー撮像素子
WO2014007282A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子及び撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004200357A (ja) * 2002-12-18 2004-07-15 Nikon Corp カラー撮像素子、カラーフィルタアレイ、及びカラー撮像装置
JP2013045917A (ja) * 2011-08-25 2013-03-04 Sony Corp 撮像素子、撮像装置及び生体撮像装置
WO2013100036A1 (ja) * 2011-12-27 2013-07-04 富士フイルム株式会社 カラー撮像素子
WO2014007282A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子及び撮像装置

Also Published As

Publication number Publication date
US20240171868A1 (en) 2024-05-23
CN117280704A (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
CN111508983B (zh) 固体图像传感器、固体图像传感器制造方法和电子设备
US7483065B2 (en) Multi-lens imaging systems and methods using optical filters having mosaic patterns
US10630920B2 (en) Image processing apparatus
US20190081094A1 (en) Image sensor and image-capturing device
WO2021225030A1 (ja) 電子機器及び撮像装置
US20220368833A1 (en) Electronic equipment
US9013623B2 (en) Color image sensor
JP2017059739A (ja) 固体撮像装置および電子機器
WO2021187076A1 (ja) 撮像素子及び電子機器
CN103843320B (zh) 图像传感器和成像装置
CN212727101U (zh) 电子设备
WO2022239394A1 (ja) 撮像素子、撮像装置及び電子機器
US8773568B2 (en) Imaging apparatus and method for improving manipulation of view finders
WO2021157324A1 (ja) 電子機器
WO2022244354A1 (ja) 撮像素子及び電子機器
JP2017118283A (ja) カメラシステム
JP2014068186A (ja) 撮像装置および撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22807101

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18551087

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280033137.X

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22807101

Country of ref document: EP

Kind code of ref document: A1