WO2021111955A1 - 電子機器 - Google Patents

電子機器 Download PDF

Info

Publication number
WO2021111955A1
WO2021111955A1 PCT/JP2020/043896 JP2020043896W WO2021111955A1 WO 2021111955 A1 WO2021111955 A1 WO 2021111955A1 JP 2020043896 W JP2020043896 W JP 2020043896W WO 2021111955 A1 WO2021111955 A1 WO 2021111955A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging unit
light
pixel
electronic device
unit
Prior art date
Application number
PCT/JP2020/043896
Other languages
English (en)
French (fr)
Inventor
征志 中田
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to JP2021562597A priority Critical patent/JPWO2021111955A1/ja
Priority to US17/779,761 priority patent/US20230026442A1/en
Priority to EP20897325.5A priority patent/EP4072116A4/en
Priority to KR1020227017685A priority patent/KR20220109398A/ko
Publication of WO2021111955A1 publication Critical patent/WO2021111955A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10KORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K39/00Integrated devices, or assemblies of multiple devices, comprising at least one organic radiation-sensitive element covered by group H10K30/00
    • H10K39/30Devices controlled by radiation
    • H10K39/32Organic image sensors
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14643Photodiode arrays; MOS imagers
    • H01L27/14645Colour imagers
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14665Imagers using a photoconductor layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/79Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10KORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K30/00Organic devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation
    • H10K30/20Organic devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation comprising organic-organic junctions, e.g. donor-acceptor junctions
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14618Containers
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02EREDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00Energy generation through renewable energy sources
    • Y02E10/50Photovoltaic [PV] energy
    • Y02E10/549Organic PV cells

Definitions

  • This disclosure relates to electronic devices.
  • the front camera is often mounted on the bezel.
  • the bezel width of the electronic device cannot be made narrower than the outer diameter size of the camera.
  • the user's line of sight is often directed to the vicinity of the center of the display screen during shooting. For this reason, when shooting with a camera arranged on the bezel, there is a possibility that the line of sight of the person does not face the front and the image becomes unnatural.
  • the camera module on the side opposite to the display surface of the display unit and perform shooting with the light transmitted through the display unit.
  • the wavelength band including blue light is attenuated by absorption or reflection of the light transmitted through the display unit. Therefore, there is a problem that the image quality of the captured image is deteriorated as compared with the cameras arranged in other places.
  • the present disclosure provides an electronic device that suppresses deterioration of the image quality of the image captured by the camera while narrowing the bezel width.
  • the electronic device includes a display unit arranged on the first surface, a first imaging unit arranged on the side opposite to the display surface of the display unit, and a second image pickup unit on the side opposite to the first surface. It is provided with a second imaging unit arranged on a surface, and the sensitivity of the first wavelength band including blue light of the first imaging unit may be higher than that of the second imaging unit.
  • the first imaging unit may receive light transmitted through the display unit.
  • the ratio of the blue light detection pixels in the pixel arrangement of the first imaging unit may be higher than that of the second imaging unit.
  • the blue light detection pixel may include at least one of a blue pixel, a magenta pixel, and a cyan pixel.
  • the first imaging unit may include at least one of a cyan pixel, a magenta pixel, and a yellow pixel.
  • a first light source arranged on the first surface and configured to emit blue light at the time of photographing by the first imaging unit may be further provided.
  • a second light source arranged on the first surface and configured to emit white light when photographed by the first imaging unit, and a first image photographed by the first imaging unit when the first light source emits light.
  • the first imaging unit may further include a processing circuit configured to generate an image obtained by synthesizing a second image taken when the second light source emits light.
  • a third light source arranged on the second surface and configured to emit light at the time of photographing by the second imaging unit is further provided, and the color temperature of the first light source may be higher than that of the third light source. ..
  • a third image pickup unit arranged on the side opposite to the display surface of the display unit and having a sensitivity in the first wavelength band lower than that of the first image pickup unit, a third image captured by the first image pickup unit, and the third image pickup unit. It may further include a processing circuit configured to generate an image obtained by synthesizing the fourth image captured by the imaging unit.
  • the first imaging unit may have a plurality of photoelectric conversion units in the depth direction of the substrate.
  • At least one of the plurality of photoelectric conversion units may include an organic photoelectric conversion film.
  • the electronic device includes a display unit arranged on the first surface and a plurality of pixels arranged on the side opposite to the display surface of the display unit and photoelectrically converting light incident on the display unit.
  • the ratio of the blue light detection pixel in the plurality of pixels may be larger than 1/4.
  • the blue light detection pixel may include at least one of a blue pixel, a magenta pixel, and a cyan pixel.
  • the first imaging unit may include at least one of a cyan pixel, a magenta pixel, and a yellow pixel.
  • a first light source arranged on the first surface and configured to emit blue light at the time of photographing by the first imaging unit may be further provided.
  • a second light source arranged on the first surface and configured to emit white light when photographed by the first imaging unit, and a first image photographed by the first imaging unit when the first light source emits light.
  • the first imaging unit may further include a processing circuit configured to generate an image obtained by synthesizing a second image taken when the second light source emits light.
  • a third light source arranged on the second surface and configured to emit light at the time of photographing by the second imaging unit is further provided, and the color temperature of the first light source may be higher than that of the third light source. ..
  • a third image pickup unit arranged on the side opposite to the display surface of the display unit and having a lower ratio of the blue light detection pixels than the first image pickup unit, a third image captured by the first image pickup unit, and the third image pickup unit. It may further include a processing circuit configured to generate an image obtained by synthesizing the fourth image captured by the imaging unit.
  • the first imaging unit may have a plurality of photoelectric conversion units in the depth direction of the substrate.
  • At least one of the plurality of photoelectric conversion units may include an organic photoelectric conversion film.
  • FIG. 1 Schematic cross-sectional view of an example of an electronic device according to the present disclosure.
  • FIG. 1 is a schematic external view of the electronic device of FIG. 1
  • (b) is a cross-sectional view of (a) in the direction of AA.
  • FIG. 6 is an external view showing a surface of the electronic device opposite to FIG. 2 (a).
  • Schematic external view of the rear camera The figure which shows the example of the detailed cross-sectional structure of the imaging part by this disclosure. Top view showing an example of a Bayer array.
  • FIG. The plan view which showed the example of the pixel arrangement in the 1st imaging unit.
  • FIG. 6 is a schematic external view of an electronic device according to the second modification.
  • the block diagram which shows the internal structure of the electronic device by the modification 2.
  • the cross-sectional view which showed the example of the image pickup part of the vertical spectroscopic type.
  • FIG. 1 is a schematic cross-sectional view of the electronic device 1 according to the first embodiment.
  • the electronic device 1 of FIG. 1 has an image display function and an image capturing function.
  • the electronic device 1 is, for example, a smartphone, a tablet, a game machine, an in-vehicle device, or a PC. However, the type of electronic device does not matter.
  • the electronic device 1 of FIG. 1 includes a display unit 2 and a camera module 3 (imaging unit).
  • the camera module 3 is mounted on the side opposite to the display surface (the surface on the positive direction side of the z-axis) of the display unit 2. That is, when the display unit 2 of FIG. 1 is viewed from the front (from the positive direction side of the z-axis), the camera module 3 is arranged at a position on the rear side of the display unit 2. Therefore, the camera module 3 of the electronic device 1 shoots with the light transmitted through the display unit 2.
  • FIG. 2A is a schematic external view of the electronic device 1 of FIG. Further, FIG. 2B is a cross-sectional view taken along the line AA of FIG. 2A.
  • the display screen 1a extends to the vicinity of the edge of the electronic device 1. Therefore, the width of the bezel 1b on the outer circumference of the display screen 1a is several millimeters or less.
  • the camera module 3 is arranged on the opposite side of the display screen 1a instead of the bezel 1b (broken line). The camera module 3 can be used as a front camera of the electronic device 1.
  • the camera module 3 When the camera module 3 is arranged on the opposite side of the display screen 1a in this way, it is not necessary to provide the front camera on the bezel 1b. This makes it possible to provide the user with an electronic device having a narrow bezel width or a bezel-less electronic device.
  • the camera module 3 is arranged on the rear side of the display screen 1a at a position substantially centered when the electronic device 1 is viewed from the front in the positive direction of the z-axis.
  • the camera module 3 can be arranged at an arbitrary position (x-coordinate and y-coordinate) on the opposite side of the display screen 1a.
  • the camera module 3 may be arranged on the opposite side of the position near the edge of the display screen 1a.
  • the camera module 3 according to the present disclosure can be arranged at an arbitrary position on the rear side of the display screen when the display screen is viewed from the front.
  • the display unit 2 a structure in which a display panel 4, a circularly polarizing plate 5, a touch panel 6, and a cover glass 7 are laminated in this order can be used.
  • the display panel 4 is, for example, a plate-shaped structure that displays an image by an electric method.
  • the display panel 4 is, for example, an OLED (Organic Light Emitting Device), a liquid crystal panel, or a MicroLED.
  • OLED Organic Light Emitting Device
  • the type of the display panel 4 does not matter.
  • a display panel 4 such as an OLED or a liquid crystal has a plurality of layers.
  • some display panels 4 include members that reduce light transmittance, such as a color filter layer. Therefore, as shown in FIG. 1, a through hole may be provided in the member that obstructs the transmission of light in the display panel 4 in accordance with the position of the camera module 3. The light that has passed through the through hole can enter the camera module 3 without passing through the corresponding member. As a result, deterioration of the image quality of the image captured by the camera module 3 can be suppressed.
  • the circularly polarizing plate 5 is mounted for the purpose of reducing glare or improving visibility, for example.
  • the touch panel 6 is a plate-shaped structure incorporating a touch sensor. Examples of the touch sensor include a capacitance type touch sensor or a resistance film type touch sensor. However, any type of touch sensor may be used. In the electronic device according to the present disclosure, a display panel with an integrated touch panel function may be used.
  • the cover glass 7 is provided to protect the display panel 4 from the outside.
  • the display unit 2 may be provided with the fingerprint sensor 6A.
  • the fingerprint sensor 6A for example, an optical fingerprint sensor or an ultrasonic fingerprint sensor can be used. However, the method of the fingerprint sensor does not matter.
  • the fingerprint sensor 6A may be mounted on at least one layer of the display unit 2. Further, the fingerprint sensor 6A may be mounted in the camera module 3.
  • the camera module 3 includes, for example, an imaging unit 8 and an optical system 9.
  • the optical system 9 is arranged between the display unit 2 and the image pickup unit 8.
  • the optical system 9 concentrates the light transmitted through the display unit 2 on the image pickup unit 8.
  • the optical system 9 may include a plurality of lenses.
  • a material such as polyimide, acrylic, or epoxy is used. Some of these materials have the property of absorbing or reflecting light in the wavelength band including blue light. Therefore, in the image pickup unit 8 that takes an image with the light transmitted through the display unit 2, the sensitivity of the wavelength band including the blue light is lowered as compared with the image pickup unit arranged in another place.
  • FIG. 3 shows an example of an image taken by a front camera arranged on the bezel.
  • FIG. 4 shows an example of an image taken by the light transmitted through the display unit 2.
  • the images of FIGS. 3 and 4 are both photographs of landscapes. With reference to FIG. 3, the blue components in the sky and parts in the image are clear. However, referring to FIG. 4, the blue component in the empty portion in the image is weakened and the color is lightened. As described above, when the sensitivity of the wavelength band including blue light in the imaging unit is lowered, the characteristics such as color reproducibility and color noise in the captured image are deteriorated. Therefore, the electronic device according to the present disclosure compensates for the sensitivity of the wavelength band including blue light. Therefore, even if the image pickup unit 8 that shoots with the light transmitted through the display unit 2 is used, the deterioration of the image quality can be suppressed.
  • FIG. 5 shows a surface of the electronic device 1 on the opposite side (z-axis negative direction side) from FIG. 2 (a).
  • the electronic device 1 may further include a camera module 10 and a flash 44. Both the camera module 10 and the flash 44 are mounted on a surface opposite to the surface on which the display unit 2 of the electronic device 1 is provided.
  • the flash 44 is a light source that emits light in the direction of the subject in conjunction with the imaging operation by the camera module 10.
  • a white LED can be used.
  • the type of light source used as the flash 44 does not matter.
  • an imaging unit for example, an imaging unit 8 that shoots with light transmitted through the display unit 2
  • a first imaging unit for example, an imaging unit 8
  • the imaging unit arranged on the surface of the electronic device 1 opposite to the display unit 2 is referred to as a second imaging unit.
  • the above-mentioned camera module 10 corresponds to a second imaging unit.
  • the camera module 10 arranged on the surface of the electronic device 1 opposite to the display unit 2 is also called a rear camera.
  • FIG. 6 is a schematic cross-sectional view of the camera module 10 (rear camera).
  • the camera module 10 of FIG. 6 includes a protective cover 23, an imaging unit 8A, and an optical system 9A.
  • the protective cover 23 is made of a material that transmits light, and protects the image pickup unit 8A and the optical system 9A from the outside.
  • the optical system 9A collects the incident light on the imaging unit 8A.
  • the light used by the imaging unit 8A in FIG. 6 for imaging does not pass through the display unit unlike the imaging unit 8. Therefore, in the imaging unit 8A, the sensitivity does not decrease in the wavelength band including blue light as in the imaging unit 8.
  • the configuration of the imaging unit 8A is the same as that of the imaging unit 8 except for the differences in the pixel arrangement described later.
  • FIG. 7 shows an example of a detailed cross-sectional structure of the imaging unit.
  • the positive direction of the z-axis is referred to as "up” and the negative direction of the z-axis is referred to as "down”.
  • the imaging unit 8 of FIG. 7 a plurality of photoelectric conversion units 8a are formed in the substrate 11.
  • the photoelectric conversion unit 8a include a CMOS (Complementary Metal Oxide Semiconductor) sensor including a photodiode or a CCD (Charge Coupled Device) sensor.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • an interlayer insulating film 13 is formed on the surface 11a side (upper side) of the substrate 11.
  • a plurality of wiring layers 12 are arranged inside the interlayer insulating film 13.
  • At least one of a contact or a through electrode (not shown) may be provided between the photoelectric conversion unit 8a and the wiring layer 12.
  • at least one of a contact or a through electrode may be provided between the wiring layers 12.
  • a flattening layer 14 is formed on the second surface 11b side (lower side) of the substrate 11.
  • An underlying insulating layer 16 is formed on the flattening layer 14.
  • the light-shielding layer 15 may be formed on a part of the flattening layer 14.
  • the light-shielding layer 15 is arranged at or near the boundary of pixels. At least a part of the surface of the light-shielding layer 15 may be in contact with the underlying insulating layer 16.
  • an insulating layer 17 is formed on the underlying insulating layer 16.
  • a polarizing element may be formed inside the insulating layer 17. Examples of the polarizing element include a wire grid polarizing element having a line-and-space structure. However, the structure and arrangement direction of the polarizing elements are not particularly limited.
  • Protective layers 18 and 19 are formed on the insulating layer 17 including the plurality of polarizing elements 8b. Further, a flattening layer 20 is formed on the protective layer 19. A color filter layer 21 is arranged on the flattening layer 20. The color filter layer 21 selectively transmits light in a part of the wavelength band so that the photoelectric conversion unit arranged below can detect the light in a predetermined wavelength band.
  • the on-chip lens 22 is arranged on the color filter layer 21.
  • the on-chip lens 22 is arranged on the plurality of polarizing elements 8b.
  • a plurality of polarizing elements 8b may be arranged on the on-chip lens 22. In this way, the stacking order of each layer in the cross-sectional structure of FIG. 5 may be changed.
  • an individual photoelectric conversion unit 8a can be formed for each pixel.
  • Each photoelectric conversion unit 8a photoelectrically converts the light incident on the display unit 2 and outputs one of the color signals. That is, it can be said that the imaging unit 8 is a set of a plurality of pixels that perform photoelectric conversion and output a color signal. Examples of color signals include red, green, and blue color signals.
  • the color signal output by the pixels of the imaging unit 8 may be a color other than the three primary colors of light.
  • the pixel of the imaging unit 8 may output a color signal of at least one of cyan, magenta, and yellow, which are complementary colors of the three primary colors of light. Further, the pixels of the imaging unit 8 may output a white color signal.
  • a plurality of pixels having sensitivity to different wavelength bands can be formed in the imaging unit 8.
  • Each pixel of the image pickup unit 8 outputs a color signal corresponding to a wavelength band having sensitivity.
  • a color filter layer 21 that selectively transmits light in a predetermined wavelength band can be arranged above the photoelectric conversion unit 8a to form pixels having sensitivity to the predetermined wavelength band. ..
  • the wavelength band of light transmitted by the color filter layer 21 is not limited.
  • a pixel having sensitivity to a predetermined wavelength band may be formed by a method different from this.
  • a photoelectric conversion unit having sensitivity to a predetermined wavelength band may be used instead of the color filter.
  • a photoelectric conversion unit having sensitivity to a predetermined wavelength band may be used instead of the color filter.
  • a photoelectric conversion unit having sensitivity to a predetermined wavelength band may be used instead of the color filter.
  • an organic photoelectric conversion material it is possible to form a photoelectric conversion unit having sensitivity to a predetermined wavelength band.
  • organic photoelectric conversion material organic photoelectric conversion material, it is possible to detect light in different wavelength bands depending on the type or combination of organic photoelectric conversion materials.
  • the photoelectric conversion units may be arranged at different depths in the silicon substrate to detect light in a plurality of wavelength bands.
  • An imaging unit having a plurality of photoelectric conversion units (light receiving surfaces) having different detection wavelength bands in the depth direction of the substrate is called a vertical spectroscopic imaging unit.
  • the imaging unit of the electronic device according to the present disclosure may detect light in different wavelength bands by combining a plurality of methods. For example, the imaging unit may be combined with at least one of a color filter, a photoelectric conversion unit having sensitivity to a selective wavelength band, and vertical spectroscopy.
  • the pixel array of the imaging unit defines the wavelength band (color) of light that each pixel targets for detection. That is, the photoelectric conversion unit 8a of each pixel outputs a color signal corresponding to the wavelength band defined by the pixel arrangement.
  • the Bayer array shown in the plan view of FIG. 8 is an example of a commonly used pixel array. In the Bayer array, pixels (green pixels) that detect light in the wavelength region including green and output a green color signal are arranged in a checkered pattern. The Bayer array further includes blue pixels and red pixels. The blue pixel detects light in a wavelength region including blue and outputs a blue color signal. The red pixel detects light in a wavelength region including red and outputs a red color signal.
  • the Bayer array contains green pixels, blue pixels, and red pixels in a ratio of 2: 1: 1.
  • An imaging unit having a Bayer array can be used in an imaging unit (for example, the imaging unit 8A of the camera module 10) that does not perform imaging by the light transmitted through the display unit 2.
  • An example of a pixel array capable of compensating for a wavelength band including blue light will be described later.
  • the imaging unit includes a cyan pixel having sensitivity in a wavelength band containing cyan, a magenta pixel having sensitivity in a wavelength band containing magenta, and a yellow pixel (yellow pixel) having sensitivity in a wavelength band containing yellow (yellow). ), At least one of them may be included.
  • cyan pixels can be formed by arranging a color filter layer 21 that transmits light in a wavelength band including cyan on the photoelectric conversion unit 8a. It is also possible to form magenta pixels and yellow pixels by the same method.
  • At least one of a red pixel, a green pixel, a blue pixel, a cyan pixel, a magenta pixel, and a yellow pixel may be formed by a photoelectric conversion unit having sensitivity in a selective wavelength band or longitudinal spectroscopy.
  • the pixels of the imaging unit according to the present disclosure do not necessarily have to detect these typical colors.
  • the pixels of the imaging unit according to the present disclosure may output an intermediate color signal of each of the above-mentioned colors such as emerald green.
  • the imaging unit according to the present disclosure may include white pixels for detecting visible light.
  • a pixel that does not have the color filter layer 21 can be used as a white pixel.
  • the graph of FIG. 9 shows an example of the spectral sensitivity characteristics in the red pixel, the green pixel, and the blue pixel.
  • the horizontal axis of the graph in FIG. 9 indicates the wavelength of light.
  • the vertical axis of the graph of FIG. 9 shows the sensitivity value normalized by 1.
  • Red pixels, green pixels, and blue pixels exhibit different characteristics.
  • the blue pixel shows a characteristic that the peak is around 465 nm.
  • the green pixel shows a characteristic that the peak is around 520 nm.
  • the red pixel shows a characteristic that the peak is around 610 nm.
  • Each pixel has high sensitivity in the wavelength band centered on the peak.
  • the spectral sensitivity characteristics of the pixels shown in FIG. 9 are merely examples. Therefore, it does not prevent the use of red pixels, green pixels, or blue pixels having different spectral sensitivity characteristics.
  • the graph of FIG. 10 shows an example of spectral sensitivity characteristics in cyan pixels, yellow pixels, and magenta pixels.
  • the horizontal axis of the graph in FIG. 10 indicates the wavelength of light.
  • the vertical axis of the graph of FIG. 10 shows the sensitivity value normalized by 1.
  • Cyan pixels, yellow pixels, and magenta pixels exhibit different characteristics. For example, cyan pixels have relatively high spectral sensitivity in the wavelength band of 450 nm to 530 nm. Therefore, the cyan pixel can detect light in the range of blue to green. Further, the yellow pixel has a relatively high spectral sensitivity in the band of wavelength 520 to 600 nm. Therefore, when the yellow pixel is used, light in the range of green to red can be detected.
  • magenta pixels there are two peaks.
  • the magenta pixel has a first peak of sensitivity near a wavelength of 460 nm. Further, the magenta pixel has a second peak of sensitivity near a wavelength of 620 nm. Therefore, using magenta pixels, it is possible to detect both blue light and red light.
  • the spectral sensitivity characteristics of the pixels shown in FIG. 10 are merely examples. Therefore, it does not prevent the use of cyan pixels, yellow pixels or magenta pixels having different spectral sensitivity characteristics.
  • the blue pixel, the cyan pixel, and the magenta pixel are all pixels having sensitivity to blue (blue light detection pixel).
  • the ratio of the blue light detection pixels in the first imaging unit is set higher than that in the second imaging unit. You may. Further, in the electronic device according to the present disclosure, the ratio of the blue light detection pixels in the first imaging unit may be larger than 1/4 which is the value in the Bayer array.
  • a blue light detection pixel a pixel including a color filter having a light transmittance of 40% or more in a wavelength band of 450 to 470 nm and a photoelectric conversion unit that detects light transmitted through the color filter can be used. it can.
  • a pixel including a photoelectric conversion unit having a quantum efficiency of 40% or more in a wavelength band of 450 to 470 nm can be used.
  • the photoelectric conversion unit may include an organic photoelectric conversion film or may include a photodiode formed of an inorganic material.
  • the quantum efficiency refers to the ratio at which photons incident on the photoelectric conversion unit are converted into electrons.
  • the imaging unit may include pixels for detecting electromagnetic waves other than visible light.
  • a filter that transmits light other than visible light such as infrared light may be used.
  • the imaging unit may include a photoelectric conversion unit that detects light other than visible light such as infrared light.
  • the electronic device can acquire depth information from the imaging unit and generate a distance image.
  • FIG. 11 is a block diagram showing the internal configuration of the electronic device according to the present disclosure.
  • the electronic devices of FIG. 11 include a display unit 2, an optical system 9, an imaging unit 8, an A / D converter 31, a clamp unit 32, a color output unit 33, a defect correction unit 34, and a linear matrix unit. It includes 35, a gamma correction unit 36, a luminance chroma signal generation unit 37, an output unit 38, a flash 42, a flash 43, and a storage unit 41.
  • the A / D converter 31, the clamp unit 32, the color output unit 33, the defect correction unit 34, the linear matrix unit 35, the gamma correction unit 36, the luminance chroma signal generation unit 37, and the output unit 38. can be implemented.
  • the optical system 9 includes one or more lenses 9a and an IR (Infrared Ray) cut filter 9b.
  • the IR cut filter 9b may be omitted.
  • the imaging unit 8 has a plurality of pixels that perform photoelectric conversion and output a color signal.
  • the color signal output from each pixel is input to the A / D converter 31.
  • the A / D converter 31 generates digital pixel data digitized from color signals of a plurality of pixels.
  • the clamp unit 32 executes a process for defining the level of black. For example, the clamp unit 32 subtracts the black level data from the digital pixel data.
  • the data output from the clamp unit 32 is input to the color output unit 33.
  • the color output unit 33 classifies, for example, digital pixel data into each color information.
  • the defect correction unit 34 performs correction processing such as removal of noise components and signal level, for example. Examples of the noise component include a flare component or a diffracted light component.
  • the defect correction unit 34 can interpolate the data of the polarized pixels by using the digital pixel data of the surrounding unmodified pixels.
  • the content of the correction process executed by the defect correction unit 34 is not limited.
  • the linear matrix unit 35 performs matrix operations on color information (for example, RGB). This makes it possible to improve the color reproducibility of the image.
  • the linear matrix unit 35 is also called a color matrix unit.
  • an imaging unit including at least one of a cyan pixel, a yellow pixel, and a magenta pixel is used. In this case, at least one of cyan, yellow, and magenta color information is input to the linear matrix unit 35.
  • the linear matrix unit 35 can perform a matrix operation and convert at least one of cyan, yellow, and magenta color information into RGB (Red / Green / Blue) format color information.
  • the gamma correction unit 36 performs gamma correction of the color information output from the linear matrix unit 35. For example, the gamma correction unit 36 improves the visibility of the captured image on the display unit 2 by performing gamma correction according to the display characteristics of the display unit 2.
  • the luminance chroma signal generation unit 37 generates a luminance chroma signal based on the output data of the gamma correction unit 36.
  • the luminance chroma signal is a signal used for display on the display unit 2.
  • the output unit 38 transfers the image data to the display unit 2 or the like.
  • the signal processing of the defect correction unit 34, the linear matrix unit 35, the gamma correction unit 36, or the luminance chroma signal generation unit 37 of FIG. 11 is executed by the logic circuit in the image sensor including the image pickup unit 8. You may. Further, at least a part of these signal processing may be executed by the signal processing circuit in the electronic device 1. According to the present disclosure, the electronic device may perform other types of processing such as exposure adjustment processing and edge enhancement processing.
  • the storage unit 41 is a memory or storage capable of storing the data of the image captured by the imaging unit 8.
  • Examples of the memory include volatile memory such as SRAM and DRAM, and non-volatile memory such as NAND flash memory and NOR flash memory. Examples of storage include hard disks or SSDs.
  • the type of memory or storage used as the storage unit 41 does not matter.
  • the linear matrix unit 35 can combine or correct images using a plurality of images stored in the storage unit 41.
  • components other than the linear matrix unit 35 may synthesize or correct the image.
  • the flash 42 is a light source that irradiates a subject with light in conjunction with an imaging operation in the imaging unit 8.
  • a white LED can be used.
  • the type of light source used as the flash 42 does not matter.
  • the flash 43 is a light source that irradiates a subject with blue light in conjunction with an imaging operation in the imaging unit 8.
  • a blue LED can be used as the flash 43.
  • the type of light source used as the flash 43 does not matter.
  • a light source capable of irradiating light having a higher color temperature than the flash 44 arranged on the opposite surface of the electronic device 1 can be used.
  • the flash 42, the flash 43, and the storage unit 41 described above are arbitrary components. Therefore, at least one of these components may be omitted.
  • FIG. 12 is a schematic external view of the electronic device according to the first modification.
  • the electronic device 1A of FIG. 12 is obtained by adding a flash 42 and a flash 43 to the electronic device 1 of FIG.
  • the flash 42 and the flash 43 are arranged on substantially the same surface as the display screen 1a of the electronic device 1A.
  • both the flash 42 and the flash 43 are arranged on the bezel 1b.
  • the flash 42 and the flash 43 may be arranged at different positions.
  • at least one of the flash 42 and the flash 43 may be a flash externally attached to the electronic device.
  • the display unit 2 may be controlled so that the display screen 1a emits light when the camera module 3 takes an image. In this case, it can be said that the display unit 2 has the functions of the flash 42 and the flash 43.
  • at least one of the flash 42 and the flash 43 may be mounted at a position on the rear side of the display screen 1a when the display screen 1a is viewed from the front.
  • the configuration of the electronic device 1A in FIG. 12 is the same as that of the electronic device 1 in FIG. 2, except that the flash 42 and the flash 43 are added.
  • the flash 43 irradiates the subject with blue light in order to compensate for the sensitivity of the wavelength band including the blue light.
  • the flash 42 and the flash 43 may be controlled by a hardware circuit or may be controlled by software operating in the electronic device 1.
  • X of the X pixel indicates the wavelength band to be detected by each pixel.
  • the X pixel detects light in a wavelength band including any color.
  • the name of the X pixel is not intended to limit the mounting of the pixel.
  • the mounting of pixels refers to, for example, the presence / absence of a color filter, the type of photoelectric conversion unit, and the presence / absence of longitudinal spectroscopy. Therefore, it is possible to implement pixels whose detection target is the same color by a plurality of methods.
  • the ratio of the blue light detection pixels in all the pixels should be larger than 1/4 which is the ratio in the Bayer array. Can be done.
  • the ratio of the blue light detection pixels in the imaging unit 8 (first imaging unit) is set to a value larger than that of the imaging unit 8A (second imaging unit). May be good.
  • FIG. 13 shows a pixel array 100 in which the ratio of red pixels, green pixels, and blue pixels is 1: 1: 2.
  • the imaging unit 8 may employ an array in which the ratio of blue pixels occupying all pixels is higher than the ratio of green pixels.
  • the ratio of the blue light detection pixels to all the pixels is halved, so that the sensitivity of the wavelength band including the blue light can be made higher than that of the Bayer array.
  • the sensitivity of the wavelength band including blue light mainly depends on the ratio of blue light detection pixels in the imaging unit. Therefore, the arrangement order and the regularity of the arrangement of the pixels in the pixel arrangement may be different from the example of FIG.
  • FIG. 14 shows a pixel array 101 in which a part of the green pixels in the Bayer array is replaced with cyan pixels.
  • the cyan pixel has high sensitivity to light in the wavelength band corresponding to blue to green.
  • the cyan pixel and the blue pixel correspond to the blue light detection pixel. Therefore, even in the pixel array 101, the ratio of the blue light detection pixels in all the pixels is 1/2. Therefore, when the pixel array 101 is used, it is possible to increase the sensitivity of the wavelength band including blue light as compared with the Bayer array.
  • the arrangement order and the regularity of the arrangement of the pixels in the pixel arrangement may be different from the example of FIG.
  • FIG. 15 shows a pixel array 102 in which all the green pixels in the Bayer array are replaced with cyan pixels.
  • the ratio of the blue light detection pixels occupying all the pixels is 3/4, so that the sensitivity of the wavelength band including blue light can be further increased as compared with the pixel array 101.
  • the pixel array 102 does not include green pixels. However, even when the pixel array 102 is used, it is possible to generate green color information by signal processing.
  • the linear matrix unit 35 can obtain green color information by subtracting blue color information from cyan color information (see FIGS. 9 and 10).
  • the arrangement order and arrangement regularity of the pixels in the pixel arrangement may be different from the example of FIG.
  • FIG. 16 shows a pixel array 103 in which the red pixels in the pixel array 101 of FIG. 14 are replaced with yellow pixels.
  • the red pixels can be replaced with the yellow pixels.
  • the red pixel is not included.
  • the linear matrix unit 35 can obtain red color information by subtracting green color information from yellow color information (see FIGS. 9 and 10).
  • the arrangement order and arrangement regularity of the pixels in the pixel arrangement may be different from the example of FIG.
  • FIG. 17 shows a pixel array 104 in which a part of the red pixels in the Bayer array is replaced with blue pixels.
  • the pixel array 104 of FIG. 17 one pixel 104p of the four red pixels included in the 4 ⁇ 4 array is replaced with a blue pixel.
  • the ratio of the blue light detection pixels occupying all the pixels is 5/16, which is larger than the ratio of 1/4 in the Bayer array. Therefore, when the pixel array 104 is used, the sensitivity of the wavelength band including blue light can be made higher than that of the Bayer array.
  • the arrangement order and the regularity of the arrangement of the pixels in the pixel arrangement may be different from the example of FIG.
  • the sensitivity of the wavelength band including the blue light in the first imaging unit may be increased.
  • the pixel arrangement of the first imaging unit may be a repeat of a 2 ⁇ 2 arrangement. Further, the pixel arrangement of the first imaging unit according to the present disclosure may be a repetition of a 4 ⁇ 4 arrangement.
  • the size and shape of the array which is the minimum unit that defines the pixel array, is not limited.
  • the pixel arrangement of the first imaging unit may be a repetition of a linear, L-shaped, or rectangular arrangement.
  • FIG. 18 shows a pixel array 105 using complementary colors of the three primary colors (RGB) of light.
  • the ratio of green pixels, yellow pixels, cyan pixels, and magenta pixels is 1: 1: 1: 1.
  • both the cyan pixel and the magenta pixel are blue light detection pixels having high sensitivity in the wavelength band including blue light. Therefore, the ratio of the blue light detection pixels in the pixel array 105 is 1/2, which is larger than the ratio of 1/4 in the Bayer array. Therefore, when the pixel array 104 is used, the sensitivity of the wavelength band including blue light can be made higher than that of the Bayer array.
  • the arrangement order and the regularity of the arrangement of the pixels in the pixel arrangement may be different from the example of FIG.
  • the linear matrix unit 35 can generate blue color information by subtracting green color information from cyan color information and performing correction according to magenta color information. Further, the linear matrix unit 35 can generate red color information by subtracting green color information from yellow color information. The linear matrix unit 35 may correct the red color information by using the value of the magenta color information.
  • the electronic devices according to the present disclosure are arranged on a display unit arranged on a first surface, a first imaging unit arranged on the side opposite to the display surface of the display unit, and a second surface opposite to the first surface. It may be provided with a second imaging unit.
  • the sensitivity of the first wavelength band including the blue light of the first imaging unit can be made higher than that of the second imaging unit.
  • the ratio of the blue light detection pixels in the pixel arrangement of the first imaging unit may be higher than that of the second imaging unit.
  • the first imaging unit may receive light transmitted through the display unit.
  • the electronic device has a display unit arranged on the first surface and a plurality of pixels arranged on the side opposite to the display surface of the display unit and photoelectrically converting light incident on the display unit. It may be provided with one imaging unit.
  • the ratio of the blue light detection pixels in the plurality of pixels may be larger than 1/4.
  • the blue light detection pixel may include at least one of a blue pixel, a magenta pixel, and a cyan pixel.
  • the blue light detection pixel is not limited to these pixels.
  • the first imaging unit may include at least one of a cyan pixel, a magenta pixel, and a yellow pixel.
  • the first imaging unit may have a pixel array in which at least one of the green pixel or the red pixel in the Bayer array is replaced with a pixel having a color on the shorter wavelength side.
  • the pixels of the imaging unit (first imaging unit and second imaging unit) according to the present disclosure may have one photoelectric conversion unit (light receiving surface). Further, the pixels of the imaging unit according to the present disclosure may have a plurality of photoelectric conversion units (light receiving surfaces). For example, when a vertical spectroscopic imaging unit is adopted, a plurality of photoelectric conversion units are arranged in the depth (z-axis) direction of the substrate in each pixel. Therefore, the pixels of the vertical spectroscopic imaging unit have a plurality of photoelectric conversion units that detect light in different wavelength bands.
  • FIG. 19 describes an example of a pixel having a plurality of photoelectric conversion units. In the following description, the surface on which light is received by the photoelectric conversion unit is referred to as a light receiving surface.
  • FIG. 19 shows an example of the pixel arrangement in the first imaging unit of the longitudinal spectroscopic type.
  • each pixel has a plurality of light receiving surfaces.
  • the pixel array 106 includes three light receiving surfaces 106A, 106B, and 106C in this order from the upper side (the z-axis positive direction side).
  • the light receiving surface 106A can detect a wavelength band including blue light.
  • the light receiving surface 106B below the light receiving surface 106A can detect a wavelength band including green light.
  • the light receiving surface 106C below the light receiving surface 106B can detect a wavelength band including red light.
  • the depth in the imaging unit on which the light receiving surfaces 106A, 106B and 106C are formed is not particularly limited.
  • each pixel has a light receiving surface capable of detecting a wavelength band including blue light. Therefore, in the pixel array 106, it can be said that the blue light detection pixels are arranged on the entire surface.
  • each pixel has a light receiving surface capable of detecting a wavelength band including red light and a light receiving surface capable of detecting a wavelength band including blue light. Therefore, in the pixel array 106, it can be said that the red pixels and the green pixels are arranged on the entire surface.
  • the wavelength band to be detected on each light receiving surface shown in FIG. 19 is only an example.
  • the wavelength band including blue light may be detected on the light receiving surface 106B or 106C.
  • light having a wavelength band different from the above may be detected on each light receiving surface.
  • light in a wavelength band corresponding to magenta, cyan, or yellow may be detected on at least one of the light receiving surfaces.
  • all the pixels of the light receiving surface 106A in FIG. 19 are "BLUE".
  • light in a different wavelength band may be detected for each pixel even within the same light receiving surface.
  • different types of photoelectric conversion units can be formed at the same depth in the substrate. An example of an imaging unit that performs longitudinal spectroscopy will be described later.
  • the electronic device according to the present disclosure may take pictures a plurality of times using different types of flashes to synthesize images or correct images.
  • the electronic device 1A of FIG. 12 is used will be described as an example.
  • FIG. 20 shows an example of a pixel array used when multiple shootings are performed using different types of flashes.
  • the pixel array 107 of FIG. 20 has red pixels, green pixels, blue pixels, and white pixels in a ratio of 1: 1: 1: 1.
  • the arrangement order of the pixels in the array may be different from the example of FIG.
  • the white pixel is, for example, a pixel in which the color filter on the photoelectric conversion unit is omitted.
  • the electronic device 1A uses the flash 43 to irradiate the subject with blue light at the time of the first shooting. At this time, the white pixel operates as a substantially blue pixel. Therefore, it is possible to increase the detection sensitivity of light in a wavelength band including blue.
  • the electronic device 1A irradiates the subject with white light using the flash 42 at the time of the second shooting.
  • the linear matrix unit 35 can combine the first image and the second image to generate an image compensated for the blue color information attenuated by the display unit 2.
  • the linear matrix unit 35 may use the first image to correct the second image, or may use the second image to correct the first image.
  • the flash 43 blue flash was fired at the first shooting, and the flash 42 (white flash) was fired at the second shooting.
  • the order in which each flash is fired does not matter.
  • the flash 42 white flash
  • the flash 43 blue flash
  • the imaging unit 8 may use a pixel array different from the pixel array 107 described above. Good.
  • a pixel array 108 of FIG. 21 an imaging unit having red pixels, cyan pixels, and blue pixels in a ratio of 1: 2: 1 may be used.
  • the arrangement order of the pixels in the array may be different from the example of FIG.
  • the electronic device may further include a first light source which is arranged on the first surface and is configured to emit blue light when photographed by the first imaging unit. Further, the electronic device according to the present disclosure has a second light source arranged on the first surface and configured to emit white light at the time of photographing by the first imaging unit, and an image taken when the first imaging unit emits light from the first light source.
  • the first image and the first imaging unit may include a processing circuit configured to generate a composite image of the second image taken when the second light source emits light.
  • the electronic device is arranged on a first surface, a first light source configured to emit light at the time of photographing by the first imaging unit, and a second surface opposite to the first surface. It may be provided with two imaging units and a third light source arranged on the second surface and configured to emit light during photographing by the second imaging unit.
  • the color temperature of the first light source may be higher than that of the third light source.
  • the above-mentioned flash 43 is an example of the first light source.
  • the flash 42 is an example of a second light source.
  • the flash 44 in FIG. 5 is an example of a third light source.
  • FIG. 22 is a schematic external view of the electronic device according to the modified example 2.
  • the electronic device 1B of FIG. 22 is obtained by adding the camera module 3a to the electronic device 1A of FIG. That is, the electronic device 1B includes a camera module 3 and a camera module 3a on the opposite side of the display screen 1a. Both the camera module 3 and the camera module 3a perform imaging by the light transmitted through the display unit 2.
  • the camera module 3 includes the above-mentioned imaging unit 8 (first imaging unit), and can capture an image in which the sensitivity of the wavelength band including the blue light attenuated by the display unit 2 is compensated. For example, as described above, the sensitivity of the wavelength band including blue light can be compensated by making the ratio of the blue light detection pixels in the pixel array of the imaging unit 8 higher than that of the Bayer array.
  • the camera module 3a compensates for the sensitivity of the wavelength band including blue light in the same manner as the camera module (for example, the camera module 10 of FIGS. 5 and 6) that performs imaging with light that does not pass through the display unit 2. It is a camera module that is not.
  • the imaging unit 8B of the camera module 3a has a known pixel array such as a Bayer array including RGB.
  • the electronic device according to the present disclosure may be provided with a plurality of imaging units on the opposite side of the display screen.
  • the electronic device 1B illustrated in FIG. 22 includes a flash 42 and a flash 43. However, at least one of the flash 42 and the flash 43 may be omitted.
  • the configuration of the display unit 2 of the electronic device 1B is the same as that of the electronic device 1 described above.
  • the block diagram of FIG. 23 shows an example of the internal configuration of the electronic device 1B.
  • the electronic device 1B includes an optical system 9B, an imaging unit 8B, an A / D converter 31B, a clamp unit 32B, a color output unit 33B, a defect correction unit 34B, and an image conversion unit 40.
  • the configurations of the optical system 9B, the A / D converter 31B, the clamp unit 32B, the color output unit 33B, and the defect correction unit 34B corresponding to the camera module 3a are the optical system 9, the A / D converter 31, and the clamp unit 32, respectively.
  • the color output unit 33, and the defect correction unit 34 are the same as that of the imaging unit 8 except for the pixel arrangement.
  • An A / D converter 31B, a clamp unit 32B, a color output unit 33B, a defect correction unit 34B, and an image conversion unit 40 can be mounted.
  • the image conversion unit 40 performs image conversion so that the discrepancy between the image captured by the imaging unit 8 (third image) and the image captured by the imaging unit 8B (fourth image) is eliminated.
  • the image conversion unit 40 can eliminate the parallax between the third image and the fourth image by various geometric transformation algorithms.
  • the type of algorithm used by the image conversion unit 40 is not particularly limited. In the block diagram of FIG. 23, image conversion is performed on the fourth image so that the parallax between the fourth image and the third image is eliminated.
  • the image conversion unit 40 may perform image conversion on the third image. Further, the image conversion unit 40 may perform image conversion on both images.
  • the image conversion unit 40 may use either the third image or the fourth image as the reference image.
  • the linear matrix unit 35 can generate the fifth image by synthesizing the data of the fourth image output from the image conversion unit 40 and the data of the third image.
  • the fourth image is an image in which the sensitivity of blue light is compensated.
  • the third image can be used as an image for ensuring the resolution.
  • the flash 42, the flash 43, and the storage unit 41 are omitted.
  • these components may be omitted. Further, the electronic device 1B may include at least one of these components.
  • the electronic device is arranged on the side opposite to the display surface of the display unit, and is photographed by the third image pickup unit and the first image pickup unit whose sensitivity in the first wavelength band is lower than that of the first image pickup unit. It may further include a processing circuit configured to generate a composite image of the third image and the fourth image captured by the third imaging unit.
  • FIG. 24 is a cross-sectional view showing an example of the imaging unit according to the modified example 1.
  • FIG. 24 shows an imaging unit 500 that can obtain a plurality of color signals without using a color filter.
  • the imaging unit 500 is a vertical spectroscopic imaging unit, and is arranged so that a plurality of photoelectric conversion units whose detection targets are different wavelength ranges in the z-axis direction are stacked.
  • the positive direction of the z-axis is referred to as "up”
  • the negative direction of the z-axis is referred to as "down”.
  • the organic photoelectric conversion unit 511G is provided on the back surface side (upper side) of the semiconductor substrate.
  • the inorganic photoelectric conversion units 511B and 511R are laminated in the thickness direction (z-axis direction) of the semiconductor substrate 511.
  • the inorganic photoelectric conversion units 511B and 511R can be embedded and formed in the semiconductor substrate 511.
  • the organic photoelectric conversion layer 516 includes, for example, a bulk heterojunction structure (p / n junction surface) of a p-type semiconductor and an n-type semiconductor formed of an organic semiconductor material.
  • the semiconductor substrate 511 is, for example, an n-type silicon substrate.
  • the surface 511S1 of the semiconductor substrate 511 corresponds to the surface of the semiconductor substrate 511 facing the incident direction of light.
  • the surface 511S2 of the semiconductor substrate 511 corresponds to the surface of the semiconductor substrate 511 on the side opposite to the incident direction of light.
  • a p-well, a floating diffusion layer, a transistor, and the like can be formed in the semiconductor substrate 511.
  • a wiring layer 570 can be formed on the insulating layer 574.
  • PIN type photodiodes can be used as the inorganic photoelectric conversion units 511B and 511R.
  • the inorganic photoelectric conversion units 511B and 511R have pn junctions at different depths (z coordinates) of the semiconductor substrate 511.
  • the wavelength band of electromagnetic waves absorbed differs depending on the depth. Therefore, the inorganic photoelectric conversion units arranged at different depths in the semiconductor substrate 511 can detect light in different wavelength bands.
  • the inorganic photoelectric conversion unit 511B is arranged at a depth capable of photoelectric conversion of blue light (for example, a wavelength of 450 nm to 495 nm).
  • the inorganic photoelectric conversion unit 511R is arranged at a depth capable of photoelectric conversion of red light (for example, a wavelength of 620 nm to 750 nm). Therefore, a blue color signal is output from the inorganic photoelectric conversion unit 511B.
  • a red color signal is output from the inorganic photoelectric conversion unit 511R.
  • Each of the inorganic photoelectric conversion units 511B and 511R includes a hole storage layer (p region in the figure) and an electron storage layer (n region in the figure).
  • the electron storage layer of the inorganic photoelectric conversion unit 511B is connected to the transistor 520.
  • the hole storage layer of the inorganic photoelectric conversion unit 511B is bent along the transistor 520 and is connected to the hole storage layer of the inorganic photoelectric conversion unit 511R.
  • the transistor 520 is configured to transfer the signal charge in the inorganic photoelectric conversion unit 511B to the floating diffusion layer 521.
  • the transistor 524 is configured to transfer the signal charge in the inorganic photoelectric conversion unit 511R to the floating diffusion layer 522.
  • the transistor 525 is configured to convert the electric charge generated by the organic photoelectric conversion unit 511G into a voltage signal.
  • the transistor 526 is configured to reset the charge transferred from the organic photoelectric conversion unit 511G to the floating diffusion layer 523.
  • the contact 513 is formed of various metals or conductive materials such as doped silicon.
  • the organic photoelectric conversion unit 511G includes an upper electrode 517, an organic photoelectric conversion layer 516, and a lower electrode 515.
  • an upper electrode 517 For example, it is possible to form each layer of the organic photoelectric conversion unit 511G in the order of the upper electrode 517, the organic photoelectric conversion layer 516, and the lower electrode 515.
  • the order in which each layer of the organic photoelectric conversion unit 511G is formed does not matter.
  • the lower electrode 515 is formed separately for each imaging unit 500, for example.
  • the organic photoelectric conversion layer 516 and the lower electrode 515 may be formed as a continuous layer common among the plurality of imaging units 500.
  • the organic photoelectric conversion layer 516 contains, for example, at least one of a p-type semiconductor and an n-type semiconductor.
  • a material that transmits visible light is selected as one material and the other material.
  • a material that photoelectrically converts light in a specific wavelength range can be selected.
  • the material may be used to form the organic photoelectric conversion layer 516.
  • the n-type semiconductor functions as an electron transport material in the organic photoelectric conversion layer 516.
  • the p-type semiconductor functions as a hole transport material in the organic photoelectric conversion layer 516.
  • organic photoelectric conversion layer 516 for example, an organic semiconductor material such as subphthalocyanine, fullerene C60, fullerene C70, or a derivative thereof can be used.
  • organic semiconductor material such as subphthalocyanine, fullerene C60, fullerene C70, or a derivative thereof can be used.
  • the type and combination of materials used as the organic photoelectric conversion layer 516 are not limited.
  • the lower electrode 515 and the upper electrode 517 are, for example, conductive films having light transmittance.
  • As the material of the lower electrode 515 and the upper electrode 517 for example, metal oxides such as ITO, IZO, IFO, ATO, and FTO can be used. However, the materials of the lower electrode 515 and the upper electrode 517 are not limited.
  • An insulating layer 512 and an insulating layer 514 are formed between the surface 511S1 of the semiconductor substrate 511 and the lower electrode 515 of the organic photoelectric conversion unit 511G.
  • the insulating layer 514 and the insulating layer 512 can be formed in this order on the lower electrode 515.
  • a fixed charge layer and an insulating dielectric layer may be alternately laminated in the insulating layer 512.
  • a protective layer 518 is formed between the on-chip lens layer 519 and the upper electrode 517 of the organic photoelectric conversion unit 511G.
  • the on-chip lens layer 519 includes, for example, an on-chip lens and a flattening layer.
  • the protective layer 518 is formed of a light-transmitting material.
  • the protective layer 518 is a monolayer film formed of, for example, silicon oxide, silicon nitride, silicon oxynitride, or the like. Further, the protective layer 518 may be a laminated film using a plurality of these materials.
  • the fixed charge in the fixed charge layer in the insulating layer 512 may be positive or negative.
  • the fixed charge layer for example, oxides or nitrides of various metals can be used.
  • the dielectric layer in the insulating layer 512 is formed of, for example, silicon oxide, TEOS, or silicon nitride. However, the material of the dielectric layer is not limited. Further, the fixed charge layer may be a laminate of two or more types of films.
  • the on-chip lens layer 519 covers the entire surface of the protective layer 518, for example.
  • a plurality of on-chip lenses (microlenses) are provided on the surface of the on-chip lens layer 519.
  • the on-chip lens collects the incident light on the light receiving surfaces of the organic photoelectric conversion unit 511G and the inorganic photoelectric conversion unit 511B and 511R.
  • the wiring layer 570 is formed on the surface 511S2 side of the semiconductor substrate 511. Therefore, the light receiving surfaces of the organic photoelectric conversion unit 511G and the inorganic photoelectric conversion unit 511B and 511R can be arranged close to each other. As a result, the variation in sensitivity between each color that occurs depending on the F value of the on-chip lens is reduced.
  • a through electrode 563 is formed between the surface 511S1 and the surface 511S2 of the semiconductor substrate 511.
  • the organic photoelectric conversion unit 511G is connected to the floating diffusion layer 523 and the transistor 525 via a through electrode 563. This makes it possible to transfer the electric charge of the organic photoelectric conversion unit 511G to the circuit in the subsequent stage.
  • a through electrode 563 can be prepared for each organic photoelectric conversion unit 511G.
  • Wiring and contacts for connection are formed between the through silicon via 563, the floating diffusion layer 523, and the transistor 525.
  • the through electrode 563 has, for example, a substantially cylindrical shape. However, through electrodes having other shapes such as a tapered shape may be used.
  • the transistor 526 provided in the vicinity of the floating diffusion layer 523 is configured to reset the electric charge stored in the floating diffusion layer 523.
  • the organic photoelectric conversion layer 516 absorbs light in a predetermined wavelength range and forms electron-hole pairs. Charges containing electrons and holes are transferred to the corresponding electrodes by the internal electric field and diffusion caused by the difference in the work functions of the electrodes. For example, holes move to the upper electrode 517. In this case, the electrons move to the lower electrode 515. However, it is possible to control the movement of electric charge by applying an electric potential between the upper electrode 517 and the lower electrode 515.
  • the organic photoelectric conversion layer 516 may further contain a material (light absorber) that photoelectrically converts light in a specific wavelength range.
  • the organic photoelectric conversion layer 516 may have a laminated structure. For example, a two-layer structure of a p-type semiconductor layer / n-type semiconductor layer, a p-type semiconductor layer / mixed layer (bulk hetero layer), and an n-type semiconductor layer / mixed layer (bulk hetero layer) may be formed. A three-layer structure of a p-type semiconductor layer / mixed layer (bulk hetero layer) / n-type semiconductor layer may be formed. Further, a combination of a plurality of types of materials may be used as at least one of the p-type semiconductor and the n-type semiconductor.
  • the p-type / n-type in organic semiconductors indicates the types of charges that are easily transported.
  • p-type organic semiconductors exhibit the property of easily transporting holes.
  • the n-type organic semiconductor exhibits a property of easily transporting electrons.
  • the p-type / n-type in an organic semiconductor is not limited to the meaning that it has holes or electrons as a majority carrier of thermal excitation like an inorganic semiconductor.
  • Another layer may be formed between the organic photoelectric conversion layer 516 and the lower electrode 515, and between the organic photoelectric conversion layer 516 and the upper electrode 517.
  • an undercoat layer, a hole transport layer, an electron blocking layer, an organic photoelectric conversion layer, a hole blocking layer, a buffer layer, an electron transport layer, and a work function adjusting layer are laminated in this order on the lower side of the lower electrode 515. May be good.
  • the lower electrode 515 and the upper electrode 517 may be covered with an insulating material.
  • materials for coating the lower electrode 515 and the upper electrode 517 include silicon oxide-based materials and metal oxides such as silicon nitride (SiN x ) and aluminum oxide (Al 2 O 3).
  • the coating layer can be formed by a dry film forming method or a wet film forming method.
  • red, green, and blue color signals can be obtained from each pixel.
  • FIG. 25 is a cross-sectional view showing an example of the imaging unit according to the modified example 2.
  • FIG. 25 also shows an imaging unit 600 that can obtain a plurality of color signals without using a color filter.
  • the imaging unit 600 is also a vertical spectroscopic imaging unit, and is arranged so that a plurality of photoelectric conversion units whose detection targets are different wavelength ranges in the z-axis direction are stacked.
  • the surface 611S1 of the semiconductor substrate 611 is a surface of the semiconductor substrate 611 in the incident direction (the z-axis positive direction). Further, the surface 611S2 of the semiconductor substrate 611 is a surface in the direction opposite to the incident direction of the light of the semiconductor substrate 611 (the z-axis negative direction).
  • the positive direction of the z-axis is referred to as "up”
  • the negative direction of the z-axis is referred to as "down”.
  • an organic photoelectric conversion unit 611B, an organic photoelectric conversion unit 611G, and an organic photoelectric conversion unit 611R are formed in this order from the top.
  • An insulating layer 642 is formed between the surface 611S1 of the semiconductor substrate 611 and the organic photoelectric conversion unit 611R. Further, an insulating layer 641 is formed between the organic photoelectric conversion unit 611R and the organic photoelectric conversion unit 611G. Further, an insulating layer 640 is formed between the organic photoelectric conversion unit 611G and the organic photoelectric conversion unit 611B.
  • the insulating layer 674 is arranged on the lower side (surface 611S2 side) of the semiconductor substrate 611.
  • a wiring layer 670 can be formed in the insulating layer 674.
  • a transistor and a floating diffusion layer as illustrated in FIG. 24 can be formed in the semiconductor substrate 611. In FIG. 25, the transistor and the floating diffusion layer are omitted.
  • a protective layer 618 made of a light-transparent material is formed on the organic photoelectric conversion unit 611B.
  • An on-chip lens layer 619 is formed on the protective layer 618.
  • the on-chip lens layer 619 includes, for example, a plurality of on-chip lenses (microlenses) and a flattening layer. The on-chip lens collects the light incident on the light receiving surfaces of the organic photoelectric conversion unit 611R, the organic photoelectric conversion unit 611G, and the organic photoelectric conversion unit 611B.
  • the inorganic photoelectric conversion unit 511B and the inorganic photoelectric conversion unit 511R of the imaging unit 500 are replaced with the organic photoelectric conversion unit 611B and the organic photoelectric conversion unit 611R, respectively. Therefore, in the imaging unit 600, an organic photoelectric conversion film is used for detecting all of red light, green light, and blue light.
  • the organic photoelectric conversion unit 611B includes an upper electrode 617, an organic photoelectric conversion layer 616, and a lower electrode 615.
  • the lower electrode 615 and the upper electrode 617 are conductive films having light transmittance like the lower electrode 515 and the upper electrode 517 in FIG. 24.
  • the organic photoelectric conversion layer 616 includes, for example, at least one of a p-type organic semiconductor, an n-type organic semiconductor, and a material (light absorber) that photoelectrically converts light in a specific wavelength range.
  • the organic photoelectric conversion layer 616 may have a bulk heterojunction structure or a laminated structure. In the organic photoelectric conversion layer 616, a material having sensitivity in the wavelength band including blue light can be used.
  • Examples of such a material include a material in which C30 is doped with fullerene, coumarin 6, a dinaphthothienothiophene (DNT) derivative, and the like.
  • DNT dinaphthothienothiophene
  • the type of material used in the organic photoelectric conversion layer 616 does not matter.
  • the organic photoelectric conversion unit 611G includes an upper electrode 627, an organic photoelectric conversion layer 626, and a lower electrode 625.
  • the upper electrode 627 and the lower electrode 625 are light-transmitting conductive films similar to the lower electrode 515 and the upper electrode 517 in FIG. 24.
  • the material and composition of the organic photoelectric conversion layer 626 are the same as those of the organic photoelectric conversion layer 516 of FIG. 24.
  • the organic photoelectric conversion unit 611R includes an upper electrode 637, an organic photoelectric conversion layer 636, and a lower electrode 635.
  • the upper electrode 637 and the lower electrode 635 are light-transmitting conductive films similar to the lower electrode 515 and the upper electrode 517 in FIG. 24.
  • the organic photoelectric conversion layer 636 includes, for example, at least one of a p-type organic semiconductor, an n-type organic semiconductor, and a material (light absorber) that photoelectrically converts light in a specific wavelength range.
  • the organic photoelectric conversion layer 636 may have a bulk heterojunction structure or a laminated structure.
  • a material having sensitivity in the wavelength band including red light can be used. Examples of such a material include zinc phthalocyanine, boron subnaphthalocyanine chloride and the like.
  • the type of material used in the organic photoelectric conversion layer 636 does not matter.
  • the above-mentioned upper electrode and lower electrode can be formed by using metal oxides such as ITO, IZO, IFO, ATO, and FTO.
  • metal oxides such as ITO, IZO, IFO, ATO, and FTO.
  • the materials of the lower electrode and the upper electrode are not limited.
  • the lower electrode may be formed separately for each imaging unit.
  • another layer may be formed between the organic photoelectric conversion layer and the lower electrode, and between the organic photoelectric conversion layer and the upper electrode, as in FIG. 24.
  • the undercoat layer, the hole transport layer, the electron blocking layer, the organic photoelectric conversion layer, the hole blocking layer, the buffer layer, the electron transport layer, and the work function adjusting layer are laminated in this order on the lower side of the lower electrode.
  • the lower electrode and the upper electrode may be covered with an insulating material.
  • FIG. 25 shows a contact 613 and a through silicon via 663 that electrically connect the organic photoelectric conversion unit 611B and the wiring layer 670. It is assumed that the contact 613 and the through electrode 663 are made of a conductive material such as a doped semiconductor material, metal, or metal oxide. Similarly, it is assumed that contacts and through electrodes (not shown) are formed between the organic photoelectric conversion unit 611G and the wiring layer 670 and between the organic photoelectric conversion unit 611R and the wiring layer 670.
  • each organic photoelectric conversion layer light in a predetermined wavelength range is absorbed and electron / hole pairs are formed. For example, holes move to the upper electrode and electrons move to the lower electrode. Similar to the case of FIG. 24, the movement of electric charge can be controlled by applying an electric potential between the upper electrode and the lower electrode. Charges containing electrons and holes are transferred to the wiring layer 670 via contacts and through electrodes. This charge is stored in the floating diffusion layer by a transfer transistor formed in the semiconductor substrate 611. The electric charge stored in the floating diffusion layer is converted by a voltage signal by a conversion transistor. This makes it possible to output each color signal of red, green, or blue to the circuit in the subsequent stage. As in FIG. 24, a transistor for resetting the electric charge stored in the floating diffusion layer may be provided in the semiconductor substrate 611.
  • red, green, and blue color signals can be obtained from each pixel.
  • the first imaging unit of the electronic device according to the present disclosure may have a plurality of photoelectric conversion units in the depth direction of the substrate. At least one of the plurality of photoelectric conversion units may include an organic photoelectric conversion film. That is, the first imaging unit of the electronic device according to the present disclosure may have a plurality of light receiving surfaces, and each light receiving surface may detect light in a different wavelength band. Further, at least one light receiving surface of the first imaging unit may include an organic photoelectric conversion film.
  • the imaging unit on the opposite side of the display unit, it is not necessary to arrange the front camera on the bezel. Therefore, it is possible to narrow the bezel width of the electronic device and realize a bezelless electronic device. Further, it is possible to mount a display unit having a larger size without increasing the size of the housing of the electronic device. Therefore, it is possible to meet the demands of both miniaturization and large screen of electronic devices.
  • the ratio of the blue light detection pixels is set to be higher than that in the second imaging unit arranged on the surface opposite to the display unit. Can be done. Further, in the electronic device according to the present disclosure, the ratio of the blue light detection pixels can be made larger than 1/4 in the first imaging unit arranged on the opposite side of the display unit. As a result, the sensitivity of the wavelength band including the attenuated blue light in the light transmitted through the display unit can be compensated, and the deterioration of the image quality of the captured image can be suppressed.
  • the sensitivity of the wavelength band including the blue light may be compensated by using the flash of the blue light at the time of shooting.
  • a plurality of imaging units may be arranged on the opposite side of the display unit.
  • an imaging unit having a different pixel arrangement may be arranged on the opposite side of the display unit.
  • an imaging unit in which the ratio of blue light detection pixels is higher than that of the Bayer array can be combined with an imaging unit having the same sensitivity as the Bayer array with respect to a wavelength band including blue light.
  • FIG. 26 is a plan view when the electronic device according to the present disclosure is applied to the capsule endoscope 50.
  • the capsule endoscopy 50 of FIG. 26 is photographed by, for example, a camera (ultra-small camera) 52 and a camera 52 for capturing an image in the body cavity in a housing 51 having hemispherical surfaces at both ends and a cylindrical central portion.
  • a CPU (Central Processing Unit) 56 and a coil (magnetic force / current conversion coil) 57 are provided in the housing 51.
  • the CPU 56 controls the shooting by the camera 52 and the data storage operation in the memory 53, and also controls the data transmission from the memory 53 to the data receiving device (not shown) outside the housing 51 by the wireless transmitter 55.
  • the coil 57 supplies electric power to the camera 52, the memory 53, the wireless transmitter 55, the antenna 54, and the light source 52b described later.
  • the housing 51 is provided with a magnetic (reed) switch 58 for detecting when the capsule endoscope 50 is set in the data receiving device.
  • the reed switch 58 detects the set to the data receiving device and the data can be transmitted, the CPU 56 supplies electric power from the coil 57 to the wireless transmitter 55.
  • the camera 52 has, for example, an image sensor 52a including an objective optical system 9 for capturing an image in the body cavity, and a plurality of light sources 52b that illuminate the inside of the body cavity.
  • the camera 52 is configured as a light source 52b, for example, a CMOS (Complementary Metal Oxide Semiconductor) sensor equipped with an LED (Light Emitting Diode), a CCD (Charge Coupled Device), or the like.
  • CMOS Complementary Metal Oxide Semiconductor
  • LED Light Emitting Diode
  • CCD Charge Coupled Device
  • the display unit 2 in the electronic device according to the present disclosure is a concept including a light emitting body such as the light source 52b of FIG.
  • the capsule endoscope 50 of FIG. 26 has, for example, two light sources 52b, and these light sources 52b can be configured by a display panel 4 having a plurality of light source units and an LED module having a plurality of LEDs.
  • a display panel 4 having a plurality of light source units
  • an LED module having a plurality of LEDs.
  • FIG. 27 is a rear view when the electronic device according to the present disclosure is applied to the digital single-lens reflex camera 60.
  • the digital single-lens reflex camera 60 and the compact camera are provided with a display unit 2 for displaying a preview screen on the back surface opposite to the lens.
  • the camera module 3 may be arranged on the side opposite to the display surface of the display unit 2 so that the photographer's face image can be displayed on the display screen 1a of the display unit 2.
  • the camera module 3 can be arranged in the area overlapping the display unit 2, it is not necessary to provide the camera module 3 in the frame portion of the display unit 2, and the size of the display unit 2 is increased as much as possible. be able to.
  • FIG. 28 is a plan view showing an example in which the electronic device according to the present disclosure is applied to a head-mounted display (hereinafter, HMD) 61.
  • the HMD 61 of FIG. 28 is used for VR (Virtual Reality), AR (Augmented Reality), MR (Mixed Reality), SR (Substituional Reality), and the like.
  • the current HMD has a camera 62 mounted on the outer surface, so that the wearer of the HMD can visually recognize the surrounding image, while the surrounding humans wear the HMD.
  • the facial expressions of a person's eyes and face cannot be understood.
  • the display surface of the display unit 2 is provided on the outer surface of the HMD 61, and the camera module 3 is provided on the opposite side of the display surface of the display unit 2.
  • the facial expression of the wearer taken by the camera module 3 can be displayed on the display surface of the display unit 2, and the humans around the wearer can grasp the facial expression of the wearer and the movement of the eyes in real time. can do.
  • the camera module 3 is provided on the back surface side of the display unit 2, there are no restrictions on the installation location of the camera module 3, and the degree of freedom in designing the HMD 61 can be increased. Further, since the camera can be arranged at the optimum position, it is possible to prevent problems such as the wearer's line of sight displayed on the display surface not being aligned.
  • the electronic device according to the present disclosure can be used for various purposes, and the utility value of the device can be enhanced.
  • the present technology can have the following configurations. (1) The display unit placed on the first surface and A first imaging unit arranged on the side opposite to the display surface of the display unit, A second imaging unit arranged on a second surface opposite to the first surface is provided. The sensitivity of the first wavelength band including blue light of the first imaging unit is higher than that of the second imaging unit. Electronics. (2) The first imaging unit receives the light transmitted through the display unit. The electronic device according to (1). (3) The ratio of blue light detection pixels in the pixel array of the first imaging unit is higher than that of the second imaging unit. The electronic device according to (1) or (2). (4) The blue light detection pixel includes at least one of a blue pixel, a magenta pixel, and a cyan pixel. The electronic device according to (3).
  • the first imaging unit includes at least one of a cyan pixel, a magenta pixel, and a yellow pixel.
  • the electronic device according to any one of (1) to (3).
  • a first light source arranged on the first surface and configured to emit blue light when photographed by the first imaging unit is further provided.
  • the electronic device according to any one of (1) to (5).
  • a process configured such that the first imaging unit generates an image obtained by synthesizing a first image taken when the first light source emits light and a second image taken by the first imaging unit when the second light source emits light. Further equipped with a circuit, The electronic device according to (6).
  • the color temperature of the first light source is higher than that of the third light source.
  • the electronic device according to any one of (1) to (5).
  • a third imaging unit which is arranged on the side opposite to the display surface of the display unit and whose sensitivity in the first wavelength band is lower than that of the first imaging unit, A processing circuit configured to generate a composite image of a third image captured by the first imaging unit and a fourth image captured by the third imaging unit is further provided.
  • the electronic device according to any one of (1) to (8).
  • the first imaging unit has a plurality of photoelectric conversion units in the depth direction of the substrate.
  • the electronic device according to any one of (1) to (9).
  • At least one of the plurality of photoelectric conversion units includes an organic photoelectric conversion film.
  • the electronic device according to (10).
  • the ratio of blue light detection pixels in the plurality of pixels is larger than 1/4.
  • the blue light detection pixel includes at least one of a blue pixel, a magenta pixel, and a cyan pixel.
  • the electronic device includes at least one of a cyan pixel, a magenta pixel, and a yellow pixel.
  • the electronic device includes at least one of a cyan pixel, a magenta pixel, and a yellow pixel.
  • the electronic device includes at least one of a cyan pixel, a magenta pixel, and a yellow pixel.
  • the electronic device includes at least one of a cyan pixel, a magenta pixel, and a yellow pixel.
  • the electronic device or (13).
  • a first light source arranged on the first surface and configured to emit blue light when photographed by the first imaging unit is further provided.
  • the electronic device according to any one of (12) to (14).
  • a second light source arranged on the first surface and configured to emit white light during photographing by the first imaging unit, and a second light source.
  • a process configured such that the first imaging unit generates an image obtained by synthesizing a first image taken when the first light source emits light and a second image taken
  • the electronic device according to (15).
  • the color temperature of the first light source is higher than that of the third light source.
  • a third imaging unit which is arranged on the side opposite to the display surface of the display unit and has a ratio of the blue light detection pixels lower than that of the first imaging unit, A processing circuit configured to generate a composite image of a third image captured by the first imaging unit and a fourth image captured by the third imaging unit is further provided.
  • the first imaging unit has a plurality of photoelectric conversion units in the depth direction of the substrate.
  • At least one of the plurality of photoelectric conversion units includes an organic photoelectric conversion film.
  • the first imaging unit has a pixel array in which at least one of the green pixel or the red pixel in the Bayer array is replaced with a pixel having a color on the shorter wavelength side.
  • the electronic device according to any one of (12) to (20).
  • the first imaging unit has a pixel array in which at least one of the green pixel or the red pixel in the Bayer array is replaced with a pixel having a color on the shorter wavelength side.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Studio Devices (AREA)

Abstract

[課題]ベゼル幅を狭くしつつ、カメラの撮像画像の画質低下を抑制する電子機器を提供する。 [解決手段]本開示による電子機器は、第1面に配置された表示部と、前記表示部の表示面と反対側に配置される第1撮像部と、前記第1面と反対側の第2面に配置された第2撮像部とを備え、前記第1撮像部の青色光を含む第1波長帯域の感度は前記第2撮像部より高い。また、前記第1撮像部の画素配列における青色光検出画素の比率は、前記第2撮像部より高くてもよい。

Description

電子機器
 本開示は、電子機器に関する。
 スマートフォン、タブレット、ゲーム機、PC(Personal Computer)などの電子機器では、表示部の額縁(ベゼル)にカメラが実装されていることが一般的である。このカメラは、フロントカメラとよばれ、ビデオ通話や自撮り(selfie)に使われる。
 ユーザは、電子機器をポケットまたは鞄に入れて携帯することが多い。このため、小型な筐体の電子機器が求められている。また、テキストの視認性を高めたり、高解像度画像の表示を実現したりするために、画面サイズの大きい電子機器も求められている。これらの要求に応えるために、ベゼルの幅を狭くした電子機器や、ベゼルレスの電子機器が開発されている。
 フロントカメラは、ベゼルに実装されることが多い。この場合、電子機器のベゼル幅をカメラの外径サイズより狭くすることができなくなる。また、ユーザの視線は、撮影中に、表示画面の中央付近に向けられることが多い。このため、ベゼルに配置されたカメラで撮影を行うと、人物の視線が正面を向いていない不自然な画像になる可能性がある。
 上述の問題を回避するために、表示部の表示面とは反対側にカメラモジュールを配置し、表示部を透過した光によって撮影を行うことが提案されている。
国際公開第2013/187132号公報
 ただし、表示部を透過した光は、吸収または反射によって、青色光を含む波長帯域が減衰している。このため、他の場所に配置されたカメラと比べて撮像画像の画質が低下するという課題があった。
 そこで、本開示は、ベゼル幅を狭くしつつ、カメラの撮像画像の画質低下を抑制する電子機器を提供する。
 本開示の一態様による電子機器は、第1面に配置された表示部と、前記表示部の表示面と反対側に配置される第1撮像部と、前記第1面と反対側の第2面に配置された第2撮像部とを備え、前記第1撮像部の青色光を含む第1波長帯域の感度は前記第2撮像部より高くてもよい。
 前記第1撮像部は前記表示部を透過した光を受光してもよい。
 前記第1撮像部の画素配列における青色光検出画素の比率は、前記第2撮像部より高くてもよい。
 前記青色光検出画素は、青色画素、マゼンタ画素、シアン画素の少なくともいずれかを含んでいてもよい。
 前記第1撮像部は、シアン画素、マゼンタ画素、イエロー画素の少なくともいずれかを含んでいてもよい。
 前記第1面に配置され、前記第1撮像部による撮影時に青色光を発光するように構成された第1光源をさらに備えていてもよい。
 前記第1面に配置され、前記第1撮像部による撮影時に白色光を発光するように構成された第2光源と、前記第1撮像部が前記第1光源の発光時に撮影した第1画像および前記第1撮像部が前記第2光源の発光時に撮影した第2画像を合成した画像を生成するように構成された処理回路とをさらに備えていてもよい。
 前記第1面に配置され、前記第1撮像部による撮影時に発光するように構成された第1光源と、前記第1面と反対側の第2面に配置された第2撮像部と、前記第2面に配置され、前記第2撮像部による撮影時に発光するように構成された第3光源とをさらに備え、前記第1光源の色温度は、前記第3光源より高くなっていてもよい。
 前記表示部の表示面と反対側に配置され、前記第1波長帯域の感度が前記第1撮像部より低い第3撮像部と、前記第1撮像部によって撮影された第3画像および前記第3撮像部によって撮影された第4画像を合成した画像を生成するように構成された処理回路とをさらに備えていてもよい。
 前記第1撮像部は、基板の深さ方向に複数の光電変換部を有していてもよい。
 前記複数の光電変換部の少なくともいずれかひとつは、有機光電変換膜を含んでいてもよい。
 本開示の一態様による電子機器は、第1面に配置された表示部と、前記表示部の表示面と反対側に配置され、前記表示部を介して入射した光を光電変換する複数の画素を有する第1撮像部とを備え、前記複数の画素における青色光検出画素の比率が1/4より大きくてもよい。
 前記青色光検出画素は、青色画素、マゼンタ画素、シアン画素の少なくともいずれかを含んでいてもよい。
 前記第1撮像部は、シアン画素、マゼンタ画素、イエロー画素の少なくともいずれかを含んでいてもよい。
 前記第1面に配置され、前記第1撮像部による撮影時に青色光を発光するように構成された第1光源をさらに備えていてもよい。
 前記第1面に配置され、前記第1撮像部による撮影時に白色光を発光するように構成された第2光源と、前記第1撮像部が前記第1光源の発光時に撮影した第1画像および前記第1撮像部が前記第2光源の発光時に撮影した第2画像を合成した画像を生成するように構成された処理回路とをさらに備えていてもよい。
 前記第1面に配置され、前記第1撮像部による撮影時に発光するように構成された第1光源と、前記第1面と反対側の第2面に配置された第2撮像部と、前記第2面に配置され、前記第2撮像部による撮影時に発光するように構成された第3光源とをさらに備え、前記第1光源の色温度は、前記第3光源より高くなっていてもよい。
 前記表示部の表示面と反対側に配置され、前記青色光検出画素の比率が前記第1撮像部より低い第3撮像部と、前記第1撮像部によって撮影された第3画像および前記第3撮像部によって撮影された第4画像を合成した画像を生成するように構成された処理回路とをさらに備えていてもよい。
 前記第1撮像部は、基板の深さ方向に複数の光電変換部を有していてもよい。
 前記複数の光電変換部の少なくともいずれかひとつは、有機光電変換膜を含んでいてもよい。
本開示による電子機器の例の模式的な断面図。 (a)は図1の電子機器の模式的な外観図、(b)は(a)のA-A線方向の断面図。 ベゼルに配置されたフロントカメラによって撮像された画像の例を示す図。 表示部を透過した光によって撮像された画像の例を示す図。 電子機器の図2(a)と反対側の面を示した外観図。 リアカメラの模式的な外観図。 本開示による撮像部の詳細な断面構造の例を示す図。 ベイヤー配列の例を示した平面図。 赤色画素、緑色画素、および青色画素における分光感度特性の例を示すグラフ。 シアン画素、イエロー画素、およびマゼンタ画素における分光感度特性の例を示すグラフ。 本実施形態による電子機器の内部構成を示すブロック図。 変形例1による電子機器の模式的な外観図。 第1撮像部における画素配列の例を示した平面図。 第1撮像部における画素配列の例を示した平面図。 第1撮像部における画素配列の例を示した平面図。 第1撮像部における画素配列の例を示した平面図。 第1撮像部における画素配列の例を示した平面図。 第1撮像部における画素配列の例を示した平面図。 第1撮像部における画素配列の例を示した平面図。 第1撮像部における画素配列の例を示した平面図。 第1撮像部における画素配列の例を示した平面図。 変形例2による電子機器の模式的な外観図。 変形例2による電子機器の内部構成を示すブロック図。 縦方向分光型の撮像部の例を示した断面図。 縦方向分光型の撮像部の例を示した断面図。 本開示による電子機器をカプセル内視鏡に適用した場合の平面図。 本開示による電子機器をデジタル一眼レフカメラに適用した場合の背面図。 電子機器1をHMDに適用した例を示す図。 現状のHMDを示す図。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 図1は第1の実施形態による電子機器1の模式的な断面図である。図1の電子機器1は、画像の表示機能と、画像の撮影機能とを備える。電子機器1は、例えば、スマートフォン、タブレット、ゲーム機、車載機器、またはPCである。ただし、電子機器の種類については、問わない。
 図1の電子機器1は、表示部2と、カメラモジュール3(撮像部)とを備えている。カメラモジュール3は、表示部2の表示面(z軸正方向側の面)とは反対側に実装されている。すなわち、図1の表示部2を(z軸正方向側より)正面視すると、表示部2の後方側となる位置にカメラモジュール3が配置される。このため、電子機器1のカメラモジュール3は、表示部2を透過した光によって撮影を行う。
 図2(a)は図1の電子機器1の模式的な外観図である。また、図2(b)は図2(a)のA-A線方向の断面図である。図2(a)の例では、表示画面1aが電子機器1の縁付近まで広がっている。このため、表示画面1aの外周のベゼル1bの幅が数ミリメートル以下になっている。図2(a)の電子機器1では、ベゼル1bではなく、表示画面1aの反対側にカメラモジュール3が配置されている(破線)。カメラモジュール3は、電子機器1のフロントカメラとして利用することが可能である。このように、カメラモジュール3を表示画面1aの反対側に配置すると、ベゼル1bにフロントカメラを設ける必要がなくなる。これにより、ベゼル幅を狭くした電子機器またはベゼルレスな電子機器をユーザに提供することが可能となる。
 なお、図2(a)では、電子機器1をz軸正方向側より正面視したときに、表示画面1aのほぼ中央となる位置の後方側に、カメラモジュール3が配置されている。ただし、カメラモジュール3は、表示画面1aの反対側の任意の位置(x座標およびy座標)に配置することが可能である。例えば、表示画面1aの縁付近の位置の反対側にカメラモジュール3を配置してもよい。本開示によるカメラモジュール3は、表示画面を正面視したときに、当該表示画面の後方側となる任意の位置に配置することができる。
 図1に示したように、表示部2として、表示パネル4、円偏光板5、タッチパネル6、およびカバーガラス7を順に積層した構造物を使うことができる。表示パネル4は、例えば、電気的な方式で画像を表示する板状の構造物である。表示パネル4は、例えば、OLED(Organic Light Emitting Device)、液晶パネル、またはMicroLEDである。ただし、表示パネル4の種類については、問わない。
 一般に、OLED、液晶などの表示パネル4は、複数の層を有する。例えば、一部の表示パネル4は、カラーフィルタ層など、光の透過率を低下させる部材を含む。そこで、図1に示したように、カメラモジュール3の位置に合わせ、表示パネル4内の光の透過を妨げる部材内に貫通孔を設けてもよい。貫通孔内を通った光は、該当する部材を透過せずに、カメラモジュール3に入射することができる。これにより、カメラモジュール3で撮影される画像の画質低下を抑えることができる。
 円偏光板5は、例えば、グレアの低減または視認性の改善などの目的で実装される。タッチパネル6は、タッチセンサが組み込まれた板状の構造物である。タッチセンサの例として、静電容量型のタッチセンサまたは抵抗膜型のタッチセンサが挙げられる。ただし、どのような種類のタッチセンサを使ってもよい。なお、本開示による電子機器では、タッチパネルの機能が統合された表示パネルを使ってもよい。カバーガラス7は、表示パネル4を外部から保護するために設けられている。
 なお、表示部2は、指紋センサ6Aを備えていてもよい。指紋センサ6Aとして、例えば、光学式の指紋センサまたは超音波式の指紋センサを使うことができる。ただし、指紋センサの方式については、問わない。例えば、指紋センサ6Aを、表示部2の少なくともいずれかの層に実装してもよい。また、指紋センサ6Aをカメラモジュール3内に実装してもよい。
 カメラモジュール3は、例えば、撮像部8と、光学系9とを含む。光学系9は、表示部2と、撮像部8との間に配置される。光学系9は、表示部2を透過した光を撮像部8に集光させる。光学系9は、複数のレンズを備えていてもよい。
 表示部2では、例えば、ポリイミド、アクリル、エポキシなどの材料が用いられる。これらの材料の一部は、青色光を含む波長帯域の光を吸収したり、反射したりする性質を有する。このため、表示部2を透過した光によって撮像をする撮像部8では、その他の場所に配置された撮像部と比べて、青色光を含む波長帯域の感度が低下する。
 図3は、ベゼルに配置されたフロントカメラによって撮影された画像の例を示している。一方、図4は、表示部2を透過した光によって撮影された画像の例を示している。図3および図4の画像は、いずれも風景を撮影したものである。図3を参照すると、画像中の空と部分における青色成分が鮮明である。ところが、図4を参照すると、画像中の空の部分における青色成分が弱くなっており、色が薄くなっている。このように、撮像部における青色光を含む波長帯域の感度が低下すると、撮影される画像における色再現性、色ノイズなどの特性が劣化してしまう。そこで、本開示による電子機器は、青色光を含む波長帯域の感度を補償する。このため、表示部2を透過した光によって撮影を行う撮像部8を使っても、画質の低下を抑制することができる。
 図5には、電子機器1の図2(a)と反対側(z軸負方向側)の面が示されている。図5に示したように、電子機器1は、さらにカメラモジュール10と、フラッシュ44を備えていてもよい。カメラモジュール10と、フラッシュ44は、いずれも電子機器1の表示部2が設けられた面とは、反対側の面に実装されている。フラッシュ44は、カメラモジュール10による撮像動作に連動し、被写体の方向に発光する光源である。フラッシュ44として、例えば、白色LEDを使うことができる。ただし、フラッシュ44として使われる光源の種類については、問わない。
 以下では、表示部2を透過した光によって撮影を行う撮像部(例えば、撮像部8)を第1撮像部とよぶものとする。また、電子機器1の表示部2と反対側の面に配置された撮像部を第2撮像部とよぶものとする。上述のカメラモジュール10は、第2撮像部に相当する。なお、電子機器1の表示部2と反対側の面に配置されているカメラモジュール10は、リアカメラともよばれる。
 図6は、カメラモジュール10(リアカメラ)の模式的な断面図である。図6のカメラモジュール10は、保護カバー23と、撮像部8Aと、光学系9Aとを備えている。保護カバー23は、光を透過させる材料で形成されており、撮像部8Aおよび光学系9Aを外部から保護する。光学系9Aは、入射した光を撮像部8Aに集光する。図6の撮像部8Aが撮像に使う光は、撮像部8のように、表示部を透過していない。このため、撮像部8Aでは、撮像部8のような青色光を含む波長帯域における感度の低下が起こらない。後述する画素配列における相違点を除けば、撮像部8Aの構成は、撮像部8と同様である。
 図7は、撮像部の詳細な断面構造の例を示している。ここでは、z軸正方向を「上」、z軸負方向を「下」とよぶものとする。図7の撮像部8では、基板11内に複数の光電変換部8aが形成されている。光電変換部8aの例としては、フォトダイオードを含むCMOS(Complementary Metal Oxide Semiconductor)センサまたはCCD(Charge Coupled Device)センサが挙げられる。また、光電変換部8aとして、有機光電変換膜など、その他の種類のセンサを使ってもよい。
 そして、基板11の面11a側(上側)には、層間絶縁膜13が形成されている。層間絶縁膜13の内部には、複数の配線層12が配置されている。光電変換部8aと配線層12との間に、コンタクトまたは貫通電極(図示せず)の少なくともいずれかが設けられていてもよい。同様に、配線層12間にも、コンタクトまたは貫通電極の少なくともいずれかが設けられていてもよい。
 一方、基板11の第2面11b側(下側)には、平坦化層14が形成されている。平坦化層14の上には、下地絶縁層16が形成されている。また、平坦化層14上の一部に、遮光層15が形成されていてもよい。遮光層15は、画素の境界または境界近傍に配置されている。遮光層15の少なくとも一部の面は、下地絶縁層16に接していてもよい。また、下地絶縁層16の上には、絶縁層17が形成されている。絶縁層17の内部に、偏光素子を形成してもよい。偏光素子の例としては、ライン・アンド・スペース構造のワイヤグリッド偏光素子が挙げられる。ただし、偏光素子の構造および配列方向ついては、特に限定しない。
 複数の偏光素子8bが含まれる絶縁層17の上には、保護層18および19が形成されている。さらに、保護層19の上には、平坦化層20が形成されている。平坦化層20の上には、カラーフィルタ層21が配置される。カラーフィルタ層21は、下方に配置された光電変換部が所定の波長帯域の光を検出できるよう、一部の波長帯域の光を選択的に透過させる。
 そして、カラーフィルタ層21の上には、オンチップレンズ22が配置されている。図5の断面構造では、複数の偏光素子8bの上にオンチップレンズ22を配置している。ただし、オンチップレンズ22の上に複数の偏光素子8bを配置してもよい。このように、図5の断面構造における各層の積層順序が変更されていてもよい。
 撮像部8では、画素ごとに、個別の光電変換部8aを形成することができる。それぞれの光電変換部8aは、表示部2を介して入射した光を光電変換し、いずれかの色信号を出力する。すなわち、撮像部8は、光電変換をし、色信号を出力する複数の画素の集合であるといえる。色信号の例としては、赤色、緑色、および青色の色信号が挙げられる。ただし、撮像部8の画素が出力する色信号は、光の三原色以外の色であってもよい。例えば、撮像部8の画素は、光の三原色の補色である、シアン、マゼンダ、イエローのうち、少なくともいずれかの色信号を出力してもよい。また、撮像部8の画素は、白色の色信号を出力してもよい。
 撮像部8に、異なる波長帯域に対する感度を有する複数の画素を形成することができる。撮像部8のそれぞれの画素は、感度を有する波長帯域に応じた色信号を出力する。例えば、図7のように、光電変換部8aの上方に所定の波長帯域の光を選択的に透過させるカラーフィルタ層21を配置し、所定の波長帯域に対する感度を有する画素を形成することができる。例えば、それぞれの画素に赤色を含む波長帯域の光を透過させるカラーフィルタ層21、緑色を含む波長帯域の光を透過させるカラーフィルタ層21または、青色を含む波長帯域の光を透過せるカラーフィルタ層21の少なくともいずれかを配置することができる。ただし、カラーフィルタ層21が透過させる光の波長帯域を限定するものではない。
 ただし、これとは異なる方法によって、所定の波長帯域に対する感度を有する画素を形成してもよい。例えば、カラーフィルタの代わりに、所定の波長帯域に対する感度を有する光電変換部を使ってもよい。例えば、有機光電変換材料を使うことにより、所定の波長帯域に対する感度を有する光電変換部を形成することができる。このような光電変換部(有機光電変換部)では、有機光電変換材料の種類または組み合わせに応じて、異なる波長帯域の光を検出することが可能である。
 また、シリコン基板の深さによって吸収される電磁波の波長帯域が異なっていることが知られている。このため、シリコン基板内の異なる深さに光電変換部を配置し、複数の波長帯域の光の検出を行ってもよい。なお、基板の深さ方向に検出波長帯域の異なる複数の光電変換部(受光面)を有する撮像部は、縦方向分光型の撮像部とよばれる。本開示による電子機器の撮像部は、複数の方法を組み合わせて、異なる波長帯域の光を検出してもよい。例えば、撮像部では、カラーフィルタ、選択的な波長帯域に感度を有する光電変換部、または縦方向分光の少なくともいずれかの手法が組み合わされていてもよい。
 撮像部の画素配列は、それぞれの画素が検出対象とする光の波長帯域(色)を規定する。すなわち、それぞれの画素の光電変換部8aは、画素配列で規定された波長帯域に相当する色信号を出力する。図8の平面図に示したベイヤー配列は、一般的に使われる画素配列の一例である。ベイヤー配列では、緑色を含む波長領域の光を検出し、緑色の色信号を出力する画素(緑色画素)が市松状に配置されている。また、ベイヤー配列は、さらに青色画素と、赤色画素とを含む。青色画素は、青色を含む波長領域の光を検出し、青色の色信号を出力する。赤色画素は、赤色を含む波長領域の光を検出し、赤色の色信号を出力する。ベイヤー配列は、緑色画素、青色画素、および赤色画素を、2:1:1の比率で含む。
 表示部2を透過した光によって撮像を行わない撮像部(例えば、カメラモジュール10の撮像部8A)において、ベイヤー配列を有する撮像部を使うことができる。なお、青色光を含む波長帯域の補償が可能な画素配列の例については、後述する。
 なお、本開示による撮像部は、シアンを含む波長帯域に感度を有するシアン画素、マゼンダを含む波長帯域に感度を有するマゼンダ画素、イエロー(黄色)を含む波長帯域に感度を有するイエロー画素(黄色画素)のうち、少なくともいずれかを含んでいてもよい。例えば、光電変換部8aの上にシアンを含む波長帯域の光を透過させるカラーフィルタ層21を配置することによってシアン画素を形成することができる。同様の方法によってマゼンダ画素およびイエロー画素を形成することも可能である。また、選択的な波長帯域に感度を有する光電変換部または縦方向分光によって、赤色画素、緑色画素、青色画素、シアン画素、マゼンダ画素、イエロー画素の少なくともいずれかを形成してもよい。
 ここまでは、赤色画素、緑色画素、青色画素、シアン画素、マゼンダ画素、イエロー画素の例について説明した。ただし、本開示による撮像部の画素は、必ずこれらの典型的な色を検出するものでなくてもよい。例えば、本開示による撮像部の画素は、エメラルドグリーンなど、上述の各色の中間的な色信号を出力するものであってもよい。また、本開示による撮像部は、可視光を検出する白色画素を含んでいてもよい。例えば、カラーフィルタ層21を有しない画素を、白色画素として使うことができる。
 図9のグラフは、赤色画素、緑色画素、および青色画素における分光感度特性の例を示している。図9のグラフの横軸は、光の波長を示している。また、図9のグラフの縦軸は、1で正規化された感度の値を示している。赤色画素、緑色画素、および青色画素は、異なる特性を示している。例えば、青色画素は、465nm付近がピークとなる特性を示している。また、緑色画素は、520nm付近がピークとなる特性を示している。一方、赤色画素は、610nm付近がピークとなる特性を示している。それぞれの画素は、ピークを中心とする波長帯域において高い感度を有する。図9に示した画素の分光感度特性は、例にしかすぎない。したがって、これらとは異なる分光感度特性を有する赤色画素、緑色画素または青色画素を使うことを妨げるものではない。
 図10のグラフは、シアン画素、イエロー画素、およびマゼンタ画素における分光感度特性の例を示している。図10のグラフの横軸は、光の波長を示している。また、図10のグラフの縦軸は1で正規化された感度の値を示している。シアン画素、イエロー画素、およびマゼンタ画素は、異なる特性を示している。例えば、シアン画素は、波長450nm~530nmの帯域において比較的高い分光感度を有する。このため、シアン画素では、青色~緑色の範囲の光を検出できる。また、イエロー画素は、波長520~600nmの帯域において比較的高い分光感度を有する。このため、イエロー画素を使うと、緑色~赤色の範囲の光を検出できる。
 マゼンタ画素の分光感度特性を参照すると、ふたつのピークが存在している。マゼンタ画素は、波長460nm付近に感度の第1のピークを有する。また、マゼンタ画素は、波長620nm付近に感度の第2のピークを有する。このため、マゼンタ画素を使うと、青色光と、赤色光の両方を検出することが可能である。図10に示した画素の分光感度特性は、例にしかすぎない。したがって、これらとは異なる分光感度特性を有するシアン画素、イエロー画素またはマゼンタ画素を使うことを妨げるものではない。
 上述のように、シアン画素またはマゼンタ画素など、典型的な青色画素以外の画素を使っても、青色光の検出が可能である。青色画素、シアン画素、マゼンタ画素は、いずれも青色に感度を有する画素(青色光検出画素)であるといえる。本開示による電子機器では、第1撮像部(撮像部8)における青色光を含む波長帯域の感度を補償するために、第1撮像部における青色光検出画素の比率を第2撮像部より高くしてもよい。また、本開示による電子機器では、第1撮像部における青色光検出画素の比率をベイヤー配列における値である1/4より大きくしてもよい。
 例えば、青色光検出画素として、450~470nmの波長帯域において、40%以上の光透過率を有するカラーフィルタと、当該カラーフィルタを透過した光を検出する光電変換部とを含む画素を使うことができる。また、青色光検出画素として、450~470nmの波長帯域において、40%以上の量子効率を有する光電変換部を含む画素を使うことができる。ここで、光電変換部は、有機光電変換膜を含むものであってもよいし、無機材料で形成されたフォトダイオードを含むものであってもよい。なお、量子効率とは、光電変換部に入射した光子が電子に変わる比率のことをいう。
 なお、撮像部は、可視光以外の電磁波を検出対象とする画素を含んでいてもよい。例えば、赤外光などの可視光以外の光を透過させるフィルタを使ってもよい。また、撮像部は、赤外光などの可視光以外の光を検出する光電変換部を含んでいてもよい。これにより、電子機器は、撮像部よりデプス情報を取得し、距離画像を生成することができる。
 図11は本開示による電子機器の内部構成を示すブロック図である。図11の電子機器は、表示部2と、光学系9と、撮像部8と、A/D変換器31と、クランプ部32と、カラー出力部33と、欠陥補正部34と、リニアマトリックス部35と、ガンマ補正部36と、輝度クロマ信号生成部37と、出力部38と、フラッシュ42と、フラッシュ43と、記憶部41とを備えている。例えば、処理回路200上に、A/D変換器31、クランプ部32、カラー出力部33、欠陥補正部34、リニアマトリックス部35、ガンマ補正部36、輝度クロマ信号生成部37、および出力部38を実装することができる。
 例えば、光学系9は、1以上のレンズ9aと、IR(Infrared Ray)カットフィルタ9bとを含む。ただし、IRカットフィルタ9bを省略してもよい。撮像部8は、上述のように、光電変換をし、色信号を出力する複数の画素を有する。
 それぞれの画素から出力された色信号は、A/D変換器31に入力される。A/D変換器31は、複数の画素の色信号よりデジタル化したデジタル画素データを生成する。
 クランプ部32は、黒のレベルを規定する処理を実行する。例えば、クランプ部32は、デジタル画素データから黒レベルデータを減算する。クランプ部32から出力されたデータは、カラー出力部33に入力される。カラー出力部33は、例えば、デジタル画素データをそれぞれの色情報に分類する。欠陥補正部34は、例えば、ノイズ成分の除去、信号レベルなどの補正処理を行う。ノイズ成分の例としては、フレア成分または回折光成分が挙げられる。例えば、欠陥補正部34は、偏光画素について、周囲にある非変更画素のデジタル画素データを用いて、データを補間することができる。ただし、欠陥補正部34が実行する補正処理の内容については、限定しない。
 リニアマトリックス部35は、色情報(例えば、RGB)に対する行列演算を行う。これにより、画像の色再現性を高めることが可能となる。リニアマトリックス部35は、カラーマトリックス部ともよばれる。例えば、シアン画素、イエロー画素またはマゼンタ画素の少なくともいずれかを含む撮像部を使用した場合を想定する。この場合、リニアマトリックス部35には、シアン、イエローまたはマゼンタの少なくともいずれかの色情報が入力される。リニアマトリックス部35は、行列演算を行い、シアン、イエローまたはマゼンタの少なくともいずれかの色情報をRGB(Red/Green/Blue)形式の色情報に変換することができる。
 ガンマ補正部36は、リニアマトリックス部35から出力された色情報のガンマ補正を行う。例えば、ガンマ補正部36は、表示部2の表示特性に応じたガンマ補正を行うことによって、表示部2における撮影画像の視認性を改善する。輝度クロマ信号生成部37は、ガンマ補正部36の出力データに基づき、輝度クロマ信号を生成する。輝度クロマ信号は、表示部2での表示に使われる信号である。出力部38は、画像のデータを表示部2などに転送する。
 なお、図11の欠陥補正部34、リニアマトリックス部35、ガンマ補正部36、または輝度クロマ信号生成部37の少なくとも一部の信号処理を、撮像部8を含む撮像センサ内のロジック回路で実行してもよい。また、これらの信号処理の少なくとも一部を電子機器1内の信号処理回路に実行させてもよい。なお、本開示により電子機器は、露光調整処理、エッジ強調処理など、その他の種類の処理を行ってもよい。
 記憶部41は、撮像部8で撮影された画像のデータを保存可能なメモリまたはストレージである。メモリの例としては、SRAM、DRAMなどの揮発性メモリ、NANDフラッシュメモリ、NORフラッシュメモリなどの不揮発性が挙げられる。ストレージの例としては、ハードディスクまたはSSDが挙げられる。ただし、記憶部41として使われるメモリまたはストレージの種類については、問わない。例えば、リニアマトリックス部35は、記憶部41に保存した複数の画像を使い、画像の合成または補正を行うことができる。ただし、リニアマトリックス部35以外の構成要素が画像の合成または補正を行ってもよい。
 フラッシュ42は、撮像部8における撮像動作に連動して被写体に光を照射する光源である。フラッシュ42として、例えば、白色LEDを使うことができる。ただし、フラッシュ42として使われる光源の種類については、問わない。
 フラッシュ43は、撮像部8における撮像動作に連動し、被写体に向けて青色光を照射する光源である。例えば、フラッシュ43として、青色LEDを使うことができる。ただし、フラッシュ43として使われる光源の種類については、問わない。フラッシュ43として、例えば、電子機器1の反対側の面に配置されたフラッシュ44より、色温度の高い光を照射可能な光源を使うことができる。
 なお、上述のフラッシュ42、フラッシュ43、記憶部41は、任意の構成要素である。したがって、これらの構成要素の少なくともいずれかが省略されていてもよい。
 図12は、変形例1による電子機器の模式的な外観図である。図12の電子機器1Aは、図2の電子機器1に、フラッシュ42と、フラッシュ43とを追加したものである。フラッシュ42およびフラッシュ43は、電子機器1Aの表示画面1aと略同一面上に配置されている。
 図12の例では、フラッシュ42と、フラッシュ43がいずれもベゼル1bに配置されている。ただし、フラッシュ42およびフラッシュ43は、これとは異なる位置に配置されていてもよい。例えば、フラッシュ42またはフラッシュ43の少なくともいずれかは、電子機器に外付けされるフラッシュであってもよい。また、カメラモジュール3による撮像時に表示画面1aが発光するよう、表示部2を制御してもよい。この場合、表示部2がフラッシュ42およびフラッシュ43の機能を兼ね備えているといえる。さらに、表示画面1aを正面視したときに、表示画面1aの後方側となる位置にフラッシュ42またはフラッシュ43の少なくともいずれかを実装してもよい。なお、フラッシュ42およびフラッシュ43が追加された点を除けば、図12の電子機器1Aの構成は、図2の電子機器1と同様である。
 後述するように、フラッシュ43は、青色光を含む波長帯域の感度を補償するために、被写体に向けて青色光を照射する。なお、フラッシュ42およびフラッシュ43は、ハードウェア回路によって制御されてもよいし、電子機器1で動作するソフトウェアによって制御されてもよい。
 以下では、表示部2を透過した光によって撮像を行う第1撮像部(撮像部8)で採用される画素配列の例について説明する。ここで、X画素(Xに色名が入る)のXは、それぞれの画素が検出対象とする波長帯域を示すものである。例えば、X画素は、いずれかの色を含む波長帯域の光を検出する。また、X画素の名称は、画素の実装を限定する意図を有するものではない。ここで、画素の実装は、例えば、カラーフィルタの有無、光電変換部の種類、縦方向分光の有無のことをいう。このため、同じ色を検出対象とする画素を、複数の方式によって実装することが可能である。
 撮像部8における青色光を含む波長帯域の感度をベイヤー配列が採用された撮像部より高くしたい場合、全画素中の青色光検出画素の比率をベイヤー配列における比率である1/4より大きくすることができる。青色光を含む波長帯域の感度を補償するために、撮像部8(第1撮像部)における青色光検出画素の比率を、撮像部8A(第2撮像部)と比べて大きい値に設定してもよい。
 図13は、赤色画素、緑色画素、および青色画素の比率が1:1:2である画素配列100を示している。撮像部8では、全画素を占める青色画素の比率が緑色画素の比率より高くなる配列が採用されていてもよい。画素配列100では、全画素中の青色光検出画素の比率が1/2となるため、ベイヤー配列より青色光を含む波長帯域の感度を高くすることが可能である。青色光を含む波長帯域の感度は、主に撮像部における青色光検出画素の比率に依存する。このため、画素配列における画素の並び順および並びの規則性は、図13の例と異なっていてもよい。
 図14は、ベイヤー配列における緑色画素の一部をシアン画素に置換した画素配列101を示している。図10に示したように、シアン画素は、青色~緑色に相当する波長帯域の光に対する感度が高くなっている。画素配列101では、シアン画素および青色画素が青色光検出画素に相当する。したがって、画素配列101においても、全画素中における青色光検出画素の比率が1/2となっている。このため、画素配列101を使うと、ベイヤー配列と比べて青色光を含む波長帯域の感度を高くすることが可能である。なお、画素配列における画素の並び順および並びの規則性は、図14の例と異なっていてもよい。
 図15は、ベイヤー配列における緑色画素のすべてをシアン画素に置換した画素配列102を示している。画素配列102では、全画素を占める青色光検出画素の比率が3/4となるため、画素配列101よりさらに青色光を含む波長帯域の感度を高くすることができる。画素配列102では、緑色画素が含まれていない。ただし、画素配列102を使った場合でも、信号処理で緑の色情報を生成することが可能である。例えば、リニアマトリックス部35で、シアンの色情報より青の色情報を減算し、緑の色情報を得ることができる(図9および図10参照)。画素配列における画素の並び順および並びの規則性は、図15の例と異なっていてもよい。
 図16は、図14の画素配列101における赤色画素をイエロー画素に置換した画素配列103を示している。図14の画素配列101では、ベイヤー配列における緑色画素の一部をシアン画素に置換しているため、赤の色信号のレベルと比べて緑の色信号のレベルが低下してしまう。そこで、赤と緑の色信号のバランスをとるために、赤色画素をイエロー画素に置換することができる。画素配列103では、赤色画素が存含まれていない。ただし、信号処理によって赤の色情報を生成することが可能である。例えば、リニアマトリックス部35で、イエローの色情報より緑の色情報を減算し、赤の色情報を得ることができる(図9および図10参照)。画素配列における画素の並び順および並びの規則性は、図16の例と異なっていてもよい。
 図17は、ベイヤー配列における赤色画素の一部を青色画素に置換した画素配列104を示している。図17の画素配列104では、4×4の配列に含まれる4つの赤色画素のうち、ひとつの画素104pが青色画素に置換されている。画素配列104では、全画素を占める青色光検出画素の比率が5/16となっており、ベイヤー配列における比率1/4より大きい値となっている。このため、画素配列104を使うと、ベイヤー配列より青色光を含む波長帯域の感度を高くすることが可能である。なお、画素配列における画素の並び順および並びの規則性は、図17の例と異なっていてもよい。
 このように、ベイヤー配列における緑色画素または赤色画素の少なくともいずれかをより短波長側の色の画素に置換することによって、第1撮像部における青色光を含む波長帯域の感度を高めてもよい。
 なお、第1撮像部(撮像部8)の画素配列は、2×2の配列を繰り返したものであってもよい。また、本開示による第1撮像部の画素配列は、4×4の配列を繰り返したものであってもよい。ただし、画素配列を規定する最小単位となる配列の大きさおよび形状については、限定しない。例えば、第1撮像部の画素配列は、線状、L字状または長方形状の配列を繰り返したものであってもよい。
 図18は、光の三原色(RGB)の補色を使った画素配列105を示している。図18の画素配列105では、緑色画素、イエロー画素、シアン画素、およびマゼンタ画素の比率が1:1:1:1となっている。図10のグラフで示したように、シアン画素およびマゼンタ画素は、いずれも青色光を含む波長帯域の感度が高い、青色光検出画素である。したがって、画素配列105における青色光検出画素の比率は、1/2となっており、ベイヤー配列における比率1/4より大きくなっている。このため、画素配列104を使うと、ベイヤー配列より青色光を含む波長帯域の感度を高くすることが可能である。なお、画素配列における画素の並び順および並びの規則性は、図18の例と異なっていてもよい。
 なお、撮像部8(第1撮像部)で画素配列105が使われた場合にも、RGBの色情報を生成することが可能である。例えば、リニアマトリックス部35は、シアンの色情報より緑の色情報を減算し、マゼンタの色情報に応じた補正を行うことによって青の色情報を生成することができる。また、リニアマトリックス部35は、イエローの色情報より緑色の色情報を減算することによって、赤の色情報を生成することができる。なお、リニアマトリックス部35は、マゼンタの色情報の値を使って赤の色情報を補正してもよい。
 本開示による電子機器は、第1面に配置された表示部と、表示部の表示面と反対側に配置される第1撮像部と、第1面と反対側の第2面に配置された第2撮像部とを備えていてもよい。第1撮像部の青色光を含む第1波長帯域の感度を、第2撮像部より高くすることができる。例えば、第1撮像部の画素配列における青色光検出画素の比率を、第2撮像部より高くしてもよい。第1撮像部は、表示部を透過した光を受光してもよい。
 また、本開示による電子機器は、第1面に配置された表示部と、表示部の表示面と反対側に配置され、表示部を介して入射した光を光電変換する複数の画素を有する第1撮像部とを備えていてもよい。ここで、複数の画素における青色光検出画素の比率を1/4より大きくしてもよい。
 青色光検出画素は、青色画素、マゼンタ画素、シアン画素の少なくともいずれかを含んでいてもよい。ただし、青色光検出画素は、これらの画素に限定されるものではない。上述のように、第1撮像部は、シアン画素、マゼンタ画素、イエロー画素の少なくともいずれかを含んでいてもよい。また、第1撮像部は、ベイヤー配列における緑色画素または赤色画素の少なくともいずれかをより短波長側の色の画素に置換した画素配列を有していてもよい。
 本開示による撮像部(第1撮像部および第2撮像部)の画素は、ひとつの光電変換部(受光面)を有するものであってもよい。また、本開示による撮像部の画素は、複数の光電変換部(受光面)を有するものであってもよい。例えば、縦方向分光型の撮像部が採用される場合、それぞれの画素では、複数の光電変換部が基板の深さ(z軸)方向に配置される。このため、縦方向分光型の撮像部の画素は、異なる波長帯域の光を検出する複数の光電変換部を有する。図19では、複数の光電変換部を有する画素の例について説明する。以下の説明では、光電変換部による受光が行われる面を受光面とよぶものとする。
 図19は、縦方向分光型の第1撮像部における画素配列の例を示している。図19の画素配列106では、基板の深さ方向に複数の光電変換部が配置されているため、それぞれの画素が複数の受光面を有する。画素配列106は、上側(z軸正方向側)から順に、受光面106A、106Bおよび106Cの3つの受光面を含んでいる。受光面106Aは、青色光を含む波長帯域を検出可能である。受光面106Aより下側の受光面106Bは、緑色光を含む波長帯域を検出可能である。そして、受光面106Bより下側の受光面106Cは、赤色光を含む波長帯域を検出可能である。なお、受光面106A、106Bおよび106Cが形成される撮像部内の深さについては、特に限定しない。
 画素配列106では、それぞれの画素が青色光を含む波長帯域を検出可能な受光面を有している。したがって、画素配列106では、全面に青色光検出画素が配置されているといえる。同様に、画素配列106では、それぞれの画素が赤色光を含む波長帯域を検出可能な受光面と、青色光を含む波長帯域を検出可能な受光面とを有している。このため、画素配列106では、全面に赤色画素および緑色画素が配置されているといえる。画素配列106を使うと、青色光を含む波長帯域の感度を補償しつつ、その他の波長帯域の光の感度を確保することができる。
 図19で示された、それぞれの受光面において検出対象とされる波長帯域は、一例にしかすぎない。例えば、青色光を含む波長帯域が受光面106Bまたは106Cで検出されてもよい。また、それぞれの受光面において、上述とは異なる波長帯域の光を検出してもよい。例えば、少なくともいずれかの受光面でマゼンタ、シアン、イエローに相当する波長帯域の光を検出してもよい。画素配列106では、それぞれの受光面で規定の波長帯域の光を検出している。このため、図19の受光面106Aは、すべての画素が“BLUE”となっている。ただし、同一受光面内であっても、画素ごとに異なる波長帯域の光が検出されてもよい。例えば、基板内の同じ深さに異なる種類の光電変換部を形成することができる。なお、縦方向分光を行う撮像部の例については、後述する。
 また、本開示による電子機器は、異なる種類のフラッシュを使って複数回撮影を行い、画像の合成を行ったり、画像の補正を行ったりしてもよい。以下では、図12の電子機器1Aが使われる場合を例に説明をする。
 図20は、異なる種類のフラッシュを使い、複数回の撮影が行われる場合に使用される画素配列の例を示している。図20の画素配列107は、赤色画素、緑色画素、青色画素、白色画素を、1:1:1:1の比率で有している。配列における画素の並び順は、図20の例と異なっていてもよい。白色画素は、例えば、光電変換部の上のカラーフィルタが省略された画素である。
 例えば、電子機器1Aは、初回の撮影時に、フラッシュ43を使って被写体に青色光を照射する。このとき、白色画素は、実質的に青色画素として動作する。このため、青色を含む波長帯域の光の検出される感度を高めることができる。電子機器1Aが初回に撮影する、青の色情報が強調された画像(第1画像)は、記憶部41に保存される。
 そして、電子機器1Aは、2回目の撮影時に、フラッシュ42を使って被写体に白色光を照射する。2回目には、初回に撮影された画像ほど青の色情報が強調されていない画像(第2画像)を得ることができる。そして、リニアマトリックス部35は、第1画像と第2画像と合成し、表示部2によって減衰した青の色情報を補償した画像を生成することができる。また、リニアマトリックス部35は、第1画像を使って第2画像を補正してもよいし、第2画像を使って第1画像を補正してもよい。異なる条件で撮影された画像を組み合わせて画像処理を行うことにより、高品質な静止画像を得ることが可能となる。
 上述では、初回の撮影時にフラッシュ43(青色フラッシュ)を発光させ、2回目の撮影時にフラッシュ42(白色フラッシュ)を発光させていた。ただし、それぞれのフラッシュが発光される順序については、問わない。例えば、初回の撮影時にフラッシュ42(白色フラッシュ)を発光させ、2回目の撮影時にフラッシュ43(青色フラッシュ)を発光させてもよい。
 また、異なる種類のフラッシュを使って複数回の撮影を行い、画像の合成または補正を行う場合、撮像部8(第1撮像部)では、上述の画素配列107とは異なる画素配列を使ってもよい。例えば、図21の画素配列108のように、赤色画素、シアン画素、青色画素を、1:2:1の比率で有する撮像部を使ってもよい。配列における画素の並び順は、図21の例と異なっていてもよい。
 このように、本開示による電子機器は、第1面に配置され、第1撮像部による撮影時に青色光を発光するように構成された第1光源をさらに備えていてもよい。さらに、本開示による電子機器は、第1面に配置され、第1撮像部による撮影時に白色光を発光するように構成された第2光源と、第1撮像部が第1光源の発光時に撮影した第1画像および第1撮像部が第2光源の発光時に撮影した第2画像を合成した画像を生成するように構成された処理回路とを備えていてもよい。
 さらに、本開示による電子機器は、第1面に配置され、第1撮像部による撮影時に発光するように構成された第1光源と、第1面と反対側の第2面に配置された第2撮像部と、第2面に配置され、第2撮像部による撮影時に発光するように構成された第3光源とを備えていてもよい。ここで、第1光源の色温度は、第3光源より高くなっていてもよい。
 上述のフラッシュ43は、第1光源の一例である。また、フラッシュ42は、第2光源の一例である。図5のフラッシュ44は、第3光源の一例である。
 図22は、変形例2による電子機器の模式的な外観図である。図22の電子機器1Bは、図12の電子機器1Aにカメラモジュール3aを追加したものである。すなわち、電子機器1Bは、表示画面1aの反対側にカメラモジュール3と、カメラモジュール3aとを備えている。カメラモジュール3およびカメラモジュール3aは、いずれも表示部2を透過した光によって撮像を行う。カメラモジュール3は、上述の撮像部8(第1撮像部)を備えており、表示部2によって減衰した青色光を含む波長帯域の感度を補償した画像の撮影が可能である。例えば、上述のように、撮像部8の画素配列における青色光検出画素の比率をベイヤー配列より高くすることによって青色光を含む波長帯域の感度を補償することができる。
 一方、カメラモジュール3aは、表示部2を透過していない光によって撮像を行うカメラモジュール(例えば、図5および図6のカメラモジュール10)と同様、特に青色光を含む波長帯域の感度の補償をしていないカメラモジュールである。カメラモジュール3aの撮像部8Bは、例えば、RGBを含むベイヤー配列など、公知の画素配列を有する。このように、本開示による電子機器は、表示画面の反対側に複数の撮像部を備えていてもよい。
 図22に例示した電子機器1Bは、フラッシュ42と、フラッシュ43とを備えている。ただし、フラッシュ42またはフラッシュ43の少なくともいずれかが省略されていてもよい。電子機器1Bの表示部2の構成は、上述の電子機器1と同様であるものとする。
 図23のブロック図は、電子機器1Bの内部構成の例を示している。電子機器1Bは、図11に、光学系9Bと、撮像部8Bと、A/D変換器31Bと、クランプ部32Bと、カラー出力部33Bと、欠陥補正部34Bと、画像変換部40とを追加したものに相当する。カメラモジュール3aに対応する光学系9B、A/D変換器31B、クランプ部32B、カラー出力部33B、および欠陥補正部34Bの構成は、それぞれ光学系9、A/D変換器31、クランプ部32、カラー出力部33、および欠陥補正部34と同様である。撮像部8Bの構成は、画素配列を除けば、撮像部8と同様であるものとする。
 例えば、処理回路201上に、A/D変換器31、クランプ部32、カラー出力部33、欠陥補正部34、リニアマトリックス部35、ガンマ補正部36、輝度クロマ信号生成部37、出力部38、A/D変換器31B、クランプ部32B、カラー出力部33B、欠陥補正部34B、および画像変換部40を実装することができる。
 画像変換部40は、撮像部8によって撮影された画像(第3画像)と、撮像部8Bによって撮影された画像(第4画像)との間の視差が解消されるよう、画像変換を行う。例えば、画像変換部40は、各種の幾何学的変換アルゴリズムによって第3画像と第4画像との間の視差を解消することができる。ただし、画像変換部40が使うアルゴリズムの種類については、特に限定しない。図23のブロック図では、第4画像と第3画像との間の視差が解消されるよう、第4画像に画像変換を行っている。ただし、画像変換部40は、第3画像に対して画像変換を行ってもよい。また、画像変換部40は、両方の画像に対して画像変換を行ってもよい。画像変換部40は、基準となる画像として、第3画像と第4画像のいずれを使ってもよい。
 そして、リニアマトリックス部35は、画像変換部40から出力された第4画像のデータと、第3画像のデータを合成し、第5画像を生成することができる。第4画像は、青色光の感度が補償された画像である。第3画像は、解像度を担保するための画像として使うことが可能である。リニアマトリックス部35は、両方の撮像部で撮影された画像を使うことによって、解像度の低下を抑制しつつ、色表現が正確な画像を生成することができる。
 なお、図23では、フラッシュ42、フラッシュ43および記憶部41が省略されている。電子機器1Bは、これらの構成要素が省略されていてもよい。また、電子機器1Bは、これらの構成要素のうち、少なくともいずれかを備えていてもよい。
 このように、本開示による電子機器は、表示部の表示面と反対側に配置され、第1波長帯域の感度が第1撮像部より低い第3撮像部と、第1撮像部によって撮影された第3画像および第3撮像部によって撮影された第4画像を合成した画像を生成するように構成された処理回路とをさらに備えていてもよい。
 図24は、変形例1による撮像部の例を示した断面図である。図24には、カラーフィルタを使わずに複数の色信号が得られる撮像部500が示されている。撮像部500は、縦方向分光型の撮像部となっており、z軸方向に異なる波長域を検出対象とする複数の光電変換部が積み重なるように配置されている。以下の説明では、z軸正方向を「上」とよび、z軸負方向を「下」とよぶものとする。
 有機光電変換部511Gは、半導体基板の裏面側(上側)に設けられている。一方、無機光電変換部511Bおよび511Rは、半導体基板511の厚さ方向(z軸方向)に積層されている。例えば、無機光電変換部511Bおよび511Rを半導体基板511内に埋め込み形成することができる。
 有機光電変換層516は、例えば、有機半導体材料によって形成されたp型半導体およびn型半導体のバルクヘテロ接合構造(p/n接合面)を含む。半導体基板511は、例えば、n型のシリコン基板である。半導体基板511の面511S1は、半導体基板511の光の入射方向と対向している面に相当する。一方、半導体基板511の面511S2は、半導体基板511の光の入射方向と反対側にある面に相当する。例えば、半導体基板511内に、pウェル、浮遊拡散層、トランジスタなどを形成することが可能である。絶縁層574には、配線層570を形成することができる。
 無機光電変換部511Bおよび511Rとして、例えば、PIN型のフォトダイオードを使うことができる。この場合、無機光電変換部511Bおよび511Rは、半導体基板511の異なる深さ(z座標)にpn接合を有する。シリコン基板では、深さによって吸収される電磁波の波長帯域が異なっている。このため、半導体基板511内の異なる深さに配置された無機光電変換部は、異なる波長帯域の光を検出することが可能である。
 無機光電変換部511Bは、青色光(例えば、波長450nm~495nm)の光電変換が可能な深さに配置されている。一方、無機光電変換部511Rは、赤色光(例えば、波長620nm~750nm)の光電変換が可能な深さに配置されている。このため、無機光電変換部511Bからは、青の色信号が出力される。無機光電変換部511Rからは、赤の色信号が出力される。
 無機光電変換部511Bおよび511Rは、いずれも正孔蓄積層(図中のp領域)と、電子蓄積層(図中のn領域)とを含む。無機光電変換部511Bの電子蓄積層は、トランジスタ520に接続されている。無機光電変換部511Bの正孔蓄積層は、トランジスタ520に沿って屈曲しており、無機光電変換部511Rの正孔蓄積層に接続されている。
 半導体基板511の面511S2に沿って、pウェル530、浮遊拡散層521~523、およびトランジスタ520、524~526が形成されている。トランジスタ520は、無機光電変換部511Bにおける信号電荷を浮遊拡散層521に転送するように構成されている。トランジスタ524は、無機光電変換部511Rにおける信号電荷を浮遊拡散層522に転送するように構成されている。
 トランジスタ525は、有機光電変換部511Gで生じた電荷を電圧信号に変換するように構成されている。トランジスタ526は、有機光電変換部511Gから浮遊拡散層523に転送された電荷をリセットするように構成されている。
 コンタクト513は、各種の金属またはドープされたシリコンなどの導電性材料によって形成されている。
 有機光電変換部511Gは、上部電極517と、有機光電変換層516と、下部電極515とを含む。例えば、上部電極517、有機光電変換層516、下部電極515の順に、有機光電変換部511Gの各層を形成することが可能である。ただし、有機光電変換部511Gの各層を形成する順については、問わない。下部電極515は、例えば、撮像部500ごとに分離して形成される。一方、有機光電変換層516および下部電極515は、複数の撮像部500間で共通する連続層として形成されていてもよい。
 有機光電変換層516は、例えば、p型半導体またはn型半導体の少なくともいずれかを含んでいる。有機光電変換層516がp型半導体である有機光電変換材料と、n型半導体である有機光電変換材料の両方を含んでいる場合、一方の材料として可視光を透過させる材料を選択し、他方の材料として特定の波長域の光を光電変換する材料を選択することができる。また、特定の波長域の光を光電変換する材料(光吸収体)と、可視光に対して透過性を有するn型半導体と、可視光に対して透過性を有するp型半導体の3種類の材料を使って有機光電変換層516を形成してもよい。例えば、n型半導体は、有機光電変換層516における電子輸送材料として機能する。また、p型半導体は、有機光電変換層516における正孔輸送材料として機能する。
 有機光電変換層516として、例えば、サブフタロシアニン、フラーレンC60、フラーレンC70、またはこれらの誘導体などの有機半導体材料を使うことができる。ただし、有機光電変換層516として使われる材料の種類および材料の組み合わせを限定するものではない。
 下部電極515および上部電極517は、例えば、光透過性を有する導電膜である。下部電極515および上部電極517の材料として、例えば、ITO、IZO、IFO、ATO、FTOなどの金属酸化物を使うことができる。ただし、下部電極515および上部電極517の材料については、限定しない。
 半導体基板511の面511S1と、有機光電変換部511Gの下部電極515との間には、絶縁層512および絶縁層514が形成されている。例えば、下部電極515上に、絶縁層514、絶縁層512を順に形成することができる。絶縁層512内に、固定電荷層と絶縁性の誘電体層を交互に積層してもよい。また、オンチップレンズ層519と、有機光電変換部511Gの上部電極517との間には、保護層518が形成されている。オンチップレンズ層519は、例えば、オンチップレンズと、平坦化層とを含む。
 保護層518は、光透過性を有する材料によって形成される。保護層518は、例えば、酸化シリコン、窒化シリコンおよび酸窒化シリコン等のうち、少なくともいずれかによって形成される単層膜である。また、保護層518は、これらの材料を複数使った積層膜であってもよい。
 絶縁層512内の固定電荷層における固定電荷は正のものであってもよいし、負のものであってもよい。固定電荷層として、例えば、各種の金属の酸化物または窒化物を用いることができる。絶縁層512内の誘電体層は、例えば、酸化シリコン、TEOS、窒化シリコンによって形成される。ただし、誘電体層の材料については、限定しない。また、固定電荷層は、2種類以上の膜を積層したものであってもよい。
 オンチップレンズ層519は、例えば、保護層518の全面を覆っている。オンチップレンズ層519の表面には、複数のオンチップレンズ(マイクロレンズ)が設けられている。オンチップレンズは、入射した光を、有機光電変換部511G、無機光電変換部511B、511Rの各受光面へ集光させる。図24の例では、配線層570が半導体基板511の面511S2側に形成されている。このため、有機光電変換部511G、無機光電変換部511B、511Rの各受光面を互いに近づけて配置することができる。これにより、オンチップレンズのF値に依存して生じる各色間の感度のばらつきが低減される。
 半導体基板511の面511S1と、面511S2との間には、貫通電極563が形成されている。有機光電変換部511Gは、貫通電極563を介して浮遊拡散層523およびトランジスタ525に接続されている。これにより、有機光電変換部511Gの電荷を後段に回路に転送することが可能となっている。例えば、撮像部500が複数の有機光電変換部511Gを備える場合、有機光電変換部511Gごとに貫通電極563を用意することができる。
 貫通電極563と、浮遊拡散層523およびトランジスタ525の間には、接続用の配線やコンタクトが形成されている。貫通電極563は、例えば、略円柱形状である。ただし、テーパ形状など、その他の形状の貫通電極を使ってもよい。なお、浮遊拡散層523の近傍に設けられたトランジスタ526は、浮遊拡散層523に蓄えられた電荷をリセットするように構成されている。
 有機光電変換層516では、所定の波長域の光が吸収され、電子・正孔対が形成される。電子と正孔とを含む電荷は、電極の仕事関数の差によって生じる内部電界および拡散によって、対応する電極に移動する。例えば、正孔は、上部電極517に移動する。この場合、電子は、下部電極515に移動する。ただし、上部電極517と下部電極515との間に電位を印加することによって、電荷の移動を制御することが可能である。
 単層の有機光電変換層516を使う場合、p型半導体またはn型半導体の少なくともいずれかを使うことができる。p型半導体とn型半導体の両方を使う場合には、両者を混合し、有機光電変換層516内にバルクヘテロ構造を形成してもよい。また、有機光電変換層516は、さらに特定の波長域の光を光電変換する材料(光吸収体)を含んでいてもよい。
 有機光電変換層516は、積層構造であってもよい。例えば、p型半導体層/n型半導体層、p型半導体層/混合層(バルクヘテロ層)、n 型半導体層/混合層(バルクヘテロ層)の2層構造を形成してもよい。p型半導体層/混合層(バルクヘテロ層)/n型半導体層の3層構造を形成してもよい。また、p型半導体またはn型半導体の少なくともいずれかとして、複数の種類の材料の組み合わせを使ってもよい。
 なお、有機半導体におけるp型/n型は、輸送されやすい電荷の種類を示している。例えば、p型の有機半導体は、正孔を輸送しやすい特性を示す。また、n型の有機半導体は、電子を輸送しやすい特性を示す。このように、有機半導体におけるp型/n型は、無機半導体のように、熱励起の多数キャリアとして正孔または電子を有しているという意味に限定されない。
 なお、有機光電変換層516と下部電極515との間、有機光電変換層516と上部電極517との間には、他の層が形成されていてもよい。例えば、下部電極515の下側に、下引き層、正孔輸送層、電子ブロッキング層 、有機光電変換層、正孔ブロッキング層、バッファ層、電子輸送層および仕事関数調整層が順に積層されていてもよい。
 また、下部電極515および上部電極517は、絶縁材料によって被覆されていてもよい。下部電極515および上部電極517を被覆する材料の例としては、酸化ケイ素系材料、窒化ケイ素(SiN)および酸化アルミニウム(Al)などの金属酸化物が挙げられる。ただし、その他の種類の無機絶縁材料を使ってもよい。例えば、乾式成膜法または湿式成膜法によって被覆層を形成することができる。
 有機光電変換膜を有する撮像部500を使うことにより、それぞれの画素より赤、緑、および青の色信号を得ることができる。
 図25は、変形例2による撮像部の例を示した断面図である。図25にも、カラーフィルタを使わずに複数の色信号が得られる撮像部600が示されている。撮像部600も、縦方向分光型の撮像部となっており、z軸方向に異なる波長域を検出対象とする複数の光電変換部が積み重なるように配置されている。
 半導体基板611の面611S1は、半導体基板611の光の入射方向(z軸正方向)にある面である。また、半導体基板611の面611S2は、半導体基板611の光の入射方向とは反対方向(z軸負方向)にある面である。以下の説明では、z軸正方向を「上」とよび、z軸負方向を「下」とよぶものとする。
 半導体基板611の上側(面611S1側)には、上から順に、有機光電変換部611B、有機光電変換部611G、有機光電変換部611Rが形成されている。半導体基板611の面611S1と有機光電変換部611Rとの間には、絶縁層642が形成されている。また、有機光電変換部611Rと有機光電変換部611Gとの間には、絶縁層641が形成されている。さらに、有機光電変換部611Gと有機光電変換部611Bとの間には、絶縁層640が形成されている。
 一方、半導体基板611の下側(面611S2側)には、絶縁層674が配置されている。絶縁層674内には、配線層670が形成することができる。半導体基板611内には、図24に例示したようなトランジスタおよび浮遊拡散層を形成することができる。なお、図25では、トランジスタおよび浮遊拡散層が省略されている。
 さらに、有機光電変換部611Bの上には、光透過性を有する材料で形成された保護層618が形成されている。保護層618の上には、オンチップレンズ層619が形成されている。オンチップレンズ層619は、例えば、複数のオンチップレンズ(マイクロレンズ)と、平坦化層とを含む。オンチップレンズは、有機光電変換部611R、有機光電変換部611G、および有機光電変換部611Bの受光面に入射した光を集光させる。
 撮像部600では、撮像部500の無機光電変換部511Bおよび無機光電変換部511Rがそれぞれ、有機光電変換部611Bおよび有機光電変換部611Rに置き換えられている。このため、撮像部600では、赤色光、緑色光、青色光のすべての検出に有機光電変換膜が用いられている。
 有機光電変換部611Bは、上部電極617と、有機光電変換層616と、下部電極615とを含む。下部電極615および上部電極617は、図24の下部電極515および上部電極517と同様、光透過性を有する導電膜である。有機光電変換層616は、例えば、p型の有機半導体、n型の有機半導体、特定の波長域の光を光電変換する材料(光吸収体)の少なくともいずれかを含む。有機光電変換層616は、バルクヘテロ接合構造または積層構造を有していてもよい。有機光電変換層616では、青色光を含む波長帯域に感度を有する材料を使うことができる。このような材料の例としては、C30にフラーレンをドープした材料、クマリン6、ジナフトチエノチオフェン(DNTT)誘導体などが挙げられる。ただし、有機光電変換層616で使われる材料の種類については、問わない。
 有機光電変換部611Gは、上部電極627と、有機光電変換層626と、下部電極625とを含む。上部電極627および下部電極625は、図24の下部電極515および上部電極517と同様、光透過性を有する導電膜である。有機光電変換層626の材料および構成は、図24の有機光電変換層516と同様である。
 有機光電変換部611Rは、上部電極637と、有機光電変換層636と、下部電極635とを含む。上部電極637および下部電極635は、図24の下部電極515および上部電極517と同様、光透過性を有する導電膜である。有機光電変換層636は、例えば、p型の有機半導体、n型の有機半導体、特定の波長域の光を光電変換する材料(光吸収体)の少なくともいずれかを含む。有機光電変換層636は、バルクヘテロ接合構造または積層構造を有していてもよい。有機光電変換層636では、赤色光を含む波長帯域に感度を有する材料を使うことができる。このような材料の例としては、亜鉛フタロシアニン、ホウ素サブナフタロシアニンクロリドなどが挙げられる。ただし、有機光電変換層636で使われる材料の種類については、問わない。
 例えば、ITO、IZO、IFO、ATO、FTOなどの金属酸化物を使って上述の上部電極および下部電極を形成することができる。ただし、下部電極および上部電極の材料については、限定しない。また、図24のように、撮像部ごとに、下部電極を分離して形成してもよい。
 なお、有機光電変換層と下部電極との間、有機光電変換層と上部電極との間に、他の層が形成されていてもよい点は、図24と同様である。例えば、下部電極の下側に、下引き層、正孔輸送層、電子ブロッキング層 、有機光電変換層、正孔ブロッキング層、バッファ層、電子輸送層および仕事関数調整層が順に積層されていてもよい。また、下部電極および上部電極は、絶縁材料によって被覆されていてもよい。
 図25では、有機光電変換部611Bと、配線層670との間を電気的に接続するコンタクト613および貫通電極663が示されている。コンタクト613および貫通電極663は、ドープされた半導体材料、金属、金属酸化物などの導電性材料で形成されているものとする。同様に、有機光電変換部611Gと配線層670との間、および有機光電変換部611Rと配線層670との間にも、図示されていないコンタクトおよび貫通電極が形成されているものとする。
 それぞれの有機光電変換層では、所定の波長域の光が吸収され、電子・正孔対が形成される。例えば、正孔は、上部電極に移動し、電子は、下部電極に移動する。上部電極と下部電極との間に電位を印加することによって、電荷の移動を制御することができる点は、図24の場合と同様である。電子と正孔とを含む電荷は、コンタクトおよび貫通電極を介して配線層670に転送される。この電荷は、半導体基板611内に形成された転送用のトランジスタによって、浮遊拡散層に蓄えられる。浮遊拡散層に蓄えられた電荷は、変換用のトランジスタによって電圧信号によって変換される。これにより、後段の回路に、赤、緑、または青のそれぞれの色信号を出力することが可能となる。なお、図24と同様、半導体基板611内には、浮遊拡散層に蓄えられた電荷をリセットするためのトランジスタが設けられていてもよい。
 有機光電変換膜を有する撮像部600を使うことにより、それぞれの画素より赤、緑、および青の色信号を得ることができる。
 このように、本開示による電子機器の第1撮像部は、基板の深さ方向に複数の光電変換部を有していてもよい。複数の光電変換部の少なくともひとつは、有機光電変換膜を含んでいてもよい。すなわち、本開示による電子機器の第1撮像部は、複数の受光面を有し、それぞれの受光面は、異なる波長帯域の光を検出してもよい。また、第1撮像部の少なくともいずれかの受光面は、有機光電変換膜を含んでいてもよい。
 本開示による電子機器では、表示部の反対側に撮像部を設けることにより、ベゼルにフロントカメラを配置する必要がなくなる。このため、電子機器のベゼル幅を狭くしたり、ベゼルレスの電子機器を実現したりすることが可能となる。また、電子機器の筐体を大きくせずに、より大きいサイズの表示部を実装することが可能となる。したがって、電子機器の小型化と大画面化の両方の要求を満たすことができる。
 また、本開示による電子機器では、表示部の反対側に配置された第1撮像部において、青色光検出画素の比率を表示部の反対側の面に配置された第2撮像部より高くすることができる。さらに、本開示による電子機器では、表示部の反対側に配置された第1撮像部において、青色光検出画素の比率を1/4より大きくすることができる。これにより、表示部を透過した光において減衰した青色光を含む波長帯域の感度を補償し、撮影される画像の画質低下を抑制することができる。
 なお、本開示による電子機器では、撮影時に青色光のフラッシュを使うことによって、青色光を含む波長帯域の感度の補償を行ってもよい。また、本開示による電子機器は、表示部の反対側に複数の撮像部を配置してもよい。この場合、異なる画素配列を有する撮像部を表示部の反対側に配置してもよい。例えば、青色光検出画素の比率をベイヤー配列より高くした撮像部と、青色光を含む波長帯域に対してベイヤー配列と同様の感度を有する撮像部とを組み合わせることができる。複数の撮像部で撮影された画像を使って、画像の合成または補正を行うことにより、画像の解像度を担保しつつ、青色光を含む波長帯域の感度を補償することができる。
 上述の構成を備えた電子機器の具体的な候補としては、種々のものが考えられる。例えば、図26は本開示による電子機器をカプセル内視鏡50に適用した場合の平面図である。図26のカプセル内視鏡50は、例えば両端面が半球状で中央部が円筒状の筐体51内に、体腔内の画像を撮影するためのカメラ(超小型カメラ)52、カメラ52により撮影された画像データを記録するためのメモリ53、および、カプセル内視鏡50が被験者の体外に排出された後に、記録された画像データを、アンテナ54を介して外部へ送信するための無線送信機55を備えている。
 また、筐体51内には、CPU(Central Processing Unit)56およびコイル(磁力・電流変換コイル)57が設けられている。CPU56は、カメラ52による撮影、およびメモリ53へのデータ蓄積動作を制御するとともに、メモリ53から無線送信機55による筐体51外のデータ受信装置(図示せず)へのデータ送信を制御する。コイル57は、カメラ52、メモリ53、無線送信機55、アンテナ54および後述する光源52bへの電力供給を行う。
 さらに、筐体51には、カプセル内視鏡50をデータ受信装置にセットした際に、これを検知するための磁気(リード)スイッチ58が設けられている。CPU56は、このリードスイッチ58がデータ受信装置へのセットを検知し、データの送信が可能になった時点で、コイル57からの無線送信機55への電力供給を行う。
 カメラ52は、例えば体腔内の画像を撮影するための対物光学系9を含む撮像素子52a、体腔内を照明する複数の光源52bを有している。具体的には、カメラ52は、光源52bとして、例えばLED(Light Emitting Diode)を備えたCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)などによって構成される。
 本開示による電子機器における表示部2は、図26の光源52bのような発光体を含む概念である。図26のカプセル内視鏡50では、例えば2個の光源52bを有するが、これらの光源52bを、複数の光源部を有する表示パネル4や、複数のLEDを有するLEDモジュールで構成可能である。この場合、表示パネル4やLEDモジュールの下方にカメラ52の撮像部8を配置することで、カメラ52のレイアウト配置に関する制約が少なくなり、より小型のカプセル内視鏡50を実現できる。
 また、図27は本開示による電子機器をデジタル一眼レフカメラ60に適用した場合の背面図である。デジタル一眼レフカメラ60やコンパクトカメラは、レンズとは反対側の背面に、プレビュー画面を表示する表示部2を備えている。この表示部2の表示面とは反対側にカメラモジュール3を配置して、撮影者の顔画像を表示部2の表示画面1aに表示できるようにしてもよい。本開示による電子機器では、表示部2と重なる領域にカメラモジュール3を配置できるため、カメラモジュール3を表示部2の額縁部分に設けなくて済み、表示部2のサイズを可能な限り大型化することができる。
 図28は本開示による電子機器をヘッドマウントディスプレイ(以下、HMD)61に適用した例を示す平面図である。図28のHMD61は、VR(Virtual Reality)、AR(Augmented Reality)、MR(Mixed Reality)、又はSR(Substituional Reality)等に利用されるものである。現状のHMDは、図29に示すように、外表面にカメラ62を搭載しており、HMDの装着者は、周囲の画像を視認することができる一方で、周囲の人間には、HMDの装着者の目や顔の表情がわからないという問題がある。
 そこで、図28では、HMD61の外表面に表示部2の表示面を設けるとともに、表示部2の表示面の反対側にカメラモジュール3を設ける。これにより、カメラモジュール3で撮影した装着者の顔の表情を表示部2の表示面に表示させることができ、装着者の周囲の人間が装着者の顔の表情や目の動きをリアルタイムに把握することができる。
 図28の場合、表示部2の裏面側にカメラモジュール3を設けるため、カメラモジュール3の設置場所についての制約がなくなり、HMD61のデザインの自由度を高めることができる。また、カメラを最適な位置に配置できるため、表示面に表示される装着者の目線が合わない等の不具合を防止できる。
 このように、本開示による電子機器を種々の用途に用いることが可能であり、機器の利用価値を高めることができる。
 なお、本技術は、以下のような構成をとることができる。
(1)
 第1面に配置された表示部と、
 前記表示部の表示面と反対側に配置される第1撮像部と、
 前記第1面と反対側の第2面に配置された第2撮像部とを備え、
 前記第1撮像部の青色光を含む第1波長帯域の感度は前記第2撮像部より高い、
 電子機器。
(2)
 前記第1撮像部は前記表示部を透過した光を受光する、
 (1)に記載の電子機器。
(3)
 前記第1撮像部の画素配列における青色光検出画素の比率は、前記第2撮像部より高い、
 (1)または(2)に記載の電子機器。
(4)
 前記青色光検出画素は、青色画素、マゼンタ画素、シアン画素の少なくともいずれかを含む、
 (3)に記載の電子機器。
(5)
 前記第1撮像部は、シアン画素、マゼンタ画素、イエロー画素の少なくともいずれかを含む、
 (1)ないし(3)のいずれか一項に記載の電子機器。
(6)
 前記第1面に配置され、前記第1撮像部による撮影時に青色光を発光するように構成された第1光源をさらに備える、
 (1)ないし(5)のいずれか一項に記載の電子機器。
(7)
 前記第1面に配置され、前記第1撮像部による撮影時に白色光を発光するように構成された第2光源と、
 前記第1撮像部が前記第1光源の発光時に撮影した第1画像および前記第1撮像部が前記第2光源の発光時に撮影した第2画像を合成した画像を生成するように構成された処理回路とをさらに備える、
 (6)に記載の電子機器。
(8)
 前記第1面に配置され、前記第1撮像部による撮影時に発光するように構成された第1光源と、
 前記第1面と反対側の第2面に配置された第2撮像部と、
 前記第2面に配置され、前記第2撮像部による撮影時に発光するように構成された第3光源とをさらに備え、
 前記第1光源の色温度は、前記第3光源より高くなっている、
 (1)ないし(5)のいずれか一項に記載の電子機器。
(9)
 前記表示部の表示面と反対側に配置され、前記第1波長帯域の感度が前記第1撮像部より低い第3撮像部と、
 前記第1撮像部によって撮影された第3画像および前記第3撮像部によって撮影された第4画像を合成した画像を生成するように構成された処理回路とをさらに備える、
 (1)ないし(8)のいずれか一項に記載の電子機器。
(10)
 前記第1撮像部は、基板の深さ方向に複数の光電変換部を有する、
 (1)ないし(9)のいずれか一項に記載の電子機器。
(11)
 前記複数の光電変換部の少なくともいずれかひとつは、有機光電変換膜を含む、
 (10)に記載の電子機器。
(12)
 第1面に配置された表示部と、
 前記表示部の表示面と反対側に配置され、前記表示部を介して入射した光を光電変換する複数の画素を有する第1撮像部とを備え、
 前記複数の画素における青色光検出画素の比率が1/4より大きい、
 電子機器。
(13)
 前記青色光検出画素は、青色画素、マゼンタ画素、シアン画素の少なくともいずれかを含む、
 (12)に記載の電子機器。
(14)
 前記第1撮像部は、シアン画素、マゼンタ画素、イエロー画素の少なくともいずれかを含む、
 (12)または(13)に記載の電子機器。
(15)
 前記第1面に配置され、前記第1撮像部による撮影時に青色光を発光するように構成された第1光源をさらに備える、
 (12)ないし(14)のいずれか一項に記載の電子機器。
(16)
 前記第1面に配置され、前記第1撮像部による撮影時に白色光を発光するように構成された第2光源と、
 前記第1撮像部が前記第1光源の発光時に撮影した第1画像および前記第1撮像部が前記第2光源の発光時に撮影した第2画像を合成した画像を生成するように構成された処理回路とをさらに備える、
 (15)に記載の電子機器。
(17)
 前記第1面に配置され、前記第1撮像部による撮影時に発光するように構成された第1光源と、
 前記第1面と反対側の第2面に配置された第2撮像部と、
 前記第2面に配置され、前記第2撮像部による撮影時に発光するように構成された第3光源とをさらに備え、
 前記第1光源の色温度は、前記第3光源より高くなっている、
 (12)ないし(14)のいずれか一項に記載の電子機器。
(18)
 前記表示部の表示面と反対側に配置され、前記青色光検出画素の比率が前記第1撮像部より低い第3撮像部と、
 前記第1撮像部によって撮影された第3画像および前記第3撮像部によって撮影された第4画像を合成した画像を生成するように構成された処理回路とをさらに備える、
 (12)ないし(17)のいずれか一項に記載の電子機器。
(19)
 前記第1撮像部は、基板の深さ方向に複数の光電変換部を有する、
 (12)ないし(18)のいずれか一項に記載の電子機器。
(20)
 前記複数の光電変換部の少なくともいずれかひとつは、有機光電変換膜を含む、
 (19)に記載の電子機器。
(21)
 前記第1撮像部は、ベイヤー配列における緑色画素または赤色画素の少なくともいずれかをより短波長側の色の画素に置換した画素配列を有する、
 (12)ないし(20)のいずれか一項に記載の電子機器。
(22)
 前記第1撮像部は、ベイヤー配列における緑色画素または赤色画素の少なくともいずれかをより短波長側の色の画素に置換した画素配列を有する、
 (1)ないし(11)のいずれか一項に記載の電子機器。
 本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
 1 電子機器
 1a 表示画面
 1b ベゼル
 2 表示部
 3、10 カメラモジュール
 4 表示パネル
 5 円偏光板
 6 タッチパネル
 6A 指紋センサ
 7 カバーガラス
 8、8A、8B 撮像部
 8a 光電変換部
 9、9A 光学系
 23 保護カバー
 42、43、44 フラッシュ

Claims (20)

  1.  第1面に配置された表示部と、
     前記表示部の表示面と反対側に配置される第1撮像部と、
     前記第1面と反対側の第2面に配置された第2撮像部とを備え、
     前記第1撮像部の青色光を含む第1波長帯域の感度は前記第2撮像部より高い、
     電子機器。
  2.  前記第1撮像部は前記表示部を透過した光を受光する、
     請求項1に記載の電子機器。
  3.  前記第1撮像部の画素配列における青色光検出画素の比率は、前記第2撮像部より高い、
     請求項1に記載の電子機器。
  4.  前記青色光検出画素は、青色画素、マゼンタ画素、シアン画素の少なくともいずれかを含む、
     請求項3に記載の電子機器。
  5.  前記第1撮像部は、シアン画素、マゼンタ画素、イエロー画素の少なくともいずれかを含む、
     請求項1に記載の電子機器。
  6.  前記第1面に配置され、前記第1撮像部による撮影時に青色光を発光するように構成された第1光源をさらに備える、
     請求項1に記載の電子機器。
  7.  前記第1面に配置され、前記第1撮像部による撮影時に白色光を発光するように構成された第2光源と、
     前記第1撮像部が前記第1光源の発光時に撮影した第1画像および前記第1撮像部が前記第2光源の発光時に撮影した第2画像を合成した画像を生成するように構成された処理回路とをさらに備える、
     請求項6に記載の電子機器。
  8.  前記第1面に配置され、前記第1撮像部による撮影時に発光するように構成された第1光源と、
     前記第1面と反対側の第2面に配置された前記第2撮像部と、
     前記第2面に配置され、前記第2撮像部による撮影時に発光するように構成された第3光源とをさらに備え、
     前記第1光源の色温度は、前記第3光源より高くなっている、
     請求項1に記載の電子機器。
  9.  前記表示部の表示面と反対側に配置され、前記第1波長帯域の感度は前記第1撮像部より低い第3撮像部と、
     前記第1撮像部によって撮影された第3画像および前記第3撮像部によって撮影された第4画像を合成した画像を生成するように構成された処理回路とをさらに備える、
     請求項1に記載の電子機器。
  10.  前記第1撮像部は、基板の深さ方向に複数の光電変換部を有する、
     請求項1に記載の電子機器。
  11.  前記複数の光電変換部の少なくともいずれかひとつは、有機光電変換膜を含む、
     請求項10に記載の電子機器。
  12.  第1面に配置された表示部と、
     前記表示部の表示面と反対側に配置され、前記表示部を介して入射した光を光電変換する複数の画素を有する第1撮像部とを備え、
     前記複数の画素における青色光検出画素の比率が1/4より大きい、
     電子機器。
  13.  前記青色光検出画素は、青色画素、マゼンタ画素、シアン画素の少なくともいずれかを含む、
     請求項12に記載の電子機器。
  14.  前記第1撮像部は、シアン画素、マゼンタ画素、イエロー画素の少なくともいずれかを含む、
     請求項12に記載の電子機器。
  15.  前記第1面に配置され、前記第1撮像部による撮影時に青色光を発光するように構成された第1光源をさらに備える、
     請求項12に記載の電子機器。
  16.  前記第1面に配置され、前記第1撮像部による撮影時に白色光を発光するように構成された第2光源と、
     前記第1撮像部が前記第1光源の発光時に撮影した第1画像および前記第1撮像部が前記第2光源の発光時に撮影した第2画像を合成した画像を生成するように構成された処理回路とをさらに備える、
     請求項15に記載の電子機器。
  17.  前記第1面に配置され、前記第1撮像部による撮影時に発光するように構成された第1光源と、
     前記第1面と反対側の第2面に配置された第2撮像部と、
     前記第2面に配置され、前記第2撮像部による撮影時に発光するように構成された第3光源とをさらに備え、
     前記第1光源の色温度は、前記第3光源より高くなっている、
     請求項12に記載の電子機器。
  18.  前記表示部の表示面と反対側に配置され、前記青色光検出画素の比率が前記第1撮像部より低い第3撮像部と、
     前記第1撮像部によって撮影された第3画像および前記第3撮像部によって撮影された第4画像を合成した画像を生成するように構成された処理回路とをさらに備える、
     請求項12に記載の電子機器。
  19.  前記第1撮像部は、基板の深さ方向に複数の光電変換部を有する、
     請求項12に記載の電子機器。
  20.  前記複数の光電変換部の少なくともいずれかひとつは、有機光電変換膜を含む、
     請求項19に記載の電子機器。
PCT/JP2020/043896 2019-12-04 2020-11-25 電子機器 WO2021111955A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021562597A JPWO2021111955A1 (ja) 2019-12-04 2020-11-25
US17/779,761 US20230026442A1 (en) 2019-12-04 2020-11-25 Electronic apparatus
EP20897325.5A EP4072116A4 (en) 2019-12-04 2020-11-25 ELECTRONIC DEVICE
KR1020227017685A KR20220109398A (ko) 2019-12-04 2020-11-25 전자기기

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019219864 2019-12-04
JP2019-219864 2019-12-04

Publications (1)

Publication Number Publication Date
WO2021111955A1 true WO2021111955A1 (ja) 2021-06-10

Family

ID=76111360

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/043896 WO2021111955A1 (ja) 2019-12-04 2020-11-25 電子機器

Country Status (7)

Country Link
US (1) US20230026442A1 (ja)
EP (1) EP4072116A4 (ja)
JP (1) JPWO2021111955A1 (ja)
KR (1) KR20220109398A (ja)
CN (2) CN112911094A (ja)
TW (1) TW202139680A (ja)
WO (1) WO2021111955A1 (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003250071A (ja) * 2002-02-26 2003-09-05 Sony Corp イメージセンサおよび撮像装置
JP2005094219A (ja) * 2003-09-16 2005-04-07 Rohm Co Ltd 画像撮影装置
JP2005112235A (ja) * 2003-10-09 2005-04-28 Ichikoh Ind Ltd 車両周辺暗視用灯具および車両用アウトサイドミラー装置
JP2006237914A (ja) * 2005-02-24 2006-09-07 Kyocera Corp 携帯端末装置
JP2009010675A (ja) * 2007-06-28 2009-01-15 Sony Corp 撮像装置
WO2013187132A1 (ja) 2012-06-11 2013-12-19 富士フイルム株式会社 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム
KR20150000293A (ko) * 2013-06-24 2015-01-02 삼성전기주식회사 휴대 단말기
WO2015029709A1 (ja) * 2013-08-27 2015-03-05 富士フイルム株式会社 内視鏡システム
JP2018056940A (ja) * 2016-09-30 2018-04-05 株式会社ニコン 撮像装置、表示装置、電子機器、プログラム、撮像システム、表示システムおよび画像処理装置
JP2018093052A (ja) * 2016-12-02 2018-06-14 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子およびその製造方法、並びに電子機器
JP2019004358A (ja) * 2017-06-16 2019-01-10 株式会社半導体エネルギー研究所 撮像装置および撮像システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6137100A (en) * 1998-06-08 2000-10-24 Photobit Corporation CMOS image sensor with different pixel sizes for different colors
JP6031239B2 (ja) 2012-03-09 2016-11-24 トクデン株式会社 誘導発熱ローラ装置用鉄心及び誘導発熱ローラ装置
JP6136663B2 (ja) * 2013-07-04 2017-05-31 ソニー株式会社 固体撮像素子およびその製造方法、並びに電子機器
KR102332320B1 (ko) * 2014-02-21 2021-11-29 삼성전자주식회사 홍채 컬러 인식을 갖는 멀티-밴드 생체인식 카메라
US11134848B2 (en) * 2016-04-25 2021-10-05 Samsung Electronics Co., Ltd. Mobile hyperspectral camera system and human skin monitoring using a mobile hyperspectral camera system
US11294422B1 (en) * 2018-09-27 2022-04-05 Apple Inc. Electronic device including a camera disposed behind a display
WO2021187076A1 (ja) * 2020-03-16 2021-09-23 ソニーセミコンダクタソリューションズ株式会社 撮像素子及び電子機器
KR20210148682A (ko) * 2020-06-01 2021-12-08 삼성전자주식회사 이미지 센서, 이미지 센서를 포함하는 모바일 장치 및 이미지 센서의 센싱 감도 제어 방법

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003250071A (ja) * 2002-02-26 2003-09-05 Sony Corp イメージセンサおよび撮像装置
JP2005094219A (ja) * 2003-09-16 2005-04-07 Rohm Co Ltd 画像撮影装置
JP2005112235A (ja) * 2003-10-09 2005-04-28 Ichikoh Ind Ltd 車両周辺暗視用灯具および車両用アウトサイドミラー装置
JP2006237914A (ja) * 2005-02-24 2006-09-07 Kyocera Corp 携帯端末装置
JP2009010675A (ja) * 2007-06-28 2009-01-15 Sony Corp 撮像装置
WO2013187132A1 (ja) 2012-06-11 2013-12-19 富士フイルム株式会社 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム
KR20150000293A (ko) * 2013-06-24 2015-01-02 삼성전기주식회사 휴대 단말기
WO2015029709A1 (ja) * 2013-08-27 2015-03-05 富士フイルム株式会社 内視鏡システム
JP2018056940A (ja) * 2016-09-30 2018-04-05 株式会社ニコン 撮像装置、表示装置、電子機器、プログラム、撮像システム、表示システムおよび画像処理装置
JP2018093052A (ja) * 2016-12-02 2018-06-14 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子およびその製造方法、並びに電子機器
JP2019004358A (ja) * 2017-06-16 2019-01-10 株式会社半導体エネルギー研究所 撮像装置および撮像システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4072116A4

Also Published As

Publication number Publication date
KR20220109398A (ko) 2022-08-04
US20230026442A1 (en) 2023-01-26
CN112911094A (zh) 2021-06-04
JPWO2021111955A1 (ja) 2021-06-10
EP4072116A1 (en) 2022-10-12
EP4072116A4 (en) 2023-01-18
CN213960150U (zh) 2021-08-13
TW202139680A (zh) 2021-10-16

Similar Documents

Publication Publication Date Title
KR102132124B1 (ko) 고체 촬상 장치 및 전자 기기
US10840467B2 (en) Image pickup device and electronic apparatus
US9842874B2 (en) Solid state image sensor, method of manufacturing the same, and electronic device
CN109075179B (zh) 固态成像元件和电子设备
US10868068B2 (en) Solid-state imaging device, method of manufacturing the same, and electronic apparatus
US20100123070A1 (en) Solid-state image capture device and image capture apparatus
US20120008023A1 (en) Improving the depth of field in an imaging system
US8937363B2 (en) Solid-state imaging device and electronic apparatus
US11683599B2 (en) Image sensors and electronic devices
JPWO2019012369A1 (ja) 撮像装置、及び電子機器
WO2022050132A1 (ja) 画像表示装置及び電子機器
US20220086381A1 (en) Image sensing system
US20210266425A1 (en) Electronic device
WO2021111955A1 (ja) 電子機器
US10804303B2 (en) Image sensors comprising an organic photo-detector, a photo-detector array and dual floating diffusion nodes and electronic devices including the same
KR20170022773A (ko) 이미지 센서 및 이를 포함하는 전자 장치
JP2024511212A (ja) イメージセンサ装置、イメージセンサデバイス、およびイメージセンサ装置を動作させるための方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20897325

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021562597

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020897325

Country of ref document: EP

Effective date: 20220704