WO2021157324A1 - 電子機器 - Google Patents

電子機器 Download PDF

Info

Publication number
WO2021157324A1
WO2021157324A1 PCT/JP2021/001329 JP2021001329W WO2021157324A1 WO 2021157324 A1 WO2021157324 A1 WO 2021157324A1 JP 2021001329 W JP2021001329 W JP 2021001329W WO 2021157324 A1 WO2021157324 A1 WO 2021157324A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
unit
electronic device
photoelectric conversion
signal processing
Prior art date
Application number
PCT/JP2021/001329
Other languages
English (en)
French (fr)
Inventor
征志 中田
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to KR1020227025515A priority Critical patent/KR20220135235A/ko
Priority to DE112021000853.6T priority patent/DE112021000853T5/de
Priority to JP2021575691A priority patent/JPWO2021157324A1/ja
Priority to EP21750049.5A priority patent/EP4102816A4/en
Priority to US17/790,021 priority patent/US20230030068A1/en
Publication of WO2021157324A1 publication Critical patent/WO2021157324A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K39/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic radiation-sensitive element covered by group H10K30/00
    • H10K39/30—Devices controlled by radiation
    • H10K39/32—Organic image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/60—OLEDs integrated with inorganic light-sensitive elements, e.g. with inorganic solar cells or inorganic photodiodes
    • H10K59/65—OLEDs integrated with inorganic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof

Definitions

  • This disclosure relates to electronic devices.
  • Recent electronic devices such as smartphones, mobile phones, and PCs (Personal Computer) are equipped with a camera on the frame (bezel) of the display unit, making it easy to make videophone calls and shoot videos. Since smartphones and mobile phones are often carried in pockets or bags, it is necessary to make the external size as compact as possible. On the other hand, if the size of the display screen is small, the higher the display resolution, the smaller the displayed character size and the more difficult it is to see. Therefore, it has been studied to reduce the width of the bezel around the display screen to make the size of the display screen as large as possible without increasing the outer size of the electronic device.
  • the bezel width cannot be made smaller than the outer diameter size of the camera.
  • the line of sight is often placed near the center of the display screen, so the line of sight shifts from the optical axis of the camera, and the line of sight does not match. A shot image with a certain image is obtained.
  • the camera module is arranged on the side opposite to the display surface of the display unit, and the subject light passing through the display unit is photographed by the camera.
  • One aspect of the present disclosure provides an electronic device capable of suppressing deterioration of image quality due to an artifact.
  • the electronic device has a display unit, an imaging unit and a signal processing unit arranged on the side opposite to the display surface of the display unit.
  • the imaging unit includes a plurality of on-chip lenses and a plurality of pixels, the on-chip lens has a first on-chip lens, and the plurality of pixels have a first pixel and a first.
  • the pixels are arranged so as to overlap the first on-chip lens, and the first pixel has a plurality of photoelectric conversion units.
  • the signal processing unit processes signals output from a plurality of pixels.
  • the first pixel may acquire information of a predetermined color. For example, each pixel acquires predetermined color information based on the color arrangement according to the Bayer arrangement or the like.
  • the first pixel may include a color filter.
  • the first pixel may include an organic photoelectric conversion film in which each photoelectric conversion unit belonging to the same first pixel receives light of the same color. In this way, specific color information may be extracted by a filter or an organic photoelectric conversion film.
  • Pixels may be provided with m ⁇ n (m and n are integers of 2 or more each).
  • each pixel may include a 2 ⁇ 2 photoelectric conversion unit, a 3 ⁇ 3 photoelectric conversion unit, a 4 ⁇ 4 photoelectric conversion unit, or a 2 ⁇ 3 photoelectric conversion unit.
  • the photoelectric conversion unit includes a photoelectric conversion element.
  • the photoelectric conversion element may be a photodiode.
  • the imaging unit may have a plurality of first pixels colored by the Bayer arrangement.
  • the lens may be an on-chip lens. It may also include an on-chip microlens.
  • An optical system different from the lens may be provided between the display unit and the image pickup unit.
  • the optical system may be a microlens array.
  • the signal processing unit may add the output values of the photoelectric conversion units belonging to the same first pixel to obtain the output values of the pixels.
  • the signal processing unit determines the output value of the first pixel when the output value from each photoelectric conversion unit exceeds a predetermined difference or a predetermined ratio. It may be corrected.
  • the predetermined difference or the predetermined ratio may be determined based on at least one of the individual difference of the photoelectric conversion unit, the phase difference depending on the position of the photoelectric conversion unit, and the noise generated in the photoelectric conversion unit.
  • the signal processing unit may calculate the output value of the first pixel by using a pixel having a lower output value among the photoelectric conversion units in the first pixel.
  • the signal processing unit may correct the output value of the first pixel by using the output value of the first pixel that acquires the output value of the same color around the first pixel.
  • the signal processing unit may make corrections in the first pixel when a subject having a predetermined brightness or higher is included.
  • the signal processing unit may acquire image data with flare correction from the acquired signal.
  • the signal processing unit may determine that flare has occurred in the captured image.
  • a plurality of image pickup units may exist at different positions on the display surface, and the signal processing unit may have a pixel region corresponding to the image pickup unit existing at different positions with respect to the pixels belonging to the region determined to have flare.
  • the correction may be made based on the output of.
  • the signal processing unit may correct the pixels belonging to the region determined to have flare based on the trained model.
  • the signal processing unit has an average value of the outputs of a plurality of photoelectric conversion units belonging to the first pixel, and a value having a low sensitivity among the outputs of the photoelectric conversion units belonging to the first pixel.
  • the correction may be performed based on at least one of the values input to the trained model from the outputs of the plurality of photoelectric conversion units belonging to the first pixel.
  • the signal processing unit may perform correction using the photoelectric conversion unit for the first pixel based on the circuit or the optical system of the display unit.
  • the signal processing unit may perform noise removal different from that of the other first pixels when the first pixel is corrected based on the circuit of the display unit or the optical system.
  • Display units may be provided on both sides of the device.
  • the figure which shows the noise correction which concerns on one Embodiment. A flowchart showing a correction process according to an embodiment.
  • the electronic device may have components and functions not shown or described.
  • the following description does not exclude components or functions not shown or described.
  • some of them have been changed in size, shape, aspect ratio, etc. for the sake of explanation, they have an appropriate size, shape, aspect ratio, etc. in mounting.
  • the acquired signal is described as image information or imaging information, but this image information and imaging information are broad concepts, and one frame in a still image, moving image, or video. It is a concept that includes images and the like. Further, "greater than” and “less than” may be read as “greater than or equal to” and “less than or equal to”, respectively.
  • FIG. 1 is a schematic cross-sectional view of the electronic device according to the first embodiment.
  • the electronic device 1 of FIG. 1 is an arbitrary device having a display function and a photographing function, such as a smartphone, a mobile phone, a tablet, and a personal computer.
  • the electronic device 1 includes a display unit 2 and a camera module 3.
  • the camera module 3 is arranged on the back side of the display surface of the display unit 2. That is, the camera module 3 shoots through the display unit 2.
  • the camera module 3 may be described as being below the display.
  • FIG. 2 is a schematic external view and a cross-sectional view of the electronic device 1 of FIG.
  • the display screen 1a extends close to the outer size of the electronic device 1, and the width of the bezel 1b around the display screen 1a can be reduced to, for example, several mm or less.
  • the front camera is often mounted on the bezel 1b, but as shown by the broken line in FIG. 2, a camera module 3 that functions as a front camera is arranged on the back side in the display screen 1a.
  • the camera module 3 is arranged on the back side near the center of the display screen 1a, but it may be on the back side of the display screen 1a.
  • the camera module 3 may be arranged on the back surface side near the peripheral edge of the display screen 1a, or when used for fingerprint authentication or the like, it is arranged on the back surface side below in FIG. 2 from the center of the display screen 1a. You may.
  • the camera module 3 may be arranged at an arbitrary position overlapping the display screen 1a.
  • "overlapping" in the present disclosure means, for example, having a common region in the horizontal direction in FIG. 1, or having a common existing region in the horizontal direction and being displaced in the vertical direction.
  • the display surface of the display unit 2 is on the upper side and the image pickup unit 8 is on the lower side, it refers to a state in which the display unit 2 is displaced in the vertical direction and is not displaced in the horizontal direction.
  • the display unit 2 and the camera module 3 are provided on one surface of the device, but the present invention is not limited to this.
  • the display unit 2 and the camera module 3 may be provided on both sides of the device.
  • the display unit 2 is a structure in which a display panel 4, a circularly polarizing plate 5, a touch panel 6, and a cover glass 7 are laminated in this order as a display optical system.
  • the arrangement of these is not limited to the above, and may be appropriately replaced, or two or more of the same configurations may exist.
  • the display panel 4 may include, for example, an OLED (Organic Light Emitting Diode), a liquid crystal, a MicroLED, or another element based on a display principle.
  • the display panel 4 such as OLED is composed of a plurality of layers.
  • a member having a low transmittance, such as a color filter layer, is often arranged on the display panel 4.
  • a through hole may be formed in the member having a low transmittance in the display panel 4 according to the arrangement location of the camera module 3. If the subject light passing through the through hole is incident on the camera module 3, the image quality of the image captured by the camera module 3 can be improved.
  • the circularly polarizing plate 5 is provided to reduce glare or enhance the visibility of the display screen 1a even in a bright environment.
  • a touch sensor is incorporated in the touch panel 6. There are various types of touch sensors such as a capacitance type, a resistance film type, and a pressure sensitive type, and any method may be used. Further, the touch panel 6 and the display panel 4 may be integrated.
  • the cover glass 7 is provided to protect the display panel 4 and the like.
  • the camera module 3 includes an imaging unit 8 and an optical system 9.
  • the optical system 9 is arranged on the light incident surface side of the image pickup unit 8, that is, on the side closer to the display unit 2, and collects the light that has passed through the display unit 2 on the image pickup unit 8.
  • the optical system 9 may include one or more lenses.
  • the imaging unit 8 includes a plurality of photoelectric conversion units.
  • a lens is arranged in each photoelectric conversion unit. In this lens, the light appropriately emitted from the optical system 9 to the imaging unit 8 is received by the photoelectric conversion unit constituting each pixel.
  • the photoelectric conversion unit photoelectrically converts the light incident on the display unit 2.
  • the photoelectric conversion unit may be a CMOS (Complementary Metal Oxide Semiconductor) sensor or a CCD (Charge Coupled Device) sensor. Further, the photoelectric conversion unit may be provided with a photodiode or may be provided with an organic photoelectric conversion film.
  • the plurality of photoelectric conversion units can be arranged by any method. The arrangement method of the plurality of photoelectric conversion units may be, for example, a Bayer arrangement, an interline arrangement, a checkered arrangement, a stripe arrangement, or the like. It may be an array of.
  • the output value of the photoelectric conversion unit or the value obtained by predetermined conversion based on this output value is referred to as a pixel value.
  • FIG. 3A is a diagram for explaining the relationship between the camera module 3 and the display panel 4 in FIG. 1 in more detail. It is a figure which shows an example of a camera module 3.
  • the camera module 3 includes, for example, an imaging unit 8 and an optical system 9.
  • the optical system 9 is arranged on the incident surface side of the light of the imaging unit 8, that is, on the side closer to the display unit 2.
  • the light transmitted through the display surface of the display unit 2 is propagated to the image pickup unit 8 by the optical system 9.
  • the imaging unit 8 includes, for example, a light receiving element such as a photodiode and a photoelectric conversion element.
  • the light that has been condensed, refracted, diffused, etc. by the optical system 9 and propagated is received by the photoelectric conversion unit provided in the imaging unit 8 and outputs an analog signal.
  • the photoelectric conversion unit may be provided with a color filter such as a Bayer array on the incident surface side of each image sensor, or may be provided with a laminated color filter. Further, an organic photoelectric conversion film may be provided instead of the color filter.
  • an alternative filter for acquiring a color image may be provided.
  • other elements, circuits, etc. necessary for receiving light and outputting analog signals are provided.
  • a polarizing element or the like may be provided.
  • the optical system 9 may be a concept that includes an opening provided in the display panel 4, which is a through hole in a member having a low transmittance as described above.
  • an aperture provided in the display panel 4 and a lens are arranged at a position closer to the image pickup unit 8 than the aperture.
  • This aperture may be provided, for example, in the substrate 4a having a low transmittance, and may be provided with a lens that propagates the light transmitted through the aperture to the image pickup unit 8.
  • this lens and aperture define optical features such as numerical aperture Na (Numerical Aperture) and F-Number (F-Number) in each camera module 3.
  • the optical system 9 may allow the camera module 3 to have other optical features such as having a different Abbe number.
  • the aperture and the lens are shown as an example, and the configuration of the optical system 9 is not necessarily limited to these combinations. Further, in the figure, one or a plurality of lenses are provided for one aperture, but the present invention is not limited to this.
  • a plurality of openings may be provided for one lens in the optical system 9. In the region where the opening does not exist, for example, the light emitting element of the display panel 4 may be provided, and the opening may be provided so as to sew between these light emitting elements. By arranging in this way, it is possible to provide the camera module 3 without breaking the display.
  • the plurality of camera modules 3 may be formed having different optical features depending on the shape of the aperture, the performance of the lens, and the like.
  • the corresponding optical systems 9 may have different optical features.
  • the camera module 3 may be divided into a plurality of groups, and each group may have different optical characteristics.
  • the optical system 9 has an aperture shape, orientation, lens material, etc. so that the two camera modules 3 have common optical characteristics and one camera module 3 has different optical characteristics. It may be provided by changing.
  • the light incident from the display surface side of the display unit 2 is refracted by the optical system 9 and received by the image pickup unit 8.
  • reflection or the like may be appropriately suppressed and the display on the display unit 2 may be adjusted so as to be easy to see, as in the case of a normal display.
  • an aperture is provided between the light emitting pixels of the display panel 4, and a lens is provided on the side opposite to the display surface in this opening, and light incident on the image pickup unit 8 from the display surface side is emitted.
  • an opening may be provided between each of the continuous light emitting pixels. In other words, the configuration may be such that a light emitting pixel is provided between the openings.
  • FIG. 4 shows an example of a block diagram showing a configuration related to the imaging operation of the electronic device 1 according to the present embodiment.
  • the electronic device 1 includes a display unit 2, a plurality of camera modules 3, a signal acquisition unit 10, a signal processing unit 12, a post-processing unit 14, an output unit 16, a control unit 18, and a storage unit 20. To be equipped.
  • the camera module 3 is provided on the side opposite to the display surface of the display unit 2.
  • a plurality of camera modules 3 may be provided for the display surface of one display unit 2.
  • the camera module 3 includes an imaging unit 8 and an optical system 9, respectively.
  • the signal acquisition unit 10 is a circuit that processes the analog signal output by the image pickup unit 8.
  • the signal acquisition unit 10 includes, for example, an ADC (Analog to Digital Converter) and converts the input analog signal into digital image data.
  • ADC Analog to Digital Converter
  • the signal processing unit 12 acquires the captured image from the digital image data converted by the signal acquisition unit 10.
  • the imaging result is acquired based on the digital image data acquired from the camera module 3. More specifically, the signal processing unit 12 acquires, for example, an imaging result in which an artifact such as a flare generated in the camera module 3 is suppressed by using the obtained image data by signal processing.
  • the post-processing unit 14 performs appropriate processing on the imaging result output by the signal processing unit 12 and outputs it.
  • the appropriate processing may be, for example, image processing or signal processing such as pixel defect correction, edge enhancement, noise removal, brightness adjustment, color correction, white balance adjustment, distortion correction, autofocus processing, and the like. .. Further, this appropriate process may be a process specified by the user. Further, the post-processing unit 14 does not need to be provided independently, and for example, the signal processing unit 12 may execute up to the above-mentioned post-processing.
  • the output unit 16 outputs information to the outside of the electronic device 1.
  • the output unit 16 includes, for example, an output interface.
  • the output interface may be, for example, an interface that outputs a digital signal such as USB (Universal Serial Bus), or a user interface such as a display.
  • the output interface provided in the output unit 16 may also include an input interface.
  • the output unit 16 may store data in a storage unit 20 provided inside, and thus the output may have a broad meaning.
  • the control unit 18 controls the processing in the electronic device 1.
  • the control unit 18 may include, for example, a CPU (Central Processing Unit), and may control the processing of the signal acquisition unit 10, the signal processing unit 12, the post-processing unit 14, and the output unit 16. Further, control for shooting by the camera module 3 may be executed based on the imaging timing instructed from the user interface.
  • a CPU Central Processing Unit
  • the storage unit 20 stores the data in the electronic device 1.
  • the storage unit 20 may be, for example, a memory such as a DRAM (Dynamic Random Access Memory) or a storage such as an SSD (Solid State Drive).
  • the storage unit 20 may be a built-in memory or a memory such as a removable memory card. Further, the storage unit 20 is not necessarily provided inside the electronic device 1, and may be an external storage or the like connected via an input / output interface. Information is appropriately input / output to and from the storage unit 20 at a timing required by the electronic device 1.
  • the camera module 3, the signal acquisition unit 10, the signal processing unit 12, the post-processing unit 14, the output unit 16, the control unit 18, and the storage unit 20 may be formed on one chip, or one of them as appropriate.
  • the portions may be formed as separate chips.
  • a part of the configuration formed on the same substrate of one chip is a part of the configuration formed on another substrate, and CoC (Chip on Chip), CoW (Chip on Wafer), in the manufacturing process thereof, It may be formed by laminating by a technique such as WoW (Wafer on Wafer).
  • the configuration of the imaging unit 8 will be described.
  • the Bayer arrangement will be described, but as described above, the color arrangement is not limited to the Bayer arrangement, and any other arrangement may be used as long as the color information can be appropriately obtained.
  • it may be a Bayer array based on an RGB series or a Bayer array based on a CMY complementary color system. RGB and CMY may be mixed.
  • the shape of the pixel will be described as being square, but the shape is not limited to this. For example, it may be a rectangle other than a square, or it may have a honeycomb structure having a hexagonal shape.
  • FIG. 5 is a diagram schematically showing color information acquired by each image sensor of the image pickup unit 8.
  • FIG. 5 shows, as an example, the state of an 8 ⁇ 8 image sensor provided in the image pickup unit 8.
  • the number of image sensors is not 8 ⁇ 8, but an appropriate number is provided based on the number of pixels to be acquired, the area that can be arranged, and the like.
  • the imaging unit 8 includes imaging pixels 80. As shown in the figure, the imaging pixels 80 are provided in an array in the imaging unit 8.
  • the image pickup pixel 80 is provided with a photoelectric conversion element on the side opposite to the display surface of the display unit 2, and is provided with a lens above the photoelectric conversion element.
  • RGB described inside the image pickup pixel 80 represents a color, and represents R: red, G: green, and B: blue, respectively.
  • the color coding method may be a color filter provided on the display surface side of the photoelectric conversion element, or a photoelectric conversion element formed of an organic photoelectric conversion film.
  • Each image pickup pixel 80 is provided with a lens 81.
  • the lens 81 is, for example, an on-chip lens, and in particular, an on-chip microlens. By providing a lens for each pixel in this way, it is possible to improve accuracy such as light receiving intensity and color reproducibility.
  • the lens 81 may be made of, for example, Si, or may be made of any other suitable material. also,
  • One imaging pixel 80 includes a plurality of divided pixels 82.
  • each of the imaging pixels 80 in FIG. 5 is provided with 2 ⁇ 2 divided pixels 82.
  • the split pixel 82 is also used to remove artifacts.
  • the imaging pixel 80 has a plurality of divided pixels 82, and the imaging pixels 80 and the lens 81 are arranged so as to overlap each other in a one-to-one correspondence.
  • FIG. 6 is a diagram in which one set of image pickup pixels 80 is taken out in a Bayer array.
  • the imaging pixel 80 is configured to include four divided pixels 82 of 2 ⁇ 2.
  • Each of the divided pixels 82 is formed with a photoelectric conversion element.
  • This photoelectric conversion element may be a photodiode.
  • the signal acquisition unit 10 of FIG. 1 acquires the analog signal output from these divided pixels 82 including the photoelectric conversion element. Then, the signal processing unit 12 executes signal processing on the output from the signal acquisition unit 10.
  • the pixel value of the imaging pixel 80 is calculated as, for example, the sum of the output values acquired by the signal acquisition unit 10 from the divided pixels 82 included in each imaging pixel 80. This addition may be performed in the state of an analog signal or after being converted into a digital signal.
  • the signal acquisition unit 10 acquires an analog signal from each of the divided pixels 82 and converts the analog signal into a digital signal.
  • the signal processing unit 12 acquires the pixel value as the imaging pixel 80 by adding the digital signal for each of the divided pixels 82 output by the signal acquisition unit 10 after correcting it if necessary.
  • Such pixel division is used in a general digital camera or the like to expand the dynamic range of pixels, that is, each color, and to improve color reproducibility, as described above. Further, the signal processing unit can also acquire the phase difference in the pixel by the divided pixel. The image pickup apparatus may use this result for autofocus and the like. In the present disclosure, by adopting the divided pixels 82 in the camera module 3 below the display, the removal of artifacts caused by the display unit 2 and the like is also realized.
  • FIG. 7 is a diagram showing another example of the divided pixel 82 in the imaging pixel 80.
  • the imaging pixel 80 may include, for example, a 3 ⁇ 3 divided pixel 82 and a lens 81 above it, as shown at the top.
  • the imaging pixel 80 may include, for example, a 4 ⁇ 4 divided pixel 82 and a lens 81 above it, as shown second from the top.
  • the imaging pixel 80 may include, for example, a 3 ⁇ 4 divided pixel 82 and a lens 81 above the divided pixel 82, as shown at the bottom.
  • m ⁇ n divided pixels 82 may be provided in an array using integers m and n of 2 or more. These settings are appropriately set depending on the size and number of the imaging pixels 80, the allowable formation area and volume size on the chip, and the application. In the following description, it is assumed that the image pickup pixel 80 includes the division pixel 82 of 2 ⁇ 2, but this is shown as an example, and division by other numerical values is not excluded as described above.
  • flare may occur in a part or all of the image pickup pixels 80 provided in the image pickup unit 8.
  • the occurrence of this flare is suppressed by using the divided pixels 82.
  • FIG. 9 is a diagram showing an image pickup pixel 80 in which light is incident from a bright subject in FIG. Although one imaging pixel 80 is shown, the same processing is executed for a plurality of imaging pixels 80 where flare may occur.
  • the bright subject is, for example, a light source having high brightness and illuminance, or an object that is irradiated with strong light and has strong reflected light.
  • a bright subject is a concept including, for example, an object whose brightness, illuminance, etc. are higher than those of the surroundings and which may cause flare.
  • the imaging pixel 80 includes divided pixels 82A, 82B, 82C, and 82D having a photoelectric conversion element, and a lens 81 shared by these photoelectric conversion elements. It is assumed that light from a bright subject is incident from the upper right direction of the drawing.
  • the light is not evenly emitted from the lens 81 to all the divided pixels 82, but the light having a strong intensity in the direction of the light is emitted. This is due to the characteristics of the lens 81 and the incident angle of light. For example, in the situation of FIG. 9, light stronger than the other divided pixels 82 is incident on the divided pixel 82C. As a result, the pixel value of each of the divided pixels 82 acquired by the signal acquisition unit 10 is higher for the divided pixels 82C than for the other divided pixels 82A, 82B, and 82D.
  • the signal processing unit 12 suppresses the influence of flare that may occur in the image pickup pixel 80.
  • the acquisition of the phase difference is determined, for example, by whether or not there is an intensity difference of a predetermined threshold value or more in the plurality of divided pixels 82 provided in one imaging pixel 80. For example, when a pixel value higher than that of other pixels is acquired in the divided pixel 82C and the difference between the pixel values of the divided pixel 82C and the other divided pixels 82A, 82B, 82D is equal to or more than a predetermined value, there is a phase difference. Judged.
  • the threshold value th p for the phase difference and the threshold value th f for the flare are in the relationship of th p ⁇ th f.
  • the flare thresholds are significantly higher than the phase difference thresholds, and these thresholds are clearly distinguishable and preset.
  • the width of the sensitivity difference when the focus is out of focus can be obtained in advance.
  • a predetermined threshold value may be determined by setting this width to th p to th f. From this, when the flare is corrected, the signal processing unit 12 can make a judgment using the threshold value th f.
  • the pixel values of the divided images 82A, 82B, 82C, and 82D be xA, xB, xC, and xD, respectively.
  • xC>xD>xA> xB are shown as examples only, and the techniques of the present disclosure are not limited thereto.
  • the difference between the pixel value of the divided pixel 82C having the highest pixel value and the lowest pixel value is compared with the threshold value, and the difference is larger than the threshold value. In that case, it may be determined that flare may occur.
  • the average may be considered.
  • avg () is a function that calculates the average of the arguments. Even when considering the average, it can be judged by either the difference or the ratio.
  • You may take the average (xA + xB) / 2 of the two pixel values of 82B.
  • the threshold value at which flare occurs is determined based on the threshold value related to the phase difference, but the present invention is not limited to this.
  • a threshold value for individual differences of the divided pixels 82 and the influence of noise generated in the divided pixels 82 may be set.
  • the imaging unit 8 may photograph a subject in which flare does not occur, and the signal processing unit 12 may perform ground processing based on the captured image of the subject. That is, the signal processing unit 12 may measure the threshold value for each divided pixel 82 in each imaging pixel 80 in advance. It is also possible to measure the threshold value for noise in the same manner, and further, it is also possible to measure the threshold value in which the influence of various noises is reduced by measuring a plurality of times.
  • the signal processing unit 12 calculates the pixel value of the imaging pixel 80 using the divided pixels 82A, 82B, and 82D other than the divided pixel 82C having a high pixel value.
  • Image data with flare correction may be acquired.
  • the signal processing unit 12 may set the pixel value of the imaging pixel 80 to 4 ⁇ xB by using the pixel value xB of the divided pixel 82B having the smallest pixel value.
  • the signal processing unit 12 may use the pixel values of the two divided pixels 82A and 82B having low pixel values to obtain 2 ⁇ (xA + xB).
  • the signal processing unit 12 may use a pixel value other than the maximum pixel value xC to obtain (4/3) ⁇ (xA + xB + xD). In this way, the signal processing unit 12 calculates the pixel value of the image pickup pixel 80 by using the pixel value which is the output of the divided pixel 82 whose output value is low in the image pickup pixel 80.
  • the signal processing unit 12 may perform flare correction using the trained model.
  • the signal processing unit 12 may perform correction using a trained model trained by machine learning based on the occurrence of flare in various situations and the state of the correction.
  • the signal processing unit 12 may input the respective values of the divided pixels 82 into the trained model and acquire the pixel values of the imaging pixels 80.
  • the signal processing unit 12 may use a trained model in which the pixel values of the peripheral imaging pixels 80 of the same color are further input.
  • the model may be a statistical model.
  • a model is generated by statistically calculating what kind of calculation should be used for synthesizing various camera modules 3, and the signal processing unit 12 uses a plurality of camera modules 3 for this model. By inputting the acquired information, an image having a small influence of flare may be acquired.
  • the model may be a neural network model trained by deep learning.
  • the neural network model may be formed by MLP (Multi-Layer Perceptron), CNN (Convolutional Neural Network), or the like.
  • MLP Multi-Layer Perceptron
  • CNN Convolutional Neural Network
  • parameters trained by a plurality of teacher data in advance are stored in the storage unit 20 or the signal processing unit 12, and the signal processing unit 12 may form a neural network model based on the stored parameters. good.
  • the signal processing unit 12 may acquire an image in which flare is suppressed by using the data output from the plurality of camera modules 3.
  • the electronic device 1 may further improve the training accuracy by using the captured image.
  • the training may be executed in the control unit 18 or the like of the electronic device 1.
  • a plurality of electronic devices 1 may transmit data to a storage or the like existing in a cloud or the like, perform training on a server or the like, and reflect the retrained parameters in the electronic device 1. .. In this case, only the flare information may be transmitted so that the privacy information including the user's face information is not included. Further, the transmission / reception of data from the electronic device 1 may be in a state in which the user can select by opt-in, opt-out, or the like, for example.
  • the signal processing unit 12 may acquire a flare-corrected image by not only linear processing but also non-linear processing, particularly calculation using various models including a trained model.
  • FIG. 10 is a flowchart showing the flow of processing according to the present embodiment. In this flowchart, the processing for flare correction is described, and the processing for imaging, data output, etc. is omitted.
  • the signal processing unit 12 acquires the output value of the divided pixel 82 in each imaging pixel 80 via the signal acquisition unit 10 (S100).
  • the signal processing unit 12 determines whether or not the sensitivity difference is larger than the sensitivity difference in the phase difference in the output values of the divided pixels 82 belonging to the same imaging pixel 80 (S102). That is, based on Eqs. (1), (3), etc., whether or not the difference in sensitivity between the divided pixel having the maximum sensitivity among the divided pixels 82 and the other divided pixels is within a range other than the phase difference. , Determined by the threshold value th f. It should be noted that this process may be executed not by the difference but by the ratio as in the above-mentioned equations (2) and (4).
  • the signal processing unit 12 executes flare correction using the divided pixels 82. After that, the signal processing unit 12 acquires a flare-corrected value as the pixel value of the imaging pixel 80 (S106).
  • the signal processing unit 12 When the sensitivity difference is th f or less (S102: NO), the signal processing unit 12 performs normal pixel value acquisition processing, for example, adding the output value of each divided pixel 82 to the pixel of the imaging pixel 80. Get as a value (S106).
  • the present embodiment by dividing the pixels from the incident of strong light that causes flare, it is possible to suppress the occurrence of flare as pixels due to the incident of the strong light. .. That is, it is possible to concentrate the incident of strong light that causes flare on some of the divided pixels, and by correcting the pixel value using other divided pixels, the pixel value that suppresses the influence of flare is acquired. can do.
  • FIG. 11 is a diagram for explaining a noise correction method according to the present embodiment.
  • the image pickup pixel 80 for acquiring the intensity of green in the center a case where flare correction is performed using one division pixel 82B (division pixel with a diagonal line rising to the right) on the upper right will be described.
  • noise when comparing the pixel values of 1-divided pixels using Eqs. (1), (2), etc., if noise is generated in the divided pixels 82B, it is the effect of noise that these equations are satisfied. May be. For example, when noise close to black is added to the divided pixel 82B, xC-xB may become a large value, and it may be determined that flare has occurred even though flare has not normally occurred. be.
  • th n is a threshold value for determining noise.
  • the signal processing unit 12 determines whether or not the difference between the average of the pixel values of the divided pixels 82A, 82C, and 82D and the pixel value of the divided pixels 82B used for flare correction is larger than this predetermined threshold value.
  • the threshold value th n for determining noise is, for example, a threshold value that satisfies th f > th n > th p.
  • the noise determination is not limited to the equation (5), and any noise can be appropriately detected. For example, it may be detected by a ratio as in Eq. (2).
  • Eq. (5) it may be determined that noise has occurred in the split pixel 82B, and noise correction processing may be executed.
  • the signal processing unit 12 may noise-correct the flare-corrected pixel value based on the pixel value of the imaging pixel 80 that acquires the same color in the surroundings, for example.
  • the signal processing unit 12 may perform correction by a method such as bicubic interpolation or bicubic interpolation using the pixel values indicated by the diagonal lines rising to the left in FIG.
  • the correction is performed using one pixel value of the same color in the front, back, left, and right, but the correction is not limited to this, and the information of the image pickup pixel 80 in the oblique direction may be used, or 2 for the same direction. Information on one or more imaging pixels 80 may be used.
  • the information of the other divided pixels 82 is used, but the information is not limited to this.
  • xB t may be used as the output value of the divided pixel 82B of the current frame, and may be considered on the time axis.
  • noise detection may be performed by the difference from the average value between frames.
  • the method shown in Eq. (6) can be effectively used.
  • the ratio may be used for judgment.
  • noise correction may be performed using the information between frames.
  • the pixel value of the imaging pixel 80 may be corrected by the following equation.
  • the information of 2 frames before and after is used for both the noise determination and the correction, but the information is not limited to this, and the information of 1 frame before and after or 3 frames or more before and after may be used.
  • the signal processing unit 12 may also perform noise correction using the trained model described above.
  • FIG. 12 is a flowchart showing the processing according to the present embodiment.
  • the flare correction amount is larger than the threshold value (S206). That is, based on Eqs. (5), (6), etc., it is determined whether or not the difference in sensitivity between the divided pixels used for flare correction and the other divided pixels among the divided pixels 82 is noise. Determined by the value th n.
  • noise correction is executed (S208).
  • the signal processing unit 12 executes noise correction using, for example, the information in the spatial direction or the time direction shown above.
  • the correction method is not limited to the ones listed above, and an appropriate method may be used.
  • the signal processing unit 12 After noise correction, or when the flare correction amount is th n or less (S206: NO), the signal processing unit 12 acquires image data (S210).
  • the output value of the divided pixel used for the flare correction is noise, and if it is determined to be noise, spatially. It is possible to obtain it after correcting it in time.
  • this method is effective when performing flare correction using one of the divided pixels, but it can be similarly applied to other cases as well.
  • the xBs of the above equations (6) and (7) may be applied as flared-corrected pixel values.
  • the noise threshold value th n changes depending on the amount of light of the entire subject, the amount of signal acquisition and the amount of sensing of the imaging unit 8 as a whole, it may change adaptively. That is, the signal processing unit 12 may appropriately change the threshold value th n and execute the above noise detection process based on the surrounding conditions.
  • flare correction is performed on all subjects, but the present invention is not limited to this.
  • the signal processing unit 12 may detect that flare has occurred and execute flare correction.
  • the signal processing unit 12 may detect that a subject having a predetermined brightness or higher is included and execute the flare correction described above. Further, as another example, the signal processing unit 12 may detect that flare has occurred based on the acquired pixel value and execute the above-mentioned flare correction.
  • FIG. 13 is a flowchart showing the flare correction process according to the present embodiment.
  • the signal processing unit 12 acquires information on the surrounding environment and state, or image data that has not been corrected such as flare correction (S300).
  • the signal processing unit 12 determines whether or not flare may occur or whether or not flare has occurred based on the information (S302). For example, when an object having a brightness and illuminance higher than a predetermined threshold value exists as a subject, the signal processing unit 12 determines that flare may occur. In addition, it is determined whether or not flare has occurred based on whether or not there is a white pixel area in the acquired pixel value. These are described as an example, and the judgment may be executed based on the possibility of flare occurrence or the criteria for determining the flare occurrence.
  • This subroutine is, for example, a process equivalent to the processes of S100 to S104 shown in FIG. 10 or the processes of S200 to S208 shown in FIG.
  • the signal processing unit 12 After performing flare correction and noise correction, or when flare does not occur or does not occur (S302: NO), the signal processing unit 12 acquires the pixel value (S306).
  • the present embodiment it is possible not to always execute the flare correction, but to not execute the flare correction as necessary.
  • the pixel value may be deteriorated from the original value by the correction processing, but when there is a possibility of such flare occurrence or there is no fact of flare occurrence.
  • FIG. 14 is a diagram showing a cross-sectional view of the electronic device 1 according to the present embodiment.
  • the electronic device 1 includes a plurality of camera modules 3, that is, a plurality of optical systems 9, and a plurality of imaging units 8 on the display panel 4.
  • the camera module 3 that acquires an image
  • the image pickup pixel 80 that acquires the position of the same subject of the camera module 3 arranged at different positions. Since the position of the flare in the captured image also shifts due to the position shift, there is a possibility that the image pixel 80 showing the position of the same subject may have flare on one side but not on the other side. expensive.
  • flare correction is performed with reference to the image pickup pixel 80 of the other image pickup unit 8 that has acquired the same position of the subject. May be good. More specifically, flare correction of the imaging pixel 80 may be performed using the data of the divided pixel 82 of the other imaging pixel 80, which corresponds to the divided pixel 82 of one imaging pixel 80.
  • a light-shielding unit 30 may be provided between the camera modules 3 so that flare is not transmitted by the display panel 4 or the like.
  • the light-shielding portion 30 may be, for example, a light-shielding film formed of a material having a high light-shielding property, or an absorption film formed of a material having a high light absorption rate.
  • FIG. 15 is a diagram showing a shadow of wiring formed on the image pickup unit 8 when light is incident on the display unit 2.
  • the above figure is a diagram schematically showing the display unit 2.
  • the display unit 2 is provided with a plurality of display pixels 40, and is provided with a plurality of wirings 41 for driving the display pixels 40.
  • This wiring is, for example, a control line, a signal line, or the like that crosses or traverses the display.
  • the shadow of the wiring 41 may be a problem.
  • the figure below is a diagram schematically showing the imaging unit 8.
  • the solid line indicates the boundary of the imaging pixel 80
  • the dotted line indicates the boundary of the divided pixel 82.
  • the shadow 83 of the wiring 41 is cast on the imaging pixel 80 as shown in the figure below.
  • the amount of light incident in the shadow region decreases, so that the brightness that can be acquired as a whole decreases. May be done.
  • the divided pixel 82 By using the divided pixel 82, this decrease in brightness is suppressed. Even when the divided pixel 82 is used, if the shadow 83 is present, the added value of the divided pixel 82 is used as the pixel value of the imaging pixel 80, so that the brightness may decrease. For example, in the image pickup pixel 80 at the upper left of the figure below, the output value from the split pixel 82 at the lower right decreases, and the brightness of the image pickup pixel 80 as a whole decreases. Further, in the image pickup pixel 80 to the right of the image pickup pixel 80, the output value from the lower half of the divided pixel 82 decreases, and the brightness of the image pickup pixel 80 as a whole decreases.
  • FIG. 16 is a diagram showing the divided pixels 82 in which the brightness, that is, the intensity of the incident light is reduced by the shadow 83.
  • the divided pixels 82 represented by diagonal lines are the divided pixels affected by the shadow 83, and the value of the signal output by these divided pixels 82 becomes low, which causes the brightness of the image pickup pixel 80 to decrease.
  • the decrease in the pixel value of the imaging pixel 80 due to the output value from the divided pixel 82 indicated by the diagonal line is calculated by using another divided pixel 82.
  • the signal processing unit 12 calculates the brightness value x as the sum of the output values from the available divided pixels 82 and the gain set for each imaging pixel 80.
  • the gain is determined, for example, by the number of divided pixels available in the imaging pixel 80.
  • the influence of noise may increase.
  • the same noise correction as in the second embodiment described above may be performed.
  • noise correction different from that of the second embodiment may be executed.
  • the signal processing unit 12 may execute the interpolation process using the peripheral image pickup pixels 80 of the same color unless otherwise specified to reduce the influence of noise.
  • the influence of the artifact formed on the image pickup unit 8 by the wiring or the like provided on the display unit 2 is affected by the divided pixels that can be used in each of the region where the artifact is generated and the image pickup pixel 80. It can be reduced by using the output value of 82 and the gain.
  • flare correction and noise correction in the above-described embodiment may be executed.
  • the electronic device 1 includes a microlens array as the optical system 9 of the camera module 3.
  • FIG. 17 is a diagram showing a camera module 3 according to this embodiment.
  • the optical system 9 of the camera module 3 includes a microlens array 90.
  • the light that has passed through the microlens array 90 is appropriately incident on the imaging unit 8, converted into a signal by the imaging unit 8, and output.
  • the signal acquisition unit 10 may reconstruct an image based on the signal output from the imaging unit 8. Based on this reconstructed image, the signal processing unit 12 acquires a pixel value in which the influence of the artifacts according to the above-described embodiments is suppressed.
  • the optical system 9 of the camera module 3 may be provided with a microlens array in addition to the one provided with a lens covering the whole.
  • a Fresnel lens, a zone plate, or the like can also be used.
  • FIG. 18 is a plan view when the electronic device 1 of each embodiment is applied to the capsule endoscope 50.
  • the capsule endoscopy 50 of FIG. 18 is photographed by, for example, a camera (ultra-small camera) 52 and a camera 52 for capturing an image in the body cavity in a housing 51 having hemispherical ends and a cylindrical center.
  • a CPU 56 and a coil (magnetic force / current conversion coil) 57 are provided in the housing 51.
  • the CPU 56 controls the shooting by the camera 52 and the data storage operation in the memory 53, and also controls the data transmission from the memory 53 to the data receiving device (not shown) outside the housing 51 by the wireless transmitter 55. ..
  • the coil 57 supplies power to the camera 52, the memory 53, the wireless transmitter 55, the antenna 54, and the light source 52b described later.
  • the housing 51 is provided with a magnetic (reed) switch 58 for detecting when the capsule endoscope 50 is set in the data receiving device.
  • the CPU 56 detects the set to the data receiving device by the reed switch 58, and when the data can be transmitted, the CPU 56 supplies power from the coil 57 to the wireless transmitter 55.
  • the camera 52 has, for example, an image sensor 52a including an optical system 9 for taking an image in the body cavity, and a plurality of light sources 52b that illuminate the inside of the body cavity.
  • the camera 52 is configured as a light source 52b by, for example, a CMOS sensor equipped with an LED, a CCD, or the like.
  • the display unit 2 in the electronic device 1 of the above-described embodiment is a concept including a light emitting body as shown in the light source 52b of FIG.
  • the capsule endoscope 50 of FIG. 18 has, for example, two light sources 52b, and these light sources 52b can be configured by a display panel 4 having a plurality of light source units and an LED module having a plurality of LEDs.
  • a display panel 4 having a plurality of light source units
  • LED module having a plurality of LEDs.
  • FIG. 19 is a rear view when the electronic device 1 of the above-described embodiment is applied to the digital single-lens reflex camera 60.
  • Digital single-lens reflex cameras 60 and compact cameras have a display unit 2 that displays a preview screen on the back side opposite to the lens.
  • the camera module 3 may be arranged on the side opposite to the display surface of the display unit 2 so that the photographer's face image can be displayed on the display screen 1a of the display unit 2.
  • the camera module 3 since the camera module 3 can be arranged in the area overlapping the display unit 2, it is not necessary to provide the camera module 3 in the frame portion of the display unit 2, and the size of the display unit 2 can be increased. It can be as large as possible.
  • FIG. 20 is a plan view showing an example in which the electronic device 1 of the above-described embodiment is applied to a head-mounted display (hereinafter, HMD) 61.
  • the HMD 61 of FIG. 20 is used for VR (Virtual Reality), AR (Augmented Reality), MR (Mixed Reality), SR (Substitutional Reality), and the like.
  • the current HMD is equipped with a camera 62 on the outer surface, and while the HMD wearer can visually recognize the surrounding image, the surrounding human beings are equipped with the HMD.
  • the facial expressions of a person's eyes and face cannot be understood.
  • the display surface of the display unit 2 is provided on the outer surface of the HMD 61, and the camera module 3 is provided on the opposite side of the display surface of the display unit 2.
  • the facial expression of the wearer taken by the camera module 3 can be displayed on the display surface of the display unit 2, and the humans around the wearer can grasp the facial expression of the wearer and the movement of the eyes in real time. can do.
  • the electronic device 1 can be used for various purposes, and the utility value can be enhanced.
  • the on-chip lens has a first on-chip lens.
  • the plurality of pixels have a first pixel and The first pixel is arranged so as to overlap the first on-chip lens.
  • the first pixel has a plurality of photoelectric conversion units and has a plurality of photoelectric conversion units.
  • the signal processing unit processes signals output from the plurality of pixels. Electronics.
  • the first pixel acquires information on a predetermined color.
  • the electronic device according to (1) The electronic device according to (1).
  • the first pixel comprises a color filter.
  • the first pixel includes an organic photoelectric conversion film in which each photoelectric conversion unit belonging to the same first pixel receives light of the same color.
  • the first pixel includes m ⁇ n (m and n are integers of 2 or more each) of the photoelectric conversion units.
  • the electronic device according to any one of (1) to (4).
  • the photoelectric conversion unit includes a photoelectric conversion element.
  • the electronic device according to any one of (1) to (5).
  • the photoelectric conversion element is a photodiode.
  • the imaging unit has a plurality of the first pixels colored by a Bayer array.
  • the electronic device according to (2) or (3).
  • the lens is an on-chip lens.
  • the electronic device according to any one of (1) to (8).
  • the optical system is a microlens array.
  • the signal processing unit adds the output values of the photoelectric conversion unit belonging to the same first pixel to obtain the output value of the first pixel.
  • the electronic device according to any one of (1) to (11).
  • the signal processing unit is the first when the output value from each of the photoelectric conversion units exceeds a predetermined difference or a predetermined ratio. Correct the pixel output value, The electronic device according to any one of (1) to (12).
  • the predetermined difference or the predetermined ratio is determined based on at least one of the individual difference of the photoelectric conversion unit, the phase difference depending on the position of the photoelectric conversion unit, or the noise generated in the photoelectric conversion unit.
  • the signal processing unit calculates the output value of the first pixel in the first pixel by using a pixel having a lower output value among the photoelectric conversion units.
  • the signal processing unit corrects the output value of the first pixel by using the output value of the first pixel that acquires the output value of the same color around the first pixel.
  • the electronic device according to any one of (13) to (15).
  • the signal processing unit corrects the first pixel when a subject having a predetermined brightness or higher is included.
  • the electronic device according to any one of (13) to (16).
  • the signal processing unit acquires image data with flare correction from the acquired signal.
  • the electronic device according to any one of (13) to (17).
  • the signal processing unit determines that flare has occurred in the captured image.
  • the electronic device according to any one of (13) to (18).
  • a plurality of the imaging units are present at different positions on the display surface.
  • the signal processing unit corrects pixels belonging to a region determined to have flare based on the output of the corresponding pixel region of the imaging unit existing at different positions.
  • the signal processing unit corrects the pixels belonging to the region determined to have flare based on the trained model.
  • the electronic device according to (19) or (20).
  • the signal processing unit has the average value of the outputs of the plurality of photoelectric conversion units belonging to the first pixel, and the output of the photoelectric conversion unit belonging to the first pixel.
  • the correction is performed based on at least one of a value having a low sensitivity or a value obtained by inputting the outputs of the plurality of photoelectric conversion units belonging to the first pixel into the trained model.
  • the electronic device according to any one of (13) to (21).
  • the signal processing unit corrects the first pixel using the photoelectric conversion unit based on the circuit of the display unit or the optical system.
  • the signal processing unit performs noise removal different from that of the other first pixel when the first pixel is corrected based on the circuit of the display unit or the optical system.
  • the display unit is provided on both sides of the device.
  • the electronic device according to any one of (1) to (24).
  • 1 Electronic device, 1a: Display screen, 1b: Bezel, 2: Display, 3: Camera module, 4: Display panel, 4a: Board, 40: Display pixel, 41: Wiring, 5: Circularly polarized light, 6: Touch panel, 7: Cover glass, 8: Imaging unit, 80: Imaging pixel, 81: Lens, 82: Divided pixel, 83: Shadow, 9: Optical system, 10: Signal acquisition unit, 12: Signal processing unit, 14: Post-processing unit, 16: Output section, 18: Control unit, 20: Memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Inorganic Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Sustainable Development (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)

Abstract

アーティファクトによる画質低下を抑制する。電子機器は、表示部と、前記表示部の表示面と反対側に配置される、撮像部と、信号処理部と、を有する。前記撮像部は、複数のオンチップレンズと、複数の画素と、を備え、前記オンチップレンズは、第１のオンチップレンズを有し、前記複数の画素は、第１の画素を有し、前記第１の画素は、第１のオンチップレンズと重なって配置され、前記第１の画素は、複数の光電変換部を有する。前記信号処理部は、前記複数の画素から出力される信号を処理する。

Description

電子機器
　本開示は、電子機器に関する。
　最近のスマートフォンや携帯電話、ＰＣ（Personal Computer）などの電子機器は、表示部の額縁（ベゼル）にカメラを搭載して、テレビ電話や動画撮影を手軽にできるようにしている。スマートフォンや携帯電話は、ポケットや鞄に入れて持ち歩くことが多いため、外形サイズをできるだけコンパクトにする必要がある。その一方で、表示画面のサイズが小さいと、表示解像度が高いほど、表示される文字サイズが小さくなって視認しにくくなる。このため、表示画面の周囲にあるベゼル幅を小さくすることで、電子機器の外形サイズを大きくせずに、表示画面のサイズをできるだけ大きくすることが検討されている。
　ところが、電子機器のベゼルには、カメラなどが搭載されることが多いため、カメラの外径サイズよりベゼル幅を小さくすることはできない。また、ベゼルにカメラを配置する場合、例えばテレビ電話で会話する際に、目線は表示画面の中央付近に置かれることが多いため、カメラの光軸から目線がずれてしまい、目線の合わない違和感のある撮影画像が得られてしまう。上述した問題を回避するために、表示部の表示面とは反対側にカメラモジュールを配置して、表示部を通過した被写体光をカメラで撮影することが提案されている。
特開2013-211413号公報
　しかしながら、表示部を通過する光の一部は、反射や回折を起こしてカメラに入射されるため、反射によるフレアや回折の影響を受け、又は、カメラの上部（ディスプレイの表示面側）に配置される配線等の影響を受けて、撮影画像の画質がアーティファクトにより低下するという問題がある。
　本開示の一態様は、アーティファクトによる画質低下を抑制できる電子機器を提供する。
　一形態によれば、電子機器は、表示部と、表示部の表示面と反対側に配置される、撮像部と、信号処理部と、を有する。撮像部は、複数のオンチップレンズと、複数の画素と、を備え、オンチップレンズは、第１のオンチップレンズを有し、複数の画素は、第１の画素を有し、第１の画素は、第１のオンチップレンズと重なって配置され、第１の画素は、複数の光電変換部を有する。信号処理部は、複数の画素から出力される信号を処理する。
　第１の画素は、所定色の情報を取得してもよい。例えば、それぞれの画素は、ベイヤ配列等による色の配置に基づいて所定の色情報を取得する。
　第１の画素は、色フィルタを備えてもよい。
　第１の画素は、同一の第１の画素に属するそれぞれの光電変換部が同じ色の受光をする有機光電変換膜を備えてもよい。このように、フィルタや有機光電変換膜により、特定の色情報を抽出してもよい。
　画素は、m × n（m、nは、それぞれ2以上の整数）個の光電変換部を備えてもよい。例えば、それぞれの画素は、2 × 2の光電変換部、3 × 3の光電変換部、4 × 4の光電変換部、又は、2 × 3等の光電変換部を備えてもよい。
　光電変換部は、光電変換素子を備える。
　光電変換素子は、フォトダイオードであってもよい。
　撮像部は、ベイヤ配列により色づけされた複数の第１の画素を有していてもよい。
　レンズは、オンチップレンズであってもよい。また、オンチップのマイクロレンズを備えていてもよい。
　表示部と撮像部との間にレンズとは別の光学系を備えていてもよい。
　光学系は、マイクロレンズアレイであってもよい。
　信号処理部は、同一の第１の画素に属する光電変換部の出力値を加算して、画素の出力値としてもよい。
　信号処理部は、同一の第１の画素に形成される光電変換部において、それぞれの光電変換部からの出力値が、所定差分又は所定比率を超えた場合に、第１の画素の出力値を補正してもよい。
　所定差分又は所定比率は、光電変換部の個体差、光電変換部の位置による位相差、又は、光電変換部において発生するノイズ、のうち少なくとも１つに基づいて決定されてもよい。
　信号処理部は、第１の画素において、光電変換部のうち出力値の低い画素を用いて第１の画素の出力値を算出してもよい。
　信号処理部は、第１の画素の出力値を、第１の画素の周辺にある同じ色の出力値を取得する第１の画素の出力値を用いて補正してもよい。
　信号処理部は、所定の明るさ以上の被写体が含まれる場合に、第１の画素における補正をしてもよい。
　信号処理部は、取得された信号からフレア補正を行った画像データを取得してもよい。
　信号処理部は、撮像された画像にフレアが発生していることを判定してもよい。
　撮像部は、表示面における異なる位置に複数存在してもよく、信号処理部は、フレアが発生していると判定された領域に属する画素について、異なる位置に存在する撮像部の対応する画素領域の出力に基づいて補正をしてもよい。
　信号処理部は、フレアが発生していると判定された領域に属する画素について、学習済みモデルに基づいて補正をしてもよい。
　信号処理部は、取得された第１の画素において、当該第１の画素に属する複数の光電変換部の出力の平均値、当該第１の画素に属する光電変換部の出力のうち感度の低い値、又は、当該第１の画素に属する複数の光電変換部の出力を学習済みモデルに入力した値、の少なくとも１つに基づいて補正を行ってもよい。
　信号処理部は、表示部の回路又は光学系に基づいて、第１の画素について光電変換部を用いた補正を行ってもよい。
　信号処理部は、第１の画素において表示部の回路又は光学系に基づいた補正を行った場合に、他の第１の画素とは異なるノイズ除去を行ってもよい。
　表示部は、デバイスの両面に備えられてもよい。
一実施形態に係る電子機器の模式的な断面図。 一実施形態に係る電子機器の模式的な外観図とその断面図。 一実施形態に係る電子機器の模式的な断面図。 一実施形態に係る電子機器の模式的な断面図。 一実施形態に係る電子機器の概略を示すブロック図。 一実施形態に係る撮像部を模式的に示す図。 一実施形態に係る撮像画素を模式的に示す図。 一実施形態に係る撮像画素を模式的に示す図。 一実施形態に係る撮像部により明るい被写体からの光の入射を示す図。 一実施形態に係る明るい被写体からの光が入射される撮像画素を示す図。 一実施形態に係る補正の処理を示すフローチャート。 一実施形態に係るノイズ補正について示す図。 一実施形態に係る補正の処理を示すフローチャート。 一実施形態に係る補正の処理を示すフローチャート。 一実施形態に係る撮像部の配置例を示す断面図。 表示部の配線による撮像部の画像劣化の様子を示す図。 表示部の配線による撮像部の画像劣化の様子を示す図。 一実施形態に係るカメラモジュールを模式的に示す断面図。 一実施形態の電子機器をカプセル内視鏡に適用した場合の平面図。 一実施形態の電子機器をデジタル一眼レフカメラに適用した背面図。 一実施形態の電子機器をヘッドマウントディスプレイに適用した背面図。 一実施形態の電子機器をヘッドマウントディスプレイに適用した背面図。
　以下、図面を参照して、電子機器の実施形態について説明する。以下では、電子機器の主要な構成部分を中心に説明するが、電子機器には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。また、説明のためにサイズ、形状、アスペクト比等が変更されているものがあるが、これらは実装においては、適切なサイズ、形状、アスペクト比等を有しているものである。なお、以下の説明において、取得する信号は、画像情報又は撮像情報として記載しているが、この画像情報、撮像情報とは広義の概念であり、静止画、動画、又は、映像における１フレームの画像等をも含む概念である。また、「より大きい」「より小さい」は、「以上」「以下」とそれぞれ相互に読み替えてもよい。
　（第１実施形態）
　図１は、第1実施形態に係る電子機器の模式的な断面図である。図１の電子機器１は、例えば、スマートフォン、携帯電話、タブレット、パーソナルコンピュータ等、表示機能と撮影機能を備える任意のデバイスである。電子機器1は、表示部2と、カメラモジュール3と、を備える。カメラモジュール3は、表示部2の表示面の裏側に配置される。すなわち、カメラモジュール3は、表示部2を通して撮影を行う。以下、実施形態の説明内において、このカメラモジュール3をディスプレイ下方にあると記載することがある。
　図２は、図１の電子機器1の模式的な外観図とその断面図である。図２の例においては、電子機器1の外形サイズの近くまで表示画面1aが拡がっており、表示画面1aの周囲にあるベゼル1bの幅を、例えば、数mm以下にすることも可能である。通常、フロントカメラは、ベゼル1bに搭載されることが多いが、図２に破線で示すように、表示画面1a内に裏面側にフロントカメラとして機能するカメラモジュール3を配置している。このように、フロントカメラを表示画面1aの裏面側に備えることで、ベゼル1bにフロントカメラを配置する必要がなくなり、ベゼル1bの幅を狭めることができる。
　なお、図２においては、表示画面1aのほぼ中央あたりの裏面側にカメラモジュール3を配置しているが、表示画面1aの裏面側であればよい。例えば、表示画面1aの周縁部の近くの裏面側にカメラモジュール3を配置してもよいし、指紋認証等に用いる場合には、表示画面1aの中央より図２において下方の裏面側に配置されてもよい。このように、本実施形態においては、カメラモジュール3は、表示画面1aと重なる任意の位置に配置されてもよい。なお、特に言及のない限り、本開示において「重なる」とは、例えば、図１における水平方向に共通した領域を有し、又は、水平方向における存在領域が共通であり、かつ、鉛直方向にずれた位置に配置されることを意味する。一例として、表示部2の表示面を上方、撮像部8を下方とした場合に、上下方向にずれ、左右方向にずれていない状態のことを言う。
　図２においては、デバイスの一方の面に表示部2及びカメラモジュール3を備えるものとしたが、これには限られない。例えば、デバイスの両面に表示部2及びカメラモジュール3を備えていてもよい。
　図１に示すように、表示部2は、表示光学系として、表示パネル4、円偏光板5、タッチパネル6及びカバーガラス7を順に積層した構造体である。なお、これらの並び方は上記に限定されるものではなく、適切に入れ替えたり、また、同じ構成が2以上存在したりしてもよい。
　表示パネル4は、例えば、OLED（Organic Light Emitting Diode）、液晶、MicroLED、その他の表示原理に基づく素子を備えていてもよい。OLED等の表示パネル4は、複数の層で構成される。表示パネル4には、カラーフィルタ層等の透過率が低い部材が配置されていることが多い。後述するように、表示パネル4における透過率が低い部材には、カメラモジュール3の配置場所に合わせて、貫通孔を形成してもよい。貫通孔を通った被写体光がカメラモジュール3に入射されるようにすれば、カメラモジュール3で撮像される画像の画質を向上することが可能である。
　円偏光板5は、ギラツキを低減し、又は、明るい環境下でも表示画面1aの視認性を高める等のために設けられている。タッチパネル6には、タッチセンサが組み込まれている。タッチセンサは、静電容量型、抵抗膜型、感圧型等種々の方式があるが、いずれの方式を用いてもよい。また、タッチパネル6と表示パネル4を一体化してもよい。カバーガラス7は、表示パネル4等を保護するために備えられている。
　カメラモジュール3は、撮像部8と、光学系9とを備える。光学系9は、撮像部8の光入射面側、すなわち、表示部2に近い側に配置され、表示部2を通過した光を撮像部8に集光させる。光学系9は、1又は複数のレンズを備えていてもよい。
　撮像部8は、複数の光電変換部を備える。各光電変換部には、それぞれにレンズが配置される。このレンズは、光学系9により適切に撮像部8へと射出された光を、それぞれの画素を構成する光電変換部において受光させる。光電変換部は、表示部2を介して入射された光を光電変換する。光電変換部は、CMOS（Complementary Metal Oxide Semiconductor）センサでもよいし、CCD（Charge Coupled Device）センサでもよい。また、光電変換部は、フォトダイオードを備えていてもよいし、有機光電変換膜を備えていてもよい。複数の光電変換部は、任意の方式で配列することができる。複数の光電変換部の配列方法は、例えば、ベイヤ配列であってもよいし、インタライン配列であってもよいし、市松配列であってもよいし、ストライプ配列であってもよいし、その他の配列であってもよい。
　本開示おいては、光電変換部の出力値、又は、この出力値に基づいて所定の変換をされた値を画素値と呼ぶ。
　図３Ａは、図１におけるカメラモジュール3と表示パネル4との関係についてより詳しく説明する図である。カメラモジュール3の一例を示す図である。カメラモジュール3は、例えば、撮像部8と、光学系9と、を備える。光学系9は、撮像部8の光の入射面側、すなわち、表示部2に近い側に配置される。表示部2の表示面を透過した光は、光学系9により撮像部8に伝播される。
　撮像部8は、例えば、フォトダイオード等の受光素子、光電変換素子を備えている。光学系9により集光、屈折、拡散等され、伝播された光は、撮像部8に備えられる光電変換部により受光され、アナログ信号を出力する。光電変換部は、それぞれの撮像素子の入射面側に、例えば、ベイヤ配列等のカラーフィルタが備えられていてもよいし、積層型のカラーフィルタが備えられていてもよい。また、カラーフィルタではなく、有機光電変換膜を備えていてもよい。この他、カラー画像を取得するためのフィルタに代替できるものが備えられていてもよい。また、図示しないが、その他受光及びアナログ信号を出力するのに必要となる素子、回路等が備えられる。さらに、偏光素子等を備えてもよい。
　光学系9は、上述した、透過率の低い部材における貫通孔である、表示パネル4に設けられる開口を含める概念としてもよい。例えば、光学系9として、表示パネル4に設けられた開口と、この開口よりも撮像部8に近い位置にレンズが配置される。この開口は、例えば、透過率の低い基板4aに備えられ、この開口部を透過した光を撮像部8に伝播させるレンズが備えられていてもよい。例えば、このレンズと開口により、それぞれのカメラモジュール3における開口数Na（Numerical Aperture）や、F値（F-Number）といった光学的特徴が定義される。またさらに、この光学系9により、カメラモジュール3が異なるアッベ数を有する等、他の光学的特徴を有するようにしてもよい。
　なお、開口とレンズは、一例として示したものであり、光学系9の構成は、必ずしもこれらの組み合わせに限定されるものではない。また、図においては、開口1つに対して1又は複数のレンズが備えられているがこれには限られない。例えば、図３Ｂのように、光学系9において1つのレンズに対して、複数の開口が設けられてもよい。開口の存在しない領域においては、例えば、表示パネル4の発光素子が備えられ、これらの発光素子の間を縫うように開口が備えられてもよい。このように配置することにより、表示を崩すことなく、カメラモジュール3を備えることが可能となる。
　複数のカメラモジュール3は、このように、開口の形状、レンズの性能等により、異なる光学的特徴を備えて形成されてもよい。2以上のカメラモジュール3がある場合には、それぞれに対応する光学系9において別々の光学的特徴を持たせてもよい。別の例として、カメラモジュール3を複数のグループに分け、グループごとに異なる光学的特徴を持たせてもよい。例えば、共通する光学的特徴を有する2つのカメラモジュール3と、異なる光学的特徴を有する1つのカメラモジュール3となるように、光学系9が、その開口の形状、向き、又は、レンズの素材等を変えて備えられていてもよい。
　図３Ａに矢印で示すように、表示部2の表示面側から入射した光は、光学系9により屈折等し、撮像部8において受光される。光学系9の備えられない箇所においては、通常のディスプレイと同様に、適切に反射等が抑制され、表示部2における表示が見やすく調整されてもよい。例えば、表示パネル4の発光画素間に開口を備え、この開口において、表示面とは反対側にレンズを備え、撮像部8へと表示面側から入射した光を射出する。また、連続する発光画素の間のそれぞれの間に開口を備えていてもよい。言い換えると、開口と開口の間に発光画素が備えられるような構成であってもよい。
　ここで、電子機器1の撮像機能の一例について説明する。
　図４は、本実施形態に係る電子機器1の撮像動作に関連する構成を表したブロック図の一例を示す。電子機器1は、表示部2と、複数のカメラモジュール3と、信号取得部10と、信号処理部12と、後処理部14と、出力部16と、制御部18と、記憶部20と、を備える。
　先に説明した図面と同様に、表示部2の表示面と反対側に、カメラモジュール3を備える。1つの表示部2の表示面に対して、複数のカメラモジュール3を備えていてもよい。カメラモジュール3は、それぞれ、撮像部8と、光学系9と、を備える。
　信号取得部10は、撮像部8が出力するアナログ信号を処理する回路である。信号取得部10は、例えば、ADC（Analog to Digital Converter）を備え、入力されたアナログ信号をデジタル画像データへと変換する。
　信号処理部12は、信号取得部10により変換されたデジタル画像データから、撮像された画像を取得する。カメラモジュール3から取得したデジタル画像データに基づいて、撮像結果を取得する。より具体的には、信号処理部12は、例えば、カメラモジュール3において発生したフレア等のアーティファクトを、得られた画像データを用いて抑制した撮像結果を信号処理により取得する。
　後処理部14は、信号処理部12が出力した撮像結果に適切な処理を施して出力する。適切な処理とは、例えば、画素欠陥補正、エッジ強調、ノイズ除去、明るさ調整、色補正、ホワイトバランス調整、歪み補正、オートフォーカス処理、等の画像処理又は信号処理のことであってもよい。また、この適切な処理は、ユーザにより指定された処理であってもよい。また、後処理部14は、独立して備えられる必要はなく、例えば、信号処理部12が上記の後処理まで実行してもよい。
　出力部16は、電子機器1の外部へと情報を出力する。出力部16は、例えば、出力インタフェースを備える。出力インタフェースは、例えば、USB（Universal Serial Bus）等のデジタル信号を出力するインタフェースであってもよいし、ディスプレイ等のユーザインタフェースであってもよい。また、出力部16に備えられる出力インタフェースは、入力インタフェースを兼ね備えるものであってもよい。また、出力部16は、内部に備えられる記憶部20にデータを格納してもよく、このように出力とは広義の意味を含んでもよい。
　制御部18は、電子機器1における処理を制御する。制御部18は、例えば、CPU（Central Processing Unit）を備えていてもよく、信号取得部10、信号処理部12、後処理部14、出力部16の処理を制御してもよい。また、ユーザインタフェースからの指示された撮像タイミングに基づいて、カメラモジュール3による撮影を行う制御をも実行してもよい。
　記憶部20は、電子機器1におけるデータを格納する。記憶部20は、例えば、DRAM（Dynamic Random Access Memory）等のメモリ、SSD（Solid State Drive）等のストレージであってもよい。記憶部20は、内蔵のメモリであってもよいし、取り外し可能なメモリカード等のメモリであってもよい。また、記憶部20は、必ずしも電子機器1の内部に備えられるものではなく、入出力インタフェースを介して接続される外部にストレージ等であってもよい。記憶部20には、電子機器1において必要なタイミングで適切に情報が入出力される。
　上記に説明したうち、一部又は全部は、同じ基板上に形成されてもよい。例えば、カメラモジュール3と、信号取得部10、信号処理部12、後処理部14、出力部16、制御部18、記憶部20は、1チップ上に形成されてもよいし、適宜これらの一部が別のチップとして形成されていてもよい。また、1チップの同一基板上に形成された一部の構成が、他の基板上に形成された一部の構成と、その製造工程においてCoC（Chip on Chip）、CoW（Chip on Wafer）、WoW（Wafer on Wafer）等の技術により積層されて形成されてもよい。
　次に、撮像部8の構成について説明する。一例として、ベイヤ配列について説明するが、上述したように、色の配置は、ベイヤ配列に限られるものではなく、適切に色情報を取得できるのであれば、他の配列であっても構わない。例えば、RGBの系列によるベイヤ配列であってもよいし、CMYの補色系によるベイヤ配列であってもよい。RGBとCMYが混在している状態であってもよい。また、画素の形状は、正方形であるとして説明するが、これには限られない。例えば、正方形以外の矩形であってもよいし、六角形形状によるハニカム構造であってもよい。
　図５は、撮像部8のそれぞれの撮像素子により取得される色情報を模式的に示す図である。図５は、一例として、撮像部8に備えられる8 × 8の撮像素子の状態を示している。もちろん、撮像素子は、8 × 8ではなく、取得したい画素数、配置できる面積等に基づいて適切な数が備えられる。
　撮像部8は、撮像画素80を備える。図に示すように、撮像画素80は、撮像部8においてアレイ状に備えられる。撮像画素80は、表示部2の表示面とは反対側に光電変換素子を備え、その上部にレンズを備える。撮像画素80の内部に記載されているRGBは、色を表し、それぞれ、R：赤、G：緑、B：青を表す。この色分けの手法は、上述したように、光電変換素子の表示面側に備えられる色フィルタであってもよいし、有機光電変換膜により形成された光電変換素子であってもよい。
　それぞれの撮像画素80には、レンズ81が備えられる。レンズ81は、例えば、オンチップレンズであり、特に、オンチップのマイクロレンズであってもよい。このように、画素ごとにレンズを備えることにより、受光強度、色再現性等の精度を高めることができる。このレンズ81は、例えば、Siにより形成されてもよいが、その他の適切な材料により形成されてもよい。また、
　1つの撮像画素80は、複数の分割画素82を備える。例えば、図５のそれぞれの撮像画素80には、2 × 2個の分割画素82が備えられる。このように、1つの画素において複数の分割画素を備えることにより、効果の一例として、画素間におけるダイナミックレンジを拡大することができる。本開示においてはさらに、アーティファクトの除去にもこの分割画素82を利用する。図に一例として示すように、撮像画素80は、複数の分割画素82を有し、ぞれぞれの撮像画素80とレンズ81とが1対1の対応で、重なりあうように配置される。
　図６は、撮像画素80をベイヤ配列の1組分取り出した図である。この図６に示すように、例えば、撮像画素80は、2 × 2の4つの分割画素82を備えて構成される。それぞれの分割画素82は、光電変換素子を備えて形成される。この光電変換素子は、フォトダイオードであってもよい。図１の信号取得部10は、光電変換素子を備えるこれらの分割画素82からの出力されたアナログ信号を取得する。そして、信号処理部12は、信号取得部10からの出力に対して信号処理を実行する。
　撮像画素80の画素値は、例えば、それぞれの撮像画素80に含まれる分割画素82から信号取得部10が取得した出力値を加算したものとして算出される。この加算は、アナログ信号の状態で実行されてもよいし、デジタル信号に変換された後に実行されてもよい。
　一例として、信号取得部10は、それぞれの分割画素82からのアナログ信号を取得し、当該アナログ信号をデジタル信号へと変換する。信号処理部12は、信号取得部10が出力した分割画素82ごとのデジタル信号を、必要があれば補正をした上で加算して、撮像画素80としての画素値を取得する。
　このような画素の分割は、一般的なデジタルカメラ等においては、上述したように、画素、すなわち、各色におけるダイナミックレンジを拡大するため、また、色再現性を向上するために用いられる。さらには、信号処理部は、分割画素により画素内における位相差を取得することも可能である。この結果を、撮像装置は、オートフォーカス等に用いてもよい。本開示においては、この分割画素82をディスプレイ下方のカメラモジュール3に採用することにより、表示部2等に起因するアーティファクトの除去もまた実現する。
　図７は、撮像画素80における分割画素82の他の例を示す図である。
　撮像画素80は、例えば、一番上に示すように、3 × 3の分割画素82を備え、その上方にレンズ81を備えていてもよい。
　撮像画素80は、例えば、上から二番目に示すように、4 × 4の分割画素82を備え、その上方にレンズ81を備えていてもよい。
　また、撮像画素80は、例えば、一番下に示すように、3 × 4の分割画素82を備え、その上方にレンズ81を備えていてもよい。
　このように、2以上の整数m、nを用いて、m × n個の分割画素82をアレイ状に備えてよい。これらの設定は、撮像画素80の大きさ、数、又は、チップ上において許容される形成面積、体積の大きさ、さらには、用途により適切に設定される。以下の説明においては、撮像画素80は、2 × 2の分割画素82を備えるものとするが、一例として示すものであり、上記のようにこれ以外の数値による分割を除外するものではない。
　以下、撮影対象に明るい被写体が存在し、当該被写体からの影響によるフレアを除去する場合について説明する。
　図８に示すように、撮像部8に明るい被写体からの光が入射する場合を考える。このような場合、撮像部8に備えられる撮像画素80の一部又は全部の画素において、フレアが発生する可能性がある。本実施形態では、このフレアの発生を、分割画素82を用いることにより抑制する。
　図９は、図８における明るい被写体からの光の入射がある撮像画素80を示す図である。なお、1つの撮像画素80を示しているが、これには限られず、フレアが発生しうる複数の撮像画素80に対して同様の処理が実行される。なお、明るい被写体とは、例えば、輝度、照度の高い光源、又は、強い光が照射され強い反射光が存在する物体等のことである。この他、明るい被写体とは、例えば、周りの明るさと比較して輝度、照度等が高く、フレアの原因となり得る物体を含む概念である。
　撮像画素80は、光電変換素子を備える分割画素82A、82B、82C、82Dと、これらの光電変換素子に共有して形成されるレンズ81と、を備える。明るい被写体からの光が図面右上方向から入射されるとする。
　このような場合、全ての分割画素82へとレンズ81から均等に光が射出されるわけではなく、光の方向に対して進む方向に強い強度を有する光が射出される。これは、レンズ81と、光の入射角度との特性によるものである。例えば、図９の状況においては、分割画素82Cには、他の分割画素82よりも強い光が入射する。この結果、信号取得部10により取得されたそれぞれの分割画素82の画素値は、分割画素82Cが他の分割画素82A、82B、82Dよりも高くなる。
　この現象に基づいて、信号処理部12は、撮像画素80において発生しうるフレアの影響を抑制する。
　上述したように、分割画素82を用いることにより撮像画素80内の位相差を取得することが可能である。位相差の取得は、例えば、1つの撮像画素80に備えられる複数の分割画素82において所定しきい値以上の強度差があるか否かにより判断される。例えば、分割画素82Cにおいて他の画素より高い画素値が取得され、この分割画素82Cと他の分割画素82A、82B、82Dとの画素値の差が所定値以上となる場合、位相差があると判断される。
　フレアが発生する場合においても、例えば、分割画素82Cの画素値が、他の分割画素82 A、82B、82Dの画素値よりも高い場合に同様の判断がされる。しかしながら、位相差に関するしきい値thpと、フレアに関するしきい値thfは、thp < thfの関係である。位相差に関するしきい値よりもフレアに関するしきい値の方が有意に高く、これらのしきい値は、明確に区別できるものであり、あらかじめ設定可能なものである。例えば、フォーカスが合ってない場合の感度差の幅は、あらかじめ取得することが可能である。この幅をthp～thfとすることにより、所定のしきい値を決定してもよい。このことから、フレアの補正をする場合には、信号処理部12において、しきい値thfを用いて判断することができる。
　分割画像82A、82B、82C、82Dの画素値をそれぞれxA、xB、xC、xDとおく。一例として、これらの間に、xC > xD > xA > xBの関係があるとする。これらは一例として示しているだけであり、本開示の技術は、これらに限定されるものではない。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
 例えば、(1)式のように、一番高い画素値を有する分割画素82Cの画素値と、一番低い画素値との差をしきい値と比較して、しきい値よりも差が大きい場合には、フレアが発生しうると判断してもよい。場合によっては、最小値min{xA, xB, xD}ではなく、最大値max{xA, xB, xC}と比較してもよい。また、(2)式のように、比で判断してもよい。
　別の例として、平均を考慮してもよい。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
 ここで、avg()は、引数の平均を算出する関数である。平均を考慮する場合においても、差、比のいずれかで判断することができる。また、平均を取る場合には、撮像画素80の辺と垂直に光が入射した場合を考慮して、分割画素82A、82B、82Cのうち、画素値の低い2つ、例えば、分割画素82A、82Bの2つの画素値の平均(xA + xB) / 2を取ってもよい。
　このように、所定しきい値を所定差分、所定比率として用いて、撮像画素80において最大の画素値を有する分割画素82に対して、(1)式～(4)式、又は、それらに類似する演算を行うことにより、当該撮像画素80においてフレアが発生する可能性があるか否かを判断してもよい。
　上記においては、位相差に関するしきい値に基づいてフレアが発生するしきい値（所定差分、所定比率）を決定したが、これには限られない。例えば、分割画素82の個体差、分割画素82において発生するノイズの影響に対するしきい値を設定してもよい。個体差を見る場合には、例えば、撮像部8に対してフレアが発生しない被写体を撮影し、信号処理部12がこの被写体を撮影した画像に基づいてグラウンド処理を行ってもよい。すなわち、信号処理部12は、それぞれの撮像画素80におけるそれぞれの分割画素82に対するしきい値をあらかじめ測定してもよい。ノイズに関してのしきい値も同様に測定することも可能であり、さらには、複数回測定することにより、各種ノイズの影響を軽減したしきい値を測定することも可能である。
　上記のようにフレアが発生しうる場合には、信号処理部12は、画素値が高くなっている分割画素82C以外の分割画素82A、82B、82Dを用いて撮像画素80の画素値を算出し、フレアの補正を行った画像データを取得してもよい。信号処理部12は、例えば、撮像画素80の画素値を、画素値が最小の分割画素82Bの画素値xBを用いて、4 × xBとしてもよい。信号処理部12は、別の例として、画素値が低い2つの分割画素82A、82Bの画素値を用いて、2 × (xA + xB)としてもよい。信号処理部12は、さらには、最大の画素値xC以外の画素値を用いて、(4 / 3) × (xA + xB + xD)としてもよい。このように、信号処理部12は、撮像画素80内において出力値が低い分割画素82の出力である画素値を用いて撮像画素80の画素値を算出する。
　また、信号処理部12は、訓練されたモデルを用いてフレア補正を実行してもよい。信号処理部12は、例えば、種々の状況におけるフレアの発生と、その補正の状態に基づいて、機械学習により訓練された学習済みモデルを用いて補正を実行してもよい。この場合、信号処理部12は、分割画素82のそれぞれの値を学習済みモデルに入力し、撮像画素80の画素値を取得してもよい。さらに別の例として、信号処理部12は、周辺の同色の撮像画素80の画素値を更に入力する訓練済みモデルを用いてもよい。
　例えば、モデルは、統計モデルであってもよい。種々のカメラモジュール3に対してどのような演算を用いて合成をすればよいかを統計的に計算してモデルを生成しておき、信号処理部12は、このモデルに複数のカメラモジュール3から取得された情報を入力することによりフレアの影響の小さい画像を取得してもよい。
　例えば、モデルは、ディープラーニングにより訓練されたニューラルネットワークモデルであってもよい。ニューラルネットワークモデルは、MLP（Multi-Layer Perceptron）、CNN（Convolutional Neural Network）等により形成されていてもよい。この場合、あらかじめ複数の教師データにより訓練されたパラメータが記憶部20、又は、信号処理部12に記憶され、信号処理部12は、この記憶されたパラメータに基づいたニューラルネットワークモデルを形成してもよい。形成された訓練済みモデルを用いて、信号処理部12は、複数のカメラモジュール3から出力されたデータを用いてフレアが抑制された画像を取得してもよい。
　さらに、訓練済みモデルを用いる場合、電子機器1は、撮像された画像を用いてさらに訓練精度を向上させてもよい。例えば、電子機器1の制御部18等において訓練を実行してもよい。別の例として、複数の電子機器1がクラウド等に存在するストレージ等にデータを送信し、サーバ等において訓練を実行し、再訓練されたパラメータを電子機器1に反映されるようにしてもよい。この場合、ユーザの顔情報を含むプライバシー情報が含まれないように、フレアの情報だけを送信してもよい。また、電子機器1からのデータの送受信は、例えば、オプトイン、オプトアウト等によりユーザにより選択可能な状態としてもよい。
　このように、線形処理だけではなく、非線形処理、特に、訓練済モデルを含む種々のモデルを用いた演算等により信号処理部12は、フレア補正された画像を取得してもよい。
　図１０は、本実施形態に係る処理の流れを示すフローチャートである。本フローチャートにおいては、フレア補正についての処理について記載され、撮像、データ出力等の処理については、省略している。
　まず、信号取得部10を介して信号処理部12は、それぞれの撮像画素80における分割画素82の出力値を取得する（S100）。
　次に、信号処理部12は、同一の撮像画素80に属する分割画素82の出力値において、感度差が、位相差における感度差よりも大きいか否かを判定する（S102）。すなわち、(1)式、(3)式等に基づき、分割画素82のうち最大の感度を有する分割画素と、その他の分割画素の感度の差が、位相差ではない範囲にあるか否かを、しきい値thfにより判定する。なお、この処理は、上述の(2)式、(4)式等のように、差ではなく比により実行されてもよい。
　感度差がthfよりも大きかった場合（S102：YES）、信号処理部12は、分割画素82を用いてフレア補正を実行する。その後、信号処理部12は、当該撮像画素80の画素値としてフレア補正した値を取得する（S106）。
　感度差がthf以下であった場合（S102：NO）、信号処理部12は、通常の画素値の取得処理、例えば、それぞれの分割画素82の出力値の加算値を当該撮像画素80の画素値として取得する（S106）。
　以上のように、本実施形態によれば、フレアの原因となる強い光の入射を、画素を分割することにより、当該強い光の入射による画素としてのフレアの発生を抑制することが可能となる。すなわち、フレアの原因となる強い光の入射を一部の分割画素に集中させることが可能となり、他の分割画素を用いて画素値を補正することによって、フレアの影響を抑制した画素値を取得することができる。
　（第２実施形態）
　前述の第１実施形態においては、一例として、撮像画素80における最小の画素値を有する1つの分割画素82を用いる場合を説明したが、このように1つの分割画素82を用いる場合には、ノイズの影響を強く受ける可能性がある。本実施形態においては、このノイズの影響を軽減することについて説明する。
　図１１は、本実施形態に係るノイズの補正方法について説明するための図である。例えば、中央にある緑色の強度を取得する撮像画素80において、右上にある1つの分割画素82B（右上がりの斜線の分割画素）を用いてフレア補正をする場合について説明する。
　例えば、(1)式、(2)式等を用いて、1分割画素同士の画素値を比較する場合、分割画素82Bにおいてノイズが発生していると、これらの式を満たすのがノイズの影響であることがある。例えば、分割画素82Bに黒色に近いノイズが乗った場合、xC - xBが大きな値となることがあり、本来であればフレアが発生していないのに、フレアが発生したと判断されることがある。
　このようなノイズの影響を抑制するために、以下のような式に基づいてノイズ判定を行ってもよい。
Figure JPOXMLDOC01-appb-M000005
 ここで、thnは、ノイズを判断するためのしきい値である。信号処理部12は、分割画素82A、82C、82Dの画素値の平均とフレア補正に用いた分割画素82Bの画素値との差がこの所定しきい値よりも大きいか否かを判定する。ノイズを判定するためのしきい値thnは、例えば、thf > thn > thpを満たすしきい値である。なお、ノイズ判定は、この(5)式には限られず、適切にノイズが検出できるものであればよい。例えば、(2)式のように比率により検出してもよい。
　(5)式が真である場合には、分割画素82Bにおいてノイズが発生したと判断し、ノイズ補正の処理を実行してもよい。
　信号処理部12は、例えば、周囲にある同じ色を取得する撮像画素80の画素値に基づいて、フレア補正された画素値をノイズ補正してもよい。信号処理部12は、例えば、図１１において左上がりの斜線で示された画素値を用いて双一次補間、双三次補間等の手法により補正を実行してもよい。例えば、前後左右にある1つの同色の画素値を用いて補正を実行しているが、これには限られず、斜め方向の撮像画素80の情報を用いてもよいし、同じ方向に対して2つ以上の撮像画素80の情報を用いてもよい。
　また、(5)式においては、他の分割画素82の情報を用いたが、これには限られない。例えば、xBtを現フレームの分割画素82Bの出力値とし、時間軸で考えてもよい。
Figure JPOXMLDOC01-appb-M000006
 この(6)式のように、ノイズ検出は、フレーム間の平均値との差により実行されてもよい。特に、静止画を撮影する場合には、この(6)式に示す手法を有効に用いることが可能である。(6)式の代わりに、比率を用いて判断してもよい。
　フレーム間の情報を用いる場合、ノイズ補正をフレーム間の情報を用いて実行してもよい。例えば、以下の式により撮像画素80の画素値を補正してもよい。
Figure JPOXMLDOC01-appb-M000007
 上記においては、ノイズ判定及び補正の双方において、前後2フレームの情報を用いているがこれには限られず、前後1フレーム、又は、前後3フレーム以上の情報を用いてもよい。
　また、信号処理部12は、ノイズ補正についても上述した訓練済みのモデルを用いて実行してもよい。
　図１２は、本実施形態に係る処理を示すフローチャートである。
　S200からS204の処理は、図１０におけるS100からS104の処理と同等であるので説明を省略する。
　フレア補正が実行された後、又は、フレア補正を実行しない場合、次に、フレア補正量がしきい値より大きいか否かを判定する（S206）。すなわち、(5)式、(6)式等に基づき、分割画素82のうちフレア補正に用いた分割画素と、その他の分割画素との感度の差が、ノイズであるか否かを、しきい値thnにより判定する。
　フレア補正量がしきい値より大きい場合（S206：YES）、ノイズ補正を実行する（S208）。信号処理部12は、例えば、上記に示した空間方向、又は、時間方向の情報を用いてノイズ補正を実行する。なお、補正の手法は、上記に挙げられたものには限られず、適切な方法を用いてもよい。
　ノイズの補正後、又は、フレア補正量がthn以下である場合（S206：NO）、信号処理部12は、画像データを取得する（S210）。
　以上のように、本実施形態によれば、フレア補正とともに、当該フレア補正に用いる分割画素の出力値がノイズであるか否かの判断を行い、ノイズと判断される場合には、空間的、時間的に補正して取得することが可能となる。特に、分割画素のうち1つを用いてフレア補正を実行する場合には、この手法は、有効であるが、この他の場合においても、同様に適用することが可能である。例えば、上記の(6)式、(7)式のxBを、フレア補正された画素値として適用してもよい。
　なお、ノイズのしきい値thnは、被写体全体としての光量、又は、撮像部8全体としての信号の取得量、感知量により変化するため、適応的に変化するものであってもよい。すなわち、信号処理部12は、周囲の状況に基づいて、適切にしきい値thnを変更して上記のノイズ検出処理を実行してもよい。
　（第３実施形態）
　第１実施形態、又は、第２実施形態においては、フレア補正を全ての被写体に対して実行するものとしたが、これには限られない。例えば、信号処理部12は、フレアが発生したことを検知して、フレア補正を実行してもよい。
　信号処理部12は、例えば、所定の明るさ以上の被写体が含まれることを検知して、前述のフレア補正を実行してもよい。また、別の例として、信号処理部12は、取得した画素値に基づいてフレアが発生していることを検知して、前述のフレア補正を実行してもよい。
　図１３は、本実施形態に係るフレア補正の処理を示すフローチャートである。
　まず、信号処理部12は、周囲の環境、状態に関する情報、又は、フレア補正等の補正を行っていない画像データを取得する（S300）。
　次に、信号処理部12は、当該情報に基づいて、フレアが発生する可能性があるか否か、又は、フレアが発生しているか否かを判断する（S302）。例えば、所定のしきい値よりも高い輝度、照度を有する物体が被写体として存在する場合には、信号処理部12は、フレアが発生する可能性があると判断する。また、取得された画素値において、白抜けしている画素の領域があるか否か等に基づいて、フレアが発生しているか否かを判断する。これらは、一例として記載したものであり、適切にフレア発生の可能性、又は、フレアの発生を判定できる基準に基づいて、当該判断を実行してもよい。
　フレアが発生する可能性がある、又は、フレアが発生していると判断された場合（S302：YES）、信号処理部12は、フレア補正、ノイズ補正を実行する（S304）。このサブルーチンは、例えば、図１０に示すS100～S104の処理、又は、図１２に示すS200～S208の処理と同等の処理である。
　フレア補正、ノイズ補正を行った後、又は、フレアが発生しない、発生していない場合（S302：NO）、信号処理部12は、画素値を取得する（S306）。
　以上のように、本実施形態によれば、常にフレア補正を実行するのではなく、必要に応じてフレア補正を実行しないことが可能となる。フレア補正をする必要がない場合には、補正の処理により画素値が本来のものよりも劣化する可能性があるが、このようなフレア発生の可能性、又は、フレア発生の事実がない場合に、当該処理を回避することにより、再現性の高い画像を取得することが可能となる。また、信号処理部12の動作を削減することも可能となる。
　（第４実施形態）
　本実施形態における電子機器1では、フレアが発生した場合であっても、いずれかのカメラモジュール3においては、フレアの発生が弱くなるように配置するものである。
　図１４は、本実施形態に係る電子機器1の断面図を示す図である。図１４に示すように、電子機器1は、表示パネル4において、複数のカメラモジュール3、すなわち、複数の光学系9と複数の撮像部8を備える。例えば、画像を取得するカメラモジュール3において、ある撮像画素80においてフレアが発生した場合に、異なる位置に配置されているカメラモジュール3の同じ被写体の位置を取得している撮像画素80に着目する。位置がずれることにより、撮像された画像におけるフレアの位置もずれるので、同じ被写体の位置を示す撮像画素80においては、一方でフレアが生じていても、他方においてはフレアが生じていない可能性が高い。
　これに基づいて、フレアが発生していると判断された撮像画素80に対して、被写体の同じ位置を取得している他方の撮像部8の撮像画素80を参照して、フレア補正をしてもよい。より具体的には、一方の撮像画素80の分割画素82に対応する、他方の撮像画素80の分割画素82のデータを用いて、撮像画素80のフレア補正を実行してもよい。
　以上のように、本実施形態によれば、撮像部8を複数備え、対応する撮像画素80の対応する分割画素82のデータを用いることにより、フレア補正の精度を向上することが可能となる。
　なお、カメラモジュール3間において、表示パネル4等によりフレアが伝達しないように、遮光部30を備えてもよい。遮光部30は、例えば、遮光性の高い材料により形成された遮光膜であってもよいし、光の吸収率の高い材料により形成された吸収膜であってもよい。
　（第５実施形態）
　前述の各実施形態では、フレア補正への応用について記載したが、本開示における技術は、この応用に限られるものではない。カメラモジュール3の上方には、図１等に示すように、ディスプレイ、タッチパネル等の種々のモジュールが搭載される。このため、撮像部8に入射する光は、これらの配線等によりその一部が遮られることがある。本実施形態に係る電子機器は、このように光が一部遮られる場合に、分割画素及び信号処理により画素値を補正しようとするものである。
　図１５は、表示部2と光が入射することにより撮像部8に形成される配線の影を示す図である。
　上図は、表示部2を模式的に示す図である。例えば、表示部2においては、複数の表示画素40が備えられ、当該表示画素40を駆動するための複数の配線41が備えられる。この配線は、例えば、ディスプレイを横断、縦断等する制御線、信号線等である。ディスプレイ下方に備えられるカメラモジュール3においては、この配線41の影が問題となることがある。
　下図は、撮像部8を模式的に示す図である。実線は、撮像画素80の境界を、点線は、分割画素82の境界を示す。例えば、光が入射した場合に、この下図に示すように、配線41の影83が撮像画素80に落とされる。このような影83が存在すると、分割画素82を用いずに撮像画素80がそれぞれ1つの光電素子を備える場合には、影の領域において入射する光量が低下するので、全体として取得できる輝度が低下する場合がある。
　そこで、分割画素82を利用することにより、この輝度の低下を抑制する。分割画素82を用いた場合においても、影83が存在すると撮像画素80の画素値として分割画素82の加算値を用いることから、輝度が低下する場合がある。例えば、下図の一番左上の撮像画素80においては、右下の分割画素82からの出力値が低下し、撮像画素80全体としての輝度が低下する。また、その右隣の撮像画素80においては、下半分の分割画素82にからの出力値が低下し、撮像画素80全体としての輝度が低下する。
　図１６は、輝度、すなわち、入射される光の強度が影83により低下する分割画素82を示す図である。斜線で表した分割画素82が、影83により影響を受ける分割画素であり、これらの分割画素82において出力する信号の値が低くなり、撮像画素80の輝度を低下させる原因となる。この影響を回避するため、斜線で示した分割画素82からの出力値による撮像画素80の画素値の低下を、他の分割画素82を用いることにより算出する。
　信号処理部12は、例えば、撮像画素80Aに属する分割画素82においては、右下の分割画素82Dを考慮せずに、輝度値xを、x = (4 / 3) × (xA + xB + xC)として計算する。
　信号処理部12は、例えば、撮像画素80Bに属する分割画素82においては、下半分の分割画素82C、82Dを考慮せずに、輝度値xを、x = 2 × (xA + xB)として計算する。
　信号処理部12は、例えば、撮像画素80Cに属する分割画素82においては、右下の分割画素82Dを用いて、輝度値xを、x = 4 × xDとして計算する。
　まとめると、信号処理部12は、輝度値xを、利用できる分割画素82からの出力値の和に撮像画素80ごとに設定されているゲインを積算したものとして算出する。ゲインは、例えば、撮像画素80内において利用できる分割画素数により決定される。このように計算することで、信号処理部12は、影83の影響を抑制した撮像画素80の画素値を取得することが可能である。
　なお、この場合、ノイズの影響が大きくなる可能性がある。これを回避するために、前述の第２実施形態と同様のノイズ補正を実行してもよい。また、第２実施形態とは別のノイズ補正を実行してもよい。例えば、撮像画素80Cにおいては、常時1つの分割画素82Dからの出力に基づいた画素値が出力されるため、出力値が安定しないことがある。このため、例えば、信号処理部12は、撮像画素80Cにおいては、特に指定のない限り周辺の同色の撮像画素80を用いて補間処理を実行し、ノイズの影響を低減させてもよい。
　以上のように、本実施形態によれば、表示部2に備えられる配線等が撮像部8に形成するアーティファクトの影響を、当該アーティファクトが発生する領域と、撮像画素80のそれぞれにおける利用できる分割画素82の出力値と、ゲインとを用いることにより低減することが可能となる。
　さらに、この処理と併せて、前述の実施形態におけるフレア補正、ノイズ補正を実行してもよい。
　このように、ディスプレイ下方に設けられるカメラモジュール3において、撮像部8に撮像画素80に対する分割画素82を形成することにより、フレア、ディスプレイの影等に起因するアーティファクトの補正を実現することが可能となる。
　（第６実施形態）
　本実施形態では、電子機器1は、カメラモジュール3の光学系9としてマイクロレンズアレイを備える。
　図１７は、本実施形態に係るカメラモジュール3を示す図である。カメラモジュール3の光学系9は、マイクロレンズアレイ90を備える。マイクロレンズアレイ90を通過した光は、適切に撮像部8に入射し、撮像部8において信号へと変換されて出力される。
　信号取得部10は、撮像部8から出力された信号に基づいて、画像を再構成してもよい。信号処理部12は、この再構成された画像に基づいて、前述の各実施形態によるアーティファクトの影響を抑制した画素値を取得する。
　以上のように、カメラモジュール3の光学系9は、全体を覆うレンズを備えて構成するものの他に、マイクロレンズアレイを備えていてもよい。この他、フレネルレンズ、ゾーンプレート等を用いることも可能である。
　以下、いくつかの応用例を挙げる。
　（第７実施形態）
　前述の実施形態で説明した構成を備えた電子機器1の具体的な候補としては、種々のものが考えられる。例えば、図１８は各実施形態の電子機器1をカプセル内視鏡50に適用した場合の平面図である。図１８のカプセル内視鏡50は、例えば両端面が半球状で中央部が円筒状の筐体51内に、体腔内の画像を撮影するためのカメラ（超小型カメラ）52、カメラ52により撮影された画像データを記録するためのメモリ53、および、カプセル内視鏡50が被験者の体外に排出された後に、記録された画像データを、アンテナ54を介して外部へ送信するための無線送信機55を備えている。
　また、筐体51内には、CPU 56およびコイル（磁力・電流変換コイル）57が設けられている。CPU 56は、カメラ52による撮影、およびメモリ53へのデータ蓄積動作を制御するとともに、メモリ53から無線送信機55による筐体51外のデータ受信装置（図示せず）へのデータ送信を制御する。コイル57は、カメラ52、メモリ53、無線送信機55、アンテナ54および後述する光源52bへの電力供給を行う。
　さらに、筐体51には、カプセル内視鏡50をデータ受信装置にセットした際に、これを検知するための磁気（リード）スイッチ58が設けられている。CPU 56は、このリードスイッチ58がデータ受信装置へのセットを検知し、データの送信が可能になった時点で、コイル57からの無線送信機55への電力供給を行う。
　カメラ52は、例えば体腔内の画像を撮影するための光学系9を含む撮像素子52a、体腔内を照明する複数の光源52bを有している。具体的には、カメラ52は、光源52bとして、例えばLEDを備えたCMOSセンサやCCD等によって構成される。
　前述の実施形態の電子機器1における表示部2は、図１８の光源52bのような発光体を含む概念である。図１８のカプセル内視鏡50では、例えば2個の光源52bを有するが、これらの光源52bを、複数の光源部を有する表示パネル4や、複数のＬＥＤを有するＬＥＤモジュールで構成可能である。この場合、表示パネル4やＬＥＤモジュールの下方にカメラ52の撮像部8を配置することで、カメラ52のレイアウト配置に関する制約が少なくなり、より小型のカプセル内視鏡50を実現できる。
　（第８実施形態）
　また、図１９は前述の実施形態の電子機器1をデジタル一眼レフカメラ60に適用した場合の背面図である。デジタル一眼レフカメラ60やコンパクトカメラは、レンズとは反対側の背面に、プレビュー画面を表示する表示部2を備えている。この表示部2の表示面とは反対側にカメラモジュール3を配置して、撮影者の顔画像を表示部2の表示画面1aに表示できるようにしてもよい。前述の各実施形態による電子機器1では、表示部2と重なる領域にカメラモジュール3を配置できるため、カメラモジュール3を表示部2の額縁部分に設けなくて済み、表示部2のサイズを可能な限り大型化することができる。
　（第９実施形態）
　図２０は前述の実施形態の電子機器1をヘッドマウントディスプレイ（以下、HMD）61に適用した例を示す平面図である。図２０のHMD 61は、VR（Virtual Reality）、AR（Augmented Reality）、MR（Mixed Reality）、又は、SR（Substitutional Reality）等に利用されるものである。現状のHMDは、図２１に示すように、外表面にカメラ62を搭載しており、HMDの装着者は、周囲の画像を視認することができる一方で、周囲の人間には、HMDの装着者の目や顔の表情がわからないという問題がある。
　そこで、図２０では、HMD 61の外表面に表示部2の表示面を設けるとともに、表示部２の表示面の反対側にカメラモジュール3を設ける。これにより、カメラモジュール3で撮影した装着者の顔の表情を表示部2の表示面に表示させることができ、装着者の周囲の人間が装着者の顔の表情や目の動きをリアルタイムに把握することができる。
　図２０の場合、表示部2の裏面側にカメラモジュール3を設けるため、カメラモジュール3の設置場所についての制約がなくなり、HMD 61のデザインの自由度を高めることができる。また、カメラを最適な位置に配置できるため、表示面に表示される装着者の目線が合わない等の不具合を防止できる。
　このように、本実施形態では、前述の実施形態による電子機器1を種々の用途に用いることができ、利用価値を高めることができる。
　なお、本技術は以下のような構成を取ることができる。
（１）
　表示部と、
　前記表示部の表示面と反対側に配置される、撮像部と、
　信号処理部と、
　を有し、
　前記撮像部は、
　　複数のオンチップレンズと、
　　複数の画素と、
　を備え、
　前記オンチップレンズは、第１のオンチップレンズを有し、
　前記複数の画素は、第１の画素を有し、
　前記第１の画素は、第１のオンチップレンズと重なって配置され、
　前記第１の画素は、複数の光電変換部を有し、
　前記信号処理部は、前記複数の画素から出力される信号を処理する、
　電子機器。
（２）
　前記第１の画素は、所定色の情報を取得する、
　（１）に記載の電子機器。
（３）
　前記第１の画素は、色フィルタを備える、
　（２）に記載の電子機器。
（４）
　前記第１の画素は、同一の前記第１の画素に属するそれぞれの前記光電変換部が同じ色の受光をする有機光電変換膜を備える、
　（２）に記載の電子機器。
（５）
　前記第１の画素は、m × n（m、nは、それぞれ2以上の整数）個の前記光電変換部を備える、
　（１）～（４）のいずれかに記載の電子機器。
（６）
　前記光電変換部は、光電変換素子を備える、
　（１）～（５）のいずれかに記載の電子機器。
（７）
　前記光電変換素子は、フォトダイオードである、
　（６）に記載の電子機器。
（８）
　前記撮像部は、ベイヤ配列により色づけされた複数の前記第１の画素を有する、
　（２）又は（３）に記載の電子機器。
（９）
　前記レンズは、オンチップレンズである、
　（１）～（８）のいずれかに記載の電子機器。
（１０）
　前記表示部と前記撮像部との間に前記レンズとは別の光学系を備える、
　（１）～（９）のいずれかに記載の電子機器。
（１１）
　前記光学系は、マイクロレンズアレイである、
　（１０）に記載の電子機器。
（１２）
　前記信号処理部は、同一の前記第１の画素に属する前記光電変換部の出力値を加算して、前記第１の画素の出力値とする、
　（１）～（１１）のいずれかに記載の電子機器。
（１３）
　前記信号処理部は、同一の前記第１の画素に形成される前記光電変換部において、それぞれの前記光電変換部からの出力値が、所定差分又は所定比率を超えた場合に、前記第１の画素の出力値を補正する、
　（１）～（１２）のいずれかに記載の電子機器。
（１４）
　前記所定差分又は前記所定比率は、前記光電変換部の個体差、前記光電変換部の位置による位相差、又は、前記光電変換部において発生するノイズ、のうち少なくとも１つに基づいて決定される、
　（１３）に記載の電子機器。
（１５）
　前記信号処理部は、前記第１の画素において、前記光電変換部のうち出力値の低い画素を用いて前記第１の画素の出力値を算出する、
　（１３）又は（１４）に記載の電子機器。
（１６）
　前記信号処理部は、前記第１の画素の出力値を、前記第１の画素の周辺にある同じ色の出力値を取得する前記第１の画素の出力値を用いて補正する、
　（１３）～（１５）のいずれかに記載の電子機器。
（１７）
　前記信号処理部は、所定の明るさ以上の被写体が含まれる場合に、前記第１の画素における補正をする、
　（１３）～（１６）のいずれかに記載の電子機器。
（１８）
　前記信号処理部は、取得された前記信号からフレア補正を行った画像データを取得する、
　（１３）～（１７）のいずれかに記載の電子機器。
（１９）
　前記信号処理部は、撮像された画像にフレアが発生していることを判定する、
　（１３）～（１８）のいずれかに記載の電子機器。
（２０）
　前記撮像部は、前記表示面における異なる位置に複数存在し、
　前記信号処理部は、フレアが発生していると判定された領域に属する画素について、異なる位置に存在する前記撮像部の対応する画素領域の出力に基づいて補正をする、
　（１９）に記載の電子機器。
（２１）
　前記信号処理部は、フレアが発生していると判定された領域に属する画素について、学習済みモデルに基づいて補正をする、
　（１９）又は（２０）に記載の電子機器。
（２２）
　前記信号処理部は、取得された前記第１の画素において、当該第１の画素に属する複数の前記光電変換部の出力の平均値、当該第１の画素に属する前記光電変換部の出力のうち感度の低い値、又は、当該第１の画素に属する複数の前記光電変換部の出力を学習済みモデルに入力した値、の少なくとも１つに基づいて補正を行う、
　（１３）～（２１）のいずれかに記載の電子機器。
（２３）
　前記信号処理部は、前記表示部の回路又は前記光学系に基づいて、前記第１の画素について前記光電変換部を用いた補正を行う、
　（１０）に記載の電子機器。
（２４）
　前記信号処理部は、前記第１の画素において前記表示部の回路又は前記光学系に基づいた補正を行った場合に、他の前記第１の画素とは異なるノイズ除去を行う、
　（２３）に記載の電子機器。
（２５）
　前記表示部は、デバイスの両面に備えられる、
　（１）～（２４）のいずれかに記載の電子機器。
　本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
1：電子機器、1a：表示画面、1b：ベゼル、
2：表示部、
3：カメラモジュール、
4：表示パネル、4a：基板、40：表示画素、41：配線、
5：円偏光板、
6：タッチパネル、
7：カバーガラス、
8：撮像部、
80：撮像画素、81：レンズ、82：分割画素、83：影、
9：光学系、
10：信号取得部、
12：信号処理部、
14：後処理部、
16：出力部、
18：制御部、
20：記憶部

Claims (18)

  1. 　表示部と、
    　前記表示部の表示面と反対側に配置される、撮像部と、
    　信号処理部と、
    　を有し、
    　前記撮像部は、
    　　複数のオンチップレンズと、
    　　複数の画素と、
    　を備え、
    　前記オンチップレンズは、第１のオンチップレンズを有し、
    　前記複数の画素は、第１の画素を有し、
    　前記第１の画素は、第１のオンチップレンズと重なって配置され、
    　前記第１の画素は、複数の光電変換部を有し、
    　前記信号処理部は、前記複数の画素から出力される信号を処理する、
    　電子機器。
  2. 　前記第１の画素は、所定色の情報を取得する、
    　請求項１に記載の電子機器。
  3. 　前記第１の画素は、色フィルタを備え、又は、同一の前記第１の画素に属するそれぞれの前記光電変換部が同じ色の受光をする有機光電変換膜を備える、
    　請求項２に記載の電子機器。
  4. 　前記第１の画素は、m × n（m、nは、それぞれ2以上の整数）個の前記光電変換部を備える、
    　請求項１に記載の電子機器。
  5. 　前記光電変換部は、フォトダイオードを備える、
    　請求項１に記載の電子機器。
  6. 　前記撮像部は、ベイヤ配列により色づけされた複数の前記第１の画素を有する、
    　請求項２に記載の電子機器。
  7. 　前記信号処理部は、同一の前記第１の画素に属する前記光電変換部の出力値を加算して、前記第１の画素の出力値とする、
    　請求項１に記載の電子機器。
  8. 　前記信号処理部は、同一の前記第１の画素に形成される前記光電変換部において、それぞれの前記光電変換部からの出力値が、所定差分又は所定比率を超えた場合に、前記第１の画素の出力値を補正する、
    　請求項１に記載の電子機器。
  9. 　前記所定差分又は前記所定比率は、前記光電変換部の個体差、前記光電変換部の位置による位相差、又は、前記光電変換部において発生するノイズ、のうち少なくとも１つに基づいて決定される、
    　請求項８に記載の電子機器。
  10. 　前記信号処理部は、前記第１の画素において、前記光電変換部のうち出力値の低い画素を用いて前記第１の画素の出力値を算出する、
    　請求項８に記載の電子機器。
  11. 　前記信号処理部は、前記第１の画素の出力値を、前記第１の画素の周辺にある同じ色の出力値を取得する前記第１の画素の出力値を用いて補正する、
    　請求項８に記載の電子機器。
  12. 　前記信号処理部は、所定の明るさ以上の被写体が含まれる場合に、前記第１の画素における補正をする、
    　請求項８に記載の電子機器。
  13. 　前記信号処理部は、取得された前記信号からフレア補正を行った画像データを取得する、
    　請求項８に記載の電子機器。
  14. 　前記信号処理部は、撮像された画像にフレアが発生していることを判定し、フレアが発生していると判定される場合に、フレア補正を行う、
    　請求項８に記載の電子機器。
  15. 　前記信号処理部は、取得された前記第１の画素において、当該第１の画素に属する複数の前記光電変換部の出力の平均値、当該第１の画素に属する前記光電変換部の出力のうち感度の低い値、又は、当該第１の画素に属する複数の前記光電変換部の出力を学習済みモデルに入力した値、の少なくとも１つに基づいて補正を行う、
    　請求項８に記載の電子機器。
  16. 　前記信号処理部は、前記表示部の回路又は前記表示部と前記撮像部との間に備えられる光学系に基づいて、前記第１の画素について前記光電変換部を用いた補正を行う、
    　請求項８に記載の電子機器。
  17. 　前記信号処理部は、前記第１の画素において前記表示部の回路又は前記光学系に基づいた補正を行った場合に、他の前記第１の画素とは異なるノイズ除去を行う、
    　請求項１６に記載の電子機器。
  18. 　前記表示部は、デバイスの両面に備えられる、
    　請求項１に記載の電子機器。
PCT/JP2021/001329 2020-02-03 2021-01-15 電子機器 WO2021157324A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020227025515A KR20220135235A (ko) 2020-02-03 2021-01-15 전자 기기
DE112021000853.6T DE112021000853T5 (de) 2020-02-03 2021-01-15 Elektronisches gerät
JP2021575691A JPWO2021157324A1 (ja) 2020-02-03 2021-01-15
EP21750049.5A EP4102816A4 (en) 2020-02-03 2021-01-15 ELECTRONIC DEVICE
US17/790,021 US20230030068A1 (en) 2020-02-03 2021-01-15 Electronic equipment

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-016524 2020-02-03
JP2020016524 2020-02-03

Publications (1)

Publication Number Publication Date
WO2021157324A1 true WO2021157324A1 (ja) 2021-08-12

Family

ID=77199289

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/001329 WO2021157324A1 (ja) 2020-02-03 2021-01-15 電子機器

Country Status (8)

Country Link
US (1) US20230030068A1 (ja)
EP (1) EP4102816A4 (ja)
JP (1) JPWO2021157324A1 (ja)
KR (1) KR20220135235A (ja)
CN (2) CN214381044U (ja)
DE (1) DE112021000853T5 (ja)
TW (1) TW202143213A (ja)
WO (1) WO2021157324A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114066785A (zh) * 2020-07-31 2022-02-18 北京小米移动软件有限公司 图像处理方法及装置、终端和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000298253A (ja) * 1999-04-14 2000-10-24 Seiko Epson Corp 撮像機能付き液晶表示装置、コンピュータ、テレビジョン電話およびディジタルカメラ
JP2004147046A (ja) * 2002-10-24 2004-05-20 Matsushita Electric Ind Co Ltd ディジタルカメラおよびディジタルカメラ付き携帯電話装置
JP2013126180A (ja) * 2011-12-15 2013-06-24 Olympus Corp 映像装置
JP2013211413A (ja) 2012-03-30 2013-10-10 Fujifilm Corp 固体撮像素子及び撮像装置
JP2017181797A (ja) * 2016-03-30 2017-10-05 キヤノン株式会社 焦点検出装置およびその方法、撮像装置、プログラム、記憶媒体
CN108848317A (zh) * 2018-09-25 2018-11-20 Oppo（重庆）智能科技有限公司 拍照控制方法及相关产品

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8223188B2 (en) * 2008-09-16 2012-07-17 Alcatel Lucent Monitor having integral camera and method of operating the same
CN103502866B (zh) * 2011-04-01 2014-12-31 富士胶片株式会社 摄影装置
US9057931B1 (en) * 2012-06-14 2015-06-16 Amazon Technologies, Inc. Display integrated camera
US9749562B2 (en) * 2015-11-13 2017-08-29 Omnivision Technologies, Inc. Liquid crystal display and infrared image sensor on silicon
US10958841B2 (en) * 2017-01-06 2021-03-23 Intel Corporation Integrated image sensor and display pixel
TW202131671A (zh) * 2019-10-07 2021-08-16 日商索尼半導體解決方案公司 電子機器
US11367744B2 (en) * 2019-12-05 2022-06-21 Omnivision Technologies, Inc. Image sensor with shared microlens and polarization pixel
KR20210080875A (ko) * 2019-12-23 2021-07-01 삼성전자주식회사 이미지 센서를 포함하는 전자 장치 및 그의 동작 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000298253A (ja) * 1999-04-14 2000-10-24 Seiko Epson Corp 撮像機能付き液晶表示装置、コンピュータ、テレビジョン電話およびディジタルカメラ
JP2004147046A (ja) * 2002-10-24 2004-05-20 Matsushita Electric Ind Co Ltd ディジタルカメラおよびディジタルカメラ付き携帯電話装置
JP2013126180A (ja) * 2011-12-15 2013-06-24 Olympus Corp 映像装置
JP2013211413A (ja) 2012-03-30 2013-10-10 Fujifilm Corp 固体撮像素子及び撮像装置
JP2017181797A (ja) * 2016-03-30 2017-10-05 キヤノン株式会社 焦点検出装置およびその方法、撮像装置、プログラム、記憶媒体
CN108848317A (zh) * 2018-09-25 2018-11-20 Oppo（重庆）智能科技有限公司 拍照控制方法及相关产品

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4102816A4

Also Published As

Publication number Publication date
CN214381044U (zh) 2021-10-08
TW202143213A (zh) 2021-11-16
DE112021000853T5 (de) 2022-12-08
US20230030068A1 (en) 2023-02-02
KR20220135235A (ko) 2022-10-06
EP4102816A4 (en) 2023-08-16
EP4102816A1 (en) 2022-12-14
CN113286058A (zh) 2021-08-20
JPWO2021157324A1 (ja) 2021-08-12

Similar Documents

Publication Publication Date Title
EP2589226B1 (en) Image capture using luminance and chrominance sensors
Xiao et al. Mobile imaging: the big challenge of the small pixel
US7586072B2 (en) Correlation operation method, correlation operation device, focus detection device and imaging device
US20170339384A1 (en) Image-capturing device, image-processing device, image-processing method, and image-processing program
WO2021070867A1 (ja) 電子機器
US11347978B2 (en) Image processing apparatus, image processing method, and image processing system
WO2021157324A1 (ja) 電子機器
US9497427B2 (en) Method and apparatus for image flare mitigation
TW202205847A (zh) 攝像元件及電子機器
KR101139661B1 (ko) 촬상 장치 및 촬상 방법
WO2021157237A1 (ja) 電子機器
WO2021149503A1 (ja) 電子機器
CN213718047U (zh) 电子设备
JP5406163B2 (ja) ３次元撮像装置および画像処理装置
WO2022244354A1 (ja) 撮像素子及び電子機器
WO2022239394A1 (ja) 撮像素子、撮像装置及び電子機器
WO2023106010A1 (ja) 電子機器
US20240163581A1 (en) Imaging element and imaging device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21750049

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021575691

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2021750049

Country of ref document: EP

Effective date: 20220905