WO2021095581A1 - 電子機器 - Google Patents

電子機器 Download PDF

Info

Publication number
WO2021095581A1
WO2021095581A1 PCT/JP2020/040954 JP2020040954W WO2021095581A1 WO 2021095581 A1 WO2021095581 A1 WO 2021095581A1 JP 2020040954 W JP2020040954 W JP 2020040954W WO 2021095581 A1 WO2021095581 A1 WO 2021095581A1
Authority
WO
WIPO (PCT)
Prior art keywords
optical system
imaging optical
electronic device
imaging
image
Prior art date
Application number
PCT/JP2020/040954
Other languages
English (en)
French (fr)
Inventor
征志 中田
淳一 金井
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to EP20887168.1A priority Critical patent/EP4060405A4/en
Priority to KR1020227014957A priority patent/KR20220091496A/ko
Priority to US17/773,968 priority patent/US20220343471A1/en
Priority to JP2021556027A priority patent/JPWO2021095581A1/ja
Publication of WO2021095581A1 publication Critical patent/WO2021095581A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00—Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/53—Constructional details of electronic viewfinders, e.g. rotatable or detachable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2201/00—Constructional arrangements not provided for in groups G02F1/00 - G02F7/00
    • G02F2201/58—Arrangements comprising a monitoring photodetector
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0266—Details of the structure or mounting of specific components for a display module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/30—Devices specially adapted for multicolour light emission
    • H10K59/38—Devices specially adapted for multicolour light emission comprising colour filters or colour changing media [CCM]

Definitions

  • This disclosure relates to electronic devices.
  • Recent electronic devices such as smartphones, mobile phones, and PCs (Personal Computers) are equipped with a camera on the frame (bezel) of the display unit, making it easy to make videophone calls and shoot videos. Since smartphones and mobile phones are often carried in pockets or bags, it is necessary to make the external size as compact as possible. On the other hand, if the size of the display screen is small, the higher the display resolution, the smaller the displayed character size and the more difficult it is to see. Therefore, it has been studied to make the size of the display screen as large as possible without increasing the outer size of the electronic device by reducing the width of the bezel around the display screen.
  • the bezel width cannot be made smaller than the outer diameter size of the camera.
  • the line of sight is often placed near the center of the display screen, so the line of sight shifts from the optical axis of the camera, and the line of sight does not match. A shot image with a certain image is obtained.
  • the camera module on the side opposite to the display surface of the display unit and to shoot the subject light passing through the display unit with the camera.
  • One aspect of the present disclosure provides an electronic device capable of suppressing deterioration of the image quality of an image captured by a camera while reducing the width of the bezel.
  • the electronic device includes a display unit having a displayable region in which display optics are provided in an array along a second direction intersecting the first direction and the first direction and a second direction. In the third direction intersecting the directions, it is arranged on the side opposite to the display surface of the display unit so as to overlap the displayable area, and at least the first imaging optical system and the first imaging optical in at least one of the first direction and the second direction.
  • Image data is acquired based on a plurality of imaging optical systems having a second imaging optical system having coordinates different from those of the system, and information acquired by the first imaging optical system and the second imaging optical system. It is equipped with an image acquisition unit.
  • the first imaging optical system and the second imaging optical system may be two optical systems arbitrarily selected from the plurality of imaging optical systems. That is, the configuration described below may be a feature for at least two of the plurality of imaging optical systems. Further, one feature and the other feature may be night-time in different combinations of the first and second optics. As described above, the following features may be possessed by at least two of the plurality of imaging optical systems.
  • light may propagate from the display surface of the display unit to the first imaging optical system and the second imaging optical system via optical systems having different optical characteristics. Further, all of the plurality of imaging optical systems may have different optical characteristics, and some may have the same optical characteristics. As described above, at least two imaging optical systems may have different optical characteristics in the optical path of light propagating from the display surface. By having different optical characteristics, the characteristics of the flare generated may be changed.
  • the electronic device may be provided with an aperture in which the light incident from the display surface propagates to the display unit, and the light incident from the display surface may propagate to the imaging optical system through the aperture.
  • this aperture may form the above optical features.
  • the aperture that propagates light to the first imaging optical system and the aperture that propagates light to the second imaging optical system may have different layouts. This layout may form different optical features.
  • the aperture that propagates light to the first imaging optical system and the aperture that propagates light to the second imaging optical system may form a diffraction image in different directions.
  • an aperture that propagates light to the first imaging optical system has a size larger than the size of the second direction in the first direction
  • an aperture that propagates light to the second imaging optical system has a size of the second direction. It may be larger than the size in one direction.
  • the flare generation direction can be different in the two imaging optical systems.
  • the electronic device may include a third imaging optical system, which has the same parallax as the first imaging optical system and the second imaging optical system with respect to the first imaging optical system, and the image acquisition unit may include a third imaging optical system.
  • Image data may be acquired based on the information acquired based on the information acquired from the imaging optical system and the third imaging optical system and the information acquired from the first imaging optical system. That is, for a combination of two imaging optical systems, an imaging optical system having equivalent parallax in opposite directions may be further provided centering on either of these two imaging optical systems.
  • the first imaging optical system In the first direction or the second direction of the display surface, the first imaging optical system is provided near the center, and the second imaging optical system and the third imaging optical system sandwich the first imaging optical system.
  • the first imaging optical system may have a smaller region facing the display surface in the third direction than the second imaging optical system and the third imaging optical system. That is, the second and third imaging optical systems may be provided at both ends on the display surface of the electronic device 1, and the first imaging optical system that is less conspicuous than these imaging optical systems may be provided near the center.
  • the arrangement of the first imaging optical system and the second imaging optical system may have different coordinates in both the first direction and the second direction.
  • the two imaging optical systems may have different coordinates in only the first direction, only in the second direction, and in both the first direction and the second direction. That is, on the display surface, the two imaging optical systems may be arranged horizontally, vertically, or in any direction.
  • the image acquisition unit When the image acquisition unit synthesizes the data acquired from the first imaging optical system and the data acquired from the second imaging optical system, the image acquisition unit obtains the imaging result based on the data having low intensity at the position in the image data which is the composite result. You may get it. Flare often has higher brightness and light intensity than the object to be imaged in the acquired data. Therefore, when the image acquisition unit acquires the image data, of the signals acquired from the two imaging optical systems, the flare is used. Images may be acquired based on low intensity signals.
  • the first imaging optical system and the second imaging optical system have directions to be reflected with priority on each of them, and the image acquisition unit either of them when a difference of a predetermined value or more occurs in the output for each direction.
  • the imaging result may be acquired using the result. For example, when the first imaging optical system generates flare along the first direction and the second imaging optical system generates flare along the second direction, the image acquisition unit uses imaging optics with less flare generation. Image data may be acquired based on the output from the system.
  • the space between the first imaging optical system and the second imaging optical system may be shielded from light. In this way, the light may be shielded between the first imaging optical system and the second imaging optical system to suppress the influence on each other's optical systems.
  • the image acquisition unit may synthesize the information acquired by the first imaging optical system and the second imaging optical system using the trained model. In this way, for example, data output from a plurality of imaging optical systems may be combined using a model generated by machine learning.
  • This trained model may be trained based on data collected from multiple electronic devices. For example, a model may be generated based on an electronic device 1 manufactured with the same model number. Further, even in the model number, the model may be changed and trained based on the imaging mode or the like.
  • the image acquisition unit may make corrections when the parallax in a plurality of images acquired by a plurality of imaging optical systems exceeds a predetermined amount.
  • image data may be acquired by detecting a region where flare occurs from parallax and performing image processing on that region.
  • At least one imaging optical system may be composed of a microlens array. As described above, one imaging system may be provided with a lens system instead of one lens.
  • a plurality of imaging optical systems may be provided in the area where the microlens array is provided. In this way, a plurality of imaging optical systems may be formed using one microlens array.
  • the first image pickup optical system and the second image pickup optical system may acquire information in the same image pickup element.
  • a plurality of image pickup optical systems may be formed in one image pickup device, for example, a one-chip image pickup device.
  • a microlens array for one chip it is possible to have a configuration in which a plurality of imaging optical systems are provided for each region.
  • the image acquisition unit may be arranged on the same chip as the image sensor.
  • one chip may be provided with an image sensor and a logic circuit, the data acquired by the image sensor may be DA-converted, and the converted data may be processed by the logic circuit. It may be formed as a plurality of laminated chips instead of one chip.
  • the display unit may include a plurality of display optical systems having different optical features.
  • the display optical system may be a mixture of OLED, MicroLED, liquid crystal, and the like.
  • the flare based on the result of reflection, refraction, and diffraction in the display unit has different characteristics depending on the imaging optical system. It can also be.
  • At least one of the plurality of imaging optical systems may operate when signal correction is required in the image acquisition unit. For example, it may be switched whether or not to correct by the image pickup optical system based on the surrounding environment, such as providing an image pickup element that corrects when the electronic device detects a strong light source.
  • the first imaging optical system and the second imaging optical system may be integrated.
  • the light receiving element and the optical path to the light receiving element may be adjacent to each other.
  • the first imaging optical system and the second imaging optical system may be provided near the boundary of the display surface.
  • the boundary is, for example, an end portion of the display surface, and a plurality of imaging optical systems may be provided at this end portion.
  • the first imaging optical system and the second imaging optical system may be arranged at a distance of 50 mm or more and 80 mm or less, and the image acquisition unit is the information acquired by the first imaging optical system and the second imaging optical system. Disparity image data may be generated.
  • the two imaging optics may be arranged so as to have a distance equivalent to the distance between the human eyes.
  • Display units may be provided on both sides of the device.
  • a plurality of imaging optical systems may be provided on each of the plurality of display units, one may be provided with a plurality of imaging optical systems and the other may not be provided, and one may be provided with a plurality of imaging optical systems.
  • One imaging optical system may be provided and the other may be provided with a plurality of imaging optical systems.
  • the fourth imaging optical system that is different from the first imaging optical system and the second imaging optical system, and the fourth imaging optical system and the first imaging optical system or the second imaging optical system have any of the above characteristics. You may have. As described at the beginning, the first imaging optical system and the second imaging optical system are only two of a plurality of imaging optical systems extracted, and do not indicate a specific imaging optical system.
  • the figure which shows an example of the image imaged by the image pickup optical system of FIG. The figure which shows an example of the image acquired by the image acquisition part which concerns on one Embodiment.
  • the figure which shows an example of the image imaged by the image pickup optical system of FIG. A schematic external view of an electronic device according to an embodiment.
  • the figure which shows an example of the image imaged by the image pickup optical system of FIG. It is a figure which shows an example which combined the image acquired by the imaging optical system at both ends of FIG.
  • a schematic cross-sectional view of an electronic device according to an embodiment. A schematic cross-sectional view of an electronic device according to an embodiment.
  • the schematic diagram which shows an example of the imaging optical system which concerns on one Embodiment The schematic diagram which shows an example of the imaging optical system which concerns on one Embodiment.
  • the schematic diagram which shows an example of the imaging optical system which concerns on one Embodiment The schematic diagram which shows an example of the imaging optical system which concerns on one Embodiment.
  • the schematic diagram which shows an example of the imaging optical system which concerns on one Embodiment The schematic diagram which shows an example of the imaging optical system which concerns on one Embodiment.
  • the schematic diagram which shows an example of the imaging optical system which concerns on one Embodiment The schematic diagram which shows an example of the imaging optical system which concerns on one Embodiment.
  • the schematic diagram which shows an example of the imaging optical English which concerns on one Embodiment The schematic diagram which shows an example of the implementation of the imaging part which concerns on one Embodiment.
  • the schematic diagram which shows an example of the implementation of the imaging part which concerns on one Embodiment. The figure which shows an example of the arrangement of the imaging optical system which concerns on one Embodiment.
  • the figure which shows an example of the arrangement of the imaging optical system which concerns on one Embodiment. The figure which shows an example of the arrangement of the imaging optical system which concerns on one Embodiment.
  • the figure which shows an example of the layout of the opening which concerns on one Embodiment The figure which shows an example of the layout of the opening which concerns on one Embodiment.
  • the figure which shows an example of the layout of the opening which concerns on one Embodiment The figure which shows an example of the layout of the opening which concerns on one Embodiment.
  • a plan view when the electronic device of one embodiment is applied to a capsule endoscope.
  • the rear view when the electronic device of one Embodiment is applied to a digital single-lens reflex camera.
  • the electronic device may have components and functions not shown or described.
  • the following description does not exclude components or functions not shown or described.
  • some of them have been changed in size, shape, aspect ratio, etc. for the sake of explanation, they have an appropriate size, shape, aspect ratio, etc. in mounting.
  • the signal to be acquired is described as image information or imaging information, but the image information and imaging information are broadly defined concepts, and one frame in a still image, a moving image, or a moving image. It is a concept that includes images and the like.
  • FIG. 1 is a schematic cross-sectional view of the electronic device 1 according to the first embodiment.
  • the electronic device 1 in FIG. 1 is an arbitrary electronic device having both a display function and a shooting function, such as a smartphone, a mobile phone, a tablet, and a PC.
  • the first direction is the right side of the drawing
  • the second direction is the direction perpendicular to the drawing
  • the third direction is the downward direction of the drawing. That is, the second direction is the direction that intersects the first direction
  • the third direction is the direction that intersects the first direction and the second direction.
  • the intersection may include the intersection at an angle of 90 °, and may not be exactly 90 °.
  • the first direction and the second direction are distinguished for convenience, and are equivalent even if they are interchanged.
  • the electronic device 1 of FIG. 1 includes an imaging optical system (camera module or the like) arranged on the side opposite to the display surface of the display unit 2. As described above, the electronic device 1 is provided with the imaging optical system 3 on the back side (opposite side) of the display surface of the display unit 2. Therefore, the imaging optical system 3 takes a picture through the display unit 2.
  • an imaging optical system camera module or the like
  • the display unit 2 is a structure in which a display panel 4, a circularly polarizing plate 5, a touch panel 6, and a cover glass 7 are laminated in this order.
  • the lamination of FIG. 1 is shown as an example, and even if an adhesive layer or an adhesive layer is provided between the display panel 4, the circularly polarizing plate 5, the touch panel 6, and the cover glass 7, if necessary. Good. Further, the order of the circularly polarizing plate 5 and the touch panel 6 may be appropriately changed depending on the design.
  • the imaging optical system 3 is provided on the opposite side of the display surface of the display unit 2.
  • the imaging optical system 3 includes, for example, a photoelectric element (light receiving element) that receives light and photoelectrically converts it into an analog signal, and an optical system that propagates the light irradiated on the display surface to the photoelectric element. ..
  • the optical system may be, for example, an opening provided in the display panel 4.
  • a plurality of the imaging optical systems 3 are provided for one display unit 2 of the electronic device 1, and for example, two are provided as shown in the figure. The light applied to the display surface is diffracted at the opening and propagated to the light receiving element as shown by the arrow in the figure.
  • the image pickup optical system 3 includes, for example, an image pickup unit 8 and an optical system 9 that collects and diffuses light incident on the image pickup unit 8 from a display surface.
  • the plurality of imaging optical systems 3 are arranged so as to have different coordinates in the second direction, as shown in the figure, but the present invention is not limited to this. For example, it may have different coordinates in the first direction, or it may have different coordinates in both the first direction and the second direction.
  • the display panel 4 may be provided with an OLED (Organic Light Emitting Device) or a liquid crystal such as a TFT as an optical system (display optical system) for displaying, for example. It may be equipped with a Micro LED.
  • the display optical system may include a light emitting element based on other display principles.
  • the light emitting elements as the display optical system may be, for example, a striped array, a mosaic array, may be arranged in an array in the first direction and the second direction, or may be arranged in an oblique direction or a portion. Pixel thinning may be performed.
  • the display optical system may have a light emitting element provided with a laminated filter to change the display color.
  • the display panel 4 may be composed of a plurality of layers such as an anode layer and a cathode layer. Further, these layers may be formed of a material having a high transmittance.
  • the display panel 4 may be provided with a member having a low transmittance such as a color filter layer.
  • the substrate 4a and the OLED unit may be provided.
  • the substrate 4a may be formed of, for example, polyimide or the like.
  • an opening may be formed according to the arrangement location of the imaging optical system 3. If the subject light passing through the aperture is incident on the imaging optical system 3, the image quality of the image captured by the imaging optical system 3 can be improved. Further, it may be provided with a light propagation path formed by a substance having a high transmittance instead of an opening. Also in this case, the light incident from the display surface of the display unit 2 is received by the imaging optical system 3 and converted into a signal.
  • the circularly polarizing plate 5 is provided, for example, in order to reduce glare or enhance the visibility of the display screen 1a even in a bright environment.
  • a touch sensor is incorporated in the touch panel 6.
  • touch sensors such as a capacitance type and a resistance film type, and any method may be used.
  • the touch panel 6 and the display panel 4 may be integrated.
  • the cover glass 7 is provided to protect the display panel 4 and the like.
  • an adhesive layer or an adhesive layer such as OCA (Optical Clear Adhesive) may be provided at an appropriate place. Further, depending on the design, the order of the circularly polarizing plate 5 and the touch panel 6 in the third direction may be interchanged.
  • FIG. 2 shows a schematic external view and a cross-sectional view of the electronic device 1 shown in FIG.
  • the cross-sectional view shows a cross section of a display portion including the display unit 2 in the alternate long and short dash line shown in the figure. Circuits and the like other than the housing and display portion of the electronic device 1 are omitted.
  • the display screen 1a extends close to the outer diameter size of the electronic device 1, and the width of the bezel 1b around the display screen 1a is reduced to several mm or less.
  • the bezel 1b is often equipped with a front camera.
  • the front camera may be positioned as a plurality of imaging optical systems 3 at substantially the center of the display screen 1a in the second direction as shown by the dotted line in the external view.
  • the external view of FIG. 2 is shown as an example, and the imaging optical system 3, that is, the front camera, is located on the display screen 1a at positions in arbitrary first and second directions. It may be arranged on the side opposite to the display surface (back surface side). For example, it may be arranged on the peripheral edge portion (end portion, boundary portion) of the display screen 1a. As shown in the external view of FIG. 2, the plurality of imaging optical systems 3 are provided so as to have different coordinates in the first direction, for example. Even when the imaging optical system 3 is arranged at an arbitrary position, it may be arranged so as to have different coordinates in at least one of the first direction and the second direction. Further, although two imaging optical systems 3 are drawn, the present invention is not limited to this, and more imaging optical systems may be provided on the side opposite to the display surface.
  • the imaging optical system 3 is provided on the back surface side opposite to the display surface side, which is the display surface of the display unit 2. It should be noted that this cross-sectional view is omitted.
  • the adhesive layer and the like are also provided in the configuration of the cross-sectional view of FIG. 2, but are omitted for the sake of simplicity.
  • FIG. 3A is a diagram showing an example of the imaging optical system 3.
  • the image pickup optical system 3 includes, for example, an image pickup unit 8 and an optical system 9.
  • the optical system 9 is arranged on the incident surface side of the light of the imaging unit 8, that is, on the side closer to the display unit 2. The light transmitted through the display surface of the display unit 2 is propagated to the image pickup unit 8 by the optical system 9.
  • the imaging unit 8 includes, for example, a light receiving element such as a photodiode and a photoelectric element.
  • the light collected, diffused, and propagated by the optical system 9 is received by the imaging pixel array provided in the imaging unit 8 and outputs an analog signal.
  • the image pickup pixel array may be provided with a color filter such as a Bayer array on the incident surface side of each image pickup element, or may be provided with a laminated color filter.
  • a filter for acquiring a color image may be provided.
  • other elements, circuits, etc. necessary for receiving light and outputting analog signals are provided.
  • the photoelectric conversion may be a CMOS (Complementary Metal-Oxide-Semiconductor) element or a CCD (Charge Coupled Device) element.
  • CMOS Complementary Metal-Oxide-Semiconductor
  • CCD Charge Coupled Device
  • the above-mentioned filter, a polarizing element, and the like may be provided.
  • the optical system 9 may include, for example, a lens. Further, the optical system 9 may be a concept including the opening provided in the display panel 4 described above. For example, as the optical system 9, a lens is arranged at an opening provided in the display panel 4 and a position closer to the image pickup unit 8 than this opening in the third direction.
  • This aperture may be provided, for example, in the substrate 4a having a low transmittance, and may be provided with a lens that propagates the light transmitted through the aperture to the image pickup unit 8.
  • the lens and aperture define optical features such as numerical aperture Na (Numerical Aperture) and F-number (F-Number) in each imaging optical system 3.
  • the optical system 9 may have other optical features such as the imaging optical system 3 having a different Abbe number.
  • the lens is shown as a single lens, but is not limited to this, and may be provided as a lens system including a plurality of various types of lenses.
  • the aperture and the lens are shown as an example, and the configuration of the optical system 9 is not necessarily limited to these combinations. Further, in the figure, one lens is provided for each aperture, but the present invention is not limited to this.
  • a plurality of openings may be provided for one lens in the optical system 9. In the region where the opening does not exist, for example, the light emitting element of the display panel 4 may be provided, and the opening may be provided so as to sew between these light emitting elements. By arranging in this way, it is possible to provide the imaging optical system 3 without breaking the display.
  • the plurality of imaging optical systems 3 may be formed having different optical features depending on the shape of the aperture, the performance of the lens, and the like.
  • the corresponding optical systems 9 may have different optical features.
  • the imaging optical system 3 may be divided into a plurality of groups, and each group may have different optical characteristics.
  • the optical system 9 is formed by the shape, orientation, or lens of the aperture so that the two imaging optical systems 3 having common optical characteristics and one imaging optical system 3 having different optical characteristics are obtained. It may be provided by changing the material or the like.
  • the layout of the opening is described as an expression including the shape and orientation of the opening.
  • the light incident from the display surface side of the display unit 2 is refracted by the optical system 9 and received by the image pickup unit 8.
  • the display on the display unit 2 may be adjusted so as to be easy to see, as in the case of a normal display.
  • an aperture is provided between the light emitting pixels of the display panel 4, a lens is provided on the side opposite to the display surface of the opening in the third direction, and light incident from the display surface is projected onto the image pickup unit 8.
  • an opening may be provided between each of the continuous light emitting pixels. In other words, the configuration may be such that a light emitting pixel is provided between the openings.
  • FIG. 4 shows an example of a block diagram showing a configuration related to the imaging operation of the electronic device 1 according to the present embodiment.
  • the electronic device 1 includes a display unit 2, a plurality of imaging optical systems 3, a pre-processing unit 10, an image acquisition unit 12, a post-processing unit 14, an output unit 16, a control unit 18, and a storage unit 20. , Equipped with.
  • one display unit 2 is provided with a plurality of imaging optical systems 3 on the side opposite to the display surface.
  • the imaging optical system 3 includes an imaging unit 8 and an optical system 9, respectively.
  • the preprocessing unit 10 is a circuit that processes an analog signal output by the imaging unit 8.
  • the preprocessing unit 10 includes, for example, an ADC (Analog to Digital Converter) and converts the input analog signal into digital image data.
  • ADC Analog to Digital Converter
  • the image acquisition unit 12 acquires the captured image from the digital image data converted by the preprocessing unit 10.
  • the imaging result is acquired based on the digital image data acquired from the plurality of imaging optical systems 3. More specifically, the image acquisition unit 12 acquires, for example, an image pickup result in which flares generated in each image pickup optical system 3 are suppressed by using image data obtained by a plurality of image pickup optical systems 3 and outputs the image acquisition result. To do.
  • the post-processing unit 14 performs appropriate processing on the imaging result output by the image acquisition unit 12 and outputs the image.
  • the appropriate processing may be, for example, image processing or signal processing such as pixel defect correction, edge enhancement, noise removal, brightness adjustment, color correction, white balance adjustment, distortion correction, autofocus processing, and the like. .. Further, this appropriate process may be a process specified by the user.
  • the output unit 16 outputs information to the outside of the electronic device 1.
  • the output unit 16 includes, for example, an output interface.
  • the output interface may be, for example, an interface that outputs a digital signal such as USB (Universal Serial Bus), or a user interface such as a display. Further, the output interface provided in the output unit 16 may also include an input interface.
  • the control unit 18 controls the processing in the electronic device 1.
  • the control unit 18 may include, for example, a CPU (Central Processing Unit), and may control the processing of the pre-processing unit 10, the image acquisition unit 12, the post-processing unit 14, and the output unit 16. Further, the control of taking a picture by the image pickup optical system 3 may be executed based on the image pickup timing instructed from the user interface.
  • a CPU Central Processing Unit
  • the storage unit 20 stores the data in the electronic device 1.
  • the storage unit 20 may be, for example, a memory such as a DRAM (Dynamic Random Access Memory) or a storage such as an SSD (Solid State Drive).
  • the storage unit 20 may be a built-in memory or a memory such as a removable memory card. Further, the storage unit 20 is not necessarily provided inside the electronic device 1, and may be an external storage or the like connected via an input / output interface. Information is appropriately input / output to and from the storage unit 20 at a timing required by the electronic device 1.
  • the imaging optical system 3, the pre-processing unit 10, the image acquisition unit 12, the post-processing unit 14, the output unit 16, the control unit 18, and the storage unit 20 may be formed on one chip, and these may be formed as appropriate.
  • a part may be formed as another chip.
  • FIG. 5 is a diagram showing the imaging optical system 3 from the display surface side of the display unit 2.
  • the display panel 4 can be seen from the display surface, and a plurality of light emitting elements arranged in an array in the first direction and the second direction are formed on the display panel 4 as shown by a dotted line.
  • the light emitting pixel 4b is provided.
  • the arrangement and orientation of the light emitting pixels 4b are shown as an example, and the light emitting pixels 4b are arranged in the same manner as in FIG. 5, but may be rotated by 45 ° and installed.
  • the light emitting pixel 4b is drawn as a square, but the present invention is not limited to this, and the light emitting pixel 4b may be a rectangle extending in any direction, and may not be a rectangle.
  • a plurality of imaging optical systems 3 having an opening between the light emitting pixels 4b of the display panel 4 are provided.
  • the first imaging optical system 3A and the second imaging optical system 3B are shown.
  • each imaging optical system has an elliptical aperture having a long axis in the second direction as the first optical system 9A and a long axis in the first direction as the second optical system 9B. It is provided with an oval opening.
  • a plurality of openings as an optical system may be provided in each imaging optical system.
  • the first imaging unit 8A is provided below the opening provided in the first optical system 9A
  • the second imaging unit 8B is provided below the opening provided in the second optical system 9B.
  • the image pickup unit 8 may be provided at a position deviated from the opening.
  • the light passing through the aperture is appropriately diffused and focused in the imaging region of the imaging unit 8 between each aperture and the imaging unit 8 or at the aperture.
  • the lens may be provided as part of the optical system 9.
  • Other optical systems may be provided so that light can be appropriately received in the imaging region of the imaging unit 8 instead of the lens.
  • the opening indicates an optical transmission region, which may be an air gap or may be filled with a transparent material such as resin.
  • a material that transmits a specific wavelength by a color filter or the like may be used, and the material that fills the opening is not limited.
  • the optical characteristics of the first optical system 9A and the second optical system 9B may be different by filling the openings with materials having different transmittances, refractive indexes, and the like.
  • the imaging optical system 3 has different aperture layouts and is arranged so as to be displaced from each other, as in the case of the first imaging optical system 3A and the second imaging optical system 3B shown in FIG. 5, for example. Due to the different layout of the apertures, the optical characteristics of the optical systems belonging to each are different, and light is incident on each image pickup unit 8 from the display surface of the display unit 2 via different optical characteristics. That is, light is incident on the first imaging unit 8A and the second imaging unit 8B via different optical features.
  • the openings belonging to each imaging optical system may have similar elliptical directions.
  • the optical system 9 that generates diffraction images in different directions may be formed by having similar openings having different directions.
  • one optical system 9 is not necessarily one continuous region when viewed from the display surface in the display unit 2 including the display panel 4, but is sewn between the light emitting pixels and the light emitting pixels, for example. It may be configured as a plurality of separate areas containing openings arranged in periodic vessels.
  • the long axis of one aperture corresponds to approximately 2 to 3 display pixels, but the present invention is not limited to this.
  • the opening may have, for example, a longer major axis or a shorter major axis.
  • the length of the aperture which is a part of the second optical system 9B is longer than the long axis of the aperture which is a part of the first optical system 9A.
  • the shaft may be lengthened or shortened.
  • FIG. 6A and 6B show images that have been converted from analog signals acquired by the respective imaging optical systems 3 shown in FIG. 5 and whose coordinates have been adjusted.
  • FIG. 6A is an image acquired based on the first imaging optical system 3A
  • FIG. 6B is an image acquired based on the second imaging optical system 3B.
  • the image acquisition unit 12 may adjust the position.
  • the adjustment of the imaging position may be adjusted so that, for example, the image obtained by displaying the mirror image of the image acquired by each imaging optical system 3 on the display panel 4 and the reflected image when the display surface is viewed from the front overlap.
  • the position may be adjusted so that the image acquired from the imaging optical system 3 is displayed at the center of the display surface.
  • the correction may be performed based on the positional deviation from the center of the display surface of the imaging optical system 3.
  • the position adjustment is not limited to this, and may be performed by any method as long as it is appropriately controlled.
  • flare occurs as shown in the white areas in FIGS. 6A and 6B.
  • flare occurs as shown in the figure as a region brighter than the image actually desired to be captured.
  • the image acquisition unit 12 determines the light intensity in the signals output from the first imaging optical system 3A and the second imaging optical system 3B in order to suppress flares occurring at different locations.
  • the image is corrected by acquiring the value of a pixel having a lower luminance value or the like after being converted into a digital signal.
  • the preprocessing unit 10 may make a selection based on the signal strength.
  • FIG. 7 shows an image processed by the image acquisition unit 12 and output from the electronic device 1.
  • the post-processing unit 14 adjusts, for example, brightness and the like. By outputting the image processed in this way, flare is suppressed as shown in FIG. 7, and an image adjusted to natural brightness or the like can be acquired.
  • the region where the flare is generated may be determined depending on each of the imaging optical systems 3.
  • the flare generation region may be stored in advance in the storage unit 20 or the image acquisition unit 12.
  • the pixel value selection process or the pixel value composition process can be executed at high speed. For example, for a certain pixel, an image may be acquired based on the output from a predetermined imaging optical system 3 without having to compare the pixel values output from the respective imaging optical systems 3.
  • the camera provided on the back surface of the display unit of the display, that is, the display is overlapped. It is possible to suppress flare in the image taken by the arranged front camera. As a result, in an electronic device, it is possible to provide an imaging optical system capable of acquiring an accurate image on the front side of the display without increasing the width of the bezel on the surface on which the display is provided.
  • flare components are likely to occur in the imaging optical system 3 near the region hit by the light. Even in such a case, by using the images acquired by at least one other imaging optical system 3 provided so as to have different positions, it is possible to acquire an image in which flare is suppressed as described above. ..
  • the first imaging optical system 3A and the second imaging optical system 3B are selected from a plurality of imaging optical systems, and may be provided with three or more imaging optical systems 3. That is, if at least two imaging optical systems 3 function as the first imaging optical system 3A and the second imaging optical system 3B in the plurality of three or more imaging optical systems 3, the present embodiment and the following will be described. It is possible to exert the action and effect of the embodiment. Further, in the three or more imaging optical systems 3, by providing two or more sets of imaging optical systems having the characteristics of the above-mentioned first imaging optical system and second imaging optical system, the degree of freedom in acquiring an captured image is further increased. It is also possible to improve the accuracy of flare suppression.
  • the same imaging optical system may be used for different combinations as long as they are not the same combination.
  • Xs (3X, 3Y) and (3X, 3Z) are common as a combination of (first imaging optical system, second imaging optical system). It may be a combination of two sets.
  • each imaging optical system 3 is provided with an aperture as the optical system 9, but the present invention is not limited to this.
  • flares at different positions are generated from the plurality of imaging optical systems 3, it is possible to suppress the influence of flares by the images acquired by the plurality of imaging optical systems 3.
  • the shape of the opening is said to be elliptical, but it is not limited to this.
  • it may be a rectangle or a rectangle with rounded corners.
  • it may be formed by an arbitrary closed curve that can be appropriately received by the imaging unit 8.
  • it does not have to have the same shape in the thickness direction of the opening, that is, in the third direction.
  • the upper part, that is, the one closer to the display surface may have a rectangular shape, and the one closer to the image pickup unit 8 may have an ellipse.
  • the shape of the opening and the like have been described as optical features, but the present invention is not limited to this.
  • the material to be filled in the aperture may be changed for each imaging optical system 3 to have different characteristics.
  • the optical system 9 may be provided with a ⁇ / 4 wave plate.
  • the p wave may be cut in order to reduce flare due to the influence of reflection in the display panel 4.
  • a different wavelength plate may be provided as the optical system 9 for the plurality of imaging optical systems 3.
  • the influence of flare due to reflection, diffraction, etc. on the display unit 2 can be changed for each imaging optical system 3, and various image correction methods can be used.
  • the electronic device has a plurality of imaging optical systems having openings having a similar layout and capable of reducing the influence of flare.
  • FIG. 8 shows the display surface of the electronic device 1 according to the present embodiment in the same manner as in FIG.
  • the first imaging optical system 3A and the second imaging optical system 3B have the same aperture layout.
  • the first imaging optical system 3A and the second imaging optical system 3B exist at different positions in the second direction. That is, each optical system has an elliptical opening having a long axis in the second direction, and is arranged at a position deviated in the second direction.
  • FIG. 9 is an image acquired by the second imaging optical system 3B.
  • the image acquired by the first imaging optical system 3A is assumed to be FIG. 6A.
  • both imaging optical systems 3 have an elliptical aperture having a long axis in the second direction, the flare generation directions are the same.
  • the first imaging optical system 3A and the second imaging optical system 3B are arranged so as to be displaced in the second direction, flare occurs at a position displaced in the second direction.
  • the image acquisition unit 12 can acquire an image in which the influence of flare is suppressed.
  • the first imaging optical system 3A and the second imaging optical system 3B may be deviated from each other in the first direction. When both the first direction and the second direction are deviated in this way, the center point in the first direction of flare generation in each imaging optical system is at a different position, so that a better flare-suppressed image can be obtained. can do.
  • FIG. 10 is a diagram showing an example of the electronic device 1 according to the present embodiment.
  • the electronic device 1 includes a first imaging optical system 3A, a second imaging optical system 3B, and a third imaging optical system 3C on the opposite side of the display surface of the display unit 2.
  • these imaging optics are provided along the first direction.
  • the first imaging optical system 3A is located at the center of the screen, and the second imaging optical system 3B and the third imaging optical system 3C are at the edges of the display surface of the display unit 2 so as to sandwich the first imaging optical system 3A. It may be provided near a portion (boundary).
  • the vicinity may be, for example, one pixel to several pixels of the display element from the edge and the boundary, but as another example, it may be several mm from the edge of the housing of the electronic device 1 or the electronic device 1. It may be a few percent with respect to the width or height of.
  • the parallax between the first imaging optical system 3A and the second imaging optical system 3B and the parallax between the third imaging optical system 3C and the first imaging optical system 3A are equivalent. It becomes possible to do. That is, from this, an image in which the parallax is (almost) 0 with that of the first imaging optical system 3A by using the image acquired by the second imaging optical system 3B and the image acquired by the third imaging optical system 3C. Can be generated.
  • the edge of the display surface is arranged in this way because it has little effect on the user even if pixel disorder occurs.
  • the size of the first imaging optical system 3A near the center of the display surface may be smaller than that of other imaging optical systems.
  • the size may be, for example, the size of the opening or the size of the imaging unit 8.
  • the first imaging optical system 3A includes an ellipse having a long axis in the first direction as the optical system 9, and the second imaging optical system 3B and the third imaging optical system 3C are used as the optical system 9.
  • An ellipse having a major axis in the second direction may be provided.
  • FIG. 11 is a diagram showing an image that can be acquired from each imaging optical system when such an aperture is provided. These are images acquired by the first imaging optical system 3A, the second imaging optical system 3B, and the third imaging optical system 3C in order from the top. As described above, in the first imaging optical system 3A, flare occurs along the second direction, and in the second imaging optical system 3B and the third imaging optical system 3C, the positions are displaced along the first direction. Flare occurs.
  • FIG. 12 is an image in which the images of the second imaging optical system 3B and the third imaging optical system 3C are superimposed in consideration of parallax.
  • flare can be brought to both ends as shown in FIG. 12, for example.
  • FIG. 12 With this image and the top image of FIG. 11, for example, it is possible to acquire an image in which flare is suppressed as shown in FIG. 7.
  • the composition or correction of these images may be executed by the image acquisition unit 12.
  • the second imaging optical system 3B and the third imaging optical system 3C are assumed to be at both ends, but the present invention is not limited to this.
  • the second imaging optical system 3B and the third imaging optical system 3C are provided at positions where the same parallax appears across the first imaging optical system 3A, the acquisition of an image in which flare is suppressed is executed in the same manner. Is possible.
  • the respective imaging optical systems 3 may be arranged at positions shifted in both the first direction and the second direction.
  • the intensity of flare generated may vary depending on the direction. For example, it may occur strongly in the first direction but weakly in the second direction. In such a case, in the present embodiment, an imaging optical system in which flare is likely to occur in the first direction or the second direction is appropriately selected, and flare is suppressed based on the signal acquired from the selected imaging optical system. Images may be acquired.
  • FIG. 13 shows, for example, the first imaging optical system in which flare in the second direction is strongly generated and flare in the first direction is not so strongly generated when an image is acquired in the imaging optical system shown in FIG. An example of the image acquired based on the output from 3A is shown.
  • the flare intensity in the first direction is weak, an image in which the flare portion is darker than that in FIG. 6A is acquired.
  • flare in the second direction is strongly generated, an image in which the flare portion is bright is acquired as the image output from the second imaging optical system 3B, as shown in FIG. 6B.
  • an image in which the flare is suppressed may be acquired based on the output from the first imaging optical system 3A.
  • the preprocessing unit 10 calculates the variance of the brightness in the first direction and the second direction in the image data output from the respective imaging optical systems 3. For example, the variance along the first direction is calculated for each row and the average value is taken, and the variance along the second direction is calculated for each column and the average value is taken. It can be said that the flare intensity is stronger in the direction in which the average value is higher. Further, the direction may be determined based on the difference between the maximum brightness and the minimum brightness for each row or column instead of the dispersion.
  • the imaging optical system 3 in which flare is likely to occur depends on the optical system 9 of each imaging optical system 3. For example, as described above, it is determined based on the direction of the aperture provided in the optical system 9. Depending on the direction of the aperture, when flare occurs in any direction, the imaging optical system 3 to be prioritized may be determined in advance.
  • the optical system for controlling flare may be not only the aperture layout but also the entire display panel including the wiring of the circuit.
  • the flare and diffraction shape also change depending on what kind of pattern is periodically laid out on the circuit and how the light interferes. With this in mind, it may be determined in which direction flare is likely to occur.
  • the image acquisition unit 12 acquires an image in which flare is suppressed based on the imaging optical system 3 having a priority direction different from the direction in which flare is generated. For example, when the images shown in FIGS. 13 and 6B are output via the respective imaging optical systems 3, the image of FIG. 13 with less flare may be selected and output. Further, the weighted average of the images of FIGS. 13 and 6B in which the weight of the image of FIG. 13 is increased may be calculated.
  • any of the above-mentioned acquisition (for example, selection, synthesis) methods is used by using the imaging optical system 3 in which the plurality of first directions are the priority directions.
  • An image may be acquired based on.
  • an image in which the flare is suppressed may be acquired based on the image output via the imaging optical system 3 having a direction different from that direction as the priority direction. ..
  • FIG. 14 is a diagram showing a cross-sectional view of the electronic device 1 according to the present embodiment.
  • the electronic device 1 includes a light-shielding portion 30 between the plurality of imaging optical systems 3.
  • the light-shielding portion 30 may be a light-shielding film formed of a material having a high light-shielding property, or may be an absorption film formed of a material having a high light absorption rate.
  • a light-shielding portion 30 may be provided so that light does not propagate between the imaging optical systems 3.
  • FIG. 15 is another example, in which the light-shielding unit 30 prevents the light reflected by the display panel 4 and the circularly polarizing plate 5 from propagating in the first direction and the second direction with respect to the plurality of imaging optical systems 3. , May be provided.
  • FIG. 16 is still another example, and the light-shielding portion 30 may be provided so as to penetrate the display panel 4. By providing in this way, it is possible to block not only the light reflected by the display unit 2 but also the light reflected by other than the display unit 2.
  • the light-shielding portion 30 by arranging the light-shielding portion 30 in the region provided with the display panel 4 and the circularly polarizing plate 5, the generation of flare due to reflected or diffracted light in these layers is suppressed. It becomes possible. Even if strong flare is generated in a certain region due to the influence of incident light or the like and strong flare is generated in the imaging optical system 3 in which the light in the region is incident, the other imaging optical system 3 separated by the light-shielding portion 30 It is possible to reduce the influence of flare.
  • the influence between the imaging units 8 is suppressed by reducing the influence of light reflection and diffraction on the opposite side of the display surface of the display unit 2 in the third direction. Is possible.
  • the light-shielding portion 30 may be provided in the touch panel 6. Further, a sufficiently thin light-shielding portion 30 may be formed so as to reach within the region of the cover glass 7. In this case, the size may be appropriately adjusted and arranged so that the display of the display unit 2 on the display surface looks like a natural image to the user. Further, in the display panel 4, the brightness of the light emitting pixels 4b arranged around the light-shielding portion 30 may be made higher than the brightness of the other light emitting pixels 4b, and other software measures may be taken.
  • the image acquisition unit 12 can acquire an image having a small influence of flare by comparing or synthesizing the output values from the plurality of imaging optical systems 3 as in the above-described embodiment. is there.
  • the image acquisition unit 12 acquires an image having a small influence of flare by a predetermined calculation (including comparison).
  • an image in which flare is suppressed is acquired by synthesizing outputs from a plurality of imaging optical systems 3 using a model.
  • the model may be a statistical model.
  • a model is generated by statistically calculating what kind of calculation should be used for synthesizing various imaging optical systems 3, and the image acquisition unit 12 has a plurality of imaging optical systems in this model. By inputting the information acquired from No. 3, an image having a small influence of flare may be acquired.
  • the model may be a neural network model trained by deep learning.
  • the neural network model may be formed by MLP (Multi-Layer Perceptron), CNN (Convolutional Neural Network), or the like.
  • MLP Multi-Layer Perceptron
  • CNN Convolutional Neural Network
  • parameters trained by a plurality of teacher data in advance are stored in the storage unit 20 or the image acquisition unit 12, and the image acquisition unit 12 may form a neural network model based on the stored parameters. Good.
  • the image acquisition unit 12 may acquire an image in which flare is suppressed by using the data output from the plurality of imaging optical systems 3.
  • the electronic device 1 may further improve the training accuracy by using the captured image.
  • the training may be executed in the control unit 18 or the like of the electronic device 1.
  • a plurality of electronic devices 1 may transmit data to a storage or the like existing in a cloud or the like, perform training on a server or the like, and reflect the retrained parameters in the electronic device 1. .. In this case, only the flare information may be transmitted so that the privacy information including the user's face information is not included. Further, the transmission / reception of data from the electronic device 1 may be in a state in which the user can select by opt-in, opt-out, or the like, for example.
  • the image acquisition unit 12 may acquire an image not only by linear processing but also by non-linear processing, particularly, calculation using various models including a trained model.
  • the image acquisition unit 12 acquires an image based on a pixel value or a priority direction, or by combining images based on a method using a model or the like.
  • the region in which image correction is executed is intended to be limited.
  • the image acquisition unit 12 can predict the area where flare occurs for each of the imaging optical systems 3 when there is a bright subject, and the image may be corrected based on the prediction result. ..
  • Flare is often caused by nearby optical elements. Therefore, the parallax in the images acquired by the plurality of imaging optical systems 3 is likely to be larger than that of other subjects. Therefore, the parallax may be calculated by the image acquisition unit 12 or the like, and the region where the parallax is large may be predicted as the region where flare is generated.
  • a pixel value is determined based on information acquired from another imaging optical system 3.
  • interpolation processing from another imaging optical system 3 may be executed in this region.
  • the correction process is not limited to this, and the correction process may be performed by another calculation such as a weighting calculation so that the influence of the pixel value output from the other imaging optical system 3 becomes large.
  • flare is obtained based on the information acquired from these other plurality of image pickup optical systems 3. An image with a small influence of the above may be acquired.
  • this area may be updated by reflecting the training in the above-described embodiment in the model. By reflecting it as training, for example, it is possible to improve the accuracy of correction between different users having the same electronic device 1.
  • this region may be determined by, for example, incident light without displaying on the display panel 4.
  • the display panel 4 may be illuminated with an intensity that causes flare to predict the area.
  • processing may be performed to determine a region where flare occurs at other timings, for example, timings before and after shooting, instead of the imaging timing desired by the user. This process may be executed by, for example, the control unit 18 or the image acquisition unit 12.
  • the electronic device 1 includes a microlens array as the optical system 9 of the imaging optical system 3.
  • FIG. 17 is a diagram showing an imaging optical system 3 according to the present embodiment.
  • the optical system 9 of the imaging optical system 3 includes a microlens array 32.
  • the light that has passed through the microlens array 32 appropriately enters the image pickup unit 8, is converted into a signal from the image pickup unit 8, and is output.
  • the preprocessing unit 10 may reconstruct the image based on the signal output from the imaging unit 8. Based on this reconstructed image, the image acquisition unit 12 acquires an image in which the influence of flare is reduced according to each of the above-described embodiments.
  • FIG. 18 is a diagram showing another example of the imaging optical system 3 according to the present embodiment.
  • the first imaging optical system 3A and the second imaging optical system 3B include a common microlens array 32 as the optical system 9.
  • the region where the light collected from each lens is incident is limited to a certain region. Therefore, by arranging the imaging unit 8 for each region, a plurality of imaging optical systems can be obtained. 3 can be formed.
  • the light-shielding unit 30 described in the fifth embodiment may be provided between the first imaging unit 8A and the second imaging unit 8B.
  • two imaging optical systems are provided, but the present invention is not limited to this, and three or more imaging optical systems 3 may be formed by the same microlens array 32.
  • FIG. 19 is a diagram showing an example of the imaging optical system 3 according to the present embodiment.
  • the electronic device 1 includes one imaging unit 8 for the first imaging optical system 3A and the second imaging optical system 3B.
  • a first imaging unit 8A and a second imaging unit 8B are defined in a region where imaging is possible.
  • Light passing through the first optical system 9A is incident on the first imaging unit 8A, and light is incident on the second imaging unit 8B via the second optical system 9B.
  • a plurality of imaging optical systems 3 may be formed by providing the same imaging unit 8 with a plurality of optical systems 9.
  • FIG. 20 is a diagram showing another implementation example of this embodiment. That is, the microlens array 32 may be provided as the optical system 9, and the same microlens array 32 and the imaging unit 8 may be used to form the first imaging optical system 3A and the second imaging optical system 3B.
  • FIG. 21 is a modification of FIG. 20, and a light-shielding portion 30 is provided between the first imaging optical system 3A and the second imaging optical system 3B.
  • a light-shielding portion 30 is provided between the first imaging optical system 3A and the second imaging optical system 3B.
  • FIG. 22 is a modification of FIG. 19, in which a light-shielding portion 30 is provided between the first optical system 9A and the second optical system 9B.
  • the light-shielding portion 30 does not penetrate through the display panel 4, but of course, as shown in the example of FIG. 16, it penetrates through the display panel 4 or penetrates the display panel 4.
  • a light-shielding portion 30 may be provided so as to do so.
  • the imaging unit 8 By making the imaging unit 8 common to the plurality of imaging optical systems 3 in this way, it is possible to simplify the circuit configuration and the semiconductor process in the imaging unit 8.
  • a plurality of imaging optical systems 3 can be integrated by using the same element in part or in whole as in the present embodiment.
  • the influence of parallax between the imaging optical systems 3 can be reduced.
  • the influence of parallax can be reduced, and the accuracy of the correction can be improved.
  • a plurality of imaging optical systems 3 are integrated so that the optical systems 9 are adjacent to each other. It may be transformed into. In this case as well, it is possible to perform accurate correction after reducing the influence of parallax.
  • FIG. 23A is a diagram showing another arrangement example of the microlens array 32.
  • the microlens array may be arranged in the aperture of the optical system 9 closer to the imaging unit 8.
  • the optical system 9 may be formed with the aperture and the microlens array 32 as separate configurations.
  • the aperture is not always essential, and the optical system 9 may be formed by arranging the microlens array 32 on the side opposite to the surface of the display panel 4.
  • FIG. 23B shows yet another example of the arrangement of the microlens array 32 and the arrangement of the display panel 4.
  • the microlens array 32 may be provided with one or more for a plurality of openings.
  • an aperture may be appropriately formed by leaving a region of light emitting pixels of the display panel 4, and a microlens array 32 may be provided between the image pickup unit 8 and the lower portion of the aperture.
  • the light-shielding portion 30 may be provided at an appropriate position.
  • FIG. 24 shows an example of the configuration of the chip according to the present embodiment. This configuration is outlined as an example without limitation, and does not preclude the chip from being provided with other functions. That is, a selector, an I / F, a power supply node, and the like are appropriately provided in addition to those shown in the figure.
  • an analog circuit such as the preprocessing unit 10 and a logic circuit such as the image acquisition unit 12 may be provided on the same chip as the image pickup unit 8. Further, the control unit 18 and the storage unit 20 may also be provided.
  • the image pickup unit 8 By forming the image pickup unit 8, the preprocessing unit 10, and the image acquisition unit 12 on the same chip in this way, signal deterioration can be suppressed at high speed without using an interface for transmitting and receiving signals and data. Then, it becomes possible to execute data processing.
  • the preprocessing unit 10 does not have to be common, and may be provided for each imaging unit 8. In this case, the digital image data may be transmitted from each preprocessing unit 10 to the image acquisition unit 12.
  • FIG. 25 is a diagram showing another example of the chip configuration.
  • the configuration other than the imaging unit 8, the preprocessing unit 10, the image acquisition unit 12, and the interface is omitted.
  • the imaging unit 8 may be provided on separate chips.
  • One chip is provided with an imaging unit 8, and the other chip is also provided with an imaging unit 8.
  • the imaging unit 8 is provided with a receiving interface 22 that transmits to the other chip.
  • a signal is received via the reception interface 22, and the image acquisition unit 12 acquires an image together with the signal from the image pickup unit 8 provided in the chip. If necessary, the preprocessing unit 10 executes signal processing before outputting the data to the image acquisition unit 12.
  • the pretreatment unit 10 may be provided on both chips, or may be provided only on the other chip.
  • more imaging units 8 may be provided on another chip. With such a configuration, it is possible to reduce the area of the chip related to the image pickup unit 8 even when the image pickup optical system 3 is arranged at various positions on the opposite side of the display surface of the display unit 2. ..
  • FIG. 26 is still another example, in which a plurality of imaging units 8 are located on separate chips, and an image acquisition unit 12 is located on yet another chip.
  • the logic circuit that processes the digital signal and the photoelectric conversion circuit in which the light receiving element exists can be configured as separate chips. By doing so, it is possible to further increase the degree of freedom in arranging the imaging optical system 3 without increasing the area of the chip so much.
  • the receiving interface 22 may be, for example, an interface capable of executing data reception according to the MIPI standard. Further, it may be capable of high-speed transfer of another standard. Depending on the signal to be transmitted, an analog signal may be transmitted and received, or a digital signal may be transmitted and received.
  • the type of interface can be appropriately selected by mounting the imaging unit 8 and the preprocessing unit 10 on a chip.
  • the light emitting pixel 4b of the display panel 4 has not been particularly described, but the light emitting pixel 4b changes the occurrence of flare in the plurality of imaging optical systems 3, and the flare by the image acquisition unit 12 It is also possible to acquire an image that is less affected by.
  • the light emitting pixels 4b around the first imaging optical system 3A and the periphery of the second imaging optical system 3B may be different from that of the light emitting pixel 4b.
  • one may be an OLED and the other may be a MicroLED.
  • another light emitting element particularly a display optical system having different optical characteristics, the influence of flare can be made to have different characteristics.
  • the flare generation differs depending on the situation in the images acquired from the individual imaging optical systems 3. Since the flare characteristics are different, for example, one image pickup optical system 3 obtains an image having a strong flare effect, but the other image pickup optical system 3 obtains an image having a weak flare effect. To be acquired. As described above, by using the light emitting elements having different characteristics, it is possible to expand the method of image composition and correction in the image acquisition unit 12 to various methods.
  • images output from a plurality of imaging optical systems 3 are used to acquire an image in which the influence of flare is reduced. That is, a plurality of imaging optical systems 3 are activated, and an image is acquired based on the information acquired from each of them.
  • at least one imaging optical system 3 is activated as needed to reduce the influence of flare. For example, at least one imaging optical system 3 that is activated when image correction is required is provided.
  • the imaging optical system 3 near the center of the display surface may be activated.
  • another imaging optical system 3 is activated and the image acquisition unit 12 reduces the influence of flare. May be obtained.
  • the influence of flare may be judged based on other conditions.
  • the output is based on the output from one imaging optical system 3, but the determination is not limited to this, and the determination may be made based on, for example, the magnitude of signals from several light receiving elements. Further, as another example, it may be based on the distribution of the brightness and the like of the image displayed on the display panel 4. In this way, the effect of flare is judged by various judgment methods.
  • control unit 18 operates an appropriate imaging optical system 3, acquires a signal based on the incident light, and acquires an image by the image acquisition unit 12.
  • the control unit 18 may also execute the determination of the influence of the flare described above. In this way, power saving can be achieved by operating at least a part of the imaging optical system 3 as needed.
  • FIGS. 27 to 31B are diagrams showing an arrangement example of the imaging optical system 3 as viewed from the display surface, respectively.
  • Each of these figures shows the arrangement as an example, and is not limited to the figures. Further, the arrangement may include a part or all of the arrangements in the plurality of figures. That is, the electronic device 1 may include not only one figure but also three or more imaging optical systems 3 having features in a plurality of figures superimposed.
  • the imaging optical system 3 may be provided at both ends (near the boundary) in any direction of the display screen 1a, for example, in the first direction. By arranging in this way, the imaging optical system 3 can be provided at a position inconspicuous to the user. It may be provided at both ends in the second direction, that is, at the upper and lower ends in FIG. 27, respectively.
  • two imaging optical systems 3 may be provided in the display screen 1a at a distance of 50 mm to 80 mm.
  • a plurality of imaging optical systems 3 may be arranged so as to have a deviation in each of the first direction and the second direction.
  • each optical system 9 with an aperture having a major axis in the same direction, it is possible to acquire an image including flare centered in both the first direction and the second direction. Therefore, the image acquisition unit 12 can acquire a highly accurate flare suppression image even in a simpler process (for example, the comparison process and the selection process shown in the first embodiment).
  • three or more imaging optical systems 3 may be provided.
  • they may be arranged so as not to have symmetry as shown in FIG. 30, or some symmetry may be provided with respect to the first direction, the second direction, the center point, or the like. It may be arranged to have.
  • the third imaging optical system 3 may be arranged at a position away from the other two imaging optical systems 3. In this case, the flare intensity due to the position may be different in each imaging optical system 3.
  • FIG. 31A and 31B show the same electronic device 1.
  • FIG. 31B is an external view seen from the direction of the arrow in FIG. 31A.
  • the imaging optical system 3 on each display screen may be arranged at the same position with respect to the display screen 1a, or may be arranged at a completely different position.
  • the imaging optical system 3 in FIG. 31B may be used as a rear camera at normal times, and can also be used as a two-eye (or more) rear camera.
  • the imaging optical system 3 can be arranged in various ways on the display screen 1a.
  • At least two of the plurality of imaging optical systems 3 may be provided at different positions.
  • the arrangement can be freely selected regardless of the drawings or the like.
  • FIG. 2 and the like by providing a plurality of imaging optical systems 3 having a deviation in the first direction around the center of the display surface in the second direction, the natural line of sight of the user looking around the center of the screen can be seen. It is possible to acquire images and videos.
  • the present invention is not limited to this, and for example, it may be provided slightly above in the second direction.
  • the center of the face may be located around the center of the screen, and the imaging optical system may be arranged around the displayed eyes. Further, apart from the above, it may be similarly provided near the center of the first direction along the second direction. In this case, the same image can be acquired even if the screen is rotated.
  • the layout may be more complicated than the simple shape as shown in FIGS. 5 and 8.
  • 32 to 35 are diagrams showing an example of the layout of the openings. As shown in FIG. 32, for example, the openings may be arranged so as to be offset in the second direction with respect to the display element.
  • the opening may have a shape in which an ellipse having a major axis in the first direction and an ellipse having a major axis in the second direction are combined between display elements.
  • the aperture belonging to the first optical system 9A and the aperture belonging to the second optical system 9B do not have to intersect at an angle close to 90 °.
  • the angle of the light emitting element of the display panel 4 may be partially changed.
  • the angle at which the light emitting element provided on the third-direction display surface of any of the optical systems 9 may be rotated to 45 ° or any significant angle.
  • FIG. 35 the openings shown in FIG. 33 may be arranged as shown in FIG. 34.
  • the aperture that is a part of the optical system 9 may also be laid out so that flare occurs in a significantly different direction.
  • the electronic device 1 is provided with three or more imaging optical systems 3, the layouts of the openings shown in FIGS. 5, 8, 32 to 35 may be combined.
  • the flare direction is a combination of various directions depending on the imaging optical system 3, it is possible to further expand the range of image acquisition, for example, image correction, composition, and selection.
  • the imaging optical system 3 is arranged on the side opposite to the display surface of the display unit 2, and the light passing through the display unit 2 is acquired by the plurality of imaging units 8. A part of the light passing through the display unit 2 is repeatedly reflected in the display unit 2 and then incident on the image pickup unit 8 in the plurality of image pickup optical systems 3.
  • the plurality of imaging units 8 integrated are repeatedly reflected in the display unit 2. It is possible to generate an captured image in which the flare component and the diffracted light component contained in the light incident on the light (including the case) are suppressed easily and reliably.
  • the processing in the image acquisition unit 12 or the like may be composed of a digital circuit or a programmable circuit such as an FPGA (Field Programmable Gate Array). Further, the processing content may be described in a program, and information processing by software may be concretely realized by using hardware resources such as a CPU.
  • FPGA Field Programmable Gate Array
  • FIG. 36 is a plan view when the electronic device 1 of each embodiment is applied to the capsule endoscope 50.
  • the capsule endoscopy 50 of FIG. 36 is photographed by, for example, a camera (ultra-small camera) 52 and a camera 52 for capturing an image in the body cavity in a housing 51 having a hemispherical both end faces and a cylindrical central portion.
  • a wireless transmitter for transmitting the recorded image data to the outside via the antenna 54 after the memory 53 for recording the image data and the capsule endoscope 50 are discharged to the outside of the subject's body. It is equipped with 55.
  • a CPU (Central Processing Unit) 56 and a coil (magnetic force / current conversion coil) 57 are provided in the housing 51.
  • the CPU 56 controls the shooting by the camera 52 and the data storage operation in the memory 53, and also controls the data transmission from the memory 53 to the data receiving device (not shown) outside the housing 51 by the wireless transmitter 55.
  • the coil 57 supplies electric power to the camera 52, the memory 53, the wireless transmitter 55, the antenna 54, and the light source 52b described later.
  • the housing 51 is provided with a magnetic (reed) switch 58 for detecting when the capsule endoscope 50 is set in the data receiving device.
  • the reed switch 58 detects the set to the data receiving device and the data can be transmitted, the CPU 56 supplies electric power from the coil 57 to the wireless transmitter 55.
  • the camera 52 has, for example, an image sensor 52a including an optical system 9 for capturing an image in the body cavity, and a plurality of light sources 52b that illuminate the inside of the body cavity.
  • the camera 52 is composed of, for example, a CMOS (Complementary Metal Oxide Semiconductor) sensor equipped with an LED (Light Emitting Diode), a CCD (Charge Coupled Device), or the like as the light source 52b.
  • CMOS Complementary Metal Oxide Semiconductor
  • LED Light Emitting Diode
  • CCD Charge Coupled Device
  • the display unit 2 in the electronic device 1 of the above-described embodiment is a concept including a light emitting body such as the light source 52b of FIG. 36.
  • the capsule endoscope 50 of FIG. 36 has, for example, two light sources 52b, and these light sources 52b can be configured by a display panel 4 having a plurality of light source units and an LED module having a plurality of LEDs. In this case, by arranging the image pickup unit 8 of the camera 52 below the display panel 4 and the LED module, restrictions on the layout arrangement of the camera 52 are reduced, and a smaller capsule endoscope 50 can be realized.
  • FIG. 37 is a rear view when the electronic device 1 of the above-described embodiment is applied to the digital single-lens reflex camera 60.
  • the digital single-lens reflex camera 60 and the compact camera are provided with a display unit 2 for displaying a preview screen on the back surface opposite to the lens.
  • the imaging optical system 3 may be arranged on the side opposite to the display surface of the display unit 2 so that the photographer's face image can be displayed on the display screen 1a of the display unit 2.
  • the imaging optical system 3 can be arranged in an area overlapping the display unit 2, it is not necessary to provide the imaging optical system 3 in the frame portion of the display unit 2, and the size of the display unit 2 can be increased. It can be as large as possible.
  • FIG. 38A is a plan view showing an example in which the electronic device 1 of the above-described embodiment is applied to a head-mounted display (hereinafter, HMD) 61.
  • the HMD 61 of FIG. 38A is used for VR (Virtual Reality), AR (Augmented Reality), MR (Mixed Reality), SR (Substitutional Reality), and the like.
  • the current HMD has a camera 62 mounted on the outer surface, so that the wearer of the HMD can visually recognize the surrounding image, while the surrounding humans wear the HMD.
  • the facial expressions of a person's eyes and face cannot be understood.
  • the display surface of the display unit 2 is provided on the outer surface of the HMD 61, and the imaging optical system 3 is provided on the opposite side of the display surface of the display unit 2.
  • the facial expression of the wearer taken by the imaging optical system 3 can be displayed on the display surface of the display unit 2, and the humans around the wearer can display the facial expression of the wearer and the movement of the eyes in real time. Can be grasped.
  • the electronic device 1 can be used for various purposes, and the utility value can be enhanced.
  • a display unit having a displayable region in which display optical systems are provided in an array along a first direction and a second direction intersecting the first direction, and a display unit.
  • the displayable area is overlapped and arranged on the side opposite to the display surface of the display unit, and at least,
  • the first imaging optical system and A second imaging optical system having coordinates different from those of the first imaging optical system in at least one of the first direction and the second direction.
  • An image acquisition unit that acquires image data based on the information acquired by the first imaging optical system and the second imaging optical system. Equipped with electronic equipment.
  • the display unit is provided with an opening through which light incident from the display surface propagates. Light incident on the display surface propagates to the imaging optical system through the aperture.
  • the electronic device according to (1) or (2).
  • the aperture that propagates light to the first imaging optical system and the aperture that propagates light to the second imaging optical system have different layouts.
  • the aperture that propagates light to the first imaging optical system and the aperture that propagates light to the second imaging optical system form diffraction images in different directions.
  • a third imaging optical system having the same parallax as the parallax between the first imaging optical system and the second imaging optical system with respect to the first imaging optical system is provided.
  • the image acquisition unit is based on the information acquired based on the information acquired from the second imaging optical system and the third imaging optical system, and the information acquired from the first imaging optical system.
  • Get image data The electronic device according to any one of (1) to (5).
  • the first imaging optical system is provided near the center.
  • the second imaging optical system and the third imaging optical system are provided near the boundary of the display surface so as to sandwich the first imaging optical system.
  • the first imaging optical system has a smaller region facing the display surface in the third direction than the second imaging optical system and the third imaging optical system.
  • the arrangement of the first imaging optical system and the second imaging optical system has different coordinates in both the first direction and the second direction.
  • the electronic device according to any one of (1) to (7).
  • the image acquisition unit is based on the data having low intensity at the position in the image data which is the synthesis result.
  • the electronic device according to any one of (1) to (8).
  • the first imaging optical system and the second imaging optical system each have a direction of preferentially reflecting.
  • the image acquisition unit acquires an imaging result using one of the results when a difference of a predetermined value or more occurs in the output for each direction.
  • the electronic device according to any one of (1) to (9).
  • the space between the first imaging optical system and the second imaging optical system is shielded from light.
  • the electronic device according to any one of (1) to (10).
  • the image acquisition unit synthesizes the information acquired by the first imaging optical system and the second imaging optical system using the trained model.
  • the electronic device according to any one of (1) to (11).
  • the trained model is trained on the basis of data collected from multiple electronic devices.
  • the image acquisition unit makes corrections when the parallax in a plurality of images acquired by the plurality of imaging optical systems exceeds a predetermined amount.
  • the electronic device according to any one of (1) to (13).
  • the at least one imaging optical system is composed of a microlens array.
  • the electronic device according to any one of (1) to (14).
  • a plurality of the imaging optics are provided in the area of the microlens array.
  • the first image pickup optical system and the second image pickup optical system acquire information in the same image pickup device.
  • the electronic device according to any one of (1) to (16).
  • the image acquisition unit is arranged on the same chip as the image sensor.
  • the display unit includes a plurality of display optical systems having different optical characteristics.
  • the electronic device according to any one of (1) to (18).
  • At least one of the plurality of imaging optical systems operates when signal correction is required in the image acquisition unit.
  • the electronic device according to any one of (1) to (19).
  • the first imaging optical system and the second imaging optical system are integrated.
  • the electronic device according to any one of (1) to (20).
  • the first imaging optical system and the second imaging optical system are provided near the boundary of the display surface.
  • the electronic device according to any one of (1) to (21).
  • the first imaging optical system and the second imaging optical system are arranged at a distance of 50 mm or more and 80 mm or less.
  • the image acquisition unit generates parallax image data of information acquired by the first imaging optical system and the second imaging optical system.
  • the electronic device according to any one of (1) to (22).
  • the display unit is provided on both sides of the device.
  • the electronic device according to any one of (1) to (23).
  • the first imaging optical system and the second imaging optical system are any two of the plurality of imaging optical systems.
  • the electronic device according to any one of (1) to (24).
  • It has a fourth imaging optical system different from the first imaging optical system and the second imaging optical system.
  • the fourth imaging optical system and the first imaging optical system or the second imaging optical system have any of the characteristics described in (1) to (24). Electronics.
  • 1 Electronic equipment, 1a: Display screen, 1b: Bezel, 2: Display, 3: Imaging optical system, 3A: 1st imaging optical system, 3B: 2nd imaging optical system, 3C: 3rd imaging optical system, 4: Display panel, 4a: Substrate, 4b: Light emitting pixel, 5: Circularly polarizing plate, 6: Touch panel, 7: Cover glass, 8: Imaging unit, 8A: 1st imaging unit, 8B: 2nd imaging unit, 9: Optical system, 9A: First optical system, 9B: Second optical system, 10: Pretreatment section, 12: Image acquisition unit, 14: Post-processing unit, 16: Output section, 18: Control unit, 20: Memory, 22: Receive interface, 30: Shading part, 32: Microlens array,

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

［課題］ベゼルの幅を削減しつつ、カメラの撮像画像の画質低下も抑制する。 ［解決手段］電子機器（１）は、第１方向及び前記第１方向に交わる第２方向に沿ってアレイ状に表示光学系が備えられる表示可能領域を有する表示部（２）と、前記第１方向及び前記第２方向に交わる第３方向において、前記表示可能領域と重なって前記表示部の表示面と反対側に配置され、少なくとも、第１撮像光学系（３）と、前記第１方向及び前記第２方向の少なくとも一方において前記第１撮像光学系とは異なる座標を有する、第２撮像光学系（３）と、を有する、複数の撮像光学系と、前記第１撮像光学系及び前記第２撮像光学系により取得された情報に基づいて画像データを取得する、画像取得部と、を備える。

Description

電子機器
　本開示は、電子機器に関する。
　最近のスマートフォンや携帯電話、ＰＣ（Personal Computer）などの電子機器は、表示部の額縁（ベゼル）にカメラを搭載して、テレビ電話や動画撮影を手軽にできるようにしている。スマートフォンや携帯電話は、ポケットや鞄に入れて持ち歩くことが多いため、外形サイズをできるだけコンパクトにする必要がある。その一方で、表示画面のサイズが小さいと、表示解像度が高いほど、表示される文字サイズが小さくなって視認しにくくなる。このため、表示画面の周囲にあるベゼル幅を小さくすることで、電子機器の外形サイズを大きくせずに、表示画面のサイズをできるだけ大きくすることが検討されている。
　ところが、電子機器のベゼルには、カメラなどが搭載されることが多いため、カメラの外径サイズよりベゼル幅を小さくすることはできない。また、ベゼルにカメラを配置する場合、例えばテレビ電話で会話する際に、目線は表示画面の中央付近に置かれることが多いため、カメラの光軸から目線がずれてしまい、目線の合わない違和感のある撮影画像が得られてしまう。
　上述した問題を回避するために、表示部の表示面とは反対側にカメラモジュールを配置して、表示部を通過した被写体光をカメラで撮影することが提案されている。
米国特許公開公報２０１８／００６９０６０
　しなしながら、表示部を通過する光の一部は、反射や回折を起こしてカメラに入射されるため、反射によるフレアや回折の影響を受けて、撮影画像の画質が低下するという問題がある。
　本開示の一態様は、ベゼルの幅を削減しつつ、カメラの撮像画像の画質低下も抑制できる電子機器を提供する。
　一実施形態によれば、電子機器は、第１方向及び第１方向に交わる第２方向に沿ってアレイ状に表示光学系が備えられる表示可能領域を有する表示部と、第１方向及び第２方向に交わる第３方向において、表示可能領域と重なって表示部の表示面と反対側に配置され、少なくとも、第１撮像光学系と、第１方向及び第２方向の少なくとも一方において第１撮像光学系とは異なる座標を有する、第２撮像光学系と、を有する、複数の撮像光学系と、第１撮像光学系及び第２撮像光学系により取得された情報に基づいて画像データを取得する、画像取得部と、備える。このように、少なくとも２つの撮像光学系の位置をずらすことにより、撮像した画像においてフレアの発生する位置を変えることができる。例えば、第１撮像光学系と、第２撮像光学系は、複数の撮像光学系のうち、任意に選択した２つの光学系としてもよい。すなわち、下記に挙げる構成は、複数の撮像光学系のうち、少なくとも２つに対しての特徴であってもよい。また、１特徴と、もう１つの特徴は、異なる組み合わせの第１光学系と第２光学系に夜ものであってもよい。このように、以下の特徴は、複数の撮像光学系のうち、少なくとも２つにおいて有するものであってもよい。
　電子機器において、表示部の表示面から、第１撮像光学系及び第２撮像光学系に、異なる光学的特徴を有する光学系を介して光が伝播してもよい。さらに、複数の撮像光学系の全てが異なる光学的特徴を有していてもよいし、いくつかは同じ光学的特徴を有していてもよい。このように、少なくとも２つの撮像光学系は、表示面から伝播される光の光路において異なる光学的特徴を有していてもよい。異なる光学的特徴を備えることにより、発生するフレアの特徴を変化させてもよい。
　電子機器は、表示部に表示面から入射された光が伝播する、開口が備えてもよく、撮像光学系には、開口を介して表示面から入射した光が伝播してもよい。例えば、この開口により、上記の光学的特徴が形成されてもよい。
　第１撮像光学系に光を伝播する開口と、第２撮像光学系に光を伝播する開口は、異なるレイアウトを有していてもよい。このレイアウトにより、異なる光学的特徴を形成してもよい。
　第１撮像光学系に光を伝播する開口と、第２撮像光学系に光を伝播する開口は、異なる方向に回折像を形成させてもよい。例えば、第１撮像光学系に光を伝搬する開口は、第１方向のサイズが第２方向のサイズよりも大きく、第２撮像光学系に光を伝播する開口は、第２方向のサイズが第１方向のサイズよりも大きくてもよい。このように、開口による回折像を異なる方向に形成する開口であれば、フレアの発生する方向を２つの撮像光学系において別の方向とすることができる。
　電子機器は、第１撮像光学系及び第２撮像光学系との視差と同じ視差を第１撮像光学系に対して有する、第３撮像光学系、を備えてもよく、画像取得部は、第２撮像光学系及び第３撮像光学系から取得された情報に基づいて取得した情報と、第１撮像光学系から取得された情報と、に基づいて、画像データを取得してもよい。すなわち、ある２つの撮像光学系の組み合わせに対して、これらの２つの撮像光学系のいずれかを中心として、逆方向に同等の視差を有する撮像光学系をさらに備えていてもよい。
　表示面の第１方向又は第２方向において、第１撮像光学系は、中央付近に備えられ、第２撮像光学系及び第３撮像光学系は、第１撮像光学系を挟むように、表示面の境界付近に備えられ、第１撮像光学系は、第２撮像光学系及び第３撮像光学系よりも、第３方向における表示面に面している領域が小さくてもよい。すなわち、第２、第３撮像光学系は、電子機器１の表示面において、両端に備えられ、中央付近にこれらの撮像光学系よりも目立たない第１撮像光学系が備えられていてもよい。
　第１撮像光学系及び第２撮像光学系の配置は、第１方向及び第２方向の双方において異なる座標を有していてもよい。このように、２つの撮像光学系は、第１方向のみ、第２方向のみ、第１方向及び第２方向の双方において異なる座標を有していてもよい。すなわち、表示面において、２つの撮像光学系は、水平方向に並んでいてもよいし、垂直方向に並んでいてもよいし、又は、任意の方向に並んでいてもよい。
　画像取得部は、第１撮像光学系から取得したデータと、第２撮像光学系から取得したデータとを合成する場合、合成結果である画像データにおける位置において強度の低いデータに基づいて撮像結果を取得してもよい。フレアは、取得データにおいて、撮像したい物体よりも高い輝度、光の強度を有することが多いので、画像取得部が画像データを取得する場合に、２つの撮像光学系から取得された信号のうち、強度の低い信号に基づいて画像を取得してもよい。
　第１撮像光学系と、第２撮像光学系は、それぞれに優先して反映させる方向を有し、画像取得部は、方向毎の出力に所定値以上の差分が生じた場合に、いずれかの結果を用いて撮像結果を取得してもよい。例えば、第１撮像光学系が第１方向に沿ったフレアを発生させ、第２撮像光学系が第２方向に沿ったフレアを発生させるような場合、画像取得部は、フレア発生が小さい撮像光学系からの出力に基づいて画像データを取得してもよい。
　第１撮像光学系と、第２撮像光学系との間が遮光されてもよい。このように、第１撮像光学系と、第２撮像光学系の間を遮光し、互いの光学系に及ぼす影響を抑制してもよい。
　画像取得部は、訓練済みモデルを用いて、第１撮像光学系と第２撮像光学系により取得された情報を合成してもよい。このように、例えば、機械学習により生成されたモデルを用いて複数の撮像光学系から出力されたデータを合成してもよい。
　この訓練済みモデルは、複数の電子機器から収集されたデータに基づいて訓練されてもよい。例えば、同じ型番で製造された電子機器１に基づいて、モデルを生成してもよい。また、型番の中においても、撮像モード等に基づいて、モデルを変更し、訓練してもよい。
　画像取得部は、複数の撮像光学系により取得された複数の画像における視差が所定量を超える場合に補正を加えてもよい。例えば、フレアが発生する領域を視差から検出し、その領域に対して画像処理をすることにより、画像データを取得してもよい。
　少なくとも１つの撮像光学系は、マイクロレンズアレイにより構成されてもよい。このように、１つの撮像系に１つのレンズではなく、レンズ系が備えられてもよい。
　マイクロレンズアレイの備えられる領域において複数の撮像光学系が備えられてもよい。このように、１つのマイクロレンズアレイを用いて、複数の撮像光学系が形成されてもよい。
　第１撮像光学系と、第２撮像光学系は、同じ撮像素子において情報を取得してもよい。このように、１つの撮像素子、例えば、１チップの撮像素子において、複数の撮像光学系が形成されてもよい。上記と組み合わせると、１チップに対してマイクロレンズアレイを備えることにより、領域ごとに複数の撮像光学系を備える構成とすることもできる。
　画像取得部は、撮像素子と同一チップ上に配置されてもよい。例えば、１チップに撮像素子と論理回路とを備え、撮像素子が取得したデータをDA変換し、変換されたデータを論理回路により処理してもよい。１チップではなく、複数の積層されたチップとして形成されてもよい。
　表示部は、異なる光学的特徴を有する複数の表示光学系を備えてもよい。例えば、表示光学系として、OLED、MicroLED、液晶等が混合されていてもよく、この場合、撮像光学系によって、表示部において反射、屈折、回折された結果に基づいたフレアを異なる特徴を有するものとすることもできる。
　複数の撮像光学系のうち少なくとも１つは、画像取得部において信号補正が必要である場合に動作してもよい。例えば、電子機器が強い光源を検知した場合に補正を行う撮像素子を備える等、周囲の環境に基づいて、撮像光学系によって補正するか否かを切り替えてもよい。
　第１撮像光学系と、第２撮像光学系は、一体化されていてもよい。例えば、２つ撮像光学系において、受光素子、及び、受光素子までの光路が隣接していてもよい。
　第１撮像光学系と、第２撮像光学系は、表示面の境界付近に備えられてもよい。境界とは、例えば、表示面の端部のことであり、複数の撮像光学系は、この端部において備えられていてもよい。
　第１撮像光学系と、第２撮像光学系は、50mm以上80mm以下の距離、離れて配置されていてもよく画像取得部は、第１撮像光学系及び第２撮像光学系が取得した情報の視差画像データを生成してもよい。このように、人間の両目の間の距離と同等の距離を有するように、２つの撮像光学系を配置してもよい。
　表示部は、デバイスの両面に備えられてもよい。この場合、撮像光学系は、複数の表示部のそれぞれに複数ずつ備えられてもよいし、一方には複数の撮像光学系が備えられ他方には備えられていなくてもよいし、一方には１つの撮像光学系が備えられ他方には複数の撮像光学系が備えられてもよい。
　第１撮像光学系及び第２撮像光学系とは異なる第４撮像光学系を有し、第４撮像光学系と、第１撮像光学系又は第２撮像光学系について、上記のいずれかの特徴を有していてもよい。最初に記載したように、第１撮像光学系、第２撮像光学系は、あくまで複数ある撮像光学系のうち２つを抜き出したものであり、特定の撮像光学系を示すものではない。
一実施形態に係る電子機器の模式的な断面図。 一実施形態に係る電子機器の模式的な外観図。 一実施形態に係る撮像光学系の一例を示す模式的な図。 一実施形態に係る撮像光学系の一例を示す模式的な図。 一実施形態に係る電子機器の撮像動作に関するブロック図。 一実施形態に係る撮像光学系を表示面側から示す図。 図５の撮像光学系により撮像された画像の一例を示す図。 図５の撮像光学系により撮像された画像の一例を示す図。 一実施形態に係る画像取得部により取得された画像の一例を示す図。 一実施形態に係る撮像光学系を表示面側から示す図。 図８の撮像光学系により撮像された画像の一例を示す図。 一実施形態に係る電子機器の模式的な外観図。 図１０の撮像光学系により撮像された画像の一例を示す図。 図１１の両端における撮像光学系により取得された画像を合成した一例を示す図。 一実施形態に係る撮像光学系により撮像された画像の一例を示す図。 一実施形態に係る電子機器の模式的な断面図。 一実施形態に係る電子機器の模式的な断面図。 一実施形態に係る電子機器の模式的な断面図。 一実施形態に係る撮像光学系の一例を示す模式的な図。 一実施形態に係る撮像光学系の一例を示す模式的な図。 一実施形態に係る撮像光学系の一例を示す模式的な図。 一実施形態に係る撮像光学系の一例を示す模式的な図。 一実施形態に係る撮像光学系の一例を示す模式的な図。 一実施形態に係る撮像光学系の一例を示す模式的な図。 一実施形態に係る撮像光学系の一例を示す模式的な図。 一実施形態に係る撮像光学英の一例を示す模式的な図。 一実施形態に係る撮像部の実装の一例を示す模式的な図。 一実施形態に係る撮像部の実装の一例を示す模式的な図。 一実施形態に係る撮像部の実装の一例を示す模式的な図。 一実施形態に係る撮像光学系の配置の一例を示す図。 一実施形態に係る撮像光学系の配置の一例を示す図。 一実施形態に係る撮像光学系の配置の一例を示す図。 一実施形態に係る撮像光学系の配置の一例を示す図。 一実施形態に係る撮像光学系の配置の一例を示す図。 一実施形態に係る撮像光学系の配置の一例を示す図。 一実施形態に係る開口のレイアウトの一例を示す図。 一実施形態に係る開口のレイアウトの一例を示す図。 一実施形態に係る開口のレイアウトの一例を示す図。 一実施形態に係る開口のレイアウトの一例を示す図。 一実施形態の電子機器をカプセル内視鏡に適用した場合の平面図。 一実施形態の電子機器をデジタル一眼レフカメラに適用した場合の背面図。 一実施形態の電子機器をＨＭＤに適用した例を示す図。 現状のＨＭＤを示す図。
　以下、図面を参照して、電子機器の実施形態について説明する。以下では、電子機器の主要な構成部分を中心に説明するが、電子機器には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。また、説明のためにサイズ、形状、アスペクト比等が変更されているものがあるが、これらは実装においては、適切なサイズ、形状、アスペクト比等を有しているものである。なお、以下の説明において、取得する信号は、画像情報又は撮像情報として記載しているが、この画像情報、撮像情報とは広義の概念であり、静止画、動画、又は、映像における１フレームの画像等をも含む概念である。
　（第１実施形態）
　図１は第１実施形態による電子機器１の模式的な断面図である。図１の電子機器１は、スマートフォンや携帯電話、タブレット、ＰＣなど、表示機能と撮影機能を兼ね備えた任意の電子機器である。図の左下に示すように、第１方向を図面右側向き、第２方向を図面と垂直な方向、第３方向を図面下向きとする。すなわち、第２方向は、第１方向と交わる向きであり、第３方向は、第１方向及び第２方向と交わる向きである。なお、交わるとは、90°の角度で交わることを含んでもよいし、厳密に90°ではなくてもよい。また、図からわかるように、第１方向と第２方向は、便宜的に区別されるものであり、入れ替えても同等のものである。
　図１の電子機器１は、表示部２の表示面とは反対側に配置される撮像光学系（カメラモジュール等）を備えている。このように、電子機器１は、表示部２の表示面の裏側（反対側）に撮像光学系３を設けている。したがって、撮像光学系３は、表示部２を通して撮影を行うことになる。
　図１に示すように、表示部２は、表示パネル４、円偏光板５、タッチパネル６、及びカバーガラス７を順に積層した構造体である。この図１の積層は、一例と示したものであり、表示パネル４、円偏光板５、タッチパネル６、カバーガラス７の間には、粘着層又は接着層が必要に応じて備えられていてもよい。また、円偏光板５、タッチパネル６の順番は、その設計により適宜入れ替えてもよい。
　撮像光学系３は、表示部２の表示面の反対側に備えられる。撮像光学系３は、例えば、光を受光してアナログ信号へと光電変換する光電素子（受光素子）と、表示面に照射された光を当該光電素子へと伝播する、光学系と、を備える。光学系は、例えば、表示パネル４に備えられる開口であってもよい。この撮像光学系３は、電子機器１の１つの表示部２に対して複数備えられ、例えば、図に示すように２つ備えられる。表示面に照射された光は、図の矢印で示すように、開口において回折し、受光素子へと伝播される。また、開口ではなく、何らかの光学的特徴、例えば、光路長を調節したり、偏光状態を変更したりする光学的特徴を有する光学系を備えていてもよい。撮像光学系３は、例えば、撮像部８と、この撮像部８に表示面から入射した光を集光、拡散等する光学系９と、を備える。
　複数の撮像光学系３は、例えば、図に示すように、第２方向に異なる座標を有するように配置されるが、これには限られない。例えば、第１方向に異なる座標を有していてもよいし、第１方向及び第２方向の双方において異なる座標を有していてもよい。
　表示パネル４は、詳細は図示していないが、例えば、表示するための光学系(表示光学系)として、OLED（Organic Light Emitting Device）を備えていてもよいし、TFT等の液晶を備えていてもよいし、或いは、MicroLEDを備えていてもよい。表示光学系は、その他の表示原理に基づく発光素子を備えていてもよい。表示光学系としての発光素子は、例えば、ストライプ配列であってもよいし、モザイク配列であってもよく、第１方向及び第２方向にアレイ状に配置されてもよいし、斜め方向や部分的な画素間引きがされていてもよい。また、表示光学系は、発光素子が積層型のフィルタを備えて表示色を変更するものであってもよい。OLED等を備える場合、表示パネル４は、例えば、アノード層、カソード層等の複数の層で構成されていてもよい。また、これらの層は、透過率が高い材料により形成されていてもよい。
　表示パネル４には、カラーフィルタ層等の透過率が低い部材が設けられることもある。また、表示パネル４がOLEDを備える場合、例えば、基板４ａと、OLED部と、を備えていてもよい。基板４ａは、例えば、ポリイミド等から形成されていてもよい。基板４ａがポリイミド等のように光の透過率が低い材質である場合、撮像光学系３の配置場所に合わせて、開口を形成してもよい。開口を通った被写体光が撮像光学系３に入射されるようにすれば、撮像光学系３で撮像される画像の画質を向上できる。また、開口ではなく、透過率の高い物質により形成された光の伝搬路を備えていてもよい。この場合も、表示部２の表示面から入射した光は、撮像光学系３において受光され、信号へと変換される。
　円偏光板５は、例えば、ギラツキを低減し、又は、明るい環境下でも表示画面１ａの視認性を高めるために設けられている。タッチパネル６には、タッチセンサが組み込まれている。タッチセンサには、静電容量型や抵抗膜型など、種々の方式があるが、いずれの方式を用いてもよい。また、タッチパネル６と表示パネル４を一体化してもよい。カバーガラス７は、表示パネル４等を保護するために設けられている。上述したように、適切な箇所に、OCA（Optical Clear Adhesive）等の接着層や粘着層を備えていてもよい。また、設計により、円偏光板５とタッチパネル６の第３方向における順番は、入れ替わって配置されてもよい。
　図２は、図１に示す電子機器１の模式的な外観図と、断面図を示す。断面図は、図に示される一点鎖線における表示部２を含むディスプレイ部分の断面を示したものである。電子機器１の筐体及びディスプレイ部分以外の回路等は、省略している。
　外観図において、電子機器１の外径サイズの近くまで表示画面１ａが拡がっており、表示画面１ａの周囲にあるベゼル１ｂの幅を数mmに以下にしている。通常、ベゼル１ｂには、フロントカメラが搭載されることが多い。本実施形態においては、例えば、フロントカメラは、複数の撮像光学系３として、外観図において点線で示すように、表示画面１ａの第２方向におけるほぼ中央あたり位置してもよい。このように、フロントカメラを撮像光学系３として表示部２の表示面の反対側に配置することにより、ベゼル１ｂにフロントカメラを配置する必要がなくなり、ベゼル１ｂの幅を狭めることができる。
　なお、図２の外観図は、一例として示したものであり、撮像光学系３、すなわち、フロントカメラは、表示画面１ａにおいて、任意の第１方向及び第２方向における位置に、表示部２の表示面と反対側（裏面側）に配置されてもよい。例えば、表示画面１ａの周縁部（端部、境界部分）に配置されてもよい。図２の外観図に示すように、複数の撮像光学系３は、例えば、第１方向に異なる座標を有するように備えられる。任意の位置に撮像光学系３が配置される場合にも、第１方向及び第２方向の少なくとも１方向において異なる座標を有するように配置されればよい。また、撮像光学系３は、２つ描かれているがこれには限られず、さらに多くの撮像光学系が表示面と反対側に備えられていてもよい。
　例えば、撮像光学系３は、断面図に示すように、表示部２の表示面であるディスプレイ表面側とは反対側の裏面側に備えられる。なお、この断面図は、省略して示されたものである。例えば、上記と同様に、粘着層等は、図２の断面図の構成においても備えられているが、説明の簡単のため省略している。
　図３Ａは、撮像光学系３の一例を示す図である。撮像光学系３は、例えば、撮像部８と、光学系９と、を備える。光学系９は、撮像部８の光の入射面側、すなわち、表示部２に近い側に配置される。表示部２の表示面を透過した光は、光学系９により撮像部８に伝播される。
　撮像部８は、例えば、フォトダイオード等の受光素子、光電素子を備えている。光学系９により集光、拡散等され、伝播された光は、撮像部８に備えられる撮像画素アレイにより受光され、アナログ信号を出力する。撮像画素アレイは、それぞれの撮像素子の入射面側に、例えば、ベイヤ配列等のカラーフィルタが備えられていてもよいし、積層型のカラーフィルタが備えられていてもよい。この他、カラー画像を取得するためのフィルタが備えられていてもよい。また、図示しないが、その他受光及びアナログ信号を出力するのに必要となる素子、回路等が備えられる。例えば、光電変換は、CMOS（Complementary Metal-Oxide-Semiconductor）素子、CCD（Charge Coupled Device）素子であってもよい。この他、上述のフィルタ、さらに、偏光素子等を備えてもよい。
　光学系９は、例えば、レンズを備えていてもよい。また、光学系９は、上述した、表示パネル４に設けられる開口を含める概念としてもよい。例えば、光学系９として、表示パネル４に設けられた開口と、第３方向においてこの開口よりも撮像部８に近い位置にレンズが配置される。この開口は、例えば、透過率の低い基板４ａに備えられ、この開口部を透過した光を撮像部８に伝播させるレンズが備えられていてもよい。例えば、このレンズと開口により、それぞれの撮像光学系３における開口数Na（Numerical Aperture）や、F値（F-Number）といった光学的特徴が定義される。またさらに、この光学系９により、撮像光学系３が異なるアッベ数を有する等、他の光学的特徴を有するようにしてもよい。レンズは、１枚のレンズとして示されているが、これには限られず、複数の多種の種類のレンズを備えたレンズ系として備えられていてもよい。
　なお、開口とレンズは、一例として示したものであり、光学系９の構成は、必ずしもこれらの組み合わせに限定されるものではない。また、図においては、開口１つに対して１つのレンズが備えられているがこれには限られない。例えば、図３Ｂのように、光学系９において１つのレンズに対して、複数の開口が設けられてもよい。開口の存在しない領域においては、例えば、表示パネル４の発光素子が備えられ、これらの発光素子の間を縫うように開口が備えられてもよい。このように配置することにより、表示を崩すことなく、撮像光学系３を備えることが可能となる。
　複数の撮像光学系３は、このように、開口の形状、レンズの性能等により、異なる光学的特徴を備えて形成されてもよい。３以上の撮像光学系３がある場合には、それぞれに対応する光学系９において別々の光学的特徴を持たせてもよい。別の例として、撮像光学系３を複数のグループに分け、グループごとに異なる光学的特徴を持たせてもよい。例えば、共通する光学的特徴を有する２つの撮像光学系３と、異なる光学的特徴を有する１つの撮像光学系３となるように、光学系９が、その開口の形状、向き、又は、レンズの素材等を変えて備えられていてもよい。開口の形状、向きを含めた表現として、開口のレイアウトと記載する。
　図３Ａに矢印で示すように、表示部２の表示面側から入射した光は、光学系９により屈折等し、撮像部８において受光される。光学系９の備えられない箇所においては、通常のディスプレイと同様に、適切に反射等が抑制され、表示部２における表示が見やすく調整されてもよい。例えば、表示パネル４の発光画素間に開口を備え、第３方向において開口の表示面とは反対側にレンズを備え、撮像部８へと表示面から入射した光を投射する。また、連続する発光画素の間のそれぞれの間に開口を備えていてもよい。言い換えると、開口と開口の間に発光画素が備えられるような構成であってもよい。
　ここで、電子機器１の撮像機能の一例について説明する。
　図４は、本実施形態に係る電子機器１の撮像動作に関連する構成を表したブロック図の一例を示す。電子機器１は、表示部２と、複数の撮像光学系３と、前処理部１０と、画像取得部１２と、後処理部１４と、出力部１６と、制御部１８と、記憶部２０と、を備える。
　先に説明した図面と同様に、１つの表示部２に対して、その表示面と反対側に、複数の撮像光学系３を備える。撮像光学系３は、それぞれ、撮像部８と、光学系９と、を備える。
　前処理部１０は、撮像部８が出力するアナログ信号を処理する回路である。前処理部１０は、例えば、ADC（Analog to Digital Converter）を備え、入力されたアナログ信号をデジタル画像データへと変換する。
　画像取得部１２は、前処理部１０により変換されたデジタル画像データから、撮像された画像を取得する。複数の撮像光学系３から取得したデジタル画像データに基づいて、撮像結果を取得する。より具体的には、画像取得部１２は、例えば、それぞれの撮像光学系３において発生したフレアを、複数の撮像光学系３により得られた画像データを用いて抑制した撮像結果を取得し、出力する。
　後処理部１４は、画像取得部１２が出力した撮像結果に適切な処理を施して出力する。適切な処理とは、例えば、画素欠陥補正、エッジ強調、ノイズ除去、明るさ調整、色補正、ホワイトバランス調整、歪み補正、オートフォーカス処理、等の画像処理又は信号処理のことであってもよい。また、この適切な処理は、ユーザにより指定された処理であってもよい。
　出力部１６は、電子機器１の外部へと情報を出力する。出力部１６は、例えば、出力インタフェースを備える。出力インタフェースは、例えば、USB（Universal Serial Bus）等のデジタル信号を出力するインタフェースであってもよいし、ディスプレイ等のユーザインタフェースであってもよい。また、出力部１６に備えられる出力インタフェースは、入力インタフェースを兼ね備えるものであってもよい。
　制御部１８は、電子機器１における処理を制御する。制御部１８は、例えば、CPU（Central Processing Unit）を備えていてもよく、前処理部１０、画像取得部１２、後処理部１４、出力部１６の処理を制御してもよい。また、ユーザインタフェースからの指示された撮像タイミングに基づいて、撮像光学系３による撮影を行う制御をも実行してもよい。
　記憶部２０は、電子機器１におけるデータを格納する。記憶部２０は、例えば、DRAM（Dynamic Random Access Memory）等のメモリ、SSD（Solid State Drive）等のストレージであってもよい。記憶部２０は、内蔵のメモリであってもよいし、取り外し可能なメモリカード等のメモリであってもよい。また、記憶部２０は、必ずしも電子機器１の内部に備えられるものではなく、入出力インタフェースを介して接続される外部にストレージ等であってもよい。記憶部２０には、電子機器１において必要なタイミングで適切に情報が入出力される。
　上記に説明したうち、一部又は全部は、同じ基板上に形成されてもよい。例えば、撮像光学系３と、前処理部１０、画像取得部１２、後処理部１４、出力部１６、制御部１８、記憶部２０は、１チップ上に形成されてもよいし、適宜これらの一部が別のチップとして形成されていてもよい。また、１チップの同一基板上に形成された一部の構成が、他の基板上に形成された一部の構成と、その製造工程においてCoC（Chip on Chip）、CoW（Chip on Wafer）、WoW（Wafer on Wafer）等の技術により積層されて形成されてもよい。
　次に、撮像光学系３と、画像取得部１２の動作について詳しく説明する。
　図５は、表示部２の表示面側から撮像光学系３を示した図である。例えば、図において、表示部２を表示面側から見た一部の領域が示されている。表示面からは、表示パネル４を見ることが可能であり、この表示パネル４には、点線で示されるように、第１方向及び第２方向にアレイ状に配置された複数の発光素子が形成する発光画素４ｂが備えられている。なお、発光画素４ｂの並び方及び向き等は、一例として示したものであり、発光画素４ｂは、図５と並び方は同様であるが、45°回転して設置されていてもよい。また、発光画素４ｂは、正方形として描かれているがこれには限られず、いずれかの方向に延びた長方形であってもよいし、さらには、矩形状でなくともよい。
　表示パネル４の発光画素４ｂの間に開口を有する複数の撮像光学系３が備えらえる。例えば、図５においては、第１撮像光学系３Ａと、第２撮像光学系３Ｂと、が示されている。それぞれの撮像光学系には、一例として図に示すように、第１光学系９Ａとして第２方向に長軸を有する楕円形の開口と、第２光学系９Ｂとして第１方向に長軸を有する楕円形の開口と、が備えられる。光学系としての開口は、それぞれの撮像光学系に複数備えられていてもよい。図５において、例えば、第１撮像部８Ａは、第１光学系９Ａに備えられる開口の下部に、第２撮像部８Ｂは、第２光学系９Ｂに備えられる開口の下部に備えられる。なお、これには限られず、開口とずれた位置に撮像部８が備えられてもよい。
　なお、図示していないが、それぞれの開口と、撮像部８との間、又は、開口において、開口を通過する光が適切に撮像部８の撮像領域に光が拡散、集光するように、レンズが光学系９の一部として備えられていてもよい。レンズではなく、適切に撮像部８の撮像領域において受光できるように、その他の光学系が備えられてもよい。ここで、開口は、光学的な透過領域を示しており、エアギャップでもよいし、樹脂等の透明材料により埋められていてもよい。また、カラーフィルタ等により特定波長を透過させる材料であってもよく、開口部を埋める材料は、限定されるものではない。例えば、異なる透過率、屈折率等を有する材料により開口を埋めることにより、第１光学系９Ａと第２光学系９Ｂの光学的特徴を異なるものとしてもよい。
　撮像光学系３は、例えば、この図５に示す第１撮像光学系３Ａと第２撮像光学系３Ｂのように、異なる開口のレイアウトを有し、位置がずれて配置される。開口のレイアウトが異なることにより、それぞれに属する光学系の光学的特徴が異なり、表示部２の表示面からそれぞれの撮像部８へ、異なる光学的特徴を介して光が入射される。すなわち、第１撮像部８Ａと、第２撮像部８Ｂには、異なる光学的特徴を介して光が入射される。
　例えば、図５に示すように、それぞれの撮像光学系に属する開口を、同じような楕円の方向を変化させたものとしてもよい。このように、同様の開口が異なる方向を有することにより、異なる方向に回折像を発生される光学系９を形成してもよい。
　また、図５においては、連続する３つの発光画素の間に第１方向及び第２方向に沿って２つの開口が備えられる状態が示されているが、これには限られない。例えば、さらに多くの連続する複数の発光画素同士の間のそれぞれに開口が備えられていてもよい。このように、１つの光学系９は、表示パネル４を含む表示部２において、表示面から見た場合に必ずしも１つの連続した領域ではなく、例えば、発光画素と発光画素との間を縫うように周期的器に配置された開口を含む複数の別個の領域として構成されていてもよい。
　さらに、図５においては、おおよそ２～３の表示画素につき１つの開口の長軸が対応しているがこれには限られない。開口は、例えば、さらに長い長軸を有していてもよいし、さらに短い長軸を有していてもよい。
　また、同様の開口ではなく、異なる特徴を有する回折像を発生させるために、第１光学系９Ａの一部である開口の長軸よりも、第２光学系９Ｂの一部である開口の長軸を長くしてもよいし、短くしてもよい。このように開口のレイアウトを異なるものとすることにより、第１撮像光学系３Ａと第２撮像光学系３Ｂから出力される信号において、フレアの影響をより異なるものとすることができる。この結果、画像取得部１２によるフレアの抑制動作を補助することもできる。この開口のレイアウトによるフレアの影響は、電子機器１の状態又は電子機器１内における各構成要素の状態に基づいて変化するため、電子機器１の設計により適切に定義することが可能である。
　図６Ａ及び図６Ｂは、図５に示すそれぞれの撮像光学系３により取得されたアナログ信号から変換され、座標が調整された画像を示す。図６Ａは、第１撮像光学系３Ａに基づいて取得された画像であり、図６Ｂは、第２撮像光学系３Ｂに基づいて取得された画像である。
　画像取得部１２が位置の調整を実行してもよい。撮像位置の調整は、例えば、表示パネル４にそれぞれの撮像光学系３が取得した画像の鏡像を表示させた像と、表示面を正面から見た反射像が重なるように調整されてもよい。例えば、表示面の中心に人物が反射するように位置している場合、撮像光学系３から取得された画像が表示面の中心に表示されるように位置が調整されてもよい。例えば、撮像光学系３の表示面の中心からの位置ズレに基づいて補正を行ってもよい。なお、位置の調整は、これには限られず、適切に制御されるのであれば、任意の手法で実行してもよい。
　例えば、上記のように位置調整をした場合、図６Ａ、図６Ｂに白い領域で示すように、フレアが発生する。例えば、フレアは、実際に撮影したい画像よりも明るい領域として図に示すように発生する。
　このような場合、画像取得部１２は、異なる箇所に発生しているフレアを抑制するために、第１撮像光学系３Ａと、第２撮像光学系３Ｂから出力された信号において、光の強度、又は、デジタル信号に変換した後の輝度値等がより低い画素の値を取得して画像を補正する。なお、デジタル信号に変換する前の信号について処理をする場合は、前処理部１０が信号の強度に基づいて選択をしてもよい。
　図７は、画像取得部１２により処理され、電子機器１から出力された画像を示す。上記の画像取得部１２の処理の後、後処理部１４は、例えば、明るさ等を調整する。このように処理された画像を出力することにより、図７のようにフレアが抑制され、自然な明るさ等に調整された画像を取得することができる。
　例えば、図６Ａ、図６Ｂのようなフレアは、撮像光学系３のそれぞれに依存して発生する領域が決定されることがある。このように、フレアの発生領域をあらかじめ記憶部２０、或いは、画像取得部１２において記憶しておいてもよい。この結果、高速に画素値の選択処理、又は、画素値の合成処理を実行することができる。例えば、ある画素に関しては、それぞれの撮像光学系３から出力された画素値の比較をするまでもなく、所定の撮像光学系３からの出力に基づいて画像を取得する、等としてもよい。
　以上のように、本実施形態によれば、回折光の発生する方向を複数の撮像光学系において異なる方向とすることにより、ディスプレイの表示部の裏面に備えられるカメラ、すなわち、ディスプレイに重なるように配置されたフロントカメラで撮影した画像におけるフレアの抑制をすることが可能となる。この結果、電子機器において、ディスプレイが備えられる面におけるベゼルの幅を大きくすることになく、精度のよい画像を取得することが可能な撮像光学系をディスプレイの正面側に備えることが可能となる。
　例えば、ディスプレイの表面に強い光源から発せられた光が部分的に当たる場合、当該光が当たっている領域に近い撮像光学系３においてフレアの成分が発生しやすい。このような場合にも、位置が異なるように備えられる少なくとも１つの他の撮像光学系３において取得された画像を用いることにより、上記のようにフレアを抑制した画像を取得することが可能となる。
　なお、第１撮像光学系３Ａと第２撮像光学系３Ｂは、複数ある撮像光学系のうち２つを選択したものであり、３以上の撮像光学系３が備えられていてもよい。すなわち、３以上の複数の撮像光学系３において、少なくとも２つの撮像光学系３が上記の第１撮像光学系３Ａ及び第２撮像光学系３Ｂとして機能すれば、本実施形態、また、以下に説明する実施形態の作用、効果を奏することが可能となる。また、３以上の撮像光学系３において、上記の第１撮像光学系、第２撮像光学系の組の特徴を有する２組以上の撮像光学系を備えることにより、さらに撮像画像の取得の自由度を向上することが可能となり、フレア抑制の精度を向上させることも可能である。この場合、同じ組み合わせでなければ、同じ撮像光学系が異なる組み合わせに用いられてもよい。例えば、撮像光学系として、３Ｘ、３Ｙ、３Ｚが備えられる場合、（第１撮像光学系，第２撮像光学系）の組み合わせとして、（３Ｘ，３Ｙ）、（３Ｘ，３Ｚ）というＸが共通する２組の組み合わせとしてもよい。
　また、上記では、それぞれの撮像光学系３が光学系９として開口を備えるものとしたが、これには限られない。例えば、一方が開口を備え、他方が開口を備えない構成としてもよい。この場合も、上記と同様に、複数の撮像光学系３から位置の異なるフレアが発生するため、複数の撮像光学系３により取得された画像によりフレアの影響を抑制することが可能となる。
　また、開口の形状は、楕円であるとしたが、これには限られない。例えば、矩形であってもよいし、角を丸めた矩形であってもよい。その他、適切に撮像部８において受光させることができる任意の閉曲線により形成されてもよい。また、開口の厚さ方向、すなわち、第３方向において、同じ形状をしていなくてもよい。例えば、上部、すなわち、表示面に近い方が矩形であり、撮像部８に近い方が楕円といった、より複雑な形状をしていてもよい。
　また、上記においては、光学的特徴として開口の形状等について説明したが、これに限られるものではない。例えば、開口の中に充填する素材等を撮像光学系３ごとに変えることにより別の特徴を有するようにしてもよい。また、例えば、光学系９として、λ/4波長板を備えてもよい。この場合、表示パネル４内のおける反射の影響によるフレアを減らすべく、p波がカットされるようにしてもよい。複数の撮像光学系３に対して、光学系９として異なる波長板を備えていてもよい。この結果、表示部２における反射、回折等によるフレアの影響を撮像光学系３ごとに変えることが可能となり、種々の画像補正の手法を用いることができる。
　（第２実施形態）
　本実施形態に係る電子機器は、同様のレイアウトの開口を備えてフレアの影響を小さくすることが可能となる複数の撮像光学系を有する。
　図８は、本実施形態に係る電子機器１の表示面を図５と同様に示したものである。本実施形態においては、第１撮像光学系３Ａと第２撮像光学系３Ｂとは、同様の開口のレイアウトを有する。一方で、第１実施形態とは異なり、第１撮像光学系３Ａと第２撮像光学系３Ｂは、第２方向に異なる位置に存在する。すなわち、それぞれの光学系は、第２方向に長軸を有する楕円形の開口を有し、第２方向にずれた位置に配置される。
　図９は、第２撮像光学系３Ｂにより取得された画像である。例えば、第１撮像光学系３Ａにより取得された画像は、図６Ａであるとする。このように、第２方向に長軸を有する楕円形の開口を双方の撮像光学系３が備えるため、フレアの発生する方向は、一致する。しかしながら、第２方向にずらして第１撮像光学系３Ａ及び第２撮像光学系３Ｂが配置されるため、第２方向にずれた位置にフレアが発生する。
　このため、上述した第１実施形態と同様に、画像取得部１２は、フレアの影響を抑制した画像を取得することが可能となる。また、第１撮像光学系３Ａと第２撮像光学系３Ｂとは、その第１方向にもずれていてもよい。このように第１方向及び第２方向ともにずれている場合、それぞれの撮像光学系におけるフレアの発生の第１方向における中心点がことなる位置となるため、よりよいフレアの抑制された画像を取得することができる。
　（第３実施形態）
　本実施形態では、３つの撮像光学系を有する電子機器について説明する。
　図１０は、本実施形態に係る電子機器１の一例を示す図である。電子機器１は、表示部２の表示面の反対側に、第１撮像光学系３Ａ、第２撮像光学系３Ｂ、第３撮像光学系３Ｃを備える。例えば、これらの撮像光学系は、第１方向に沿って備えられる。第１撮像光学系３Ａは、画面の中央あたり、第２撮像光学系３Ｂ、第３撮像光学系３Ｃは、それぞれが第１撮像光学系３Ａを挟むように、表示部２の表示面において、端部（境界）付近に備えられてもよい。付近とは、例えば、端部、境界から表示素子による画素１ピクセル～数ピクセルとしてもよいが、別の例として、電子機器１の筐体の端部から数mmとしてもよいし、電子機器１の幅又は高さに対して数%としてもよい。
　このように配置することにより、第１撮像光学系３Ａと第２撮像光学系３Ｂの間の視差、及び、第３撮像光学系３Ｃと第１撮像光学系３Ａの間の視差が同等のものとすることが可能となる。すなわち、このことから、第２撮像光学系３Ｂにより取得された画像と、第３撮像光学系３Ｃにより取得された画像を用いて、第１撮像光学系３Ａと視差が（ほとんど）０となる画像を生成することができる。
　表示面の端部は、画素の乱れが発生してもユーザに与える影響が小さいことから、このように配置する。一方で、例えば、表示面の中央付近にある第１撮像光学系３Ａの大きさを他の撮像光学系よりも小さくしてもよい。ここで、大きさとは、例えば、開口の大きさであってもよいし、撮像部８の大きさであってもよい。このように配置することにより、表示部２により表示される画像がより自然であるようにすることができる。
　図１０において、例えば、第１撮像光学系３Ａは、光学系９として、第１方向に長軸を有する楕円を備え、第２撮像光学系３Ｂ及び第３撮像光学系３Ｃは、光学系９として、第２方向に長軸を有する楕円を備えてもよい。
　図１１は、このような開口を備える場合のそれぞれの撮像光学系から取得できる画像を示す図である。上から順番に、第１撮像光学系３Ａ、第２撮像光学系３Ｂ、第３撮像光学系３Ｃにより取得された画像である。このように、第１撮像光学系３Ａにおいては、第２方向に沿ってフレアが発生し、第２撮像光学系３Ｂ、第３撮像光学系３Ｃにおいては、第１方向に沿って位置がずれたフレアが発生する。
　図１２は、第２撮像光学系３Ｂと第３撮像光学系３Ｃの画像について視差を考慮して重ね合わせた画像である。このように、視差を考慮してフレアを抑制した画像を取得すると、例えば、図１２のようにフレアを両端に寄せることが可能となる。この画像と、図１１の一番上の画像とにより、例えば、図７に示すようなフレアが抑制された画像を取得することが可能となる。これらの画像の合成又は補正は、画像取得部１２により実行されてもよい。
　上記においては、特に、第２撮像光学系３Ｂと第３撮像光学系３Ｃは、両端にあるものとしたが、これには限られない。例えば、第１撮像光学系３Ａを挟んで同等の視差が現れる位置に第２撮像光学系３Ｂと第３撮像光学系３Ｃを備えても、フレアの抑制された画像の取得は同様に実行することが可能となる。また、本実施形態においては、第１方向にずれていたものとしたが、これは、第２方向にずれていたものとしてもよい。また、第１方向及び第２方向の双方にずれた位置にそれぞれの撮像光学系３が配置されてもよい。
　（第４実施形態）
　フレアは、方向により発生する強度が変わる場合がある。例えば、第１方向には強く発生するが第２方向には弱く発生するといった場合がある。このような場合、本実施形態では、適切に第１方向又は第２方向にフレアが発生しやすい撮像光学系を選択して、その選択した撮像光学系から取得した信号に基づいてフレアを抑制した画像を取得してもよい。
　図１３は、例えば、図５に示す撮像光学系において画像を取得した場合に、第２方向のフレアが強く発生し、第１方向のフレアがそれほど強く発生しなかった場合の第１撮像光学系３Ａからの出力に基づいて取得された画像の一例を示す。図１３に示すように、第１方向のフレアの強度が弱いため、図６Ａと比較してフレア部分が暗くなった画像が取得される。これに対して、第２方向のフレアが強く発生するため、第２撮像光学系３Ｂから出力される画像は、図６Ｂに示すように、フレア部分が明るい画像が取得される。
　このように、方向によりフレアに強弱がある場合、第１撮像光学系３Ａからの出力に基づいて、フレアの抑制された画像を取得してもよい。フレアの強弱は、例えば、前処理部１０において、それぞれの撮像光学系３から出力された画像データにおいて、第１方向及び第２方向における輝度の分散を算出する。例えば、行ごとに第１方向に沿った分散を算出して平均値を取り、列ごとに第２方向に沿った分散を算出して平均値を取る。この平均値が高い方向がフレアの強度が強く出ているとすることができる。また、分散ではなく、行ごと又は列ごとの最大輝度と最小輝度の差に基づいて方向を決定してもよい。
　いずれの方向においてフレアが発生しやすい撮像光学系３かは、上述したように、それぞれの撮像光学系３の光学系９に依存する。例えば、上述したように、光学系９に備えられる開口の方向に基づいて決定される。この開口の方向により、いずれかの方向にフレアが発生した場合に、優先させる撮像光学系３をあらかじめ決めておいてもよい。
　なお、開口のレイアウトによりフレアが発生しやすいかを記載したが、これには限られない。例えば、フレアを制御するための光学系は、開口レイアウトだけではなく、回路の配線を含む表示パネルの全般であってもよい。フレア、回折形状は、周期的にどのようなパターンが回路上にレイアウトされ、どのように光を干渉させるかによっても変わる。このことをも踏まえて、いずれの方向においてフレアが発生しやすいかを決定してもよい。
　画像取得部１２は、フレアが発生した方向とことなる優先方向を有する撮像光学系３に基づいて、フレアの抑制された画像を取得する。例えば、図１３と図６Ｂのような画像がそれぞれの撮像光学系３を介して出力された場合、フレアの発生の少ない図１３の画像を選択して、出力してもよい。また、図１３の画像の重みを重くした図１３と図６Ｂの画像の重み付け平均を算出してもよい。
　さらに別の例として、第２方向に強いフレアが発生する場合に、複数の第１方向が優先方向である撮像光学系３を用いて、上述のいずれかの取得（例えば、選択、合成）方法に基づいて、画像を取得してもよい。
　このように、フレアに極性がある場合、その方向とは別の方向を優先方向とする撮像光学系３を介して出力された画像に基づいて、フレアが抑制された画像を取得してもよい。
　（第５実施形態）
　本実施形態における電子機器１では、フレアが発生した場合であっても、いずれかの撮像光学系３においては、フレアの発生が弱くなるように配置するものである。
　図１４は、本実施形態に係る電子機器１の断面図を示す図である。図１４に示すように、電子機器１は、複数の撮像光学系３の間に遮光部３０を備える。遮光部３０は、遮光性の高い材料により形成された遮光膜であってもよいし、光の吸収率の高い材料により形成された吸収膜であってもよい。
　このように、表示パネル４の表示面と反対側において、撮像光学系３同士で光が伝播しないような遮光部３０を備えていてもよい。
　図１５は、別の例であり、遮光部３０は、複数の撮像光学系３に対して、表示パネル４及び円偏光板５において反射した光が第１方向及び第２方向に伝播しないように、備えられてもよい。
　図１６は、さらに別の例であり、遮光部３０は、表示パネル４を貫通するように備えられていてもよい。このように備えることにより、表示部２において反射した光の他、表示部２以外において反射した光をも遮光することが可能となる。
　例えば、図１５、図１６のように、表示パネル４、円偏光板５の備えられる領域において遮光部３０を配置することにより、これらの層において反射、回折等した光によるフレアの発生を抑制することが可能となる。ある領域において、入射光等の影響により強いフレアが発生し、当該領域の光が入射される撮像光学系３において強いフレアが発生下としても、遮光部３０を隔てた他の撮像光学系３においてフレアの影響を軽減することが可能となる。
　また、例えば、図１４、図１６のように、表示部２の表示面の第３方向における反対側において光の反射、回折による影響を少なくすることにより、撮像部８同士における影響を抑制することが可能となる。
　なお、上記においては、遮光部３０は、円偏光板５まで備えられる場合を説明したが、例えば、タッチパネル６内にも遮光部３０が備えられる構成としてもよい。さらに、十分に薄い遮光部３０を、カバーガラス７の領域内まで到達するように形成してもよい。この場合、表示面における表示部２の表示が、ユーザにとって自然な画像と見えるように、適切にサイズの調整、及び、配置をしてもよい。さらに、表示パネル４においては、遮光部３０の周辺に配置された発光画素４ｂの輝度を他の発光画素４ｂの輝度よりも高くする等、ソフトウェア的に対応してもよい。
　このように、フレアが発生した場合にも、複数の撮像光学系３同士を遮光することにより、ある撮像光学系３において強いフレアが発生した場合にも、他の撮像光学系３を用いてフレアの影響の少ない画像を取得することが可能となる。画像取得部１２は、例えば、前述した実施形態と同様に、複数の撮像光学系３からの出力値を比較したり、合成したりして、フレアの影響の小さい画像を取得することが可能である。
　（第７実施形態）
　前述の各実施形態においては、画像取得部１２は、所定の演算（比較を含む）によりフレアの影響の小さい画像を取得した。これに対して、本実施形態では、モデルを用いて複数の撮像光学系３からの出力を合成してフレアを抑制した画像を取得する。
　例えば、モデルは、統計モデルであってもよい。種々の撮像光学系３に対してどのような演算を用いて合成をすればよいかを統計的に計算してモデルを生成しておき、画像取得部１２は、このモデルに複数の撮像光学系３から取得された情報を入力することによりフレアの影響の小さい画像を取得してもよい。
　例えば、モデルは、ディープラーニングにより訓練されたニューラルネットワークモデルであってもよい。ニューラルネットワークモデルは、MLP（Multi-Layer Perceptron）、CNN（Convolutional Neural Network）等により形成されていてもよい。この場合、あらかじめ複数の教師データにより訓練されたパラメータが記憶部２０、又は、画像取得部１２に記憶され、画像取得部１２は、この記憶されたパラメータに基づいたニューラルネットワークモデルを形成してもよい。形成された訓練済みモデルを用いて、画像取得部１２は、複数の撮像光学系３から出力されたデータを用いてフレアが抑制された画像を取得してもよい。
　さらに、訓練済みモデルを用いる場合、電子機器１は、撮像された画像を用いてさらに訓練精度を向上させてもよい。例えば、電子機器１の制御部１８等において訓練を実行してもよい。別の例として、複数の電子機器１がクラウド等に存在するストレージ等にデータを送信し、サーバ等において訓練を実行し、再訓練されたパラメータを電子機器１に反映されるようにしてもよい。この場合、ユーザの顔情報を含むプライバシー情報が含まれないように、フレアの情報だけを送信してもよい。また、電子機器１からのデータの送受信は、例えば、オプトイン、オプトアウト等によりユーザにより選択可能な状態としてもよい。
　このように、線形処理だけではなく、非線形処理、特に、訓練済モデルを含む種々のモデルを用いた演算等により画像取得部１２は、画像を取得してもよい。
　（第８実施形態）
　前述の実施形態においては、画素値や優先方向に基づいて、又は、モデルを用いた手法に基づいて画像の合成等により画像取得部１２は、画像を取得する。本実施形態においては、それぞれの撮像光学系３において、画像の補正を実行する領域を限定しようとするものである。
　例えば、図６Ａ等に示すように、それぞれの撮像光学系３においては、フレアの発生する領域が、明るい被写体を輝点に決まっていることが多い。これは、それぞれの撮像光学系３における光学系９の特性、又は、撮像光学系３の配置等に基づくものである。このため、画像取得部１２は、明るい被写体がある場合に、それぞれの撮像光学系３に対するフレアの発生する領域を予測することが可能であり、この予測結果に基づいて画像を補正してもよい。
　フレアは、近接にある光学的な要素により発生することが多い。このため、複数の撮像光学系３により取得された画像における視差は、他の被写体と比較して大きい可能性が高い。このため、画像取得部１２等により視差を算出し、視差が大きい領域をフレアが発生している領域として予測してもよい。
　補正は、例えば、ある撮像光学系３においてフレアの発生の可能性が高い領域では、他の撮像光学系３から取得された情報に基づいて画素値を決定する。例えば、第１実施形態において説明した比較演算の代わりに、この領域においては、他の撮像光学系３からの補間処理を実行してもよい。これには限られず、他の撮像光学系３から出力された画素値の影響が大きくなるように重み付け演算等、他の演算により補正処理を行ってもよい。
　また、３以上の撮像光学系３を備え、当該領域において他の複数の撮像光学系３においてフレアの発生確率が低い場合、これらの他の複数の撮像光学系３から取得した情報に基づいてフレアの影響の小さい画像を取得してもよい。
　また、この領域は、上述した実施形態の訓練済にモデルに反映させることにより更新してもよい。訓練として反映させることにより、例えば、同じ電子機器１を有する異なるユーザ間において、補正の精度を向上させることが可能となる。
　また、別の例として、この領域は、例えば、表示パネル４に表示をさせずに光を入射させる等して決定してもよい。表示パネル４に表示させないのではなく、フレアを発生させるような強度で表示パネル４を照明させ、領域を予測してもよい。このように、ユーザが望んでいる撮像タイミングではなく、その他のタイミング、例えば、撮影の前後のタイミングにおいてフレアが発生する領域を判定する処理をしてもよい。この処理は、例えば、制御部１８が実行してもよいし、画像取得部１２が実行してもよい。
　（第９実施形態）
　本実施形態では、電子機器１は、撮像光学系３の光学系９としてマイクロレンズアレイを備える。
　図１７は、本実施形態に係る撮像光学系３を示す図である。撮像光学系３の光学系９は、マイクロレンズアレイ３２を備える。マイクロレンズアレイ３２を通過した光は、適切に撮像部８に入射し、撮像部８から信号へと変換されて出力される。
　前処理部１０は、撮像部８から出力された信号に基づいて、画像を再構成してもよい。画像取得部１２は、この再構成された画像に基づいて、前述の各実施形態によりフレアの影響を小さくした画像を取得する。
　図１８は、本実施形態に係る撮像光学系３の別の例を示す図である。第１撮像光学系３Ａと、第２撮像光学系３Ｂは、共通するマイクロレンズアレイ３２を光学系９として備える。このように、マイクロレンズアレイ３２は、それぞれのレンズから集光された光が入射する領域がある程度の領域に限定されるため、撮像部８を領域ごとに配置することにより、複数の撮像光学系３を形成することが可能となる。この場合、例えば、第１撮像部８Ａと、第２撮像部８Ｂとの間に、第５実施形態で説明した遮光部３０を備えていてもよい。図１８においては、２つの撮像光学系が備えられるが、これには限られず、３以上の撮像光学系３が同一のマイクロレンズアレイ３２により形成されていてもよい。
　（第１０実施形態）
　前述の実施形態においては、一例として、同一のマイクロレンズアレイ３２において複数の撮像部８が備えられる構成について説明したが、本実施形態において、電子機器１は、複数の光学系９に対して同一の撮像部８を備える。
　図１９は、本実施形態に係る撮像光学系３の例を示す図である。電子機器１は、第１撮像光学系３Ａ、第２撮像光学系３Ｂに対して、１つの撮像部８を備える。この撮像部８には、その撮像可能な領域において、第１撮像部８Ａと、第２撮像部８Ｂが定義される。第１撮像部８Ａには、第１光学系９Ａを介した光が入射し、第２撮像部８Ｂには、第２光学系９Ｂを介した光が入射する。このように、同一の撮像部８に対して複数の光学系９を備えることにより、複数の撮像光学系３を形成してもよい。
　図２０は、本実施形態の別の実装例を示す図である。すなわち、光学系９として、マイクロレンズアレイ３２を備え、同一のマイクロレンズアレイ３２と、撮像部８を用いて、第１撮像光学系３Ａと第２撮像光学系３Ｂとを形成してもよい。
　図２１は、図２０の変形例であり、第１撮像光学系３Ａと第２撮像光学系３Ｂとの間に、遮光部３０を備える。このように遮光部３０を備えることにより、より明確に撮像部８のそれぞれの領域に入射する光を制御することが可能となる。
　図２２は、図１９の変形例であり、第１光学系９Ａと第２光学系９Ｂとの間に遮光部３０を備える形態である。このように遮光部３０を備えることにより、マイクロレンズアレイ３２ではない場合にも、明確に第１撮像部８Ａと第２撮像部８Ｂのそれぞれに入射する光を制御することができる。
　なお、図２１、図２２において遮光部３０は、表示パネル４には突き抜けていないが、もちろん、図１６の例にもあるように、表示パネル４に突き抜けるように、又は、表示パネル４を貫通するように遮光部３０が備えられてもよい。
　このように撮像部８を複数の撮像光学系３において共通のものとすることにより、撮像部８における回路構成や、半導体プロセスを簡易化することが可能となる。
　例えば、本実施形態のように一部又は全部を同じ素子とすることにより、複数の撮像光学系３一体化することができる。このように複数の撮像光学系３を一体化して配置することにより、撮像光学系３相互間の視差の影響を小さくすることもできる。これにより、それぞれから取得された画像を補正する場合においても、視差の影響を小さくすることが可能となり、補正の精度を向上させることができる。
　また、本実施形態のように撮像部８又は光学系９を共通のものとするのではなく、前述の各実施形態における構成において、光学系９が隣接するように複数の撮像光学系３を一体化してもよい。この場合も、同様に視差の影響を小さくした上で精度のよい補正を実行することが可能となる。
　図２３Ａは、マイクロレンズアレイ３２の別の配置例を示す図である。この図２３Ａに示すように、マイクロレンズアレイは、光学系９における開口内に、撮像部８に近い方に配置されてもよい。このように、開口と、マイクロレンズアレイ３２が別の構成として光学系９が形成されてもよい。もちろん、開口は、必ずしも必須ではなく、表示パネル４の表面とは反対側に、マイクロレンズアレイ３２を配置することにより、光学系９が形成されてもよい。
　図２３Ｂは、マイクロレンズアレイ３２の配置と、表示パネル４の配置のさらに別の例を示すものである。マイクロレンズアレイ３２は、複数の開口に対して１又は複数備えられるものであってもよい。この場合、適切に表示パネル４の発光画素の領域を残して開口を形成し、当該開口の下部にマイクロレンズアレイ３２が撮像部８との間に備えられてもよい。
　図２３Ａ、図２３Ｂの場合においても、もちろん、適切な位置に遮光部３０を備えていてもよい。
　（第１１実施形態）
　本実施形態では、撮像部８等のチップの構成について説明する。
　図２４は、本実施形態に係るチップの構成の一例を示す。この構成は、限定しない例として概略を示したものであり、他の機能を同チップに備えることを排除するものではない。すなわち、図示した他に適切にセレクタ、I/F、電源ノード等が備えられる。
　この図２４に示すように、撮像部８と同一のチップ上に、前処理部１０等のアナログ回路、画像取得部１２等の論理回路を備えてもよい。さらに、制御部１８、記憶部２０をも備えていてもよい。このように、撮像部８、前処理部１０、画像取得部１２が同一のチップ上に形成されることにより、信号、データの送受信にインタフェースを介することなく、高速に、かつ、信号劣化を抑制して、データの処理を実行することが可能となる。
　また、前処理部１０は、共通してなくともよく、撮像部８ごとに備えられていてもよい。この場合、それぞれの前処理部１０から画像取得部１２へとデジタル画像データが送信される構成としてもよい。
　図２５は、チップの構成の別例を示す図である。図２５においては、撮像部８と、前処理部１０と、画像取得部１２と、インタフェース以外の構成は、省略している。撮像部８は別々のチップに備えられていてもよい。一方のチップに撮像部８が備えられ、他方のチップにも撮像部８が備えられる。一方のチップにおいて撮像部８は、他方のチップへと送信を行う受信インタフェース２２を備えられている。
　他方のチップにおいて、受信インタフェース２２を介して信号を受信し、同チップに備えられている撮像部８からの信号と併せて画像取得部１２が画像の取得を実行する。必要に応じて、画像取得部１２へとデータを出力する前に、前処理部１０が信号の処理を実行する。前処理部１０は、双方のチップに備えられていてもよいし、他方のチップだけに備えられていてもよい。
　もちろん、２つのチップではなく、さらに多くの撮像部８が別のチップに備えられていてもよい。このような構成とすることにより、表示部２の表示面の反対側において、種々の位置に撮像光学系３を配置する場合においても、撮像部８に関するチップの面積を削減することも可能となる。
　図２６は、さらに別の例であり、複数の撮像部８が別々のチップにあり、画像取得部１２がさらに別のチップにある構成である。このように、デジタル信号を処理する論理回路と、受光素子が存在する光電変換回路と、を別々のチップの構成とすることもできる。このようにすることで、チップの面積をそれほど増大させることなく、さらに撮像光学系３の配置等の自由度を高めることが可能となる。
　図２４から図２６において、受信インタフェース２２は、例えば、MIPIの規格でデータの受信を実行できるインタフェースであってもよい。また、別の規格の高速転送を行えるものであってもよい。送信する信号によっては、アナログ信号を送受信するものであってもよいし、デジタル信号を送受信するものであってもよい。インタフェースの種類は、撮像部８、前処理部１０のチップ実装により、適切に選択することが可能である。
　（第１２実施形態）
　前述の各実施形態においては、表示パネル４の発光画素４ｂについては特に説明していなかったが、発光画素４ｂにより、複数の撮像光学系３におけるフレアの発生を変化させ、画像取得部１２によるフレアの影響の小さい画像を取得させることも可能となる。
　例えば、２つの撮像光学系３である第１撮像光学系３Ａと第２撮像光学系３Ｂが備えられる場合、第１撮像光学系３Ａの周辺の発光画素４ｂと、第２撮像光学系３Ｂの周辺の発光画素４ｂとを別のものにしてもよい。例えば、一方をOLEDとし、他方をMicroLEDとしてもよい。このように別の発光素子、特に、異なる光学的特徴を有する表示光学系とすることにより、フレアの影響を異なる特性を有するものとすることができる。
　フレアが別の光学的特徴を介して発生すると、個々の撮像光学系３から取得される画像において、状況によりフレアの発生が異なるものとなる。フレアの特性が異なるものとなることにより、例えば、一方の撮像光学系３からは、フレアの影響が強い画像が取得されるが、他方の撮像光学系３からは、フレアの影響が弱い画像が取得される。このように、異なる特徴を有する発光素子を用いることにより、画像取得部１２における画像の合成、補正の手法を種々な方法へと拡げることが可能となる。
　（第１３実施形態）
　前述の各実施形態は、複数の撮像光学系３から出力された画像を用いてフレアの影響が小さくなる画像を取得するものである。すなわち、複数の撮像光学系３を起動させておいて、それぞれから取得された情報に基づいて画像を取得するものである。本実施形態においては、フレアの影響を小さくする必要に応じて少なくとも１つの撮像光学系３を起動させるものである。例えば、画像の補正が必要な場合に起動される少なくとも１つの撮像光学系３が備えられる。
　例えば、初期状態においては、表示面の中央付近にある撮像光学系３のみが起動していてもよい。この撮像光学系３において取得した画像に基づいて、フレアの影響を小さくする必要があると判断された場合に、他の撮像光学系３を起動させ、画像取得部１２によりフレアの影響が小さい画像を取得してもよい。
　例えば、表示面の全部の領域に、又は、一部の領域のみに強い光が当たっている場合にフレアの影響が強く出ると判断してもよい。また、他の条件に基づいてフレアの影響を判断してもよい。上記においては、１つの撮像光学系３からの出力に基づくとしたが、この限りではなく、例えば、いくつかの受光素子からの信号の大きさに基づいて判断してもよい。また、別の例として、表示パネル４において表示される画像の輝度等の分布に基づいてもよい。このように、種々の判断手法によりフレアの影響を判断する。
　制御部１８は、この判断に基づいて、適切な撮像光学系３を動作させ、入射光に基づく信号を取得し、画像取得部１２により画像を取得する。上記のフレアの影響の判断についても、制御部１８が実行してもよい。このように、少なくとも一部の撮像光学系３を必要に応じて動作させることにより、省電力化を図ることが可能となる。
　（第１４実施形態）
　前述の各実施形態においては、撮像光学系３及び画像取得部１２の種々の実装について説明した。本実施形態では、撮像光学系３の配置について説明する。
　図２７から図３１Ｂはそれぞれ、表示面からみた撮像光学系３の配置例を示す図である。これらの図は、それぞれが一例として配置を示すものであり、図に限定されることはない。また、複数の図における配置の一部又は全部を備える配置であってもよい。すなわち、電子機器１は、１つの図だけではなく、複数の図における特徴を重ねて備える３つ以上の撮像光学系３を備えていてもよい。
　図２７のように、表示画面１ａのいずれかの方向、例えば、第１方向における両端部（境界付近）に撮像光学系３が備えられていてもよい。このように配置することにより、ユーザにとって目立たない位置に撮像光学系３を備えることができる。これは、第２方向において両端部、すなわち、図２７においては、上下の端部にそれぞれ備えられていてもよい。
　図２８のように、表示画面１ａ内において、50mm～80mm離れて２つの撮像光学系３が備えられていてもよい。このように配置することにより、人間の両眼の視差に近い視差を有する画像を２つの撮像光学系３から取得することが可能となる。このことにより、複数の撮像光学系３においてフレアの影響を小さくするとともに、人間にとって自然な印象を受けるステレオ画像を生成することも可能となる。さらに、３つ目の撮像光学系３を別の位置に配置しておき、この３つ目の撮像光学系３と、２つの撮像光学系３とから視差を有し、さらにフレアを抑制した画像を取得してもよい。このようにすると、フレア抑制の精度を向上した上でステレオ画像を取得することが可能となる。
　図２９のように、第１方向、第２方向のそれぞれの方向においてズレを有するように複数の撮像光学系３が配置されてもよい。例えば、同じ方向に長軸を有する開口をそれぞれの光学系９に備えておくことにより、第１方向及び第２方向の双方について中心のずれたフレアを含む画像を取得することができる。このことから、画像取得部１２においてはより単純な処理（例えば、第１実施形態に示す比較処理と選択処理）においても精度の高いフレア抑制画像を取得することが可能となる。
　図３０のように、３つ以上の撮像光学系３が備えられてもよい。３以上の撮像光学系３が配置される場合には、図３０のように対称性を有しないように配置してもよいし、第１方向、第２方向又は中心点等に関して何らかの対称性を有するように配置してもよい。また、３つめの撮像光学系３を、他の２つの撮像光学系３から離れた位置に配置してもよい。この場合、位置に起因するフレアの強度をそれぞれの撮像光学系３において異なるものとすることもできる。
　図３１Ａ、図３１Ｂは、同じ電子機器１を示す。図３１Ｂは、図３１Ａの矢印の方向から見た外観図である。このように、表示画面１ａを複数有していてもよい。各表示画面における撮像光学系３は、これらの図に示すように表示画面１ａに向かって同等の位置に配置されていてもよいし、全く違った位置に配置されていてもよい。例えば、表面においては、第１方向に沿って両端部に少なくとも２つの撮像光学系３が配置され、裏面においては、第２方向に沿って両端部に少なくとも２つの撮像光学系３が配置されてもよい。この場合、例えば、図３１Ｂにおける撮像光学系３は、通常時は、背面カメラとして用いられてもよく、２眼（又はそれ以上の個数）の背面カメラとして活用することも可能である。
　このように、撮像光学系３は、表示画面１ａにおいて種々の配置とすることができる。
　前述の各実施形態で示したように、複数の撮像光学系３を少なくとも２つが位置をずらして備えられればよい。配置に関しては、図面等によらず、自由に選択することが可能である。例えば、図２等において、表示面の第２方向の中央あたりに、第１方向にズレを有する複数の撮像光学系３を備えることにより、画面の中央あたりを見ているユーザの自然な視線の画像、映像を取得することが可能となる。また、これには限られず、例えば、第２方向の少し上方に備えていてもよい。例えば、自分の顔の画像を取得する場合に、画面中央あたりに顔の中心がきて、表示させた目のあたりに撮像光学系がくるように配置してもよい。また、上記とは別に、第２方向に沿って第１方向の中央付近に同様に備えてもよい。この場合、画面を回転させても同様の画像を取得することが可能となる。
　次に、光学系９に含まれる開口のレイアウトの別例を示す。図５、図８等にしめされるように単純な形状ではなく、さらに複雑なレイアウトであってもよい。
　図３２～図３５は、開口のレイアウトの一例を示す図である。図３２に示すように、例えば、開口は、表示素子に対して第２方向にもずれて配置されてもよい。
　図３３に示すように、例えば、開口は、表示素子の間に、第１方向に長軸を有する楕円、及び、第２方向に長軸を有する楕円を組み合わせた形状をしていてもよい。
　図３４に示すように、例えば、第１光学系９Ａに属する開口と、第２光学系９Ｂに属する開口とが90°に近い角度で交わらなくてもよい。例えば、この場合、表示パネル４の発光素子の角度をも部分的に変えてもよい。例えば、いずれかの光学系９の第３方向表示面よりに備えられる発光素子の配置する角度を４５°或いは有意である任意の角度に回転させてもよい。
　もちろん、図３５に示すように、図３３に示す開口を図３４のように配置させてもよい。
　このように、光学系９の一部である開口も、フレアが有意に別の方向に発生するようにレイアウトされてもよい。電子機器１に３以上の撮像光学系３が備えられる場合には、図５、図８、図３２～図３５に示した開口のレイアウトが組み合わされてもよい。この場合、撮像光学系３に依存してフレアの出る方向がさらに種々の方向の組み合わせとなるため、より画像の取得、例えば、画像補正、合成、選択の幅を拡げることが可能となる。
　以上のように、各実施形態によれば、表示部２の表示面とは反対側に撮像光学系３を配置し、表示部２を通過する光を複数の撮像部８で取得する。表示部２を通過する光の一部は、表示部２内で反射を繰り返した上で、複数の撮像光学系３内の撮像部８に入射される。前述の各実施形態によれば、複数の撮像光学系３により取得された信号から画像を取得することにより、表示部２内で反射を繰り返した上で複数の撮像部８（一体化されている場合を含む）に入射される光に含まれるフレア成分や回折光成分を簡易かつ信頼性よく抑制した撮像画像を生成することができる。
　また、例えば、画像取得部１２等における処理は、デジタル回路で構成されてもよいし、FPGA（Field Programmable Gate Array）等のプログラマブルな回路で構成されてもよい。また、処理内容がプログラムで記載され、ソフトウェアによる情報処理がCPU等のハードウェア資源を用いて具体的に実現されるものであってもよい。
　以下、いくつかの応用例を挙げる。
　（第１５実施形態）
　前述の実施形態で説明した構成を備えた電子機器１の具体的な候補としては、種々のものが考えられる。例えば、図３６は各実施形態の電子機器１をカプセル内視鏡５０に適用した場合の平面図である。図３６のカプセル内視鏡５０は、例えば両端面が半球状で中央部が円筒状の筐体５１内に、体腔内の画像を撮影するためのカメラ（超小型カメラ）５２、カメラ５２により撮影された画像データを記録するためのメモリ５３、および、カプセル内視鏡５０が被験者の体外に排出された後に、記録された画像データを、アンテナ５４を介して外部へ送信するための無線送信機５５を備えている。
　また、筐体５１内には、CPU（Central　Processing　Unit）５６およびコイル（磁力・電流変換コイル）５７が設けられている。CPU５６は、カメラ５２による撮影、およびメモリ５３へのデータ蓄積動作を制御するとともに、メモリ５３から無線送信機５５による筐体５１外のデータ受信装置（図示せず）へのデータ送信を制御する。コイル５７は、カメラ５２、メモリ５３、無線送信機５５、アンテナ５４および後述する光源５２ｂへの電力供給を行う。
　さらに、筐体５１には、カプセル内視鏡５０をデータ受信装置にセットした際に、これを検知するための磁気（リード）スイッチ５８が設けられている。CPU５６は、このリードスイッチ５８がデータ受信装置へのセットを検知し、データの送信が可能になった時点で、コイル５７からの無線送信機５５への電力供給を行う。
　カメラ５２は、例えば体腔内の画像を撮影するための光学系９を含む撮像素子５２ａ、体腔内を照明する複数の光源５２ｂを有している。具体的には、カメラ５２は、光源５２ｂとして、例えばLED（Light　Emitting　Diode）を備えたCMOS（Complementary　Metal　Oxide　Semiconductor）センサやCCD（Charge　Coupled　Device）等によって構成される。
　前述の実施形態の電子機器１における表示部２は、図３６の光源５２ｂのような発光体を含む概念である。図３６のカプセル内視鏡５０では、例えば２個の光源５２ｂを有するが、これらの光源５２ｂを、複数の光源部を有する表示パネル４や、複数のＬＥＤを有するＬＥＤモジュールで構成可能である。この場合、表示パネル４やＬＥＤモジュールの下方にカメラ５２の撮像部８を配置することで、カメラ５２のレイアウト配置に関する制約が少なくなり、より小型のカプセル内視鏡５０を実現できる。
　（第１６実施形態）
　また、図３７は前述の実施形態の電子機器１をデジタル一眼レフカメラ６０に適用した場合の背面図である。デジタル一眼レフカメラ６０やコンパクトカメラは、レンズとは反対側の背面に、プレビュー画面を表示する表示部２を備えている。この表示部２の表示面とは反対側に撮像光学系３を配置して、撮影者の顔画像を表示部２の表示画面１ａに表示できるようにしてもよい。前述の各実施形態による電子機器１では、表示部２と重なる領域に撮像光学系３を配置できるため、撮像光学系３を表示部２の額縁部分に設けなくて済み、表示部２のサイズを可能な限り大型化することができる。
　（第１７実施形態）
　図３８Ａは前述の実施形態の電子機器１をヘッドマウントディスプレイ（以下、HMD）６１に適用した例を示す平面図である。図３８ＡのHMD６１は、VR（Virtual Reality）、AR（Augmented Reality）、MR（Mixed Reality）、又は、SR（Substitutional Reality）等に利用されるものである。現状のHMDは、図３８Ｂに示すように、外表面にカメラ６２を搭載しており、HMDの装着者は、周囲の画像を視認することができる一方で、周囲の人間には、HMDの装着者の目や顔の表情がわからないという問題がある。
　そこで、図３８Ａでは、HMD６１の外表面に表示部２の表示面を設けるとともに、表示部２の表示面の反対側に撮像光学系３を設ける。これにより、撮像光学系３で撮影した装着者の顔の表情を表示部２の表示面に表示させることができ、装着者の周囲の人間が装着者の顔の表情や目の動きをリアルタイムに把握することができる。
　図３８Ａの場合、表示部２の裏面側に撮像光学系３を設けるため、撮像光学系３の設置場所についての制約がなくなり、HMD６１のデザインの自由度を高めることができる。また、カメラを最適な位置に配置できるため、表示面に表示される装着者の目線が合わない等の不具合を防止できる。
　このように、本実施形態では、前述の実施形態による電子機器１を種々の用途に用いることができ、利用価値を高めることができる。
　なお、本技術は以下のような構成を取ることができる。
（１）
　電子機器は、
　第１方向及び前記第１方向に交わる第２方向に沿ってアレイ状に表示光学系が備えられる表示可能領域を有する表示部と、
　前記第１方向及び前記第２方向に交わる第３方向において、前記表示可能領域と重なって前記表示部の表示面と反対側に配置され、少なくとも、
　　第１撮像光学系と、
　　前記第１方向及び前記第２方向の少なくとも一方において前記第１撮像光学系とは異なる座標を有する、第２撮像光学系と、
　を有する、複数の撮像光学系と、
　前記第１撮像光学系及び前記第２撮像光学系により取得された情報に基づいて画像データを取得する、画像取得部と、
　を備える、電子機器。
（２）
　前記表示部の前記表示面から、前記第１撮像光学系及び前記第２撮像光学系に、異なる光学的特徴を有する光学系を介して光が伝播する、
　（１）に記載の電子機器。
（３）
　前記表示部に前記表示面から入射された光が伝播する、開口が備えられ、
　前記撮像光学系に前記開口を介して前記表示面から入射した光が伝播する、
　（１）又は（２）に記載の電子機器。
（４）
　前記第１撮像光学系に光を伝播する前記開口と、前記第２撮像光学系に光を伝播する前記開口は、異なるレイアウトを有する、
　（３）に記載の電子機器。
（５）
　前記第１撮像光学系に光を伝播する前記開口と、前記第２撮像光学系に光を伝播する前記開口は、異なる方向に回折像を形成させる、
　（３）又は（４）に記載の電子機器。
（６）
　前記第１撮像光学系及び前記第２撮像光学系との視差と同じ視差を前記第１撮像光学系に対して有する、第３撮像光学系、を備え、
　前記画像取得部は、前記第２撮像光学系及び前記第３撮像光学系から取得された情報に基づいて取得した情報と、前記第１撮像光学系から取得された情報と、に基づいて、前記画像データを取得する、
　（１）から（５）のいずれかに記載の電子機器。
（７）
　前記表示面の前記第１方向又は前記第２方向において、
　　前記第１撮像光学系は、中央付近に備えられ、
　　前記第２撮像光学系及び前記第３撮像光学系は、前記第１撮像光学系を挟むように、前記表示面の境界付近に備えられ、
　前記第１撮像光学系は、前記第２撮像光学系及び前記第３撮像光学系よりも、前記第３方向における前記表示面に面している領域が小さい、
　（６）に記載の電子機器。
（８）
　前記第１撮像光学系及び前記第２撮像光学系の配置は、前記第１方向及び前記第２方向の双方において異なる座標を有する、
　（１）から（７）のいずれかに記載の電子機器。
（９）
　前記第１撮像光学系から取得したデータと、前記第２撮像光学系から取得したデータとを合成する場合、前記画像取得部は、合成結果である前記画像データにおける位置において強度の低いデータに基づいて撮像結果を取得する、
　（１）から（８）のいずれかに記載の電子機器。
（１０）
　前記第１撮像光学系と、前記第２撮像光学系は、それぞれに優先して反映させる方向を有し、
　前記画像取得部は、方向毎の出力に所定値以上の差分が生じた場合に、いずれかの結果を用いて撮像結果を取得する、
　（１）から（９）のいずれかに記載の電子機器。
（１１）
　前記第１撮像光学系と、前記第２撮像光学系との間が遮光される、
　（１）から（１０）のいずれかに記載の電子機器。
（１２）
　前記画像取得部は、訓練済みモデルを用いて、前記第１撮像光学系と前記第２撮像光学系により取得された情報を合成する、
　（１）から（１１）のいずれかに記載の電子機器。
（１３）
　前記訓練済みモデルは、複数の電子機器から収集されたデータに基づいて訓練される、
　（１２）に記載の電子機器。
（１４）
　　前記画像取得部は、複数の前記撮像光学系により取得された複数の画像における視差が所定量を超える場合に補正を加える、
　（１）から（１３）のいずれかに記載の電子機器。
（１５）
　少なくとも１つの前記撮像光学系は、マイクロレンズアレイにより構成される、
　（１）から（１４）のいずれかに記載の電子機器。
（１６）
　前記マイクロレンズアレイの備えられる領域において複数の前記撮像光学系が備えられる、
　（１５）に記載の電子機器。
（１７）
　前記第１撮像光学系と、前記第２撮像光学系は、同じ撮像素子において情報を取得する、
　（１）から（１６）のいずれかに記載の電子機器。
（１８）
　前記画像取得部は、前記撮像素子と同一チップ上に配置される、
　（１７）に記載の電子機器。
（１９）
　前記表示部は、異なる光学的特徴を有する複数の前記表示光学系を備える、
　（１）から（１８）のいずれかに記載の電子機器。
（２０）
　複数の前記撮像光学系のうち少なくとも１つは、前記画像取得部において信号補正が必要である場合に動作する、
　（１）から（１９）のいずれかに記載の電子機器。
（２１）
　前記第１撮像光学系と、前記第２撮像光学系は、一体化されている、
　（１）から（２０）のいずれかに記載の電子機器。
（２２）
　前記第１撮像光学系と、前記第２撮像光学系は、前記表示面の境界付近に備えられる、
　（１）から（２１）のいずれかに記載の電子機器。
（２３）
　前記第１撮像光学系と、前記第２撮像光学系は、50mm以上80mm以下の距離、離れて配置されており、
　前記画像取得部は、前記第１撮像光学系及び前記第２撮像光学系が取得した情報の視差画像データを生成する、
　（１）から（２２）のいずれかに記載の電子機器。
（２４）
　前記表示部は、デバイスの両面に備えられる、
　（１）から（２３）のいずれかに記載の電子機器。
（２５）
　前記第１撮像光学系と、前記第２撮像光学系は、複数の前記撮像光学系のうち、任意の２つである、
　（１）から（２４）のいずれかに記載の電子機器。
（２６）
　前記第１撮像光学系及び前記第２撮像光学系とは異なる第４撮像光学系を有し、
　前記第４撮像光学系と、前記第１撮像光学系又は前記第２撮像光学系について、（１）から（２４）に記載のいずれかの特徴を有する、
　電子機器。
　本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
１：電子機器、１ａ：表示画面、１ｂ：ベゼル、
２：表示部、
３：撮像光学系、３Ａ：第１撮像光学系、３Ｂ：第２撮像光学系、３Ｃ：第３撮像光学系、
４：表示パネル、４ａ：基板、４ｂ：発光画素、
５：円偏光板、
６：タッチパネル、
７：カバーガラス、
８：撮像部、８Ａ：第１撮像部、８Ｂ：第２撮像部、
９：光学系、９Ａ：第１光学系、９Ｂ：第２光学系、
１０：前処理部、
１２：画像取得部、
１４：後処理部、
１６：出力部、
１８：制御部、
２０：記憶部、
２２：受信インタフェース、
３０：遮光部、
３２：マイクロレンズアレイ、

Claims (20)

  1. 　第１方向及び前記第１方向に交わる第２方向に沿ってアレイ状に表示光学系が備えられる表示可能領域を有する表示部と、
    　前記第１方向及び前記第２方向に交わる第３方向において、前記表示可能領域と重なって前記表示部の表示面と反対側に配置され、少なくとも、
    　　第１撮像光学系と、
    　　前記第１方向及び前記第２方向の少なくとも一方において前記第１撮像光学系とは異なる座標を有する、第２撮像光学系と、
    　を有する、複数の撮像光学系と、
    　前記第１撮像光学系及び前記第２撮像光学系により取得された情報に基づいて画像データを取得する、画像取得部と、
    　を備える、電子機器。
  2. 　前記表示部の前記表示面から、前記第１撮像光学系の撮像素子及び前記第２撮像光学系の撮像素子に、異なる光学的特徴を有する光学系を介して光が伝播する、
    　請求項１に記載の電子機器。
  3. 　前記表示部に前記表示面から入射された光が伝播する、開口が備えられ、
    　前記撮像光学系に前記開口を介して前記表示面から入射した光が伝播する、
    　請求項１に記載の電子機器。
  4. 　前記第１撮像光学系に光を伝播する前記開口と、前記第２撮像光学系に光を伝播する前記開口は、異なるレイアウトを有する、
    　請求項３に記載の電子機器。
  5. 　前記第１撮像光学系及び前記第２撮像光学系との視差と同じ視差を前記第１撮像光学系に対して有する、第３撮像光学系、を備え、
    　前記画像取得部は、前記第２撮像光学系及び前記第３撮像光学系から取得された情報に基づいて取得した情報と、前記第１撮像光学系から取得された情報と、に基づいて、前記画像データを取得する、
    　請求項１に記載の電子機器。
  6. 　前記表示面の前記第１方向又は前記第２方向において、
    　　前記第１撮像光学系は、中央付近に備えられ、
    　　前記第２撮像光学系及び前記第３撮像光学系は、前記第１撮像光学系を挟むように、前記表示面の境界付近に備えられ、
    　前記第１撮像光学系は、前記第２撮像光学系及び前記第３撮像光学系よりも、前記第３方向における前記表示面に面している領域が小さい、
    　請求項５に記載の電子機器。
  7. 　前記第１撮像光学系から取得したデータと、前記第２撮像光学系から取得したデータとを合成する場合、前記画像取得部は、合成結果である前記画像データにおける位置において強度の低いデータに基づいて撮像結果を取得する、
    　請求項１に記載の電子機器。
  8. 　前記第１撮像光学系と、前記第２撮像光学系は、それぞれに優先して反映させる方向を有し、
    　前記画像取得部は、方向毎の出力に所定値以上の差分が生じた場合に、いずれかの結果を用いて撮像結果を取得する、
    　請求項１に記載の電子機器。
  9. 　前記第１撮像光学系と、前記第２撮像光学系との間が遮光される、
    　請求項１に記載の電子機器。
  10. 　前記画像取得部は、訓練済みモデルを用いて、前記第１撮像光学系と前記第２撮像光学系により取得された情報を合成する、
    　請求項１に記載の電子機器。
  11. 　前記画像取得部は、複数の前記撮像光学系により取得された複数の画像における視差が所定量を超える場合に補正を加える、
    　請求項１に記載の電子機器。
  12. 　少なくとも１つの前記撮像光学系は、マイクロレンズアレイにより構成される、
    　請求項１に記載の電子機器。
  13. 　前記マイクロレンズアレイの備えられる領域において複数の前記撮像光学系が備えられる、
    　請求項１２に記載の電子機器。
  14. 　前記第１撮像光学系と、前記第２撮像光学系は、同じ撮像素子において情報を取得する、
    　請求項１に記載の電子機器。
  15. 　前記表示部は、異なる光学的特徴を有する複数の前記表示光学系を備える、
    　請求項１に記載の電子機器。
  16. 　複数の前記撮像光学系のうち少なくとも１つは、前記画像取得部において信号補正が必要である場合に動作する、
    　請求項１に記載の電子機器。
  17. 　前記第１撮像光学系と、前記第２撮像光学系は、一体化されている、
    　請求項１に記載の電子機器。
  18. 　前記第１撮像光学系と、前記第２撮像光学系は、前記表示面の境界付近に備えられる、
    　請求項１に記載の電子機器。
  19. 　前記第１撮像光学系と、前記第２撮像光学系は、50mm以上80mm以下の距離、離れて配置されており、
    　前記画像取得部は、前記第１撮像光学系及び前記第２撮像光学系が取得した情報の視差画像データを生成する、
    　請求項１に記載の電子機器。
  20. 　前記表示部は、デバイスの両面に備えられる、
    　請求項１に記載の電子機器。
PCT/JP2020/040954 2019-11-12 2020-10-30 電子機器 WO2021095581A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP20887168.1A EP4060405A4 (en) 2019-11-12 2020-10-30 ELECTRONIC DEVICE
KR1020227014957A KR20220091496A (ko) 2019-11-12 2020-10-30 전자 기기
US17/773,968 US20220343471A1 (en) 2019-11-12 2020-10-30 Electronic apparatus
JP2021556027A JPWO2021095581A1 (ja) 2019-11-12 2020-10-30

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-204844 2019-11-12
JP2019204844 2019-11-12

Publications (1)

Publication Number Publication Date
WO2021095581A1 true WO2021095581A1 (ja) 2021-05-20

Family

ID=75912510

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/040954 WO2021095581A1 (ja) 2019-11-12 2020-10-30 電子機器

Country Status (7)

Country Link
US (1) US20220343471A1 (ja)
EP (1) EP4060405A4 (ja)
JP (1) JPWO2021095581A1 (ja)
KR (1) KR20220091496A (ja)
CN (2) CN112866518A (ja)
TW (1) TW202134769A (ja)
WO (1) WO2021095581A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023112780A1 (ja) * 2021-12-13 2023-06-22 ソニーセミコンダクタソリューションズ株式会社 画像表示装置及び電子機器

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006060535A (ja) * 2004-08-20 2006-03-02 Sharp Corp 携帯電話装置
WO2007013272A1 (ja) * 2005-07-28 2007-02-01 Sharp Kabushiki Kaisha 表示装置及びバックライト装置
US20120050601A1 (en) * 2010-08-26 2012-03-01 Samsung Electronics Co., Ltd. Method of controlling digital photographing apparatus and digital photographing apparatus
JP2014138290A (ja) * 2013-01-17 2014-07-28 Sharp Corp 撮像装置及び撮像方法
JP2016136246A (ja) * 2015-01-23 2016-07-28 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． 表示装置
US20180069060A1 (en) 2011-10-14 2018-03-08 Apple Inc. Electronic Devices Having Displays With Openings
US20180198980A1 (en) * 2017-01-06 2018-07-12 Intel Corporation Integrated Image Sensor and Display Pixel

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8199185B2 (en) * 1995-09-20 2012-06-12 Videotronic Systems Reflected camera image eye contact terminal
US7209160B2 (en) * 1995-09-20 2007-04-24 Mcnelley Steve H Versatile teleconferencing eye contact terminal
US6888562B2 (en) * 2003-03-26 2005-05-03 Broadcom Corporation Integral eye-path alignment on telephony and computer video devices using a pinhole image sensing device
TWI558215B (zh) * 2003-06-17 2016-11-11 半導體能源研究所股份有限公司 具有攝像功能之顯示裝置及雙向通訊系統
JP4845336B2 (ja) * 2003-07-16 2011-12-28 株式会社半導体エネルギー研究所 撮像機能付き表示装置、及び双方向コミュニケーションシステム
US20070002130A1 (en) * 2005-06-21 2007-01-04 David Hartkop Method and apparatus for maintaining eye contact during person-to-person video telecommunication
US8022977B2 (en) * 2005-10-17 2011-09-20 I2Ic Corporation Camera placed behind a display with a transparent backlight
US8390671B2 (en) * 2006-05-25 2013-03-05 I2Ic Corporation Display with gaps for capturing images
US7714923B2 (en) * 2006-11-02 2010-05-11 Eastman Kodak Company Integrated display and capture apparatus
US20090009628A1 (en) * 2007-07-06 2009-01-08 Michael Janicek Capturing an image with a camera integrated in an electronic display
US8154582B2 (en) * 2007-10-19 2012-04-10 Eastman Kodak Company Display device with capture capabilities
US8164617B2 (en) * 2009-03-25 2012-04-24 Cisco Technology, Inc. Combining views of a plurality of cameras for a video conferencing endpoint with a display wall
JP5684488B2 (ja) * 2009-04-20 2015-03-11 富士フイルム株式会社 画像処理装置、画像処理方法およびプログラム
US8456586B2 (en) * 2009-06-11 2013-06-04 Apple Inc. Portable computer display structures
JP5836768B2 (ja) * 2011-11-17 2015-12-24 キヤノン株式会社 撮像装置付き表示装置
KR101864452B1 (ko) * 2012-01-12 2018-06-04 삼성전자주식회사 이미지 촬영 및 화상 통화 장치와 방법
JP2015012127A (ja) * 2013-06-28 2015-01-19 ソニー株式会社 固体撮像素子および電子機器
KR101462351B1 (ko) * 2013-08-16 2014-11-14 영남대학교 산학협력단 시선일치 영상통화장치
US9767728B2 (en) * 2015-10-30 2017-09-19 Essential Products, Inc. Light sensor beneath a dual-mode display
US10277043B2 (en) 2016-09-23 2019-04-30 Apple Inc. Wireless charging mats for portable electronic devices
CN110336907A (zh) * 2019-08-21 2019-10-15 惠州Tcl移动通信有限公司 终端、拍摄方法及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006060535A (ja) * 2004-08-20 2006-03-02 Sharp Corp 携帯電話装置
WO2007013272A1 (ja) * 2005-07-28 2007-02-01 Sharp Kabushiki Kaisha 表示装置及びバックライト装置
US20120050601A1 (en) * 2010-08-26 2012-03-01 Samsung Electronics Co., Ltd. Method of controlling digital photographing apparatus and digital photographing apparatus
US20180069060A1 (en) 2011-10-14 2018-03-08 Apple Inc. Electronic Devices Having Displays With Openings
JP2014138290A (ja) * 2013-01-17 2014-07-28 Sharp Corp 撮像装置及び撮像方法
JP2016136246A (ja) * 2015-01-23 2016-07-28 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． 表示装置
US20180198980A1 (en) * 2017-01-06 2018-07-12 Intel Corporation Integrated Image Sensor and Display Pixel

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4060405A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023112780A1 (ja) * 2021-12-13 2023-06-22 ソニーセミコンダクタソリューションズ株式会社 画像表示装置及び電子機器

Also Published As

Publication number Publication date
KR20220091496A (ko) 2022-06-30
JPWO2021095581A1 (ja) 2021-05-20
EP4060405A4 (en) 2023-01-25
US20220343471A1 (en) 2022-10-27
TW202134769A (zh) 2021-09-16
EP4060405A1 (en) 2022-09-21
CN112866518A (zh) 2021-05-28
CN213718047U (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
US9360671B1 (en) Systems and methods for image zoom
CN111726502B (zh) 电子设备及显示装置
US10437080B2 (en) Eyewear, eyewear systems and associated methods for enhancing vision
KR20210130773A (ko) 이미지 처리 방법 및 머리 장착형 디스플레이 디바이스
CN216625895U (zh) 电子设备
KR20220063467A (ko) 디스플레이를 포함하는 웨어러블 전자 장치
WO2021095581A1 (ja) 電子機器
KR20200073211A (ko) 전자 기기
KR20230154987A (ko) 화상관찰 장치
WO2021157389A1 (ja) 電子機器
US20190215446A1 (en) Mobile terminal
EP4400941A1 (en) Display method and electronic device
KR101815164B1 (ko) 이미지의 생성을 위해 다수의 서브-이미지를 캡처하기 위한 카메라
JP2007108626A (ja) 立体映像生成システム
Tsuchiya et al. An optical design for avatar-user co-axial viewpoint telepresence
US11238830B2 (en) Display device and display method thereof
TW202147822A (zh) 電子機器
WO2021157324A1 (ja) 電子機器
US12035058B2 (en) Electronic equipment
WO2022244354A1 (ja) 撮像素子及び電子機器
US20240064417A1 (en) Systems and methods for multi-context image capture
TWI841071B (zh) 可薄型化的影像感應模組
US20230222757A1 (en) Systems and methods of media processing
US20240205380A1 (en) Head-Mounted Electronic Device with Display Recording Capability
US20230179868A1 (en) Systems and methods for determining image capture settings

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20887168

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021556027

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20227014957

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020887168

Country of ref document: EP

Effective date: 20220613