WO2021106513A1 - 電子機器 - Google Patents

電子機器 Download PDF

Info

Publication number
WO2021106513A1
WO2021106513A1 PCT/JP2020/041327 JP2020041327W WO2021106513A1 WO 2021106513 A1 WO2021106513 A1 WO 2021106513A1 JP 2020041327 W JP2020041327 W JP 2020041327W WO 2021106513 A1 WO2021106513 A1 WO 2021106513A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
unit
imaging
electronic device
control unit
Prior art date
Application number
PCT/JP2020/041327
Other languages
English (en)
French (fr)
Inventor
淳一 金井
征志 中田
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to KR1020227017754A priority Critical patent/KR20220106761A/ko
Priority to EP20893069.3A priority patent/EP4068753A4/en
Priority to JP2021561254A priority patent/JPWO2021106513A1/ja
Publication of WO2021106513A1 publication Critical patent/WO2021106513A1/ja
Priority to US17/774,347 priority patent/US20220368833A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B29/00—Combinations of cameras, projectors or photographic printing apparatus with non-photographic non-optical apparatus, e.g. clocks or weapons; Cameras having the shape of other objects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/391—Resolution modifying circuits, e.g. variable screen formats
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00—Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/06—Details of flat display driving waveforms
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G09G2320/0653—Controlling or limiting the speed of brightness adjustment of the illumination source
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light

Definitions

  • This disclosure relates to electronic devices.
  • Recent electronic devices such as smartphones, mobile phones, and PCs (Personal Computers) are equipped with a camera on the frame (bezel) of the display unit, making it easy to make videophone calls and shoot videos. Since smartphones and mobile phones are often carried in pockets or bags, it is necessary to make the external size as compact as possible. On the other hand, if the size of the display screen is small, the higher the display resolution, the smaller the displayed character size and the more difficult it is to see. Therefore, it has been studied to make the size of the display screen as large as possible without increasing the outer size of the electronic device by reducing the width of the bezel around the display screen.
  • the bezel width cannot be made smaller than the outer diameter size of the camera.
  • the line of sight is often placed near the center of the display screen, so the line of sight shifts from the optical axis of the camera, and the line of sight does not match. A shot image with a certain image is obtained.
  • the camera module on the side opposite to the display surface of the display unit and to shoot the subject light passing through the display unit with the camera.
  • the camera module is arranged on the side opposite to the display surface of the display unit, the light that has passed through the display unit is incident on the camera module, so that the image quality of the captured image is affected by the display brightness of the display unit. May decrease.
  • One aspect of the present disclosure is to provide an electronic device that does not deteriorate the image quality of a captured image and the display quality of a display unit.
  • a display unit and An imaging unit arranged on the side opposite to the display surface of the display unit Provided is an electronic device including a control unit that synchronizes the display timing of the display unit with the imaging timing of the imaging unit so that the imaging unit performs imaging at a timing when the display unit does not display. ..
  • control unit may lengthen the period during which the display unit does not display as compared with the case where the imaging unit does not perform imaging.
  • the control unit may lower the frequency at which at least a part of the pixels of the display unit is displayed as compared with the case where the imaging unit does not perform imaging.
  • control unit may lower the frame rate of the display unit as compared with the case where the imaging unit does not perform imaging.
  • the control unit may lower the display frequency of at least a part of the horizontal pixel lines of the display unit as compared with the case where the imaging unit does not perform imaging. ..
  • the control unit receives the image pickup unit when the display unit is viewed in a plan view from the normal direction of the display surface as compared with the case where the image pickup unit does not perform the image pickup.
  • the horizontal pixel line display frequency of the part including the display area overlapping the display area may be lowered.
  • the control unit may set the exposure time of the imaging unit based on the period during which the display unit does not display.
  • the control unit may lower the display pixel density in at least a part of the display area of the display unit as compared with the case where the imaging unit does not perform imaging. Good.
  • the control unit receives the image pickup unit when the display unit is viewed in a plan view from the normal direction of the display surface as compared with the case where the image pickup unit does not perform the image pickup.
  • the display pixel density in a part of the display area including the display area overlapping with the display pixel density may be lower.
  • the control unit may increase the brightness value of pixels in at least a part of the display area of the display unit as compared with the case where the imaging unit does not perform imaging. Good.
  • the control unit receives the image pickup unit when the display unit is viewed in a plan view from the normal direction of the display surface as compared with the case where the image pickup unit does not perform the image pickup.
  • the brightness value of the pixels in the part of the display area including the display area overlapping the display area may be higher.
  • the control unit lowers the frequency at which the pixels in the partial display area are displayed and lowers the frequency of displaying the pixels, as compared with the case where the imaging unit does not perform imaging.
  • the brightness value may be higher.
  • the display unit has a first display surface and a second display surface which are laminated with each other and whose display is controlled separately.
  • the first display surface displays a display area of the display unit excluding a part of the display area.
  • the second display surface may display a part of the display area so as not to overlap the display area of the first display surface when laminated on the first display surface.
  • the control unit may control the frequency at which at least a part of the pixels of the display unit are displayed when the imaging unit performs imaging according to the ambient brightness detected by the brightness detection unit. ..
  • the control unit has a frequency for displaying at least a part of the pixels of the display unit when the imaging unit performs imaging, and a display pixel density, according to the ambient brightness detected by the brightness detection unit. May be controlled.
  • the control unit may temporarily set the display of the display unit to a non-light emitting state and perform imaging of the imaging unit in accordance with the timing detected by the timing detection unit.
  • the imaging unit may perform photoelectric conversion of at least one of visible light and infrared light.
  • the display unit has an opening at a position overlapping the imaging unit when the display unit is viewed in a plan view from the normal direction of the display surface.
  • the opening may be arranged so as to penetrate a layer having a transmittance of less than a predetermined value for light in a predetermined wavelength band among a plurality of layers constituting the display unit.
  • the display unit may be composed of a plurality of layers having a transmittance of a predetermined value or more for light in a wavelength band in which the imaging unit can be photoelectrically converted.
  • the control unit The first control unit that controls the display of the display unit and It may have a second control unit that controls the imaging of the imaging unit in cooperation with the first control unit.
  • FIG. 1A is a cross-sectional view provided with an opening.
  • FIG. 2A is a schematic external view of the electronic device of FIG. 1A
  • FIG. 2B is a sectional view taken along the line AA of FIG. 2A.
  • FIG. 5 is a cross-sectional view showing an example of the cross-sectional structure of the imaging unit 4.
  • the block diagram which shows the internal structure of the electronic device by this Embodiment.
  • the flowchart which shows the processing operation of the electronic device by 1st Embodiment.
  • the flowchart which shows the processing operation of the electronic device by 2nd Embodiment.
  • the operation timing diagram corresponding to the flowchart of FIG. 7. The flowchart which shows the processing operation of the electronic device by 3rd Embodiment.
  • the operation timing diagram corresponding to the flowchart of FIG. The figure which shows the screen display example of the display part 2 displayed by the processing of the flowchart of FIG.
  • the operation timing diagram corresponding to the flowchart of FIG. The figure which shows typically the specific example of the 2nd display area in 4th Embodiment.
  • the operation timing diagram corresponding to the flowchart of FIG. The figure which shows typically the specific example of the 2nd display area in 5th Embodiment.
  • the operation timing diagram corresponding to the flowchart of FIG. The block diagram which shows the internal structure of the electronic device by 7th Embodiment.
  • FIG. 3 is a plan view when the electronic devices of the first to fourth embodiments are applied to a capsule endoscope.
  • the electronic device 1 of FIG. 1A is an arbitrary electronic device 1 having both a display function and a shooting function, such as a smartphone, a mobile phone, a tablet, and a PC.
  • the electronic device 1 of FIG. 1A includes a camera module (imaging unit) arranged on the side opposite to the display surface 1a of the display unit 2. As described above, the electronic device 1 of FIG. 1A is provided with the camera module 3 on the back side of the display surface 1a of the display unit 2. Therefore, the camera module 3 shoots through the display unit 2.
  • FIG. 2A is a schematic external view of the electronic device 1 of FIG. 1A
  • FIG. 2B is a sectional view taken along the line AA of FIG. 2A.
  • the display surface 1a extends close to the outer size of the electronic device 1, and the width of the bezel 1b around the display surface 1a is set to several mm or less.
  • a front camera is often mounted on the bezel 1b, but in FIG. 2A, as shown by a broken line, a camera module 3 that functions as a front camera on the back side of a substantially central portion of the display surface 1a. Is placed.
  • the camera module 3 is arranged on the back surface side of the substantially central portion of the display surface 1a, but in the present embodiment, the camera module 3 may be on the back surface side of the display surface 1a, for example, the display surface 1a.
  • the camera module 3 may be arranged on the back surface side near the peripheral edge portion of the camera module 3.
  • the camera module 3 in the present embodiment is arranged at an arbitrary position on the back surface side that overlaps with the display surface 1a.
  • the display unit 2 includes a protective film 2b, a polyimide substrate 2c, a display layer 2d, a barrier layer 2e, a touch sensor layer 2f, an adhesive layer 2g, a circular polarizing plate 2h, and an optical adhesive sheet (OCA: Optical Clear).
  • Adhesive) 2i and cover glass 2j are laminated in this order.
  • the display layer 2d may be, for example, an OLED (Organic Light Emitting Device) display layer, a liquid crystal display layer, a MicroLED, or a display layer based on other display principles.
  • the display layer 2d may be composed of a plurality of layers.
  • the display layer 2d may include a color filter layer, a backlight layer, and the like.
  • the display unit 2 displays using light in the visible light wavelength range, but the light displayed by the display unit 2 may include an infrared light component.
  • the barrier layer 2e is a layer that prevents oxygen and moisture from entering the display layer 2d.
  • a touch sensor is incorporated in the touch sensor layer 2f. There are various types of touch sensors such as a capacitance type and a resistance film type, and any method may be adopted. Further, the touch sensor layer 2f and the display layer 2d may be integrated.
  • the adhesive layer 2g is provided to bond the circularly polarizing plate 2h and the touch sensor layer 2f.
  • a material having a high visible light transmittance is used for the adhesive layer 2g.
  • the circularly polarizing plate 2h is provided to reduce glare and enhance the visibility of the display surface 1a even in a bright environment.
  • the optical adhesive sheet 2i is provided to improve the adhesion between the circularly polarizing plate 2h and the cover glass 2j.
  • a material having a high visible light transmittance is used for the optical adhesive sheet 2i.
  • the cover glass 2j is provided to protect the display layer 2d and the like.
  • the layer structure of the display unit 2 is not necessarily limited to that shown in FIGS. 1A and 2.
  • the camera module 3 is arranged on the side opposite to the display surface 1a of the display unit 2, that is, on the back side of the display unit 2.
  • the camera module 3 has an imaging unit 4 and an optical system 5.
  • the optical system 5 is arranged on the light incident surface side of the imaging unit 4, that is, on the side close to the display unit 2, and collects the light that has passed through the display unit 2 on the imaging unit 4.
  • the optical system 5 is usually composed of a plurality of lenses.
  • a plurality of camera modules 3 may be arranged on the side opposite to the display surface 1a of the display unit 2. In this case, the focal lengths of the optical systems 5 of each camera module 3 may be different, which enables shooting with different telephoto and wide-angle angles of view.
  • the imaging unit 4 has a photoelectric conversion unit 4a.
  • the photoelectric conversion unit 4a photoelectrically converts the light incident on the display unit 2.
  • the photoelectric conversion unit 4a may be a CMOS (Complementary Metal Oxide Semiconductor) sensor or a CCD (Charge Coupled Device) sensor. Further, the photoelectric conversion unit 4a may be a photodiode or an organic photoelectric conversion film.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the photoelectric conversion unit 4a has a photoelectric conversion element such as a CMOS sensor for each pixel.
  • CMOS complementary metal-oxide-semiconductor
  • Each pixel can be arranged in any way. Specifically, the arrangement method of each pixel may be a Bayer arrangement, an interline arrangement, a checkered arrangement, a stripe arrangement, or another arrangement.
  • the electronic device 1 of the present embodiment is arranged so that the display unit 2 and the camera module 3 overlap each other in the front-back direction. Therefore, the camera module 3 captures the subject light transmitted through the display unit 2.
  • the display unit 2 is formed of a plurality of layers, and there is no problem if each layer has a high light transmittance in the wavelength band in which the image pickup unit 4 has sufficient sensitivity. , The transmittance of some layers may be low.
  • the polyimide substrate 2c does not have a very high visible light transmittance. Therefore, as shown in FIG.
  • one or more openings 2k are formed in the layer having a not so high transmittance among the plurality of layers constituting the display unit 2, and the light passing through the openings 2k is transmitted to the camera module 3. You may make an image with.
  • a plurality of openings 2k penetrating the layers other than the cover glass 2j are provided. These openings 2k are provided at positions that overlap with the camera module 3 when the display unit 2 is viewed in a plan view.
  • the diameter and the number of the openings 2k are set to appropriate values in consideration of the display of the display unit 2 and the image quality of the image captured by the image pickup unit 4.
  • FIG. 3 is a cross-sectional view showing an example of the cross-sectional structure of the imaging unit 4.
  • the imaging unit 4 of FIG. 3 includes a photoelectric conversion unit 4a formed in the semiconductor substrate 11, and the photoelectric conversion unit 4a is separated by an element separation layer 12 for each pixel.
  • a flattening layer 13 is arranged on the photoelectric conversion unit 4a, and a color filter layer 14 is arranged on the flattening layer 13.
  • the color filter layer 14 may have a filter layer of three colors of RGB, or may have a filter layer of cyan, magenta, and yellow as complementary colors thereof.
  • a filter layer that transmits colors other than visible light such as infrared light may be provided, a filter layer having multispectral characteristics may be provided, or a color-reducing filter layer such as white may be provided. You may have. Sensing information such as depth information can be detected by transmitting light other than visible light such as infrared light.
  • An on-chip lens 15 is arranged on the color filter layer 14. Light is incident through the on-chip lens 15. In the present specification, the side on which the on-chip lens 15 is arranged is referred to as the back surface side of the imaging unit 4.
  • a readout circuit 16 is formed on the semiconductor substrate 11, and the periphery of the readout circuit 16 is covered with an interlayer insulating film 17.
  • the readout circuit 16 includes a transfer transistor, a reset transistor, an amplification transistor, a selection transistor, and the like.
  • the cross-sectional structure of the imaging unit 4 is not limited to that shown in FIG.
  • FIG. 4 is a block diagram showing an internal configuration of the electronic device 1 according to the present embodiment.
  • the electronic device 1 includes an image pickup device 21, an application processor (first control unit) 22, a resolution conversion unit 23, an A / D conversion unit 24, a display control unit 25, and a display unit. Has 2 and.
  • the image pickup device 21 can be composed of one or a plurality of semiconductor devices, and in addition to the image pickup unit 4 (photoelectric conversion unit 4a), the optical system 5, and the IR (Infrared Ray) cut filter 6 that constitute the camera module 3. , A / D conversion unit 31, signal processing unit 32, image pickup control unit (second control unit) 33, and exposure adjustment unit 34.
  • the A / D conversion unit 31 converts the analog pixel signal captured by the image pickup unit 4 into digital pixel data.
  • the signal processing unit 32 includes a clamp unit 32a, a color output unit 32b, a defect correction unit 32c, a linear matrix unit 32d, a gamma correction unit 32e, a luminance chroma signal generation unit 32f, a noise reduction unit 32g, and an edge. It has an emphasis unit 32h and an output unit 32i.
  • the clamp portion 32a performs a process of defining the level of black. More specifically, the clamp portion 32a performs a process of subtracting the black level data from the digital pixel data.
  • the color output unit 32b outputs pixel data for each RGB color, for example.
  • the defect correction unit 32c performs a process of correcting the imaging data of a specific pixel that could not be read correctly for some reason from the imaging data of the surrounding pixels.
  • the linear matrix unit 32d performs more correct color reproduction by performing a matrix operation on color information such as RGB.
  • the gamma correction unit 32e performs gamma correction so as to enable a display having excellent visibility according to the display characteristics of the display unit 2. For example, the gamma correction unit 32e performs conversion from 10 bits to 8 bits while changing the gradient.
  • the luminance chroma signal generation unit 32f generates a luminance chroma signal to be displayed on the display unit 2 based on the output data of the gamma correction unit 32e.
  • the noise reduction unit 32g performs a process of reducing noise included in the luminance chroma signal.
  • the edge enhancement unit 32h performs a process of enhancing the edge of the subject image based on the luminance chroma signal.
  • the noise reduction processing by the noise reduction unit 32g and the edge enhancement processing by the edge enhancement unit 32h may be performed only when a predetermined condition is satisfied.
  • the output unit 32i outputs a luminance chroma signal after performing noise reduction processing.
  • the imaging control unit 33 sets the frame rate for imaging by the imaging unit 4 based on the luminance chroma signal.
  • the exposure adjustment unit 34 adjusts the exposure time according to the frame rate set by the image pickup control unit 33.
  • the photoelectric conversion unit 4a takes an image for each pixel according to the exposure time adjusted by the exposure adjustment unit 34.
  • the application processor 22 is a semiconductor device separate from the camera module 3, and is mounted on the same or different board as the camera module 3.
  • the application processor 22 has a CPU (Central Processing Unit) or the like inside thereof, and executes programs such as an operating system and various application software.
  • the application processor 22 may be equipped with a function of performing image processing, signal processing, or the like, such as a GPU (Graphics Processing Unit) or a baseband processor.
  • the application processor 22 executes various processes on the input image data and the calculation result as necessary, controls the display of the image on the display unit 2 of the electronic device 1, and establishes a predetermined network. Send to an external cloud server via.
  • the application processor 22 sends and receives various control signals to and from the image pickup control unit 33. Further, the application processor 22 receives the luminance chroma signal generated by the luminance chroma signal generation unit 32f and supplies it to the display control unit 25. More specifically, the application processor 22 receives information on the frame rate for imaging by the imaging unit 4 via the imaging control unit 33, and sets the frame rate when the display unit 2 displays the image.
  • the application processor 22 and the imaging control unit 33 may be integrated into one chip.
  • the application processor 22 and the imaging control unit 33 may be collectively referred to as a control unit.
  • the control unit in the present embodiment synchronizes the display timing of the display unit 2 with the imaging timing of the imaging unit 4 so that the imaging unit 4 takes an image at a timing when the display unit 2 does not display.
  • the control unit makes the period during which the display unit 2 does not display a longer period than when the image pickup unit 4 does not take an image. Further, when the imaging unit 4 performs imaging, the control unit may lower the frequency for displaying at least a part of the pixels of the display unit 2 as compared with the case where the imaging unit 4 does not perform imaging. .. Further, the control unit may lower the frame rate of the display unit 2 when the image pickup unit 4 performs the image pickup as compared with the case where the image pickup unit 4 does not perform the image pickup. Further, when the imaging unit 4 performs imaging, the control unit may lower the display frequency of at least a part of the horizontal pixel lines of the display unit 2 as compared with the case where the imaging unit 4 does not perform imaging.
  • the control unit receives an imaging unit when the display unit 2 is viewed in a plan view from the normal direction of the display surface 1a, as compared with the case where the imaging unit 4 does not perform imaging. A part of the horizontal pixel line display frequency including the display area overlapping with 4 may be lowered. Further, the control unit may set the exposure time of the imaging unit 4 based on the period during which the display unit 2 does not display. Further, when the imaging unit 4 performs imaging, the control unit lowers the display pixel density in at least a part of the display area of the display unit 2 as compared with the case where the imaging unit 4 does not perform imaging. May be good.
  • the control unit receives an imaging unit when the display unit 2 is viewed in a plan view from the normal direction of the display surface 1a, as compared with the case where the imaging unit 4 does not perform imaging.
  • the display pixel density in a part of the display area including the display area overlapping with 4 may be made lower.
  • the control unit increases the brightness value of the pixels in at least a part of the display area of the display unit 2 as compared with the case where the imaging unit 4 does not perform imaging. May be good.
  • the control unit receives an imaging unit when the display unit 2 is viewed in a plan view from the normal direction of the display surface 1a, as compared with the case where the imaging unit 4 does not perform imaging.
  • the brightness value of a part of the display area including the display area overlapping with 4 may be made higher.
  • the control unit lowers the frequency at which at least a part of the pixels of the display unit 2 is displayed and reduces the brightness as compared with the case where the imaging unit 4 does not perform imaging. The value may be higher.
  • the resolution conversion unit 23 converts the resolution of the video signal to be displayed on the display unit 2.
  • the A / D conversion unit 31 converts the video signal whose resolution has been converted by the resolution conversion unit 23 into digital video data.
  • the display control unit 25 controls to display the digital video data on the display unit 2 at a frame rate according to the instruction from the application processor 22.
  • FIG. 5 is a flowchart showing the processing operation of the electronic device 1 according to the first embodiment, and shows, for example, the processing operation executed by the application processor 22 and the imaging control unit 33. The flowchart of FIG. 5 is continuously repeated while the power of the electronic device 1 is turned on.
  • step S1 it is determined whether or not the user of the electronic device 1 has activated the camera module 3 (step S1). If the camera module 3 is not activated, the normal frame rate is selected (step S2).
  • the normal frame rate is a predetermined frame rate such as 60 Hz.
  • the frame rate is a frequency required to display the entire display area of the display unit 2 once.
  • step S3 the display of the display unit 2 is started at the normal frame rate.
  • a low frame rate is selected (step S4).
  • the low frame rate is a frame rate lower than the normal frame rate such as 30 Hz.
  • the low frame rate is set to a fixed frequency, but the frequency of the low frame rate may be changed.
  • the display of the display unit 2 is started at a low frame rate (step S5).
  • the display off period When the display unit 2 is displayed at a constant frame rate, the length of the period during which the display unit 2 is not displayed (hereinafter referred to as the display off period) changes according to the frequency of the frame rate. The faster the frame rate, the longer the display off period.
  • the display off period is provided between the time when one horizontal pixel line is displayed and the time when the next horizontal pixel line is displayed, and the time when one frame is displayed and the next frame is displayed. ..
  • step S6 After the display is started in step S5, when the display off period is reached, the image pickup unit 4 performs exposure within the display off period (step S6).
  • the exposure time by the imaging unit 4 is determined according to the length of the display off period. The lower the frame rate, the longer the display off period. Therefore, when displaying at a low frame rate, the exposure time can be lengthened.
  • FIG. 6 is an operation timing diagram corresponding to the flowchart of FIG.
  • the waveform w1 in FIG. 6 is a signal waveform indicating a normal frame rate display period
  • the waveform w2 is a signal waveform indicating a low frame rate display period.
  • the high period of the waveforms w1 and w2 indicates the display period, and the low period is the display off period.
  • the waveform w3 is a signal waveform indicating an exposure period, and the high period is the exposure period. As shown in the waveforms w1 to w3, at a low frame rate, the display off period is longer than that at the normal frame rate, so that a sufficient exposure time can be secured.
  • the image pickup unit 4 since the image pickup unit 4 takes an image with the image pickup unit 4 during the display off period, the image quality of the captured image is affected by the display luminance of the display unit 2. There is no risk of deterioration.
  • the display off period can be lengthened, so that the exposure time at the time of imaging can be sufficiently long, and the exposure time is insufficient to darken the captured image. No problems will occur. That is, the imaging sensitivity can be improved.
  • the electronic device 1 according to the second embodiment has the same internal configuration as in FIG.
  • FIG. 7 is a flowchart showing a processing operation of the electronic device 1 according to the second embodiment.
  • the normal luminance value is set before and after the process of selecting the normal frame rate (step S12) (step S13).
  • the normal luminance value means that the original luminance value of the pixel data is displayed as it is.
  • the pixel data of the set display brightness is supplied to the display unit 2 at the normal frame rate, and the display is started (step S14).
  • step S11 when the camera module 3 is activated (YES in step S11), a higher luminance value than usual is set before and after the process of selecting a low frame rate (step S15) (step S16).
  • a brightness value higher than usual means that the pixel data can be perceived by the human eye with a display brightness equivalent to the display brightness when the display unit 2 is displayed at the normal frame rate when the camera module 3 is not started. It means adjusting the brightness value. More specifically, in step S16, the luminance value of the pixel data is made larger than the luminance value set in step S13.
  • step S17 the display is started with the brightness value set in step S16 (step S17).
  • the imaging unit 4 performs imaging with an exposure time corresponding to the length of the display-off period (step S18).
  • FIG. 8 is an operation timing diagram corresponding to the flowchart of FIG. 7.
  • the waveforms w4 to w6 are the same as the waveforms w1 to w3.
  • the waveform w7 is a waveform schematically showing the brightness value of the pixel data displayed on the display unit 2 when the camera module 3 is not activated.
  • the waveform w8 is a waveform schematically showing the brightness value of the pixel data displayed on the display unit 2 when the camera module 3 is activated.
  • the display brightness perceived by the human eye can be changed to the display brightness when the normal frame rate is selected. Can be equivalent to.
  • the display unit 2 when the camera module 3 is activated, not only the display unit 2 is set to a low frame rate, but also the brightness value of the pixel data is set to be higher than that when the normal frame rate is selected.
  • the display of the display unit 2 does not feel dark, and the display can be performed without a sense of discomfort.
  • the image pickup unit 4 since the image pickup unit 4 performs the image pickup within the display off period, the image pickup can be performed with a sufficient exposure time without being affected by the display of the display unit 2.
  • the third embodiment not only lowers the frame rate but also controls the display pixel density when the camera module 3 is activated.
  • the electronic device 1 according to the third embodiment has the same internal configuration as that of FIG.
  • FIG. 9 is a flowchart showing the processing operation of the electronic device 1 according to the third embodiment. In the following, the differences from FIG. 7 will be mainly described.
  • the processing of steps S21 to S24 is the same as that of steps S11 to S14 of FIG.
  • step S25 When starting the camera module 3, set the frame rate and the display pixel density (step S25).
  • a low frame rate lower than the normal frame rate is set.
  • the display pixel density is also set to be lower than the display pixel density when the camera module 3 is not activated.
  • the display pixel density is lowered by selecting and driving every other horizontal pixel line or every two horizontal pixel lines.
  • the display off period between displaying one horizontal pixel line and displaying the next horizontal pixel line can be lengthened.
  • a plurality of pixels on the horizontal pixel line may be thinned out for driving. In this case, since the interval for driving each pixel on the horizontal pixel line is widened, the display off period can be set within the interval, and the imaging unit 4 can perform imaging.
  • the brightness value of the pixel data is set based on the set frame rate and the display pixel density (step S26).
  • the higher the display pixel density the higher the display brightness perceived by the human eye. Further, the lower the frame rate, the lower the display brightness perceived by the human eye. Therefore, in step S26, the brightness value of the pixel data is set so as to be equivalent to the display brightness of the display unit 2 when the camera module 3 is not started, taking into consideration both the set frame rate and the display pixel density. Set.
  • the display is started with the set luminance value (step S27).
  • the imaging unit 4 performs imaging with an exposure time corresponding to the length of the display-off period (step S28).
  • FIG. 10 is an operation timing diagram corresponding to the flowchart of FIG.
  • the waveform w9 is the waveform of the vertical synchronization signal VSYNC at the normal frame rate
  • the waveform w10 is the waveform of the horizontal synchronization signal HSYNC at the normal frame rate
  • the waveform w11 is the brightness value of the pixel data displayed on the display unit 2 at the normal frame rate. It is a waveform shown schematically.
  • the high period of the horizontal synchronization signal HSYNC of the waveform w10 indicates the horizontal pixel line display period.
  • the waveform w12 is the waveform of the vertical synchronization signal VSYNC at a low frame rate
  • the waveform w13 is the waveform of the horizontal synchronization signal HSYNC at a low frame rate
  • the waveform w14 is the waveform of the exposure time for imaging by the imaging unit 4
  • the waveform w15 is the low frame. It is a waveform schematically showing the brightness value of the pixel data displayed on the display unit 2 at a rate.
  • a low frame rate lower than the normal frame rate is selected, and the display pixel density is also lowered, so that the display off period can be made longer, and the image pickup unit 4 can be used. Can lengthen the exposure time when imaging.
  • FIG. 11 is a diagram showing a screen display example of the display unit 2 displayed by the processing of the flowchart of FIG.
  • the frame rate and the display pixel density are set for each frame. Therefore, as shown in FIG. 11, the camera module 3 is started for the entire display area of the display unit 2. It is displayed with a different display pixel density than when it is not.
  • the brightness value of the pixel data is made larger than when the camera module 3 is not started, so that the display brightness perceived by the human eye is the same as when the camera module 3 is not started. can do.
  • the frame rate and the display pixel density are set for each frame, so that the frame rate and the display pixel density of the entire display area of the display unit 2 are set. Imaging can be performed in the lowered state. By lowering the frame rate and the display pixel density, the exposure time when the image pickup unit 4 takes an image can be lengthened, and the image pickup sensitivity can be improved.
  • the fourth embodiment controls the display pixel density for some horizontal pixel lines.
  • the electronic device 1 has the same internal configuration as that of FIG. However, the display unit 2 in the electronic device 1 has a first display area 2r1 and a second display area 2r2.
  • the first display area 2r1 is an area displayed at a normal frame rate and a normal display pixel density.
  • the second display area 2r2 is an area displayed at a low frame rate and a display pixel density lower than usual.
  • the second display area 2r2 is a display area including a display area that overlaps with the camera module 3 when the display unit 2 is viewed in a plan view from the normal direction of the display surface 1a.
  • the second display area 2r2 in the present embodiment has a band-shaped area that is an integral multiple of the horizontal pixel line of the display unit 2. At least a part of the second display area 2r2 overlaps with the arrangement location of the imaging unit 4 in the front-back direction, and by lowering the display pixel density in the second display area 2r2, the display off period of the second display area 2r2 Can be set longer.
  • FIG. 12 is a flowchart showing the processing operation of the electronic device 1 according to the fourth embodiment, and shows, for example, the processing operation executed by the application processor 22 and the imaging control unit 33. In the following, the differences from the flowchart of FIG. 9 will be mainly described. Steps S31 to S34 of FIG. 12 perform the same processing as steps S21 to S24 of FIG. When the camera module 3 is activated, the display pixel density of a part of the horizontal pixel lines in one frame is set (step S35). The part of the horizontal pixel lines is the horizontal pixel lines included in the second display area 2r2 described above.
  • the display pixel density set in step S35 is set to a value smaller than, for example, the display pixel density when the camera module 3 is not activated. More specifically, the display pixel density is reduced by thinning out and driving a plurality of horizontal pixel lines in the second display area 2r2. By reducing the display pixel density, the display off period of the second display area 2r2 can be lengthened, and the exposure time can be set longer.
  • the brightness value of the pixel data is set based on the display pixel density in the second display area 2r2 (step S36).
  • the display pixel density is lowered, the display becomes dark, so that the brightness value of the pixel data is increased so that the display brightness perceived by the human eye becomes the same as the display brightness when the camera module 3 is not activated.
  • the display is started and a part of the horizontal pixel lines is displayed, that is, when the second display area 2r2 is displayed, it is displayed with the set display pixel density and the brightness value (step S37).
  • the imaging unit 4 performs imaging at an exposure time determined by the display pixel density in step S35 (step S38).
  • FIG. 13 is an operation timing diagram corresponding to the flowchart of FIG.
  • the waveform w16 is the waveform of the vertical synchronization signal VSYNC
  • the waveform w17 is the waveform of the horizontal synchronization signal HSYNC
  • the waveform w18 is the waveform indicating the exposure period
  • the waveform w19 is the waveform schematically indicating the brightness value of the pixel data displayed on the display unit 2.
  • the high period of the waveform w17 is the display period of each horizontal pixel line.
  • the display pixel density is adjusted by making only a part of the horizontal pixel line display period in one frame longer than the other horizontal pixel line display period. That is, the horizontal pixel line in the second display area 2r2 is driven every other line or every two lines to reduce the display pixel density. Further, the brightness value of the pixel data is increased during the display period of the horizontal pixel line in the second display area 2r2.
  • FIG. 14A, 14B, and 14C are diagrams schematically showing a specific example of the second display area 2r2.
  • FIG. 14A shows an example in which the camera module 3 exists on the upper end side of the display unit 2, and the second display area 2r2 is provided in a horizontal strip shape including the arrangement location of the camera module 3.
  • FIG. 14B shows an example in which the camera module 3 exists closer to the center of the display unit 2 than in FIG. 14A, and the second display area 2r2 is provided in a horizontal strip shape including the arrangement location of the camera module 3.
  • FIG. 14C two camera modules 3 are arranged, and two horizontal strip-shaped second display areas 2r2 are provided including the arrangement locations of the camera modules 3.
  • the display pixel density can be adjusted in units of the horizontal pixel line of the display unit 2, so that when the camera module 3 is started, it is horizontal according to the arrangement location of the camera module 3.
  • the display pixel density of the strip-shaped second display region 2r2 extending in the direction it is possible to lengthen the exposure time when the imaging unit 4 takes an image within the display off period of the second display region 2r2.
  • the electronic device 1 adjusts the display pixel density of the display area according to the outer size of the camera module 3 arranged on the back surface side of the display unit 2.
  • the electronic device 1 has the same internal configuration as that of FIG. Further, the display unit 2 has a first display area 2r1 and a second display area 2r2 as in the fourth embodiment.
  • the second display area 2r2 in the fourth embodiment is an area for a plurality of horizontal pixel lines, whereas the second display area 2r2 in the present embodiment is arranged adjacent to each other in the horizontal and vertical directions. It is a pixel block area including a plurality of pixels to be formed.
  • the second display area 2r2 in the present embodiment includes some pixels in the plurality of horizontal pixel lines.
  • FIG. 15 is a flowchart showing the processing operation of the electronic device 1 according to the fifth embodiment, and shows, for example, the processing operation executed by the application processor 22.
  • Steps S41 to S44 of FIG. 15 perform the same processing as steps S31 to S34 of FIG.
  • the display pixel density may be determined in advance, or may be arbitrarily set depending on the ambient brightness and the like as described later.
  • the brightness value of the pixel data is set so that the display brightness perceived by the human eye is about the same as when the camera module 3 is not started (step). S46).
  • step S47 when the display is started and the inside of the second display area 2r2 is displayed, it is displayed with the set display pixel density and the brightness value (step S47).
  • the display pixel density and the brightness value are the same as when the camera module 3 is not activated.
  • the second display area 2r2 when displaying the second display area 2r2, it is displayed with the display pixel density and the brightness value set in steps S45 and S46.
  • the imaging unit 4 performs imaging within the display off period during the display of the second display area 2r2 (step S48).
  • the exposure time in this case is a time corresponding to the length of the display off period.
  • FIG. 16 is an operation timing diagram corresponding to the flowchart of FIG.
  • the waveform w20 is a waveform indicating the horizontal synchronization signal HSYNC
  • the waveform w21 is a waveform indicating the display period of the horizontal pixel line when the camera module 3 is not activated
  • the waveform w22 is the display period of the horizontal pixel line when the camera module 3 is activated.
  • the waveform and waveform w23 shown are waveforms indicating the exposure period when the camera module 3 is activated
  • the waveform w24 is a waveform indicating the brightness value of the pixel data.
  • the imaging unit 4 can perform imaging during the display off period.
  • FIGS. 17A and 17B are diagrams schematically showing a specific example of the second display area 2r2 when the camera module 3 is activated.
  • FIG. 17A shows an example in which the camera module 3 is arranged on the upper end side of the display unit 2
  • FIG. 17B shows an example in which the camera module 3 is arranged near the center of the display unit 2.
  • the second display area 2r2 is provided according to the outer shape of the camera module 3, and the display pixel density is reduced when the second display area 2r2 is displayed.
  • the display brightness it is possible to suppress the difference in display brightness perceived by the human eye between the second display area 2r2 and the first display area 2r1 around the second display area 2r2.
  • the second display area 2r2 is set at a place overlapping the place where the camera module 3 is arranged, and the display pixel density of the second display area 2r2 and the brightness value of the pixel data are adjusted.
  • the image quality of the captured image can be improved because the imaging unit 4 can perform imaging without being affected by the display of the display unit 2.
  • the area of the second display area 2r2 can be reduced as compared with the fourth embodiment, the second display area 2r2 becomes inconspicuous and the user does not feel a sense of discomfort on the display.
  • the sixth embodiment controls the frame rate according to the ambient brightness.
  • FIG. 18 is a block diagram showing an internal configuration of the electronic device 1 according to the sixth embodiment.
  • the electronic device 1 of FIG. 18 includes a brightness detection unit 26 in addition to the internal configuration of the electronic device 1 of FIG.
  • the brightness detection unit 26 is, for example, based on the digital pixel data output from the A / D conversion unit 31, the average brightness of the light incident on the photoelectric conversion unit 4a, or the integrated value of the incident light. Detects brightness based on.
  • the brightness detection unit 26 can detect the ambient brightness of the electronic device 1. Alternatively, the brightness detection unit 26 may be configured by a sensor that detects the brightness separately from the image pickup unit 4.
  • the image pickup control unit 33 and the application processor 22 set the frame rate of the display unit 2 and the exposure time of the image pickup unit 4 based on the brightness information detected by the brightness detection unit 26. For example, the darker the surroundings, the lower the freight rate of the display unit 2 is set. As a result, the display off period can be lengthened, and the exposure time can be lengthened accordingly, so that the imaging sensitivity of the imaging unit 4 can be improved.
  • FIG. 19 is a flowchart showing a processing operation of the electronic device 1 according to the sixth embodiment. In the following, the differences from the flowchart of FIG. 9 will be mainly described. Steps S51 to S54 of FIG. 19 perform the same processing as steps S21 to S24 of FIG.
  • the brightness detection unit 26 detects the ambient brightness (step S55).
  • the frame rate and the exposure time are set based on the detected ambient brightness (step S56).
  • the display is started at the set frame rate (step S57).
  • the imaging unit 4 performs imaging at the set exposure time (step S58).
  • FIG. 20 is an operation timing diagram corresponding to the flowchart of FIG.
  • the waveform w25 is a waveform indicating a vertical synchronization signal VSYNC
  • a waveform w26 is a waveform indicating a horizontal synchronization signal HSYNC
  • a waveform w27 is a waveform indicating an exposure time
  • a waveform w28 is a luminance value of pixel data.
  • the display brightness is not adjusted in this embodiment. This is because the improvement of the imaging sensitivity of the imaging unit 4 is prioritized over the visibility of the display unit 2.
  • the flowchart of FIG. 19 assumes that the frame rate of the entire display area of the display unit 2 is changed according to the ambient brightness as shown in FIG. 11, but is partially as shown in FIGS. 14A to 14C.
  • the second display area 2r2 including the horizontal pixel line of No. 1 or the second display area 2r2 including a part of the pixel blocks as shown in FIGS. 17A to 17B is displayed with a display pixel density according to the ambient brightness. May be good.
  • the frame rate or the display pixel density is controlled according to the brightness of the surroundings. Therefore, for example, the darker the surroundings, the lower the frame rate and the display pixel density to reduce the exposure time. It can be lengthened, and the imaging sensitivity of the imaging unit 4 can be improved.
  • the blink of a human being looking at the display unit 2 of the electronic device 1 is detected, the display of the display unit 2 is turned off during the period when the eyes are closed, and the image pickup unit 4 performs imaging. Is.
  • FIG. 21 is a block diagram showing an internal configuration of the electronic device 1 according to the seventh embodiment.
  • the electronic device 1 of FIG. 21 includes an image pickup device 21, a timing detection unit 27, a resolution conversion unit 23, an A / D conversion unit 31, a display control unit 25, and a display unit 2.
  • the application processor 22, the image pickup control unit 33, and the exposure adjustment unit 34, which were present in FIG. 4, are omitted, but the application processor 22, the image pickup control unit 33, and the exposure adjustment unit 34 may be provided. ..
  • the timing detection unit 27 detects the timing of human blinks imprinted on the captured image based on the digital pixel data output from the A / D conversion unit 31. Then, the timing detection unit 27 notifies the display control unit 25 of information indicating the timing when the human eyes are closed and the timing when the eyes are opened.
  • the display control unit 25 controls to turn off the display of the display unit 2 during the period when the human eye is closed and to turn on the display of the display unit 2 during the period when the human eye is open.
  • FIG. 22 is a flowchart showing the processing operation of the electronic device 1 according to the seventh embodiment.
  • the display is started at the normal frame rate (step S62).
  • the camera module 3 is activated (YES in step S61)
  • the display is started at the normal frame rate (step S63).
  • step S65 When it is determined that the human eye is closed, the display of the display unit 2 is turned off (step S65), and the exposure by the imaging unit 4 is started (step S66). After that, it is determined whether or not the human eye is opened based on the information from the timing detection unit 27 (step S67). When it is determined that the human eye is open, the exposure by the imaging unit 4 is terminated (step S68).
  • the human blink is detected, the display of the display unit 2 is turned off while the human eye is closed, and the exposure is performed according to the period when the human eye is closed.
  • the imaging unit 4 takes an image.
  • the imaging unit 4 can perform imaging with the display of the display unit 2 turned off, and the image quality of the captured image can be improved.
  • the display of the display unit 2 is turned off during the period when the eyes are closed due to the blink of a human being, and since the display is not recognized as being turned off, there is no risk of giving a sense of discomfort to the human being.
  • the display surface 1a of the first display area 2r1 ( Hereinafter, the first display surface) and the display surface 1a (hereinafter, the second display surface) of the second display area 2r2 may be provided on separate layers.
  • the layer of the first display surface and the layer of the second display surface are laminated in the front-back direction so that the display areas do not overlap when the layer of the first display surface and the layer of the second display surface are laminated.
  • Each display area is arranged. Therefore, when the line of sight is directed to the display unit 2, the first display area 2r1 and the second display area 2r2 are united and visually recognized, and the observer does not feel uncomfortable.
  • the display control of the first display area 2r1 and the display control of the second display area 2r2 are separated from each other. This can be performed easily, and the processing operation of the display control unit 25 becomes easy.
  • the optical system 5 of the camera module 3 is different from that of the first to eighth embodiments.
  • FIG. 23 is a diagram showing a cross-sectional structure of the image pickup unit 4 of the camera module 3 mounted on the electronic device 1 according to the ninth embodiment.
  • the imaging unit 4 of FIG. 23 has a microlens array 64, not a single lens or a lens group in which a single lens is arranged in the optical axis direction.
  • the imaging unit 4 of FIG. 23 includes a photoelectric conversion unit 4a arranged along the bottom surface of the housing 63, a microlens array 64 arranged above the photoelectric conversion unit 4a, and an adjacent microlens. It has a plurality of light-shielding bodies 66 arranged between 65 and a light guide plate 67 arranged above the microlens array 64.
  • the imaging unit 4 of FIG. 23 can be applied to any of the first to eighth embodiments described above.
  • a polarizing element 8b is provided in the imaging unit 4 of the first to ninth embodiments described above to acquire polarization information including components of flare light and diffracted light, and the polarization information is used to obtain flare light and flare light. Digital pixel data in which the component of the diffracted light is removed may be generated.
  • the cross-sectional structure of the imaging unit 4 in this case is represented by a cross-sectional view as shown in FIG. 24, for example.
  • FIG. 24 the same reference numerals are given to the parts common to those in FIG. 3, and the differences will be mainly described below.
  • the imaging unit 4 of FIG. 13 a light-shielding layer 18 and a base insulating layer 19 are arranged on the flattening layer 13, and a plurality of polarizing elements 8b are arranged on the base insulating layer 19 at a distance.
  • the polarizing element 8b is, for example, a wire grid polarizing element 8b having a line-and-space structure arranged in a part of the underlying insulating layer 19.
  • FIG. 25 is a perspective view showing an example of the detailed structure of each polarizing element 8b.
  • each of the plurality of polarizing elements 8b has a plurality of convex line portions 8d extending in one direction and a space portion 8e between the line portions 8d.
  • the angles formed by the arrangement direction of the photoelectric conversion unit 4a and the extending direction of the line unit 8d are three types of 0 degrees, 60 degrees, and 120 degrees. But it may be.
  • angles formed by the arrangement direction of the photoelectric conversion unit 4a and the extending direction of the line unit 8d may be four types of 0 degrees, 45 degrees, 90 degrees, and 135 degrees, or may be other angles.
  • the plurality of polarizing elements 8b may be polarized in only one direction.
  • the material of the plurality of polarizing elements 8b may be a metal material such as aluminum or tungsten, or may be an organic photoelectric conversion film.
  • the plurality of polarizing elements 8b are arranged on the light incident side of at least one photoelectric conversion unit 4a among the plurality of photoelectric conversion units 4a.
  • the polarizing element 8b polarizes the incident light that has passed through the display unit 2.
  • the light polarized by the polarizing element 8b is incident on the corresponding photoelectric conversion unit 4a and is photoelectrically converted.
  • the output value of the photoelectric conversion unit 4a that photoelectrically converts the light polarized by the polarizing element 8b is referred to as polarization information, and the output of the photoelectric conversion unit 4a that photoelectrically converts the incident light without passing through the polarizing element 8b.
  • the value is called a pixel value or pixel information.
  • the polarizing element 8b and the photoelectric conversion unit 4a for photoelectrically converting the light polarized by the polarizing element 8b are collectively referred to as a polarizing pixel, and the light incident without passing through the polarizing element 8b is photoelectric.
  • the photoelectric conversion unit 4a to be converted is called a non-polarized pixel.
  • the flattening layer 20 is arranged on the insulating layer 19 in which the plurality of polarizing elements 8b are arranged.
  • a color filter layer 14 is arranged on the flattening layer 20.
  • FIG. 26 is a block diagram showing an internal configuration of an electronic device having a function of suppressing the influence of flare light and diffracted light.
  • the same reference numerals are given to the parts common to those in FIG. 4, and the differences will be mainly described below.
  • the electronic device of FIG. 26 has a polarization output unit 32j, a flare extraction unit 32k, and a flare correction signal generation unit 32m.
  • the polarization output unit 32j outputs polarization information data.
  • the flare extraction unit 32k extracts at least one of the flare component and the diffracted light component from the polarization information data. At least one of the flare component and the diffracted light component extracted by the flare extraction unit 32k is the correction amount.
  • the flare correction signal generation unit 32m corrects the digital pixel data by subtracting the correction amount extracted by the flare extraction unit 32k with respect to the digital pixel data output from the color output unit 32b.
  • the output data of the flare correction signal generation unit 32m is digital pixel data in which at least one of the flare component and the diffracted light component is removed.
  • the flare correction signal generation unit 32m functions as a correction unit that corrects the captured image photoelectrically converted by the plurality of non-polarized pixels based on the polarization information.
  • the signal level of the digital pixel data at the pixel position of the polarized pixel is lower because it has passed through the polarizing element 8b. Therefore, the defect correction unit 32c regards the polarized pixel as a defect and performs a predetermined defect correction process.
  • FIG. 27 is a plan view when the electronic device 1 of the first to fourth embodiments is applied to the capsule endoscope 50.
  • the capsule endoscopy 50 of FIG. 27 is photographed by, for example, a camera (ultra-small camera) 52 and a camera 52 for capturing an image in the body cavity in a housing 51 having a hemispherical both end faces and a cylindrical central portion.
  • a CPU (Central Processing Unit) 56 and a coil (magnetic force / current conversion coil) 57 are provided in the housing 51.
  • the CPU 56 controls the shooting by the camera 52 and the data storage operation in the memory 53, and also controls the data transmission from the memory 53 to the data receiving device (not shown) outside the housing 51 by the wireless transmitter 55.
  • the coil 57 supplies electric power to the camera 52, the memory 53, the wireless transmitter 55, the antenna 54, and the light source 52b described later.
  • the housing 51 is provided with a magnetic (reed) switch 58 for detecting when the capsule endoscope 50 is set in the data receiving device.
  • the reed switch 58 detects the set to the data receiving device and the data can be transmitted, the CPU 56 supplies electric power from the coil 57 to the wireless transmitter 55.
  • the camera 52 has, for example, an image sensor 52a including an objective optical system for capturing an image in the body cavity, and a plurality of light sources 52b that illuminate the inside of the body cavity.
  • the camera 52 is composed of, for example, a CMOS (Complementary Metal Oxide Semiconductor) sensor equipped with an LED (Light Emitting Diode), a CCD (Charge Coupled Device), or the like as the light source 52b.
  • CMOS Complementary Metal Oxide Semiconductor
  • LED Light Emitting Diode
  • CCD Charge Coupled Device
  • the display unit 2 in the electronic device 1 of the first to fourth embodiments is a concept including a light emitting body such as the light source 52b of FIG. 27.
  • the capsule endoscope 50 of FIG. 27 has, for example, two light sources 52b, and these light sources 52b can be configured by a display panel having a plurality of light source units and an LED module having a plurality of LEDs. In this case, by arranging the image pickup unit 4 of the camera 52 below the display panel or the LED module, restrictions on the layout arrangement of the camera 52 are reduced, and a smaller capsule endoscope 50 can be realized.
  • FIG. 28 is a rear view when the electronic device 1 of the first to fourth embodiments is applied to the digital single-lens reflex camera 60.
  • the digital single-lens reflex camera 60 and the compact camera are provided with a display unit 2 for displaying a preview screen on the back surface opposite to the lens.
  • the camera module 3 may be arranged on the side opposite to the display surface of the display unit 2 so that the photographer's face image can be displayed on the display surface 1a of the display unit 2.
  • the camera module 3 can be arranged in the area overlapping the display unit 2, it is not necessary to provide the camera module 3 in the frame portion of the display unit 2, and the size of the display unit 2 Can be made as large as possible.
  • FIG. 29A is a plan view showing an example in which the electronic device 1 of the first to fourth embodiments is applied to a head-mounted display (hereinafter, HMD) 61.
  • the HMD 61 of FIG. 29A is used for VR (Virtual Reality), AR (Augmented Reality), MR (Mixed Reality), SR (Substituional Reality), and the like.
  • the current HMD has a camera 62 mounted on the outer surface, so that the wearer of the HMD can visually recognize the surrounding image, while the surrounding humans wear the HMD.
  • the facial expressions of a person's eyes and face cannot be understood.
  • the display surface of the display unit 2 is provided on the outer surface of the HMD 61, and the camera module 3 is provided on the opposite side of the display surface of the display unit 2.
  • the facial expression of the wearer taken by the camera module 3 can be displayed on the display surface of the display unit 2, and the humans around the wearer can grasp the facial expression of the wearer and the movement of the eyes in real time. can do.
  • the electronic device 1 according to the first to fourth embodiments can be used for various purposes, and the utility value can be enhanced.
  • the present technology can have the following configurations.
  • the control unit makes the period during which the display unit does not display a longer period when the image pickup unit performs an image pickup than when the image pickup unit does not perform an image pickup. Described electronic equipment.
  • the electronic device according to (1) or (2).
  • the electronic device wherein the horizontal pixel line display frequency of a part of the horizontal pixel line including a display area overlapping the imaging unit is lowered.
  • the control unit sets an exposure time of the imaging unit based on a period during which the display unit does not display.
  • the control unit lowers the display pixel density in at least a part of the display area of the display unit as compared with the case where the imaging unit does not perform imaging.
  • the electronic device according to any one of (1) to (7).
  • the control unit receives a plan view of the display unit from the normal direction of the display surface as compared with the case where the image pickup unit does not perform the image pickup.
  • the electronic device according to (8) wherein the display pixel density in a part of the display area including the display area overlapping the imaging unit is made lower.
  • the control unit increases the brightness value of pixels in at least a part of the display area of the display unit as compared with the case where the imaging unit does not perform imaging.
  • the control unit sees the display unit in a plan view from the normal direction of the display surface as compared with the case where the image pickup unit does not perform the image pickup.
  • the electronic device according to (10) wherein the brightness value of a pixel in a part of the display area including a display area overlapping the imaging unit is made higher.
  • the control unit lowers the frequency at which the pixels in the part of the display area are displayed lower than when the imaging unit does not perform imaging.
  • the electronic device according to (11), wherein the brightness value of the pixel is made higher.
  • the display units have a first display surface and a second display surface which are laminated with each other and whose display is controlled separately.
  • the first display surface displays a display area of the display unit excluding a part of the display area.
  • the second display surface displays a part of the display area so as not to overlap the display area of the first display surface when laminated on the first display surface.
  • the electronic device according to any one of the above.
  • a brightness detection unit that detects the brightness of the surroundings is provided.
  • the control unit controls the frequency at which at least a part of the pixels of the display unit are displayed when the imaging unit performs imaging according to the ambient brightness detected by the brightness detection unit (1).
  • the electronic device according to any one of the items.
  • the control unit displays a frequency for displaying at least a part of pixels of the display unit when the imaging unit performs imaging, according to the ambient brightness detected by the brightness detection unit.
  • a timing detection unit for detecting the timing of human blinking when the line of sight is directed to the display unit is provided. (1) to (15), wherein the control unit temporarily puts the display of the display unit into a non-light emitting state and images the imaging unit in accordance with the timing detected by the timing detection unit.
  • the electronic device according to any one item.
  • the display unit has an opening at a position overlapping the imaging unit when the display unit is viewed in a plan view from the normal direction of the display surface. Any of (1) to (17), the opening is arranged so as to penetrate a layer having a transmittance for light in a predetermined wavelength band of less than a predetermined value among a plurality of layers constituting the display unit.

Abstract

［課題］撮影画像の画質と表示部の表示品質を低下させることがない電子機器を提供する。 ［解決手段］電子機器は、表示部と、前記表示部の表示面とは反対側に配置される撮像部と、前記表示部が表示を行わないタイミングに前記撮像部が撮像を行うように、前記表示部の表示タイミングと前記撮像部の撮像タイミングとを同期させる制御部と、を備える。

Description

電子機器
　本開示は、電子機器に関する。
　最近のスマートフォンや携帯電話、ＰＣ（Personal Computer）などの電子機器は、表示部の額縁（ベゼル）にカメラを搭載して、テレビ電話や動画撮影を手軽にできるようにしている。スマートフォンや携帯電話は、ポケットや鞄に入れて持ち歩くことが多いため、外形サイズをできるだけコンパクトにする必要がある。その一方で、表示画面のサイズが小さいと、表示解像度が高いほど、表示される文字サイズが小さくなって視認しにくくなる。このため、表示画面の周囲にあるベゼル幅を小さくすることで、電子機器の外形サイズを大きくせずに、表示画面のサイズをできるだけ大きくすることが検討されている。
　ところが、電子機器のベゼルには、カメラなどが搭載されることが多いため、カメラの外径サイズよりベゼル幅を小さくすることはできない。
　また、ベゼルにカメラを配置する場合、例えばテレビ電話で会話する際に、目線は表示画面の中央付近に置かれることが多いため、カメラの光軸から目線がずれてしまい、目線の合わない違和感のある撮影画像が得られてしまう。
　上述した問題を回避するために、表示部の表示面とは反対側にカメラモジュールを配置して、表示部を通過した被写体光をカメラで撮影することが提案されている。
米国特許公開公報２０１８／００６９０６０
　しかしながら、表示部の表示面とは反対側にカメラモジュールを配置すると、カメラモジュールには、表示部を通過した光が入射されるため、表示部の表示輝度の影響を受けて、撮影画像の画質が低下するおそれがある。
　また、カメラモジュールの配置場所と重なる表示部の一部の表示領域の画素密度を下げるなどする方策も考えられるが、表示部の表示品質が部分的に低下して違和感のある表示になってしまうおそれがある。
　本開示の一態様では、撮影画像の画質と表示部の表示品質を低下させることがない電子機器を提供するものである。
　上記の課題を解決するために、本開示の一態様では、表示部と、
　前記表示部の表示面とは反対側に配置される撮像部と、
　前記表示部が表示を行わないタイミングに前記撮像部が撮像を行うように、前記表示部の表示タイミングと前記撮像部の撮像タイミングとを同期させる制御部と、を備える、電子機器が提供される。
　前記制御部は、前記撮像部が撮像を行う際には、前記撮像部が撮像を行わない場合と比べて、前記表示部が表示を行わない期間をより長くしてもよい。
　前記制御部は、前記撮像部が撮像を行う際には、前記撮像部が撮像を行わない場合と比べて、前記表示部の少なくとも一部の画素を表示する周波数をより低くしてもよい。
　前記制御部は、前記撮像部が撮像を行う際には、前記撮像部が撮像を行わない場合と比べて、前記表示部のフレームレートをより低くしてもよい。
　前記制御部は、前記撮像部が撮像を行う際には、前記撮像部が撮像を行わない場合と比べて、前記表示部の少なくとも一部の水平画素ラインの表示周波数をより低くしてもよい。
　前記制御部は、前記撮像部が撮像を行う際には、前記撮像部が撮像を行わない場合と比べて、前記表示面の法線方向から前記表示部を平面視したときに、前記撮像部と重なる表示領域を含む前記一部の水平画素ライン表示周波数をより低くしてもよい。
　前記制御部は、前記表示部が表示を行わない期間に基づいて、前記撮像部の露光時間を設定してもよい。
　前記制御部は、前記撮像部が撮像を行う際には、前記撮像部が撮像を行わない場合と比べて、前記表示部の少なくとも一部の表示領域内の表示画素密度をより低くしてもよい。
　前記制御部は、前記撮像部が撮像を行う際には、前記撮像部が撮像を行わない場合と比べて、前記表示面の法線方向から前記表示部を平面視したときに、前記撮像部と重なる表示領域を含む一部の表示領域内の表示画素密度をより低くしてもよい。
　前記制御部は、前記撮像部が撮像を行う際には、前記撮像部が撮像を行わない場合と比べて、前記表示部の少なくとも一部の表示領域内の画素の輝度値を高くしてもよい。
　前記制御部は、前記撮像部が撮像を行う際には、前記撮像部が撮像を行わない場合と比べて、前記表示面の法線方向から前記表示部を平面視したときに、前記撮像部と重なる表示領域を含む前記一部の表示領域内の画素の輝度値をより高くしてもよい。
　前記制御部は、前記撮像部が撮像を行う際には、前記撮像部が撮像を行わない場合と比べて、前記一部の表示領域内の画素を表示する周波数をより低くするとともに、画素の輝度値をより高くしてもよい。
　前記表示部は、互いに積層されて、それぞれが別個に表示制御される第１表示面及び第２表示面を有し、
　前記第１表示面は、前記一部の表示領域を除く前記表示部の表示領域を表示し、
　前記第２表示面は、前記第１表示面に積層されたときに、前記第１表示面の表示領域と重ならないように、前記一部の表示領域を表示してもよい。
　周囲の明るさを検出する明るさ検出部を備え、
　前記制御部は、前記明るさ検出部で検出された周囲の明るさに応じて、前記撮像部が撮像を行う際における前記表示部の少なくとも一部の画素を表示する周波数を制御してもよい。
　前記制御部は、前記明るさ検出部で検出された周囲の明るさに応じて、前記撮像部が撮像を行う際における前記表示部の少なくとも一部の画素を表示する周波数と、表示画素密度とを制御してもよい。
　前記表示部に視線を向けた人間の瞬きのタイミングを検出するタイミング検出部を備え、
　前記制御部は、前記タイミング検出部で検出されたタイミングに合わせて、前記表示部の表示を一時的に非発光状態にするとともに、前記撮像部の撮像を行ってもよい。
　前記撮像部は、可視光及び赤外光の少なくとも一方を光電変換してもよい。
　前記表示部は、前記表示面の法線方向から前記表示部を平面視したときに、前記撮像部と重なる位置に開口部を有し、
　前記開口部は、前記表示部を構成する複数の層のうち、所定の波長帯域の光に対する透過率が所定値未満の層を貫通するように配置されてもよい。
　前記表示部は、前記撮像部が光電変換可能な波長帯域の光に対する透過率が所定値以上の複数の層で構成されてもよい。
　前記制御部は、
　前記表示部の表示制御を行う第１制御部と、
　前記第１制御部と連携して、前記撮像部の撮像制御を行う第２制御部と、を有してもよい。
第１の実施形態による電子機器の模式的な断面図。 図１Ａに開口部を設けた断面図。 図２（ａ）は図１Ａの電子機器の模式的な外観図、図２（ｂ）は図２（ａ）のＡ－Ａ線方向の断面図。 撮像部４の断面構造の一例を示す断面図。 本実施形態による電子機器の内部構成を示すブロック図。 第１の実施形態による電子機器の処理動作を示すフローチャート。 図５のフローチャートに対応する動作タイミング図。 第２の実施形態による電子機器の処理動作を示すフローチャート。 図７のフローチャートに対応する動作タイミング図。 第３の実施形態による電子機器の処理動作を示すフローチャート。 図９のフローチャートに対応する動作タイミング図。 図１０のフローチャートの処理によって表示される表示部２の画面表示例を示す図。 第４の実施形態による電子機器の処理動作を示すフローチャート。 図１２のフローチャートに対応する動作タイミング図。 第４の実施形態における第２表示領域の具体例を模式的に示す図。 第４の実施形態における第２表示領域の具体例を模式的に示す図。 第４の実施形態における第２表示領域の具体例を模式的に示す図。 第５の実施形態による電子機器の処理動作を示すフローチャート。 図１５のフローチャートに対応する動作タイミング図。 第５の実施形態における第２表示領域の具体例を模式的に示す図。 第５の実施形態における第２表示領域の具体例を模式的に示す図。 第６の実施形態による電子機器の内部構成を示すブロック図。 第６の実施形態による電子機器の処理動作を示すフローチャート。 図１９のフローチャートに対応する動作タイミング図。 第７の実施形態による電子機器の内部構成を示すブロック図。 第７の実施形態による電子機器の処理動作を示すフローチャート。 第９の実施形態によるカメラモジュールの撮像部の断面構造を示す図。 第１０の実施形態における撮像部の断面構造を示す図。 各偏光素子８ｂの詳細な構造の一例を示す斜視図。 フレア光や回折光の影響を抑制する機能を有する電子機器の内部構成を示すブロック図。 第１～第４の実施形態の電子機器をカプセル内視鏡に適用した場合の平面図。 第１～第４の実施形態の電子機器をデジタル一眼レフカメラに適用した場合の背面図。 第１～第４の実施形態の電子機器をＨＭＤに適用した例を示す平面図。 現状のＨＭＤを示す図。
　以下、図面を参照して、電子機器の実施形態について説明する。以下では、電子機器の主要な構成部分を中心に説明するが、電子機器には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
　（第１の実施形態）
　図１Ａ及び図１Ｂは第１の実施形態による電子機器１の模式的な断面図である。図１Ａの電子機器１は、スマートフォンや携帯電話、タブレット、ＰＣなど、表示機能と撮影機能を兼ね備えた任意の電子機器１である。図１Ａの電子機器１は、表示部２の表示面１ａとは反対側に配置されるカメラモジュール（撮像部）を備えている。このように、図１Ａの電子機器１は、表示部２の表示面１ａの裏側にカメラモジュール３を設けている。したがって、カメラモジュール３は、表示部２を通して撮影を行うことになる。
　図２（ａ）は図１Ａの電子機器１の模式的な外観図、図２（ｂ）は図２（ａ）のＡ－Ａ線方向の断面図である。図２（ａ）の例では、電子機器１の外形サイズの近くまで表示面１ａが広がっており、表示面１ａの周囲にあるベゼル１ｂの幅を数ｍｍ以下にしている。通常、ベゼル１ｂには、フロントカメラが搭載されることが多いが、図２（ａ）では、破線で示すように、表示面１ａの略中央部の裏面側にフロントカメラとして機能するカメラモジュール３を配置している。このように、フロントカメラを表示面１ａの裏面側に設けることで、ベゼル１ｂにフロントカメラを配置する必要がなくなり、ベゼル１ｂの幅を狭めることができる。
　なお、図２（ａ）では、表示面１ａの略中央部の裏面側にカメラモジュール３を配置しているが、本実施形態では、表示面１ａの裏面側であればよく、例えば表示面１ａの周縁部の近くの裏面側にカメラモジュール３を配置してもよい。このように、本実施形態におけるカメラモジュール３は、表示面１ａと重なる裏面側の任意の位置に配置される。
　図１Ａに示すように、表示部２は、保護フィルム２ｂ、ポリイミド基板２ｃ、表示層２ｄ、バリア層２ｅ、タッチセンサ層２ｆ、粘着層２ｇ、円偏光板２ｈ、光学粘着シート（ＯＣＡ：Optical Clear Adhesive）２ｉ、及びカバーガラス２ｊを順に積層した積層体である。表示層２ｄは、例えばＯＬＥＤ（Organic Light Emitting Device）表示層でもよいし、液晶表示層でもよいし、MicroLEDでもよいし、その他の表示原理に基づく表示層でもよい。表示層２ｄは、複数の層で構成される場合もありうる。例えば、表示層２ｄには、カラーフィルタ層やバックライト層などが含まれることもありうる。表示部２は、可視光波長域の光を用いた表示を行うが、表示部２で表示される光が赤外光成分を含んでいてもよい。
　バリア層２ｅは、表示層２ｄに酸素や水分が侵入するのを防止する層である。タッチセンサ層２ｆには、タッチセンサが組み込まれている。タッチセンサには、静電容量型や抵抗膜型など、種々の方式があるが、いずれの方式が採用されてもよい。また、タッチセンサ層２ｆと表示層２ｄを一体化してもよい。
　粘着層２ｇは、円偏光板２ｈとタッチセンサ層２ｆとを接着するために設けられている。粘着層２ｇには、可視光透過率が高い材料が用いられる。円偏光板２ｈは、ギラツキを低減したり、明るい環境下でも表示面１ａの視認性を高めるために設けられている。光学粘着シート２ｉは、円偏光板２ｈとカバーガラス２ｊとの密着性を高めるために設けられている。光学粘着シート２ｉは、可視光透過率が高い材料が用いられる。カバーガラス２ｊは、表示層２ｄ等を保護するために設けられている。なお、表示部２の層構成は、必ずしも図１Ａや図２に示したものには限定されない。
　カメラモジュール３は、表示部２の表示面１ａとは反対側、すなわち表示部２の裏側に配置されている。カメラモジュール３は、撮像部４と、光学系５とを有する。光学系５は、撮像部４の光入射面側、すなわち表示部２に近い側に配置され、表示部２を通過した光を撮像部４に集光させる。光学系５は、通常は複数のレンズで構成されている。後述するように、表示部２の表示面１ａとは反対側に、複数のカメラモジュール３が配置される場合もありうる。この場合、各カメラモジュール３の光学系５の焦点距離がそれぞれ異なっていてもよく、これにより望遠や広角の画角の異なる撮影を行うことができる。
　撮像部４は、光電変換部４ａを有する。光電変換部４ａは、表示部２を介して入射された光を光電変換する。光電変換部４ａは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサでもよいし、ＣＣＤ（Charge Coupled Device）センサでもよい。また、光電変換部４ａは、フォトダイオードでもよいし、有機光電変換膜でもよい。
　光電変換部４ａは、画素ごとにＣＭＯＳセンサ等の光電変換素子を有する。各画素は任意の方式で配列することができる。具体的には、各画素の配列方式は、ベイヤ配列でもよいし、インターライン配列でもよいし、市松配列でもよいし、ストライプ配列でもよいし、その他の配列でもよい。
　図１Ａ及び図２（ｂ）に示すように、本実施形態の電子機器１は、表示部２とカメラモジュール３とが表裏方向に重なるように配置されている。このため、カメラモジュール３では、表示部２を透過した被写体光を撮像することになる。表示部２は、図１Ａに示すように、複数の層で形成されており、各層が、撮像部４が十分な感度を持つ波長帯域の光の透過率が高ければ問題ないが、実際には、一部の層の透過率が低いおそれがある。例えば、ポリイミド基板２ｃは、可視光透過率がそれほど高くない。よって、図１Ｂのように、表示部２を構成する複数層のうち、透過率がそれほど高くない層に１つ以上の開口部２ｋを形成して、開口部２ｋを通過した光をカメラモジュール３で撮像するようにしてもよい。図１Ｂの例では、表示部２を構成する複数の層のうち、カバーガラス２ｊ以外の層を貫通する複数の開口部２ｋを設けている。これら開口部２ｋは、表示部２を平面視したときに、カメラモジュール３と重なる位置に設けられている。各開口部２ｋの径や個数は、表示部２の表示と撮像部４での撮像画像の画質を考慮に入れて、適切な値に設定される。
　なお、ポリイミド基板２ｃの代わりに透明性の高い基板を用いる場合には、必ずしも開口部２ｋを設ける必要はない。
　図３は撮像部４の断面構造の一例を示す断面図である。図３の撮像部４は、半導体基板１１内に形成される光電変換部４ａを備えており、光電変換部４ａは画素ごとに素子分離層１２で区切られている。光電変換部４ａの上には平坦化層１３が配置され、その上にカラーフィルタ層１４が配置されている。カラーフィルタ層１４は、ＲＧＢの３色のフィルタ層を有していてもよいし、その補色であるシアン、マゼンダ、イエローのフィルタ層を有していてもよい。あるいは、赤外光などの可視光以外の色を透過させるフィルタ層を有していてもよいし、マルチスペクトル特性を持つフィルタ層を有していてもよいし、白などの減色のフィルタ層を有していてもよい。赤外光などの可視光以外の光を透過させることで、デプス情報などのセンシング情報を検出できる。カラーフィルタ層１４の上には、オンチップレンズ１５が配置されている。光はオンチップレンズ１５を通して入射される。本明細書では、オンチップレンズ１５が配置されている側を撮像部４の裏面側と呼ぶ。
　撮像部４の表面側では、半導体基板１１の上に読み出し回路１６が形成され、読み出し回路１６の周囲は層間絶縁膜１７で覆われている。読み出し回路１６は、転送トランジスタ、リセットトランジスタ、増幅トランジスタ、選択トランジスタなどを有する。なお、撮像部４の断面構造は、図３に示したものには限定されない。
　図４は本実施形態による電子機器１の内部構成を示すブロック図である。図４に示すように、電子機器１は、撮像装置２１と、アプリケーションプロセッサ（第１制御部）２２と、解像度変換部２３と、Ａ／Ｄ変換部２４と、表示制御部２５と、表示部２とを有する。
　撮像装置２１は、一つ又は複数の半導体デバイスで構成することができ、カメラモジュール３を構成する撮像部４（光電変換部４ａ）、光学系５及びＩＲ（Infrared Ray）カットフィルタ６の他に、Ａ／Ｄ変換部３１と、信号処理部３２と、撮像制御部（第２制御部）３３と、露光調整部３４とを有する。
　Ａ／Ｄ変換部３１は、撮像部４で撮像されたアナログ画素信号をデジタル画素データに変換する。信号処理部３２は、クランプ部３２ａと、カラー出力部３２ｂと、欠陥補正部３２ｃと、リニアマトリックス部３２ｄと、ガンマ補正部３２ｅと、輝度クロマ信号生成部３２ｆと、ノイズリダクション部３２ｇと、エッジ強調部３２ｈと、出力部３２ｉとを有する。
　クランプ部３２ａは、黒のレベルを規定する処理を行う。より具体的には、クランプ部３２ａは、デジタル画素データから黒レベルデータを減算する処理を行う。カラー出力部３２ｂは、例えばＲＧＢの各色ごとの画素データを出力する。欠陥補正部３２ｃは、何らかの理由で正しく読み出せなかった特定画素の撮像データを周囲の画素の撮像データから補正する処理を行う。リニアマトリックス部３２ｄは、ＲＧＢなどの色情報に対する行列演算を行うことで、より正しい色再現を行う。ガンマ補正部３２ｅは、表示部２の表示特性に合わせて、視認性に優れた表示が可能となるようにガンマ補正を行う。例えば、ガンマ補正部３２ｅは、勾配を変化させながら１０ビットから８ビットへの変換を行う。輝度クロマ信号生成部３２ｆは、ガンマ補正部３２ｅの出力データに基づいて、表示部２に表示させるための輝度クロマ信号を生成する。ノイズリダクション部３２ｇは、輝度クロマ信号に含まれるノイズを削減する処理を行う。エッジ強調部３２ｈは、輝度クロマ信号に基づいて、被写体画像のエッジを強調する処理を行う。ノイズリダクション部３２ｇによるノイズリダクション処理と、エッジ強調部３２ｈによるエッジ強調処理は、所定の条件を満たす場合のみ行われてもよい。出力部３２ｉは、ノイズリダクション処理を行った後の輝度クロマ信号を出力する。
　撮像制御部３３は、輝度クロマ信号に基づいて、撮像部４で撮像を行うフレームレートを設定する。露光調整部３４は、撮像制御部３３が設定したフレームレートに従って、露光時間を調整する。光電変換部４ａは、露光調整部３４で調整された露光時間に従って、各画素ごとに撮像を行う。
　アプリケーションプロセッサ２２は、カメラモジュール３とは別個の半導体デバイスであり、カメラモジュール３と同一又は別の基板に実装される。アプリケーションプロセッサ２２は、その内部にＣＰＵ（Central Processing Unit）等を有し、オペレーティングシステムや各種のアプリケーションソフトウェア等のプログラムを実行する。アプリケーションプロセッサ２２は、ＧＰＵ（Graphics Processing Unit）やベースバンドプロセッサなどの画像処理や信号処理等を行う機能を搭載していてもよい。アプリケーションプロセッサ２２は、入力された画像データや演算結果に対して、必要に応じて種々の処理を実行したり、電子機器１の表示部２に画像を表示する制御を行ったり、所定のネットワークを介して外部のクラウドサーバに送信したりする。
　アプリケーションプロセッサ２２は、撮像制御部３３との間で各種制御信号の送受を行う。また、アプリケーションプロセッサ２２は、輝度クロマ信号生成部３２ｆで生成された輝度クロマ信号を受信して、表示制御部２５に供給する。より具体的には、アプリケーションプロセッサ２２は、撮像制御部３３を介して撮像部４が撮像を行うフレームレートの情報を受信し、表示部２が画像を表示する際のフレームレートを設定する。
　アプリケーションプロセッサ２２と撮像制御部３３は、一つのチップに統合してもよい。本明細書では、アプリケーションプロセッサ２２と撮像制御部３３を併せて、制御部と呼ぶことがある。本実施形態における制御部は、表示部２が表示を行わないタイミングに撮像部４が撮像を行うように、表示部２の表示タイミングと撮像部４の撮像タイミングとを同期させる。
　制御部は、撮像部４が撮像を行う際には、撮像部４が撮像を行わない場合と比べて、表示部２が表示を行わない期間をより長くする。また、制御部は、撮像部４が撮像を行う際には、撮像部４が撮像を行わない場合と比べて、表示部２の少なくとも一部の画素を表示する周波数をより低くしてもよい。また、制御部は、撮像部４が撮像を行う際には、撮像部４が撮像を行わない場合と比べて、表示部２のフレームレートをより低くしてもよい。また、制御部は、撮像部４が撮像を行う際には、撮像部４が撮像を行わない場合と比べて、表示部２の少なくとも一部の水平画素ラインの表示周波数をより低くしてもよい。また、制御部は、撮像部４が撮像を行う際には、撮像部４が撮像を行わない場合と比べて、表示面１ａの法線方向から表示部２を平面視したときに、撮像部４と重なる表示領域を含む一部の水平画素ライン表示周波数をより低くしてもよい。また、制御部は、表示部２が表示を行わない期間に基づいて、撮像部４の露光時間を設定してもよい。また、制御部は、撮像部４が撮像を行う際には、撮像部４が撮像を行わない場合と比べて、表示部２の少なくとも一部の表示領域内の表示画素密度をより低くしてもよい。また、制御部は、撮像部４が撮像を行う際には、撮像部４が撮像を行わない場合と比べて、表示面１ａの法線方向から表示部２を平面視したときに、撮像部４と重なる表示領域を含む一部の表示領域内の表示画素密度をより低くしてもよい。また、制御部は、撮像部４が撮像を行う際には、撮像部４が撮像を行わない場合と比べて、表示部２の少なくとも一部の表示領域内の画素の輝度値を高くしてもよい。また、制御部は、撮像部４が撮像を行う際には、撮像部４が撮像を行わない場合と比べて、表示面１ａの法線方向から表示部２を平面視したときに、撮像部４と重なる表示領域を含む一部の表示領域の輝度値をより高くしてもよい。また、制御部は、撮像部４が撮像を行う際には、撮像部４が撮像を行わない場合と比べて、表示部２の少なくとも一部の画素を表示する周波数をより低くするとともに、輝度値をより高くしてもよい。
　解像度変換部２３は、表示部２に表示するための映像信号の解像度を変換する。Ａ／Ｄ変換部３１は、解像度変換部２３で解像度が変換された映像信号をデジタル映像データに変換する。表示制御部２５は、アプリケーションプロセッサ２２からの指示に応じたフレームレートで、デジタル映像データを表示部２に表示する制御を行う。
　図５は第１の実施形態による電子機器１の処理動作を示すフローチャートであり、例えばアプリケーションプロセッサ２２及び撮像制御部３３が実行する処理動作を示している。図５のフローチャートは、電子機器１の電源をオンしている間、継続的に繰り返される。
　まず、電子機器１のユーザがカメラモジュール３を起動したか否かを判定する（ステップＳ１）。カメラモジュール３が起動していなければ、通常フレームレートを選択する（ステップＳ２）。通常フレームレートとは、例えば６０Ｈｚなどの予め決められているフレームレートである。なお、フレームレートとは、表示部２の全表示領域を１回表示するのに要する周波数である。次に、通常フレームレートで表示部２の表示を開始する（ステップＳ３）。
　一方、ステップＳ１でカメラモジュール３が起動したと判定された場合には、低フレームレートを選択する（ステップＳ４）。低フレームレートとは、例えば３０Ｈｚなどの通常フレームレートよりも低いフレームレートである。図５の例では、低フレームレートを固定の周波数に設定しているが、低フレームレートの周波数を変更できるようにしてもよい。次に、低フレームレートで表示部２の表示を開始する（ステップＳ５）。
　一定のフレームレートで表示部２の表示を行う場合、フレームレートの周波数に応じて、表示部２の表示を行わない期間（以下、表示オフ期間）の長さが変化する。フレームレートが早いほど、表示オフ期間も長くなる。表示オフ期間は、一つの水平画素ラインを表示し終わって、次の水平画素ラインを表示するまでの間や、１フレーム分を表示し終わって、次のフレームを表示するまでの間に設けられる。
　ステップＳ５で表示を開始した後、表示オフ期間になると、その表示オフ期間内に撮像部４による露光を行う（ステップＳ６）。撮像部４による露光時間は、表示オフ期間の長さに応じて決定される。フレームレートが低くなるほど、表示オフ期間が長くなるため、低フレームレートで表示を行う場合には、露光時間を長く取ることができる。
　図６は図５のフローチャートに対応する動作タイミング図である。図６の波形ｗ１は、通常フレームレートの表示期間を示す信号波形、波形ｗ２は、低フレームレートの表示期間を示す信号波形である。波形ｗ１、ｗ２のハイの期間が表示期間を示し、ローの期間が表示オフ期間である。波形ｗ３は、露光期間を示す信号波形であり、ハイの期間が露光期間である。波形ｗ１～ｗ３に示すように、低フレームレートでは、通常フレームレートよりも表示オフ期間が長くなるため、十分な露光時間を確保できる。
　第１の実施形態では、図５及び図６に示すように、撮像部４は、表示オフ期間に撮像部４で撮像を行うため、表示部２の表示輝度の影響を受けて撮像画像の画質が低下するおそれがない。また、撮像を行う際には、低フレームレートで表示を行うため、表示オフ期間を長くできることから、撮像時の露光時間を十分に長く確保でき、露光時間が不足して撮像画像が暗くなるという不具合がおきなくなる。すなわち、撮像感度を向上できる。
　（第２の実施形態）
　第１の実施形態のように、カメラモジュール３を起動する際に、表示部２のフレームレートを低くすると、人間の目は平均化された輝度で明るさを感じるため、通常よりも暗い表示として認識してしまう。そこで、第２の実施形態は、カメラモジュール３を起動する際に画素データの輝度値を高くするものである。
　第２の実施形態による電子機器１は、図４と同様の内部構成を有する。図７は第２の実施形態による電子機器１の処理動作を示すフローチャートである。以下では、図５のフローチャートとの相違点を中心に説明する。図７において、カメラモジュール３を起動していない場合（ステップＳ１１でＮＯの場合）、通常フレームレートを選択する処理（ステップＳ１２）に前後して、通常の輝度値を設定する（ステップＳ１３）。通常の輝度値とは、画素データの本来の輝度値のままで表示を行うことを意味する。次に、通常フレームレートで、設定された表示輝度の画素データを表示部２に供給して、表示を開始する（ステップＳ１４）。
　一方、カメラモジュール３を起動する場合（ステップＳ１１でＹＥＳの場合）、低フレームレートを選択する処理（ステップＳ１５）に前後して、通常より高い輝度値を設定する（ステップＳ１６）。通常より高い輝度値とは、カメラモジュール３を起動しないときに表示部２を通常フレームレートで表示しているときの表示輝度と同等の表示輝度で人間の目に感じられるように、画素データの輝度値を調整することを意味する。より具体的には、ステップＳ１６では、画素データの輝度値を、ステップＳ１３で設定した輝度値よりも大きくする。
　次に、ステップＳ１６で設定した輝度値で表示を開始する（ステップＳ１７）。画素データの輝度値を高くすることで、フレームレートが低くなっても、人間の目には、通常フレーム選択時と同等の表示輝度で感じられる。そして、表示オフ期間内に、表示オフ期間の長さに応じた露光時間で撮像部４による撮像を行う（ステップＳ１８）。
　図８は図７のフローチャートに対応する動作タイミング図である。波形ｗ４～ｗ６は、波形ｗ１～ｗ３と同様である。波形ｗ７は、カメラモジュール３を起動していないときの表示部２に表示される画素データの輝度値を模式的に示す波形である。波形ｗ８は、カメラモジュール３を起動するときの表示部２に表示される画素データの輝度値を模式的に示す波形である。
　波形ｗ７とｗ８を見ればわかるように、低フレームレートが選択された場合は、画素データの輝度値を大きくすることで、人間の目に感じられる表示輝度を、通常フレームレート選択時の表示輝度と同等にすることができる。
　このように、第２の実施形態では、カメラモジュール３を起動する際には、表示部２を低フレームレートにするだけでなく、画素データの輝度値を通常フレームレート選択時よりも高くするため、カメラモジュール３を起動する際に表示部２の表示が暗く感じられなくなり、違和感のない表示を行える。また、第１の実施形態と同様に、表示オフ期間内に撮像部４による撮像を行うため、表示部２の表示に影響されずに、十分な露光時間で撮像を行うことができる。
　（第３の実施形態）
　第３の実施形態は、カメラモジュール３の起動時に、フレームレートを低くするだけでなく、表示画素密度を制御するものである。第３の実施形態による電子機器１は、図４と同様の内部構成を有する。
　図９は第３の実施形態による電子機器１の処理動作を示すフローチャートである。以下では、図７との相違点を中心に説明する。ステップＳ２１～Ｓ２４の処理は、図７のステップＳ１１～Ｓ１４と同様である。
　カメラモジュール３を起動する場合、フレームレートと表示画素密度を設定する（ステップＳ２５）。ここでは、通常フレームレートよりも低い低フレームレートが設定される。また、表示画素密度も、カメラモジュール３を起動しない場合の表示画素密度よりも低い表示画素密度が設定される。より具体的な一例としては、カメラモジュール３を起動する場合、水平画素ラインを１本おき又は２本おきに選択して駆動することにより、表示画素密度を低下させる。これにより、１つの水平画素ラインを表示してから、次の水平画素ラインを表示するまでの間の表示オフ期間を長くすることができる。あるいは、水平画素ライン上の複数の画素を間引いて駆動してもよい。この場合、水平画素ライン上の各画素を駆動する間隔が広がるため、その間隔内に表示オフ期間を設定して、撮像部４による撮像を行うことができる。
　次に、設定されたフレームレートと表示画素密度に基づいて画素データの輝度値を設定する（ステップＳ２６）。表示画素密度が高いほど、人間の目に感じられる表示輝度は上がる。また、フレームレートが低いほど、人間の目に感じられる表示輝度は低下する。このため、ステップＳ２６では、設定されたフレームレートと表示画素密度の両方を考慮に入れて、カメラモジュール３を起動しないときの表示部２の表示輝度と同等になるように画素データの輝度値を設定する。
　次に、設定された輝度値で表示を開始する（ステップＳ２７）。次に、表示オフ期間内に、表示オフ期間の長さに応じた露光時間にて、撮像部４による撮像を行う（ステップＳ２８）。
　図１０は図９のフローチャートに対応する動作タイミング図である。波形ｗ９は通常フレームレートでの垂直同期信号VSYNCの波形、波形ｗ１０は通常フレームレートでの水平同期信号HSYNCの波形、波形ｗ１１は通常フレームレートで表示部２に表示される画素データの輝度値を模式的に示す波形である。波形ｗ１０の水平同期信号HSYNCのハイの期間が水平画素ライン表示期間を示している。波形ｗ１２は低フレームレートでの垂直同期信号VSYNCの波形、波形ｗ１３は低フレームレートでの水平同期信号HSYNCの波形、波形ｗ１４は撮像部４が撮像を行う露光時間の波形、波形ｗ１５は低フレームレートで表示部２に表示される画素データの輝度値を模式的に示す波形である。
　図１０に示すように、カメラモジュール３を起動する場合には、通常フレームレートよりも低い低フレームレートが選択され、また、表示画素密度も下げるため、表示オフ期間をより長くでき、撮像部４が撮像を行う際の露光時間をより長くできる。
　図１１は、図１０のフローチャートの処理によって表示される表示部２の画面表示例を示す図である。本実施形態では、カメラモジュール３を起動するときに、１フレームごとに、フレームレートと表示画素密度を設定するため、図１１のように、表示部２の全表示領域について、カメラモジュール３を起動しないときとは異なる表示画素密度で表示される。ただし、カメラモジュール３を起動するときには、カメラモジュール３を起動しないときよりも画素データの輝度値を大きくすることで、人間の目に感じられる表示輝度は、カメラモジュール３を起動しないときと同等にすることができる。
　このように、第３の実施形態では、カメラモジュール３を起動する場合には、フレーム単位でフレームレートと表示画素密度を設定するため、表示部２の全表示領域のフレームレートと表示画素密度を下げた状態で撮像を行うことができる。フレームレートと表示画素密度を下げることで、撮像部４で撮像する際の露光時間を長くすることができ、撮像感度を向上できる。
　（第４の実施形態）
　第４の実施形態は、一部の水平画素ラインについて、表示画素密度を制御するものである。
　第４の実施形態による電子機器１は、図４と同様の内部構成を有する。ただし、電子機器１内の表示部２は、第１表示領域２ｒ１と第２表示領域２ｒ２を有する。第１表示領域２ｒ１は、通常フレームレート及び通常の表示画素密度で表示される領域である。第２表示領域２ｒ２は、低フレームレート及び通常よりも低い表示画素密度で表示される領域である。
　第２表示領域２ｒ２は、表示面１ａの法線方向から表示部２を平面視したときに、カメラモジュール３と重なる表示領域を含む表示領域である。本実施形態における第２表示領域２ｒ２は、表示部２の水平画素ラインの整数倍の帯状の面積を持っている。第２表示領域２ｒ２内の少なくとも一部は、撮像部４の配置場所と表裏方向に重なっており、第２表示領域２ｒ２内の表示画素密度を下げることで、第２表示領域２ｒ２の表示オフ期間を長く設定できる。
　図１２は第４の実施形態による電子機器１の処理動作を示すフローチャートであり、例えばアプリケーションプロセッサ２２及び撮像制御部３３が実行する処理動作を示している。以下では、図９のフローチャートとの相違点を中心に説明する。図１２のステップＳ３１～Ｓ３４は、図９のステップＳ２１～Ｓ２４と同様の処理を行う。カメラモジュール３を起動する場合、１フレーム内の一部の水平画素ラインの表示画素密度を設定する（ステップＳ３５）。一部の水平画素ラインとは、上述した第２表示領域２ｒ２に含まれる水平画素ラインである。水平画素ラインの数は限定しないが、カメラモジュール３のサイズから考えて、第２表示領域２ｒ２内には複数の水平画素ラインが含まれている。ステップＳ３５で設定する表示画素密度は、例えば、カメラモジュール３を起動しないときの表示画素密度よりも小さい値に設定される。より具体的には、第２表示領域２ｒ２内の複数の水平画素ラインを間引いて駆動することで、表示画素密度を小さくする。表示画素密度を小さくすることで、第２表示領域２ｒ２の表示オフ期間を長くすることができ、露光時間を長く設定できる。
　次に、第２表示領域２ｒ２内の表示画素密度に基づいて、画素データの輝度値を設定する（ステップＳ３６）。表示画素密度を下げると、表示が暗くなるため、人間の目に感じられる表示輝度がカメラモジュール３を起動しないときの表示輝度と同じになるように、画素データの輝度値を高くする。次に、表示を開始し、一部の水平画素ラインを表示する際、すなわち第２表示領域２ｒ２を表示する際には、設定した表示画素密度と輝度値で表示する（ステップＳ３７）。
　次に、第２表示領域２ｒ２の表示オフ期間に、撮像部４は、ステップＳ３５の表示画素密度で決まる露光時間にて撮像を行う（ステップＳ３８）。
　図１３は図１２のフローチャートに対応する動作タイミング図である。波形ｗ１６は垂直同期信号VSYNCの波形、波形ｗ１７は水平同期信号HSYNCの波形、波形ｗ１８は露光期間を示す波形、波形ｗ１９は表示部２に表示される画素データの輝度値を模式的に示す波形である。波形ｗ１７のハイの期間が各水平画素ラインの表示期間である。
　図１３の例では、１フレーム内の一部の水平画素ライン表示期間だけ、それ以外の水平画素ライン表示期間よりも長くすることで、表示画素密度を調整している。すなわち、第２表示領域２ｒ２内の水平画素ラインについては、１本おき又は２本おきに駆動することで、表示画素密度を低くする。また、第２表示領域２ｒ２内の水平画素ラインの表示期間内は、画素データの輝度値を高くする。
　図１４Ａ、図１４Ｂ、図１４Ｃは第２表示領域２ｒ２の具体例を模式的に示す図である。図１４Ａは、表示部２の上端側にカメラモジュール３が存在する例を示しており、カメラモジュール３の配置場所を含んで水平方向に帯状に第２表示領域２ｒ２が設けられている。図１４Ｂは、図１４Ａよりも表示部２の中央寄りにカメラモジュール３が存在する例を示しており、カメラモジュール３の配置場所を含んで水平方向に帯状に第２表示領域２ｒ２が設けられている。図１４Ｃは、２つのカメラモジュール３が配置されており、これらカメラモジュール３の配置場所を含んで水平方向に帯状の２つの第２表示領域２ｒ２が設けられている。
　このように、第４の実施形態では、表示部２の水平画素ラインを単位として、表示画素密度を調整できるため、カメラモジュール３を起動する際には、カメラモジュール３の配置場所に合わせて水平方向に延びる帯状の第２表示領域２ｒ２の表示画素密度を調整することで、第２表示領域２ｒ２の表示オフ期間内に撮像部４が撮像する際の露光時間を長くすることができる。
　（第５の実施形態）
　第５の実施形態による電子機器１は、表示部２の裏面側に配置されるカメラモジュール３の外形サイズに応じた表示領域の表示画素密度を調整するものである。
　第５の実施形態による電子機器１は、図４と同様の内部構成を有する。また、表示部２は、第４の実施形態と同様に、第１表示領域２ｒ１と第２表示領域２ｒ２を有する。第４の実施形態における第２表示領域２ｒ２は、複数の水平画素ライン分の領域であったのに対して、本実施形態における第２表示領域２ｒ２は、水平方向及び垂直方向に隣接して配置される複数の画素を含む画素ブロック領域である。本実施形態における第２表示領域２ｒ２には、複数の水平画素ライン中の一部の画素が含まれている。
　図１５は第５の実施形態による電子機器１の処理動作を示すフローチャートであり、例えばアプリケーションプロセッサ２２が実行する処理動作を示している。以下では、図１２のフローチャートとの相違点を中心に説明する。図１５のステップＳ４１～Ｓ４４は、図１２のステップＳ３１～Ｓ３４と同様の処理を行う。カメラモジュール３を起動する場合、一部の表示領域すなわち第２表示領域２ｒ２の表示画素密度を設定する（ステップＳ４５）。ここでは、予め表示画素密度を決めておいてもよいし、後述するように周囲の明るさ等により任意に設定できるようにしてもよい。
　次に、ステップＳ４５で設定した表示画素密度に基づいて、人間の目で感じられる表示輝度が、カメラモジュール３を起動しないときと同程度になるように、画素データの輝度値を設定する（ステップＳ４６）。
　次に、表示を開始し、第２表示領域２ｒ２内を表示する際には、設定した表示画素密度と輝度値で表示する（ステップＳ４７）。本実施形態では、カメラモジュール３を起動する場合であっても、第１表示領域２ｒ１を表示する際には、カメラモジュール３を起動しないときと同等の表示画素密度及び輝度値で表示する。一方、第２表示領域２ｒ２を表示する際には、ステップＳ４５，Ｓ４６で設定した表示画素密度及び輝度値で表示する。
　次に、第２表示領域２ｒ２を表示する最中の表示オフ期間内に撮像部４による撮像を行う（ステップＳ４８）。この場合の露光時間は、表示オフ期間の長さに応じた時間になる。
　図１６は図１５のフローチャートに対応する動作タイミング図である。波形ｗ２０は水平同期信号HSYNCを示す波形、波形ｗ２１はカメラモジュール３を起動しないときの水平画素ラインの表示期間を示す波形、波形ｗ２２はカメラモジュール３を起動するときの水平画素ラインの表示期間を示す波形、波形ｗ２３はカメラモジュール３を起動するときの露光期間を示す波形、波形ｗ２４は画素データの輝度値を示す波形である。
　図１６に示すように、本実施形態では、カメラモジュール３の配置場所に重なる位置に設けられる第２表示領域２ｒ２を表示する際に、表示画素密度を低下させて、表示オフ期間を長くする。これにより、表示オフ期間に、撮像部４による撮像を行うことができる。
　図１７Ａ及び図１７Ｂはカメラモジュール３を起動するときの第２表示領域２ｒ２の具体例を模式的に示す図である。図１７Ａは表示部２の上端側にカメラモジュール３を配置する例、図１７Ｂは表示部２の中央寄りにカメラモジュール３を配置する例を示している。図１７Ａ及び図１７Ｂの場合、カメラモジュール３の外形形状に応じて第２表示領域２ｒ２が設けられ、第２表示領域２ｒ２を表示する際に、表示画素密度を低下させる。ただし、表示輝度を調整することで、第２表示領域２ｒ２とその周囲の第１表示領域２ｒ１では、人間の目に感じられる表示輝度の違いを抑制することができる。
　このように、第５の実施形態では、カメラモジュール３の配置場所と重なる場所に第２表示領域２ｒ２を設定し、第２表示領域２ｒ２の表示画素密度と画素データの輝度値を調整することで、表示部２の表示に影響されずに、撮像部４による撮像を行うことができ、撮像画像の画質を向上できる。また、第４の実施形態に比べて、第２表示領域２ｒ２の面積を小さくできるため、第２表示領域２ｒ２が目立たなくなり、ユーザに表示上の違和感を与えなくなる。
　（第６の実施形態）
　第６の実施形態は、周囲の明るさに応じてフレームレートを制御するものである。
　図１８は第６の実施形態による電子機器１の内部構成を示すブロック図である。図１８の電子機器１は、図４の電子機器１の内部構成に加えて、明るさ検出部２６を備えている。明るさ検出部２６は、例えば、Ａ／Ｄ変換部３１から出力されたデジタル画素データに基づいて、光電変換部４ａに入射された光の平均的な明るさ、又は入射された光の積算値に基づく明るさを検出する。明るさ検出部２６にて、電子機器１の周囲の明るさを検出することができる。あるいは、明るさ検出部２６は、撮像部４とは別個に明るさを検出するセンサで構成されてもよい。
　撮像制御部３３及びアプリケーションプロセッサ２２は、明るさ検出部２６で検出された明るさ情報に基づいて、表示部２のフレームレートと撮像部４の露光時間を設定する。例えば、周囲が暗いほど、表示部２のフレートレートを低く設定する。これにより、表示オフ期間を長くでき、それに伴って露光時間を長くできるため、撮像部４による撮像感度を向上させることができる。
　図１９は第６の実施形態による電子機器１の処理動作を示すフローチャートである。以下では、図９のフローチャートとの相違点を中心に説明する。図１９のステップＳ５１～Ｓ５４は、図９のステップＳ２１～Ｓ２４と同様の処理を行う。カメラモジュール３を起動する場合、明るさ検出部２６にて周囲の明るさを検出する（ステップＳ５５）。次に、検出された周囲の明るさに基づいて、フレームレートと露光時間を設定する（ステップＳ５６）。次に、設定されたフレームレートにて表示を開始する（ステップＳ５７）。そして、表示オフ期間に、設定された露光時間で、撮像部４による撮像を行う（ステップＳ５８）。
　図２０は図１９のフローチャートに対応する動作タイミング図である。波形ｗ２５は垂直同期信号VSYNCを示す波形、波形ｗ２６は水平同期信号HSYNCを示す波形、波形ｗ２７は露光時間を示す波形、波形ｗ２８は画素データの輝度値である。
　図２０を図１０と比べればわかるように、本実施形態では、表示輝度の調整は行っていない。これは、表示部２の視認性よりも、撮像部４の撮像感度の向上を優先させているためである。
　図１９のフローチャートは、図１１のように、表示部２の全表示領域のフレームレートを周囲の明るさに応じて変更することを想定しているが、図１４Ａ～図１４Ｃのように一部の水平画素ラインを含む第２表示領域２ｒ２、又は図１７Ａ～図１７Ｂのように一部の画素ブロックを含む第２表示領域２ｒ２について、周囲の明るさに応じた表示画素密度で表示を行ってもよい。
　このように、第６の実施形態では、周囲の明るさに応じて、フレームレート又は表示画素密度を制御するため、例えば周囲が暗いほど、フレームレートや表示画素密度を低下させて、露光時間を長くすることができ、撮像部４による撮像感度を向上させることができる。
　（第７の実施形態）
　第７の実施形態は、電子機器１の表示部２を見ている人間の瞬きを検出し、目を閉じている期間に表示部２の表示をオフして、撮像部４による撮像を行うものである。
　図２１は第７の実施形態による電子機器１の内部構成を示すブロック図である。図２１の電子機器１は、撮像装置２１と、タイミング検出部２７と、解像度変換部２３と、Ａ／Ｄ変換部３１と、表示制御部２５と、表示部２とを有する。図２１では、図４には存在していたアプリケーションプロセッサ２２、撮像制御部３３及び露光調整部３４が省略されているが、アプリケーションプロセッサ２２、撮像制御部３３及び露光調整部３４を設けてもよい。
　タイミング検出部２７は、Ａ／Ｄ変換部３１から出力されたデジタル画素データに基づいて、撮像画像に写し込まれた人間の瞬きのタイミングを検出する。そして、タイミング検出部２７は、人間が目を閉じたタイミングと、目を開くタイミングとを示す情報を表示制御部２５に通知する。表示制御部２５は、人間の目が閉じている期間内には表示部２の表示をオフし、人間の目が開いている期間内には表示部２の表示をオンする制御を行う。
　図２２は第７の実施形態による電子機器１の処理動作を示すフローチャートである。カメラモジュール３を起動しない場合（ステップＳ６１でＮＯ）、通常フレームレートで表示を開始する（ステップＳ６２）。一方、カメラモジュール３を起動する場合（ステップＳ６１でＹＥＳ）、通常フレームレートで表示を開始する（ステップＳ６３）。そして、タイミング検出部２７からの情報にて、人間の目が閉じた否かを判定する（ステップＳ６４）。人間の目が閉じるまでは、ステップＳ６３とＳ６４の処理を繰り返す。
　人間の目が閉じたと判定されると、表示部２の表示をオフにして（ステップＳ６５）、撮像部４による露光を開始する（ステップＳ６６）。その後、タイミング検出部２７からの情報にて、人間の目が開いたか否かを判定する（ステップＳ６７）。人間の目が開いたと判定されると、撮像部４による露光を終了する（ステップＳ６８）。
　このように、第７の実施形態では、人間の瞬きを検出し、人間の目が閉じている間は、表示部２の表示をオフして、人間の目が閉じている期間に応じて露光時間を設定した上で撮像部４の撮像を行う。これにより、表示部２の表示をオフした状態で撮像部４による撮像を行うことができ、撮像画像の画質向上が図れる。また、表示部２の表示をオフにするのは、人間の瞬きにより目を閉じている期間であり、表示がオフになったことを認識させないため、人間に違和感を与えるおそれがない。
　（第８の実施形態）
　上述した第４及び第５の実施形態では、表示部２の表示面１ａ内に第１表示領域２ｒ１と第２表示領域２ｒ２を設ける例を示したが、第１表示領域２ｒ１の表示面１ａ（以下、第１表示面）と第２表示領域２ｒ２の表示面１ａ（以下、第２表示面）とが別個の層に設けられていてもよい。第１表示面の層と第２表示面の層は表裏方向に重ねて積層され、第１表示面の層と第２表示面の層を積層したときに、それぞれの表示領域が重ならないように各表示領域が配置されている。このため、表示部２に視線を向けた場合、第１表示領域２ｒ１と第２表示領域２ｒ２が合体されて視認され、観察者に違和感を与えることはない。
　このように、第１表示領域２ｒ１と第２表示領域２ｒ２とを別々の表示面１ａに設けることで、第１表示領域２ｒ１の表示制御と、第２表示領域２ｒ２の表示制御とを、それぞれ別個に行うことができ、表示制御部２５の処理動作が容易になる。
　（第９の実施形態）
　第９の実施形態による電子機器１は、カメラモジュール３の光学系５が第１～第８の実施形態とは異なるものである。
　図２３は第９の実施形態による電子機器１に搭載されるカメラモジュール３の撮像部４の断面構造を示す図である。図２３の撮像部４は、単一のレンズ又は単一のレンズを光軸方向に並べたレンズ群ではなく、マイクロレンズアレイ６４を有する。
　より詳細には、図２３の撮像部４は、筐体６３の底面に沿って配置される光電変換部４ａと、光電変換部４ａの上方に配置されるマイクロレンズアレイ６４と、隣接するマイクロレンズ６５の間に配置される複数の遮光体６６と、マイクロレンズアレイ６４の上方に配置される導光板６７とを有する。図２３の撮像部４は、上述した第１～第８の実施形態のいずれにも適用可能である。
　このように、撮像部４の光学系５として、マイクロレンズアレイ６４を設けることで、隣接画素による影響を防止でき、色のにじみを少なくすることができる。
　（第１０の実施形態）
　表示部２を通過する光の一部は、反射や回折を起こしてカメラに入射されるため、反射によるフレアや回折の影響を受けて、撮影画像の画質が低下するおそれがある。そこで、上述した第１乃至第９の実施形態の撮像部４に偏光素子８ｂを設けて、フレア光や回折光の成分を含む偏光情報を取得して、この偏光情報を用いて、フレア光や回折光の成分を除去したデジタル画素データを生成してもよい。
　この場合の撮像部４の断面構造は例えば図２４のような断面図で表される。図２４は、図３と共通する部分には同一符号を付しており、以下では相違点を中心に説明する。図１３の撮像部４では、平坦化層１３の上に、遮光層１８及び下地絶縁層１９が配置され、下地絶縁層１９の上に、複数の偏光素子８ｂが離隔して配置されている。偏光素子８ｂは、例えば、下地絶縁層１９の一部に配置されるライン・アンド・スペース構造のワイヤグリッド偏光素子８ｂである。
　図２５は各偏光素子８ｂの詳細な構造の一例を示す斜視図である。複数の偏光素子８ｂのそれぞれは、図２５に示すように、一方向に延びる凸形状の複数のライン部８ｄと、各ライン部８ｄの間のスペース部８ｅとを有する。偏光素子８ｂには、ライン部８ｄの延びる方向がそれぞれ相違する複数種類がある。より具体的には、偏光素子８ｂには３種類以上があり、例えば、光電変換部４ａの配列方向とライン部８ｄの延在方向との為す角度は０度、６０度、１２０度の３種類でもよい。あるいは、光電変換部４ａの配列方向とライン部８ｄの延在方向との為す角度は０度、４５度、９０度、１３５度の４種類でもよいし、それ以外の角度でもよい。あるいは、複数の偏光素子８ｂは、単一方向のみの偏光をするものでもよい。複数の偏光素子８ｂの材料は、アルミニウムやタングステンなどの金属材料でもよいし、有機光電変換膜でもよい。
　複数の偏光素子８ｂは、複数の光電変換部４ａのうち少なくとも１つの光電変換部４ａの光入射側に配置されている。偏光素子８ｂは、表示部２を通過して入射された光を偏光させる。偏光素子８ｂで偏光された光は、対応する光電変換部４ａに入射されて光電変換される。以下では、偏光素子８ｂで偏光された光を光電変換する光電変換部４ａの出力値を偏光情報と呼び、偏光素子８ｂを経由せずに入射された光を光電変換する光電変換部４ａの出力値を画素値又は画素情報と呼ぶ。また、以下では、偏光素子８ｂと、その偏光素子８ｂで偏光された光を光電変換する光電変換部４ａとを合わせて偏光画素と呼び、偏光素子８ｂを経由せずに入射された光を光電変換する光電変換部４ａを非偏光画素と呼ぶ。
　図２４に戻って、複数の偏光素子８ｂが配置される絶縁層１９の上には、平坦化層２０が配置されている。平坦化層２０の上には、カラーフィルタ層１４が配置されている。
　図２６はフレア光や回折光の影響を抑制する機能を有する電子機器の内部構成を示すブロック図である。図２６では、図４と共通する部分には同一符号を付しており、以下では相違点を中心に説明する。図２６の電子機器は、図４の内部構成に加えて、偏光出力部３２ｊと、フレア抽出部３２ｋと、フレア補正信号生成部３２ｍとを有する。
　偏光出力部３２ｊは偏光情報データを出力する。フレア抽出部３２ｋは、偏光情報データから、フレア成分と回折光成分の少なくとも一方を抽出する。フレア抽出部３２ｋで抽出されたフレア成分と回折光成分の少なくとも一方が補正量である。フレア補正信号生成部３２ｍは、カラー出力部３２ｂから出力されたデジタル画素データに対して、フレア抽出部３２ｋで抽出された補正量の減算処理を行うことにより、デジタル画素データを補正する。フレア補正信号生成部３２ｍの出力データは、フレア成分及び回折光成分の少なくとも一方が除去されたデジタル画素データである。このように、フレア補正信号生成部３２ｍは、偏光情報に基づいて、複数の非偏光画素で光電変換された撮像画像を補正する補正部として機能する。
　偏光画素の画素位置におけるデジタル画素データは、偏光素子８ｂを通した分、信号レベルが低くなっている。このため、欠陥補正部３２ｃは、偏光画素を欠陥とみなして、所定の欠陥補正処理を行う。
　図２４～図２６に示すように、複数の偏光素子８ｂにて偏光情報を取得することにより、表示部２内で反射を繰り返した上で複数の非偏光画素に入射される光に含まれるフレア成分や回折光成分を簡易かつ信頼性よく除去した状態で撮像画像を生成することができる。
　（第１１の実施形態）
　上述した第１～第４の実施形態で説明した構成を備えた電子機器１の具体的な候補としては、種々のものが考えられる。例えば、図２７は第１～第４の実施形態の電子機器１をカプセル内視鏡５０に適用した場合の平面図である。図２７のカプセル内視鏡５０は、例えば両端面が半球状で中央部が円筒状の筐体５１内に、体腔内の画像を撮影するためのカメラ（超小型カメラ）５２、カメラ５２により撮影された画像データを記録するためのメモリ５３、および、カプセル内視鏡５０が被験者の体外に排出された後に、記録された画像データをアンテナ５４を介して外部へ送信するための無線送信機５５を備えている。
　また、筐体５１内には、ＣＰＵ（Central　Processing　Unit）５６およびコイル（磁力・電流変換コイル）５７が設けられている。ＣＰＵ５６は、カメラ５２による撮影、およびメモリ５３へのデータ蓄積動作を制御するとともに、メモリ５３から無線送信機５５による筐体５１外のデータ受信装置（図示せず）へのデータ送信を制御する。コイル５７は、カメラ５２、メモリ５３、無線送信機５５、アンテナ５４および後述する光源５２ｂへの電力供給を行う。
　さらに、筐体５１には、カプセル内視鏡５０をデータ受信装置にセットした際に、これを検知するための磁気（リード）スイッチ５８が設けられている。ＣＰＵ５６は、このリードスイッチ５８がデータ受信装置へのセットを検知し、データの送信が可能になった時点で、コイル５７からの無線送信機５５への電力供給を行う。
　カメラ５２は、例えば体腔内の画像を撮影するための対物光学系を含む撮像素子５２ａ、体腔内を照明する複数の光源５２ｂを有している。具体的には、カメラ５２は、光源５２ｂとして、例えばLED（Light　Emitting　Diode）を備えたCMOS（Complementary　Metal　Oxide　Semiconductor）センサやCCD（Charge　Coupled　Device）等によって構成される。
　第１～第４の実施形態の電子機器１における表示部２は、図２７の光源５２ｂのような発光体を含む概念である。図２７のカプセル内視鏡５０では、例えば２個の光源５２ｂを有するが、これらの光源５２ｂを、複数の光源部を有する表示パネルや、複数のＬＥＤを有するＬＥＤモジュールで構成可能である。この場合、表示パネルやＬＥＤモジュールの下方にカメラ５２の撮像部４を配置することで、カメラ５２のレイアウト配置に関する制約が少なくなり、より小型のカプセル内視鏡５０を実現できる。
　また、図２８は第１～第４の実施形態の電子機器１をデジタル一眼レフカメラ６０に適用した場合の背面図である。デジタル一眼レフカメラ６０やコンパクトカメラは、レンズとは反対側の背面に、プレビュー画面を表示する表示部２を備えている。この表示部２の表示面とは反対側にカメラモジュール３を配置して、撮影者の顔画像を表示部２の表示面１ａに表示できるようにしてもよい。第１～第４の実施形態による電子機器１では、表示部２と重なる領域にカメラモジュール３を配置できるため、カメラモジュール３を表示部２の額縁部分に設けなくて済み、表示部２のサイズを可能な限り大型化することができる。
　図２９Ａは第１～第４の実施形態の電子機器１をヘッドマウントディスプレイ（以下、ＨＭＤ）６１に適用した例を示す平面図である。図２９ＡのＨＭＤ６１は、ＶＲ（Virtual Reality）、ＡＲ（Augmented Reality）、ＭＲ（Mixed Reality）、又はＳＲ（Substituional Reality）等に利用されるものである。現状のＨＭＤは、図２９Ｂに示すように、外表面にカメラ６２を搭載しており、ＨＭＤの装着者は、周囲の画像を視認することができる一方で、周囲の人間には、ＨＭＤの装着者の目や顔の表情がわからないという問題がある。
　そこで、図２９Ａでは、ＨＭＤ６１の外表面に表示部２の表示面を設けるとともに、表示部２の表示面の反対側にカメラモジュール３を設ける。これにより、カメラモジュール３で撮影した装着者の顔の表情を表示部２の表示面に表示させることができ、装着者の周囲の人間が装着者の顔の表情や目の動きをリアルタイムに把握することができる。
　図２９Ａの場合、表示部２の裏面側にカメラモジュール３を設けるため、カメラモジュール３の設置場所についての制約がなくなり、ＨＭＤ６１のデザインの自由度を高めることができる。また、カメラを最適な位置に配置できるため、表示面に表示される装着者の目線が合わない等の不具合を防止できる。
　このように、第１１の実施形態では、第１～第４の実施形態による電子機器１を種々の用途に用いることができ、利用価値を高めることができる。
　なお、本技術は以下のような構成を取ることができる。
　（１）表示部と、
　前記表示部の表示面とは反対側に配置される撮像部と、
　前記表示部が表示を行わないタイミングに前記撮像部が撮像を行うように、前記表示部の表示タイミングと前記撮像部の撮像タイミングとを同期させる制御部と、を備える、電子機器。
　（２）前記制御部は、前記撮像部が撮像を行う際には、前記撮像部が撮像を行わない場合と比べて、前記表示部が表示を行わない期間をより長くする、（１）に記載の電子機器。
　（３）前記制御部は、前記撮像部が撮像を行う際には、前記撮像部が撮像を行わない場合と比べて、前記表示部の少なくとも一部の画素を表示する周波数をより低くする、（１）又は（２）に記載の電子機器。
　（４）前記制御部は、前記撮像部が撮像を行う際には、前記撮像部が撮像を行わない場合と比べて、前記表示部のフレームレートをより低くする、（３）に記載の電子機器。
　（５）前記制御部は、前記撮像部が撮像を行う際には、前記撮像部が撮像を行わない場合と比べて、前記表示部の少なくとも一部の水平画素ラインの表示周波数をより低くする、（３）に記載の電子機器。
　（６）前記制御部は、前記撮像部が撮像を行う際には、前記撮像部が撮像を行わない場合と比べて、前記表示面の法線方向から前記表示部を平面視したときに、前記撮像部と重なる表示領域を含む前記一部の水平画素ライン表示周波数をより低くする、（５）に記載の電子機器。
　（７）前記制御部は、前記表示部が表示を行わない期間に基づいて、前記撮像部の露光時間を設定する、（１）乃至（６）のいずれか一項に記載の電子機器。
　（８）前記制御部は、前記撮像部が撮像を行う際には、前記撮像部が撮像を行わない場合と比べて、前記表示部の少なくとも一部の表示領域内の表示画素密度をより低くする、（１）乃至（７）のいずれか一項に記載の電子機器。
　（９）前記制御部は、前記撮像部が撮像を行う際には、前記撮像部が撮像を行わない場合と比べて、前記表示面の法線方向から前記表示部を平面視したときに、前記撮像部と重なる表示領域を含む一部の表示領域内の表示画素密度をより低くする、（８）に記載の電子機器。
　（１０）前記制御部は、前記撮像部が撮像を行う際には、前記撮像部が撮像を行わない場合と比べて、前記表示部の少なくとも一部の表示領域内の画素の輝度値を高くする、（８）又は（９）に記載の電子機器。
　（１１）前記制御部は、前記撮像部が撮像を行う際には、前記撮像部が撮像を行わない場合と比べて、前記表示面の法線方向から前記表示部を平面視したときに、前記撮像部と重なる表示領域を含む前記一部の表示領域内の画素の輝度値をより高くする、（１０）に記載の電子機器。
　（１２）前記制御部は、前記撮像部が撮像を行う際には、前記撮像部が撮像を行わない場合と比べて、前記一部の表示領域内の画素を表示する周波数をより低くするとともに、画素の輝度値をより高くする、（１１）に記載の電子機器。
　（１３）前記表示部は、互いに積層されて、それぞれが別個に表示制御される第１表示面及び第２表示面を有し、
　前記第１表示面は、前記一部の表示領域を除く前記表示部の表示領域を表示し、
　前記第２表示面は、前記第１表示面に積層されたときに、前記第１表示面の表示領域と重ならないように、前記一部の表示領域を表示する、（８）乃至（１２）のいずれか一項に記載の電子機器。
　（１４）周囲の明るさを検出する明るさ検出部を備え、
　前記制御部は、前記明るさ検出部で検出された周囲の明るさに応じて、前記撮像部が撮像を行う際における前記表示部の少なくとも一部の画素を表示する周波数を制御する、（１）乃至（１３）のいずれか一項に記載の電子機器。
　（１５）前記制御部は、前記明るさ検出部で検出された周囲の明るさに応じて、前記撮像部が撮像を行う際における前記表示部の少なくとも一部の画素を表示する周波数と、表示画素密度とを制御する、（１４）に記載の電子機器。
　（１６）前記表示部に視線を向けた人間の瞬きのタイミングを検出するタイミング検出部を備え、
　前記制御部は、前記タイミング検出部で検出されたタイミングに合わせて、前記表示部の表示を一時的に非発光状態にするとともに、前記撮像部の撮像を行う、（１）乃至（１５）のいずれか一項に記載の電子機器。
　（１７）前記撮像部は、可視光及び赤外光の少なくとも一方を光電変換する、（１）乃至（１６）のいずれか一項に記載の電子機器。
　（１８）前記表示部は、前記表示面の法線方向から前記表示部を平面視したときに、前記撮像部と重なる位置に開口部を有し、
　前記開口部は、前記表示部を構成する複数の層のうち、所定の波長帯域の光に対する透過率が所定値未満の層を貫通するように配置される、（１）乃至（１７）のいずれか一項に記載の電子機器。
　（１９）前記表示部は、前記撮像部が光電変換可能な波長帯域の光に対する透過率が所定値以上の複数の層で構成される、（１）乃至（１８）のいずれか一項に記載の電子機器。
　（２０）前記制御部は、
　前記表示部の表示制御を行う第１制御部と、
　前記第１制御部と連携して、前記撮像部の撮像制御を行う第２制御部と、を有する、（１）乃至（１９）のいずれか一項に記載の電子機器。
　本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
　１　電子機器、２　表示部、３　カメラモジュール、４　撮像部、４ａ　光電変換部、５　光学系、１１　半導体基板、１２　素子分離層、１３　平坦化層、１４　カラーフィルタ層、１５　オンチップレンズ、１６　読み出し回路、１７　層間絶縁膜、２１　撮像装置、２２　アプリケーションプロセッサ、２３　解像度変換部、２４　Ａ／Ｄ変換部、２５　表示制御部、３１　Ａ／Ｄ変換部、３２　信号処理部、３３　撮像制御部、３４　露光調整部

Claims (20)

  1. 　表示部と、
    　前記表示部の表示面とは反対側に配置される撮像部と、
    　前記表示部が表示を行わないタイミングに前記撮像部が撮像を行うように、前記表示部の表示タイミングと前記撮像部の撮像タイミングとを同期させる制御部と、を備える、電子機器。
  2. 　前記制御部は、前記撮像部が撮像を行う際には、前記撮像部が撮像を行わない場合と比べて、前記表示部が表示を行わない期間をより長くする、請求項１に記載の電子機器。
  3. 　前記制御部は、前記撮像部が撮像を行う際には、前記撮像部が撮像を行わない場合と比べて、前記表示部の少なくとも一部の画素を表示する周波数をより低くする、請求項１に記載の電子機器。
  4. 　前記制御部は、前記撮像部が撮像を行う際には、前記撮像部が撮像を行わない場合と比べて、前記表示部のフレームレートをより低くする、請求項３に記載の電子機器。
  5. 　前記制御部は、前記撮像部が撮像を行う際には、前記撮像部が撮像を行わない場合と比べて、前記表示部の少なくとも一部の水平画素ラインの表示周波数をより低くする、請求項３に記載の電子機器。
  6. 　前記制御部は、前記撮像部が撮像を行う際には、前記撮像部が撮像を行わない場合と比べて、前記表示面の法線方向から前記表示部を平面視したときに、前記撮像部と重なる表示領域を含む前記一部の水平画素ライン表示周波数をより低くする、請求項５に記載の電子機器。
  7. 　前記制御部は、前記表示部が表示を行わない期間に基づいて、前記撮像部の露光時間を設定する、請求項１に記載の電子機器。
  8. 　前記制御部は、前記撮像部が撮像を行う際には、前記撮像部が撮像を行わない場合と比べて、前記表示部の少なくとも一部の表示領域内の表示画素密度をより低くする、請求項１に記載の電子機器。
  9. 　前記制御部は、前記撮像部が撮像を行う際には、前記撮像部が撮像を行わない場合と比べて、前記表示面の法線方向から前記表示部を平面視したときに、前記撮像部と重なる表示領域を含む一部の表示領域内の表示画素密度をより低くする、請求項８に記載の電子機器。
  10. 　前記制御部は、前記撮像部が撮像を行う際には、前記撮像部が撮像を行わない場合と比べて、前記表示部の少なくとも一部の表示領域内の画素の輝度値を高くする、請求項８に記載の電子機器。
  11. 　前記制御部は、前記撮像部が撮像を行う際には、前記撮像部が撮像を行わない場合と比べて、前記表示面の法線方向から前記表示部を平面視したときに、前記撮像部と重なる表示領域を含む前記一部の表示領域内の画素の輝度値をより高くする、請求項１０に記載の電子機器。
  12. 　前記制御部は、前記撮像部が撮像を行う際には、前記撮像部が撮像を行わない場合と比べて、前記一部の表示領域内の画素を表示する周波数をより低くするとともに、画素の輝度値をより高くする、請求項１１に記載の電子機器。
  13. 　前記表示部は、互いに積層されて、それぞれが別個に表示制御される第１表示面及び第２表示面を有し、
    　前記第１表示面は、前記一部の表示領域を除く前記表示部の表示領域を表示し、
    　前記第２表示面は、前記第１表示面に積層されたときに、前記第１表示面の表示領域と重ならないように、前記一部の表示領域を表示する、請求項８に記載の電子機器。
  14. 　周囲の明るさを検出する明るさ検出部を備え、
    　前記制御部は、前記明るさ検出部で検出された周囲の明るさに応じて、前記撮像部が撮像を行う際における前記表示部の少なくとも一部の画素を表示する周波数を制御する、請求項１に記載の電子機器。
  15. 　前記制御部は、前記明るさ検出部で検出された周囲の明るさに応じて、前記撮像部が撮像を行う際における前記表示部の少なくとも一部の画素を表示する周波数と、表示画素密度とを制御する、請求項１４に記載の電子機器。
  16. 　前記表示部に視線を向けた人間の瞬きのタイミングを検出するタイミング検出部を備え、
    　前記制御部は、前記タイミング検出部で検出されたタイミングに合わせて、前記表示部の表示を一時的に非発光状態するとともに、前記撮像部の撮像を行う、請求項１に記載の電子機器。
  17. 　前記撮像部は、可視光及び赤外光の少なくとも一方を光電変換する、請求項１に記載の電子機器。
  18. 　前記表示部は、前記表示面の法線方向から前記表示部を平面視したときに、前記撮像部と重なる位置に開口部を有し、
    　前記開口部は、前記表示部を構成する複数の層のうち、所定の波長帯域の光に対する透過率が所定値未満の層を貫通するように配置される、請求項１に記載の電子機器。
  19. 　前記表示部は、前記撮像部が光電変換可能な波長帯域の光に対する透過率が所定値以上の複数の層で構成される、請求項１に記載の電子機器。
  20. 　前記制御部は、
    　前記表示部の表示制御を行う第１制御部と、
    　前記第１制御部と連携して、前記撮像部の撮像制御を行う第２制御部と、を有する、請求項１に記載の電子機器。
PCT/JP2020/041327 2019-11-29 2020-11-05 電子機器 WO2021106513A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020227017754A KR20220106761A (ko) 2019-11-29 2020-11-05 전자기기
EP20893069.3A EP4068753A4 (en) 2019-11-29 2020-11-05 ELECTRONIC DEVICE
JP2021561254A JPWO2021106513A1 (ja) 2019-11-29 2020-11-05
US17/774,347 US20220368833A1 (en) 2019-11-29 2021-11-05 Electronic equipment

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019217380 2019-11-29
JP2019-217380 2019-11-29

Publications (1)

Publication Number Publication Date
WO2021106513A1 true WO2021106513A1 (ja) 2021-06-03

Family

ID=76043076

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/041327 WO2021106513A1 (ja) 2019-11-29 2020-11-05 電子機器

Country Status (7)

Country Link
US (1) US20220368833A1 (ja)
EP (1) EP4068753A4 (ja)
JP (1) JPWO2021106513A1 (ja)
KR (1) KR20220106761A (ja)
CN (2) CN112887625A (ja)
TW (1) TW202139682A (ja)
WO (1) WO2021106513A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023043072A1 (ko) * 2021-09-16 2023-03-23 삼성전자 주식회사 카메라를 포함하는 전자 장치 및 그 동작 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111263082B (zh) * 2020-03-16 2021-12-14 维沃移动通信（杭州）有限公司 一种曝光数据获取方法及电子设备
US20220321754A1 (en) * 2021-03-31 2022-10-06 Samsung Electronics Co., Ltd. Method for measuring illuminance using camera and supporting the same
EP4307652A1 (en) * 2021-04-16 2024-01-17 Samsung Electronics Co., Ltd. Electronic device and image capturing method thereof
CN115938257A (zh) * 2021-10-05 2023-04-07 三星电子株式会社 显示装置和显示装置的操作方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH095815A (ja) * 1995-06-19 1997-01-10 Canon Inc カメラ
JP2007088536A (ja) * 2005-09-20 2007-04-05 Nippon Telegr & Teleph Corp <Ntt> ３次元映像提示・撮像装置
JP2013186232A (ja) * 2012-03-07 2013-09-19 Sharp Corp 情報端末、情報端末を制御するための方法、および、情報端末を制御するための方法を実現するためのプログラム
JP2014191020A (ja) * 2013-03-26 2014-10-06 Futaba Corp 表示装置、表示駆動方法、表示駆動装置
US20180069060A1 (en) 2011-10-14 2018-03-08 Apple Inc. Electronic Devices Having Displays With Openings
JP2018036638A (ja) * 2016-08-24 2018-03-08 株式会社半導体エネルギー研究所 電子機器システム
JP2018124457A (ja) * 2017-02-01 2018-08-09 国立大学法人静岡大学 顔画像処理装置
CN110971805A (zh) * 2019-12-20 2020-04-07 维沃移动通信有限公司 一种电子设备及其拍照方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8743269B2 (en) * 2009-06-15 2014-06-03 Olympus Imaging Corp. Photographing device, photographing method, and playback method
JP5436975B2 (ja) * 2009-08-21 2014-03-05 オリンパスイメージング株式会社 カメラ、カメラの表示制御方法、表示装置、及び表示方法
JP2011242616A (ja) * 2010-05-19 2011-12-01 Sony Corp 画像表示装置、電子機器、画像表示システム、画像取得方法、プログラム
JP5665013B2 (ja) * 2011-04-06 2015-02-04 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
US9007429B2 (en) * 2011-04-06 2015-04-14 Casio Computer Co., Ltd. Image processing device capable of generating wide-range image
JP5578442B2 (ja) * 2011-04-07 2014-08-27 カシオ計算機株式会社 撮像装置、画像合成方法、及びプログラム
KR101864452B1 (ko) * 2012-01-12 2018-06-04 삼성전자주식회사 이미지 촬영 및 화상 통화 장치와 방법
JP2014006759A (ja) * 2012-06-26 2014-01-16 Sony Corp 情報処理装置および方法、並びに、光電変換装置
KR101462351B1 (ko) * 2013-08-16 2014-11-14 영남대학교 산학협력단 시선일치 영상통화장치
JP5838371B1 (ja) * 2014-06-30 2016-01-06 パナソニックＩｐマネジメント株式会社 動線分析システム、カメラ装置及び動線分析方法
US10340711B2 (en) 2016-09-23 2019-07-02 Apple Inc. Faraday cage for wireless charging devices
JP6540656B2 (ja) * 2016-11-08 2019-07-10 トヨタ自動車株式会社 車両後方画像表示装置及び車両後方画像表示プログラム
CN115004675A (zh) * 2020-02-03 2022-09-02 索尼半导体解决方案公司 电子设备
CN115486056A (zh) * 2020-05-08 2022-12-16 索尼半导体解决方案公司 电子设备和成像装置
JP2023156539A (ja) * 2020-09-01 2023-10-25 ソニーセミコンダクタソリューションズ株式会社 電子機器

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH095815A (ja) * 1995-06-19 1997-01-10 Canon Inc カメラ
JP2007088536A (ja) * 2005-09-20 2007-04-05 Nippon Telegr & Teleph Corp <Ntt> ３次元映像提示・撮像装置
US20180069060A1 (en) 2011-10-14 2018-03-08 Apple Inc. Electronic Devices Having Displays With Openings
JP2013186232A (ja) * 2012-03-07 2013-09-19 Sharp Corp 情報端末、情報端末を制御するための方法、および、情報端末を制御するための方法を実現するためのプログラム
JP2014191020A (ja) * 2013-03-26 2014-10-06 Futaba Corp 表示装置、表示駆動方法、表示駆動装置
JP2018036638A (ja) * 2016-08-24 2018-03-08 株式会社半導体エネルギー研究所 電子機器システム
JP2018124457A (ja) * 2017-02-01 2018-08-09 国立大学法人静岡大学 顔画像処理装置
CN110971805A (zh) * 2019-12-20 2020-04-07 维沃移动通信有限公司 一种电子设备及其拍照方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4068753A1

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023043072A1 (ko) * 2021-09-16 2023-03-23 삼성전자 주식회사 카메라를 포함하는 전자 장치 및 그 동작 방법

Also Published As

Publication number Publication date
CN112887625A (zh) 2021-06-01
TW202139682A (zh) 2021-10-16
EP4068753A4 (en) 2022-12-28
JPWO2021106513A1 (ja) 2021-06-03
EP4068753A1 (en) 2022-10-05
KR20220106761A (ko) 2022-07-29
US20220368833A1 (en) 2022-11-17
CN216625895U (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
WO2021106513A1 (ja) 電子機器
JP4411059B2 (ja) カメラ付きディスプレイ装置、通信装置および通信システム
US9300909B2 (en) Image display apparatus, electronic apparatus, image display system, image acquisition method and program
JP5836768B2 (ja) 撮像装置付き表示装置
US20100045844A1 (en) Image pickup apparatus, display and image processing apparatus
WO2021070867A1 (ja) 電子機器
EP4149104A1 (en) Electronic apparatus and imaging device
JP7418075B2 (ja) 撮像表示装置、ウェアラブルデバイスおよび撮像表示システム
WO2021149503A1 (ja) 電子機器
KR101799599B1 (ko) 뷰 파인더의 조작성을 향상시키기 위한 촬상 장치 및 그 방법
CN214381044U (zh) 电子设备
JP2013120988A (ja) 頭部装着型表示装置
WO2021157237A1 (ja) 電子機器
US11797259B2 (en) Imaging display device, wearable device, and imaging display system
WO2022025574A1 (ko) 이미지 센서와 이미지 시그널 프로세서를 포함하는 전자 장치 및 그의 방법
WO2022239394A1 (ja) 撮像素子、撮像装置及び電子機器
WO2023106010A1 (ja) 電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20893069

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021561254

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020893069

Country of ref document: EP

Effective date: 20220629