WO2023223660A1 - カメラモジュール - Google Patents

カメラモジュール Download PDF

Info

Publication number
WO2023223660A1
WO2023223660A1 PCT/JP2023/011083 JP2023011083W WO2023223660A1 WO 2023223660 A1 WO2023223660 A1 WO 2023223660A1 JP 2023011083 W JP2023011083 W JP 2023011083W WO 2023223660 A1 WO2023223660 A1 WO 2023223660A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
liquid crystal
light transmitting
area
incident
Prior art date
Application number
PCT/JP2023/011083
Other languages
English (en)
French (fr)
Inventor
博人 仲戸川
Original Assignee
株式会社ジャパンディスプレイ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ジャパンディスプレイ filed Critical 株式会社ジャパンディスプレイ
Publication of WO2023223660A1 publication Critical patent/WO2023223660A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B9/00—Exposure-making shutters; Diaphragms
    • G03B9/02—Diaphragms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • Embodiments of the present invention relate to a camera module.
  • the distance from the camera to the subject in the image can be calculated by using the blur that occurs in the image generated based on the light that passes through the aperture of the camera of the electronic device and enters the image sensor.
  • Coded aperture techniques are known.
  • an object of the present invention is to provide a camera module that can improve the accuracy of distances calculated from images.
  • a camera module includes an image sensor, an incident light control area having first to fourth light transmitting areas arranged at a position where light is incident on the image sensor, and a position overlapping with the incident light control area.
  • a liquid crystal panel comprising: a liquid crystal layer disposed in the image sensor; and a driver for driving the liquid crystal layer so as to transmit light to each of the first to fourth light transmitting regions; and a lens located at.
  • the third and fourth light transmitting regions are smaller in size than the first and second light transmitting regions.
  • a first distance to the subject in the first and second images is calculated based on a second image based on the light transmitted and incident on the image sensor.
  • a second distance to the subject in the third and fourth images is calculated based on a fourth image based on the light transmitted and incident on the image sensor.
  • FIG. 1 is an exploded perspective view showing an example of the configuration of an electronic device according to an embodiment.
  • FIG. 2 is a sectional view showing the vicinity of the camera of the electronic device.
  • FIG. 3 is a plan view showing the arrangement of a liquid crystal panel, a camera, etc.
  • FIG. 4 is a cross-sectional view showing pixels of a liquid crystal panel.
  • FIG. 5 is a cross-sectional view showing the incident light control area of the liquid crystal panel.
  • FIG. 6 is a diagram for explaining an overview of a camera module used to calculate the distance to a subject.
  • FIG. 7 is a diagram for explaining an overview of a camera module used to calculate the distance to a subject.
  • FIG. 8 is a diagram for explaining coded aperture pairs.
  • FIG. 1 is an exploded perspective view showing an example of the configuration of an electronic device according to an embodiment.
  • FIG. 2 is a sectional view showing the vicinity of the camera of the electronic device.
  • FIG. 3 is a plan view showing the arrangement of
  • FIG. 9 is a plan view schematically showing an example of an incident light control area of a liquid crystal panel.
  • FIG. 10 is a flowchart illustrating an example of the operation of the camera module when calculating the distance to the subject.
  • FIG. 11 is a plan view schematically showing another example of the incident light control area of the liquid crystal panel.
  • FIG. 12 is a plan view schematically showing still another example of the incident light control area of the liquid crystal panel.
  • FIG. 1 is an exploded perspective view showing an example of the configuration of an electronic device 100 in this embodiment. As shown in FIG. 1, direction X, direction Y, and direction Z are orthogonal to each other, but may intersect at an angle other than 90 degrees.
  • the electronic device 100 includes a liquid crystal display device DSP as a display device and a camera 1.
  • the liquid crystal display device DSP includes a liquid crystal panel PNL as a display panel and an illumination device (backlight) IL.
  • the illumination device IL includes a light guide LG1, a light source EM, and a case CS. Such an illumination device IL illuminates, for example, a liquid crystal panel PNL, which is shown simplified by a broken line in FIG. 1.
  • the light guide LG1 is formed into a flat plate parallel to the XY plane defined by the direction X and the direction Y.
  • the light guide LG1 faces the liquid crystal panel PNL.
  • the light guide LG1 has a side surface SA, a side surface SB opposite to the side surface SA, and a through hole h1 surrounding the camera 1.
  • Side surfaces SA and SB each extend in direction X.
  • side surfaces SA and SB are planes parallel to the XZ plane defined by direction X and direction Z.
  • the through hole h1 penetrates the light guide LG1 along the direction Z.
  • the through hole h1 is located between the side surfaces SA and SB in the direction Y, and is closer to the side surface SB than the side surface SA.
  • the plurality of light sources EM are lined up in the direction X at intervals. Each of the light sources EM is mounted on the wiring board F1 and electrically connected to the wiring board F1.
  • the light source EM is, for example, a light emitting diode (LED), and emits white illumination light. Illumination light emitted from the light source EM enters the light guide LG1 from the side surface SA, and travels inside the light guide LG1 from the side surface SA toward the side surface SB.
  • LED light emitting diode
  • the case CS accommodates the light guide LG1 and the light source EM.
  • the case CS has side walls W1 to W4, a bottom plate BP, a through hole h2, and a protrusion PP.
  • the side walls W1 and W2 extend in the X direction and face each other in the Y direction.
  • the side walls W3 and W4 extend in the Y direction and face each other in the X direction.
  • the through hole h2 overlaps the through hole h1 in the Z direction.
  • the protrusion PP is fixed to the bottom plate BP.
  • the protrusion PP protrudes from the bottom plate BP toward the liquid crystal panel PNL along the direction Z, and surrounds the through hole h2.
  • the light guide LG1 overlaps the liquid crystal panel PNL.
  • the camera 1 is mounted on the wiring board F2 and electrically connected to the wiring board F2.
  • the camera 1 passes through the through hole h2, the inside of the protrusion PP, and the through hole h1, and faces the liquid crystal panel PNL.
  • FIG. 2 is a cross-sectional view showing the vicinity of the camera 1 of the electronic device 100.
  • the illumination device IL further includes a light reflection sheet RS, a light diffusion sheet SS, and prism sheets PS1 and PS2.
  • the light reflection sheet RS, the light guide LG1, the light diffusion sheet SS, and the prism sheets PS1 and PS2 are arranged in order in the direction Z and housed in the case CS.
  • the case CS includes a metal case CS1 and a resin light-shielding wall CS2 as a peripheral member.
  • the light shielding wall CS2 is adjacent to the camera 1 and forms a protrusion PP together with the case CS1.
  • the light shielding wall CS2 is located between the camera 1 and the light guide LG1, and has a cylindrical shape.
  • the light shielding wall CS2 is made of a resin that absorbs light, such as black resin.
  • the light diffusion sheet SS and the prism sheets PS1 and PS2 each have a through hole that overlaps the through hole h1.
  • the protrusion PP is located inside the through hole h1.
  • the liquid crystal panel PNL further includes polarizing plates PL1 and PL2.
  • the liquid crystal panel PNL and the cover glass CG as a cover member are arranged in the Z direction and constitute a liquid crystal element LCD that has an optical switching function for light traveling in the Z direction.
  • the liquid crystal element LCD is attached to the illumination device IL with adhesive tape TP1.
  • the adhesive tape TP1 is adhered to the protrusion PP, the prism sheet PS2, and the polarizing plate PL1.
  • the liquid crystal panel PNL has a display mode that uses a transverse electric field along the main surface of the substrate, a display mode that uses a vertical electric field along the normal line to the main surface of the substrate, and a display mode that uses an inclined electric field that is oblique to the main surface of the substrate. Any configuration may be used that corresponds to the display mode to be used, and further to the display mode in which the above-mentioned transverse electric field, longitudinal electric field, and gradient electric field are used in appropriate combinations.
  • the main surface of the substrate here is a surface parallel to the XY plane.
  • the liquid crystal panel PNL includes a display area DA for displaying an image, a non-display area NDA outside the display area DA, and an incident light control area PCA surrounded by the display area DA and having a circular shape.
  • the incident light control area PCA is described as having a circular shape, the shape of the incident light control area PCA may be other than circular.
  • the liquid crystal panel PNL includes a first substrate SUB1, a second substrate SUB2, a liquid crystal layer LC, and a sealing material SE.
  • the sealing material SE is located in the non-display area NDA and joins the first substrate SUB1 and the second substrate SUB2.
  • the liquid crystal layer LC is arranged at a position overlapping the display area DA and the incident light control area PCA, and is held between the first substrate SUB1 and the second substrate SUB2.
  • the liquid crystal layer LC is formed in a space surrounded by the first substrate SUB1, the second substrate SUB2, and the sealant SE.
  • An image is displayed in the display area DA by controlling the amount of light transmitted from the illumination device IL using the liquid crystal panel PNL.
  • the user of the electronic device 100 is located on the Z-direction side of the cover glass CG and sees the light emitted from the liquid crystal panel PNL as an image.
  • the amount of light transmitted is controlled by the liquid crystal panel PNL, and the light enters the camera 1 from the direction Z side of the cover glass CG via the liquid crystal panel PNL.
  • the light that travels from the illumination device IL to the cover glass CG side via the liquid crystal panel PNL is referred to as outgoing light, and the light that travels from the cover glass CG side to the camera 1 through the liquid crystal panel PNL is referred to as incident light. .
  • the first substrate SUB1 includes an insulating substrate 10 and an alignment film AL1.
  • the second substrate SUB2 includes an insulating substrate 20, a color filter CF, a light shielding layer BM, a transparent layer OC, and an alignment film AL2.
  • the insulating substrates 10 and 20 are transparent substrates such as glass substrates and flexible resin substrates.
  • the alignment films AL1 and AL2 are in contact with the liquid crystal layer LC.
  • the color filter CF, the light shielding layer BM, and the transparent layer OC are located between the insulating substrate 20 and the liquid crystal layer LC. Note that in the illustrated example, the color filter CF is provided on the second substrate SUB2, but may be provided on the first substrate SUB1. Color filter CF is located in display area DA.
  • the incident light control area PCA includes a light-shielding area LSA located at least on the outermost periphery and having an annular shape, and a light-transmitting area TA surrounded by the light-shielding area LSA and in contact with the light-shielding area LSA.
  • the light shielding layer BM includes a light shielding part located in the display area DA and partitioning pixels, and a light shielding part on the frame located in the non-display area NDA. Furthermore, in the incident light control area PCA, the light blocking layer BM forms an opening OP1 located at least in the light blocking area LSA and in the light transmitting area TA.
  • the transparent layer OC is in contact with the color filter CF in the display area DA, in contact with the light blocking layer BM in the non-display area NDA, in contact with the light blocking layer BM in the light blocking area LSA, and in contact with the insulating substrate 20 in the light transmitting area TA. ing.
  • the alignment films AL1 and AL2 are provided over the display area DA, the incident light control area PCA, and the non-display area NDA.
  • the color filter CF includes, for example, a red colored layer placed on a pixel that displays red, a green colored layer placed on a pixel that displays green, and a blue colored layer. It has a blue colored layer placed on each pixel.
  • the color filter CF may include a transparent resin layer disposed in pixels that display white.
  • the transparent layer OC covers the color filter CF and the light shielding layer BM.
  • the transparent layer OC is, for example, a transparent organic insulating layer.
  • the camera 1 is located inside the through hole h2 of the case CS.
  • the camera 1 overlaps the cover glass CG and the liquid crystal panel PNL in the direction Z.
  • the liquid crystal panel PNL may further include optical sheets other than the polarizing plates PL1 and PL2 in the incident light control area PCA. Examples of such optical sheets include retardation plates, light scattering layers, antireflection layers, and the like.
  • the camera 1 is provided on the back side of the liquid crystal panel PNL when viewed from the user of the electronic device 100.
  • the camera 1 includes, for example, an optical system 2 including at least one lens, an image sensor 3, and a case 4.
  • the imaging device 3 includes an imaging surface 3a facing the liquid crystal panel PNL side.
  • the optical system 2 faces the incident light control area PCA of the liquid crystal panel PNL.
  • the optical system 2 includes a light incident surface 2a that is located between the imaging surface 3a and the liquid crystal panel PNL and faces the liquid crystal panel PNL.
  • the light incident surface 2a overlaps the incident light control area PCA.
  • the optical system 2 is located with a gap between the liquid crystal panel PNL and the liquid crystal panel PNL.
  • the case 4 houses the optical system 2 and the image sensor 3.
  • a light source for illuminating the subject to be photographed with the camera 1 may be provided at the top of the case 4.
  • the image sensor 3 of the camera 1 receives light via the cover glass CG, the liquid crystal panel PNL, and the optical system 2.
  • the image sensor 3 is configured to convert incident light that has passed through the incident light control area PCA of the liquid crystal panel PNL, the optical system 2, etc. into an image (data).
  • the camera 1 (imaging device 3) is configured to convert visible light (for example, light in the wavelength range of 400 nm to 700 nm) that has passed through the cover glass CG and the liquid crystal panel PNL into an image.
  • the polarizing plate PL1 is bonded to the insulating substrate 10.
  • Polarizing plate PL2 is bonded to insulating substrate 20.
  • the cover glass CG is attached to the polarizing plate PL2 with a transparent adhesive layer AD.
  • a transparent conductive layer may be provided between the polarizing plate PL2 and the insulating substrate 20.
  • a transparent conductive layer is formed of a transparent conductive material such as indium tin oxide (ITO) or indium zinc oxide (IZO).
  • the liquid crystal panel PNL has a first surface S1 on the side that displays an image, and a second surface S2 on the opposite side to the first surface S1.
  • the polarizing plate PL2 has a first surface S1
  • the polarizing plate PL1 has a second surface S2.
  • the display area DA and the incident light control area PCA are areas that overlap with the first substrate SUB1, the second substrate SUB2, and the liquid crystal layer LC.
  • FIG. 3 is a plan view showing the arrangement of the liquid crystal panel PNL and camera 1 shown in FIG. 2. Further, in FIG. 3, an equivalent circuit of one pixel PX is also shown.
  • the display area DA is a substantially rectangular area, but the four corners may be rounded, or it may be a polygon other than a rectangle or a circular area. Display area DA is surrounded by seal material SE.
  • the liquid crystal panel PNL has a pair of short sides E11 and E12 extending along the direction X, and a pair of long sides E13 and E14 extending along the direction Y.
  • the liquid crystal panel PNL includes a plurality of pixels PX arranged in a matrix in the direction X and the direction Y in the display area DA. Each pixel PX in the display area DA has the same circuit configuration.
  • each pixel PX includes a switching element SW, a pixel electrode PE, a common electrode CE, a liquid crystal layer LC, a capacitor CP, and the like.
  • the switching element SW is composed of, for example, a thin film transistor (TFT).
  • TFT thin film transistor
  • the switching element SW is electrically connected to a corresponding one of the plurality of scanning lines G, a corresponding one of the plurality of signal lines S, and a pixel electrode PE. There is.
  • a control signal for controlling the switching element SW is given to the scanning line G.
  • An image signal such as a video signal is applied to the signal line S as a signal different from the control signal.
  • a common voltage is applied to the common electrode CE.
  • the liquid crystal layer LC is driven by a voltage (electric field) generated between the pixel electrode PE and the common electrode CE.
  • the capacitor CP is formed, for example, between an electrode having the same potential as the common electrode CE and an electrode having the same potential as the pixel electrode PE.
  • the liquid crystal panel PNL further includes a wiring board 5 and a driver 6 (display driver).
  • the wiring board 5 is mounted on the extending part Ex of the first board SUB1 and connected to the extending part Ex.
  • the driver 6 is mounted on the wiring board 5 and electrically connected to the wiring board 5. Note that the driver 6 may be mounted on the extension part Ex and electrically connected to the extension part Ex.
  • the driver 6 is configured to drive the liquid crystal panel PNL (liquid crystal layer LC) by outputting, for example, a signal necessary for image display, and is mounted as an IC chip.
  • the wiring board 5 may be a bendable flexible printed circuit board.
  • the electronic device 100 includes a camera 1 within the display area DA, and the camera 1 is placed at the upper center of the display area DA in the plan view shown in FIG. Further, an incident light control area PCA is arranged at a position overlapping with the camera 1.
  • FIG. 4 is a cross-sectional view showing a pixel PX of the liquid crystal panel PNL.
  • FIG. 4 shows the configuration of a liquid crystal panel PNL compatible with FFS (Fringe Field Switching) mode, which is one of the display modes that utilize a transverse electric field.
  • FFS Ringe Field Switching
  • the first substrate SUB1 includes an insulating layer 11, a signal line S, an insulating layer 12, a common electrode CE, a metal layer ML, an insulating layer 13, and a pixel between the insulating substrate 10 and the alignment film AL1. Equipped with electrode PE etc. Furthermore, a polarizing plate PL1 is formed on the outside of the first substrate SUB1.
  • the insulating layer 11 is provided on the insulating substrate 10. Although a detailed description will be omitted, the above-described scanning line G, the gate electrode of the switching element SW, a semiconductor layer, other insulating layers, etc. are arranged between the insulating substrate 10 and the insulating layer 11.
  • the signal line S is formed on the insulating layer 11.
  • the insulating layer 12 is provided on the insulating layer 11 and the signal line S.
  • the common electrode CE is provided on the insulating layer 12.
  • the metal layer ML is provided on the common electrode CE and is in contact with the common electrode CE.
  • the metal layer ML is located directly above the signal line S. Note that in the example shown in FIG. 4, the first substrate SUB1 includes the metal layer ML, but the metal layer ML may be omitted.
  • the insulating layer 13 is provided on the common electrode CE and the metal layer ML.
  • the pixel electrode PE is formed on the insulating layer 13.
  • the pixel electrodes PE are located between adjacent signal lines S and face the common electrode CE. Further, the pixel electrode PE has a slit at a position facing the common electrode CE.
  • the common electrode CE and the pixel electrode PE are made of a transparent conductive material such as ITO and IZO.
  • the insulating layer 13 is sandwiched between the common electrode CE and the pixel electrode PE.
  • the alignment film AL1 is provided on the insulating layer 13 and the pixel electrode PE, and covers the pixel electrode PE and the like.
  • the second substrate SUB2 includes a light shielding layer BM, a color filter CF, a transparent layer OC, an alignment film AL2, etc. on the side of the insulating substrate 20 that faces the first substrate SUB1.
  • the light shielding layer BM is formed on the inner surface of the insulating substrate 20.
  • the light shielding layer BM is located directly above the signal line S and the metal layer ML.
  • the color filter CF is formed on the inner surface of the insulating substrate 20 and partially overlaps the light shielding layer BM.
  • the transparent layer OC covers the color filter CF.
  • the alignment film AL2 covers the transparent layer OC. Further, a polarizing plate PL2 is formed on the outside of the second substrate SUB2.
  • the liquid crystal panel PNL can have a configuration in which the light shielding layer BM is not formed in the display area DA.
  • the metal layer ML in the display area DA, for example, can be formed in a lattice shape, and the metal layer ML can have a light shielding function instead of the light shielding layer BM.
  • the transmission axes of the polarizing plates PL1 and PL2 are orthogonal, and in the pixel PX, no voltage (electric field) is generated between the pixel electrode PE and the common electrode CE, and a voltage is applied to the liquid crystal layer LC.
  • the liquid crystal molecules contained in the liquid crystal layer LC are initially aligned in the transmission axis direction of the polarizing plate PL1 between the alignment films AL1 and AL2. Therefore, since no phase difference occurs in the liquid crystal layer LC and the transmission axes of the polarizing plates PL1 and PL2 are perpendicular to each other, the pixel PX has the minimum transmittance and displays black. In other words, the liquid crystal panel PNL in the pixel PX exhibits a light shielding function.
  • the liquid crystal molecules are aligned in a direction different from the initial alignment direction, and the alignment The direction is controlled by an electric field. Therefore, a phase difference occurs in the liquid crystal layer LC, and in the pixel PX, the liquid crystal panel PNL exhibits a light transmission function. Therefore, the pixel PX in the on state displays a color according to the color filter.
  • the method of the liquid crystal panel PNL in this embodiment is assumed to be a normally black method that displays black in the off state, but a normally white method that displays black in the on state (displays white in the off state). There may be.
  • the one closer to the liquid crystal layer LC is the pixel electrode PE, and the pixel electrode PE functions as a display electrode as described above.
  • the one of the pixel electrode PE and the common electrode CE that is closer to the liquid crystal layer LC may be the common electrode CE.
  • the common electrode CE is formed to have a slit and functions as a display electrode.
  • FIG. 5 is a cross-sectional view showing the incident light control area PCA of the liquid crystal panel PNL.
  • signal lines S, scanning lines G, etc. are omitted.
  • FIG. 5 the same parts as in FIG. 4 described above are given the same reference numerals, and detailed explanation thereof will be omitted.
  • one of the two conductors formed with the insulating layer 13 in between is provided in the same layer as one of the pixel electrode PE and the common electrode CE, and is connected to the one electrode of the pixel electrode PE and the common electrode CE. made of the same material. Further, the other of the two conductors described above is provided in the same layer as the other electrode of the pixel electrode PE and the common electrode CE, and is formed of the same material as the other electrode.
  • the first wiring WL1 and the first control electrode RL1 are provided on the insulating layer 12 and covered with the insulating layer 13.
  • the first wiring WL1 and the first control electrode RL1 are provided in the same layer as the common electrode CE, and are made of the same transparent conductive material as the common electrode CE.
  • the second wiring WL2 and the second control electrode RL2 are provided on the insulating layer 13 and covered with the alignment film AL1.
  • the second wiring WL2 and the second control electrode RL2 are provided in the same layer as the pixel electrode PE, and are made of the same transparent conductive material as the pixel electrode PE.
  • the insulating layer 13 is sandwiched between the first control electrode RL1 and the second control electrode RL2, but the first control electrode RL1 and the second control electrode RL2 may be formed in the same layer. good.
  • the alignment film AL1 covers the second wiring WL2 and the second control electrode RL2 and is in contact with the liquid crystal layer LC.
  • the color filter CF is not provided in the incident light control area PCA.
  • a voltage generated by the first control electrode RL1 and the second control electrode RL2 is applied to the liquid crystal layer LC.
  • a first control voltage is applied to the first control electrode RL1 and a second control voltage is applied to the second control electrode RL2 via a wiring line (not shown), but the first control voltage is applied to the image signal and the common voltage.
  • the second control voltage may have the same voltage level as the other of the image signal and the common voltage.
  • the first control voltage may have a voltage level of a first polarity with respect to the common voltage
  • the second control voltage may have a voltage level of a second polarity with respect to the common voltage. good. Note that one of the first polarity and the second polarity described above is positive polarity, and the other is negative polarity.
  • the liquid crystal layer LC arranged at a position overlapping with the incident light control area PCA is driven so as to transmit light to the light transmission area TA, but such control is not provided in the liquid crystal panel PNL. This is executed by the driver 6.
  • the driver 6 controls the first By applying a voltage generated by the control electrode RL1 and the second control electrode RL2 (that is, turning on the liquid crystal layer LC), light is transmitted through the light transmission area TA. According to this, the light that has passed through the light transmission area TA is incident on the image sensor 3, and the image sensor 3 can convert the incident light into an image.
  • the driver 6 does not apply voltage to the liquid crystal layer LC formed in a position overlapping with the incident light control area PCA (light transmission area TA) (that is, turns the liquid crystal layer LC into an OFF state). , it is also possible to prevent light from passing through the light-transmitting area TA.
  • an image based on the light transmitted through the light transmission area TA and incident on the image sensor 3 (that is, an image of the subject photographed by the camera 1) is used to Consider a case where the distance from 1 to the subject in the image (hereinafter simply referred to as the subject distance) is calculated.
  • a coded aperture technique can be used as a technique for calculating the distance of a subject from an image.
  • the coded aperture technique is a technique that calculates the distance to a subject by analyzing blur that occurs in an image depending on the position of the subject.
  • the electronic device 100 can be used for purposes such as calculating the distance to a subject based on an image and creating a depth map representing the distance to the subject.
  • the process of calculating the distance to the object, the process of creating the depth map, etc. may be executed by a CPU or the like included in the electronic device 100 that operates according to a predetermined application program.
  • the camera module includes a camera 1 (an optical system 2 including a lens and an image sensor 3) for photographing a subject, and a camera module that allows light to enter the image sensor 3 through a light transmission area TA. It is assumed that the device is equipped with a liquid crystal panel PNL that drives a liquid crystal layer LC as shown in FIG.
  • FIG. 6 shows the positional relationship between the camera module and the subject.
  • the distance to a subject 200a located relatively far from the camera 1 is calculated.
  • the camera 1 for example, by changing the distance between the lens 2b included in the optical system 2 and the image sensor 3, it is possible to photograph the subject 200a in a state where the subject 200a is in focus.
  • a shift occurs between the imaging position and the position of the imaging surface 3a of the image sensor 3.
  • An image based on the light incident on the image sensor 3 is blurred.
  • the distance to the subject 200a is calculated based on the blur that occurs in the image in this way.
  • the distance from the camera 1 to the subject 200b located relatively close to the camera 1 is calculated.
  • the subject 200b is photographed with the subject 200b out of focus as described above, but as shown in FIG. 6, the distance from the camera 1 to the subject 200b is If they are close to each other, a part of the light that has passed through the light transmission area TA and the lens 2b does not enter the image sensor 3.
  • the distance to the subject 200b is calculated from an image based on the light incident on the image sensor 3, information about light that does not enter the image sensor 3 (blur) cannot be used to calculate the distance to the subject 200b. Therefore, it is possible that an error occurs in the distance (that is, the accuracy of the distance becomes low).
  • a configuration is adopted in which the size of the light transmission area TA can be switched, taking into consideration whether the subject is located far from the camera 1 or close to the camera 1.
  • two light transmission areas TA encoded aperture pair
  • the image based on (the blur produced in) and the image based on the light transmitted through the other light transmission area TA contributes to improving the accuracy of the distance.
  • FIG. 9 is a plan view schematically showing the incident light control area PCA of the liquid crystal panel PNL included in the camera module of this embodiment.
  • the liquid crystal panel PNL includes an incident light control area PCA having a plurality of light transmission areas TA.
  • the incident light control area PCA includes first to fourth light transmission areas TA1 to TA4.
  • the size and shape of the first light transmission area TA1 are the same as the size and shape of the second light transmission area TA2. Note that the first light transmitting area TA1 and the second light transmitting area TA2 constitute a first coded aperture pair.
  • the size and shape of the third light transmission area TA3 are the same as the size and shape of the fourth light transmission area TA4. Note that the third light transmitting area TA3 and the fourth light transmitting area TA4 constitute a second coded aperture pair.
  • the size of the first light transmitting area TA1 and the second light transmitting area TA2 is smaller than the size of the third light transmitting area TA3 and the fourth light transmitting area TA4.
  • the first coded aperture pair composed of the first light transmitting area TA1 and the second light transmitting area TA2 is a suitable coded aperture pair when the subject is located at a short distance from the camera 1.
  • the second coded aperture pair composed of the third light transmission area TA3 and the fourth light transmission area TA4 is a coded aperture pair suitable when the subject is located at a middle or long distance from the camera 1. It can be said.
  • the size and shape of the first light transmission area TA1 may not be the same as the size and shape of the second light transmission area TA2. Further, regarding the middle distance or the long distance, the size and shape of the third light transmission area TA3 may not be the same as the size and shape of the fourth light transmission area TA4.
  • the driver 6 provided in the liquid crystal panel PNL transmits light to the first light transmission area TA1.
  • a voltage is applied to the liquid crystal layer LC formed at a position overlapping with the first light transmitting area TA1 (hereinafter referred to as liquid crystal layer LC of the first light transmitting area TA1), and the liquid crystal layer LC is brought into a transmitting state. (step S1).
  • a liquid crystal layer LC formed at a position overlapping with the second light transmitting area TA2 (hereinafter referred to as liquid crystal layer LC of the second light transmitting area TA2) is formed at a position overlapping with the third light transmitting area TA3.
  • liquid crystal layer LC of the third light transmitting area TA3 (hereinafter referred to as liquid crystal layer LC of the third light transmitting area TA3) and the liquid crystal layer LC formed at a position overlapping with the fourth light transmitting area TA4 (hereinafter referred to as the fourth light transmitting area TA4)
  • the liquid crystal layer (denoted as LC) is in a non-transparent state.
  • step S2 an image (hereinafter referred to as a first image) based on the light (incident light) that has passed through the first light transmission area TA1 and entered the image sensor 3 is output (step S2).
  • the driver 6 sets the liquid crystal layer LC of the second light transmitting area TA2 to a transmitting state in order to transmit light to the second light transmitting area TA2 (step S3).
  • the liquid crystal layer LC of each of the first light transmitting area TA1, the third light transmitting area TA3, and the fourth light transmitting area TA4 is in a non-transmitting state.
  • step S4 an image (hereinafter referred to as a second image) based on the light (incident light) transmitted through the second light transmission area TA2 and incident on the image sensor 3 is output (step S4).
  • the electronic device 100 (its CPU, etc.) executes a process of calculating the distance to the subject based on the blur that occurs in the first image output in step S2 and the second image output in step S4. .
  • the driver 6 sets the liquid crystal layer LC of the third light transmitting area TA3 to a transmitting state in order to transmit light to the third light transmitting area TA3 (step S5).
  • the liquid crystal layer LC of each of the first light transmitting area TA1, the second light transmitting area TA2, and the fourth light transmitting area TA4 is in a non-transmitting state.
  • step S6 an image (hereinafter referred to as third image) based on the light (incident light) that has passed through the third light transmission area TA3 and entered the image sensor 3 is output (step S6).
  • the driver 6 sets the liquid crystal layer LC of the fourth light transmitting area TA4 to a transmitting state in order to transmit light to the fourth light transmitting area TA4 (step S7).
  • the liquid crystal layer LC of each of the first light transmitting area TA1, the second light transmitting area TA2, and the third light transmitting area TA3 is in a non-transmitting state.
  • step S8 an image (hereinafter referred to as the fourth image) based on the light (incident light) that has passed through the fourth light transmission area TA4 and entered the image sensor 3 is output (step S8).
  • the electronic device 100 (its CPU, etc.) performs a process of calculating the distance to the subject based on the blurring that occurs in the third image output in step S6 and the fourth image output in step S8. Execute.
  • the camera module CM includes the image sensor 3, the liquid crystal panel PNL, and the lens 2b.
  • An incident light control area PCA having fourth light transmission areas TA1 to TA4, a liquid crystal layer LC disposed at a position overlapping with the incident light control area PCA, and the first to fourth light transmission areas TA1 to TA4.
  • Each of the liquid crystal layers LC is provided with a driver 6 that drives the liquid crystal layer LC so as to transmit light therethrough.
  • the sizes of the third and fourth light transmitting areas TA3 and TA4 are smaller than the sizes of the first and second light transmitting areas TA1 and TA2.
  • the first image based on the light transmitted through the first light transmitting area TA1 and the lens 2b and incident on the image sensor 3 by driving the liquid crystal layer LC and the first image based on the light that is incident on the image sensor 3 by driving the liquid crystal layer LC.
  • the first distance to the subject in the first and second images is calculated based on the two-light transmission area TA2 and the second image based on the light transmitted through the lens 2b and incident on the image sensor 3.
  • a third image based on the light transmitted through the third light transmitting area TA3 and the lens 2b and incident on the image sensor 3 by driving the liquid crystal layer LC and a third image based on the light that is incident on the image sensor 3 by driving the liquid crystal layer LC.
  • a second distance to the subject in the third and fourth images is calculated based on the four light transmission areas TA4 and the fourth image based on the light transmitted through the lens 2b and incident on the image sensor 3.
  • the first distance is used, and the subject is located relatively far from the camera 1 (electronic device 100). Since the second distance can be used when the object is located relatively close, the accuracy of the distance of the object calculated when the object is located at a short distance is improved as explained in FIG. 6 above. (i.e., improving the accuracy of distances calculated from images).
  • the first light transmitting area TA1 and the second light transmitting area TA2 are arranged side by side in the direction X
  • the third light transmitting area TA3 and the fourth light transmitting area Although an example has been described in which the TA4 are arranged side by side in the direction Y, the incident light control area PCA has the first light transmission area TA1 and the second light transmission area TA2 arranged side by side in the direction Y, and the third light transmission area TA3 and the fourth light transmitting area TA4 may be configured to be arranged side by side in the direction X.
  • the distance calculated based on the first image based on the incident light that has passed through the first light transmitting area TA1 and the second image based on the incident light that has passed through the second light transmitting area TA2 has three-dimensional coordinates, for example. If the first light transmitting area TA1 and the second light transmitting area TA2 are arranged side by side in the direction X as shown in FIG. (that is, the Y coordinate) error may occur. Similarly, the distance calculated based on the third image based on the incident light that has passed through the third light transmitting area TA3 and the fourth image based on the incident light that has transmitted through the fourth light transmitting area TA4 is, for example, a three-dimensional coordinate. If the third light transmitting area TA3 and the fourth light transmitting area TA4 are arranged side by side in the direction Y as shown in FIG. An error in X (that is, the X coordinate) may occur.
  • the first to fourth light transmission areas TA1 to TA4 may be arranged as shown in FIG. 11.
  • the first light transmitting area TA1 and the second light transmitting area TA2 are arranged side by side in a diagonal direction with respect to the direction X (or direction Y).
  • the third light transmitting area TA1 and the fourth light transmitting area TA4 are arranged side by side in a direction perpendicular to the direction in which the first light transmitting area TA1 and the second light transmitting area TA2 are arranged side by side.
  • the incident light control area PCA shown in FIG. 11 corresponds to the configuration obtained by rotating the incident light control area PCA shown in FIG. 9 by 22.5 degrees to the right. According to such a configuration, there is a possibility that the error in the direction X or Y described above can be alleviated.
  • a first coded aperture pair includes a first light transmitting area TA1 and a second light transmitting area TA2, and a second coded aperture pair includes a third light transmitting area TA3 and a fourth light transmitting area TA4.
  • the incident light control area PCA in this embodiment may be configured as shown in FIG. 12, for example. In the incident light control area PCA shown in FIG.
  • the first to fourth light transmission areas TA1 to TA4 have the center of the first light transmission area TA1 coincident with the center of the third light transmission area TA3, and the second light transmission area
  • the center of the area TA2 and the center of the fourth light transmitting area TA4 are configured to coincide with each other.
  • the incident light control area PCA first to fourth light transmitting areas TA1 to TA4
  • the same processing as that shown in FIG. should be executed.
  • the center of the first light transmitting area TA1 and the center of the third light transmitting area TA3 coincide, and the center of the second light transmitting area TA2 and the center of the fourth light transmitting area TA4 coincide with each other.
  • the configuration is made such that these center axes coincide with each other, their central axes may be shifted.
  • the first light transmitting area TA1 (third light transmitting area TA3) and the second light transmitting area TA2 (fourth light transmitting area TA4) are arranged side by side in the direction X.
  • the area TA1 (third light transmitting area TA3) and the second light transmitting area TA2 (fourth light transmitting area TA4) may be arranged side by side in the direction Y, or may be arranged in an oblique direction with respect to the direction X and the direction Y. They may be arranged side by side.
  • two pairs of coded apertures with different sizes of light transmitting regions are provided, but there may be three or more pairs of coded apertures with different sizes of light transmitting regions. Good too.
  • the first to fourth light transmission areas TA1 to TA4 included in the incident light control area PCA have been described as having circular shapes, but the first to fourth light transmission areas TA1 to TA4 have circular shapes.
  • the shape of TA4 may be other than circular (for example, rectangular).
  • a first image is based on the incident light that has passed through the first light transmitting area TA1
  • a first image is based on the incident light that has passed through the second light transmitting area TA2.
  • the explanation has been given as outputting a second image based on the incident light transmitted through the third light transmission area TA3, a third image based on the incident light transmitted through the fourth light transmission area TA4, and a fourth image based on the incident light transmitted through the fourth light transmission area TA4, for example, the camera 1
  • the first light transmitting area TA1 and the second light transmitting area The liquid crystal layer LC may be driven to transmit light to TA2 (that is, output the first and second images).
  • the third light transmitting area TA3 and the fourth light transmitting area TA3 may be driven to transmit light to the transmission area TA4 (that is, output the third and fourth images).
  • the distance to the subject for determining (selecting) the light transmitting area that transmits light does not have to be an accurate value, and may be measured using a predetermined sensor or electronically. It may be specified by the user of the device 100.
  • an image based on incident light that has passed through one of the first to fourth light transmission areas TA1 to TA4 is used to calculate the distance to the subject;
  • the distance to the subject may be calculated using an image based on incident light that has passed through two (or three) of the first to fourth light transmission areas TA1 to TA4. .
  • the distance to the subject is calculated using the first to fourth images output from the camera module CM, but the first to fourth images are, for example, all focal points of the subject. It may also be used to generate an image.
  • the gist of the present invention may be obtained by adding, deleting, or changing the design of components, or adding, omitting, or changing conditions to the above-described embodiment as appropriate by a person skilled in the art. It is within the scope of the present invention as long as it has the following.
  • 100...Electronic device 1...Camera, 2...Optical system, 2b...Lens, 3...Imaging element, DSP...Liquid crystal display device, PNL...Liquid crystal panel, LC...Liquid crystal layer, PCA...Incidence light control area, TA, TA1 ⁇ TA4...light transmission area, LSA...light blocking area.

Abstract

実施形態に係るカメラモジュールは、撮像素子と、第１～第４光透過領域を有する入射光制御領域、液晶層及び液晶層を駆動するドライバを備える液晶パネルと、レンズとを具備する。第３及び第４光透過領域のサイズは、第１及び第２光透過領域のサイズよりも小さい。第１光透過領域及びレンズを透過して撮像素子に入射された光に基づく第１画像と第２光透過領域及びレンズを透過して撮像素子に入射された光に基づく第２画像とに基づいて被写体までの第１距離が計算される。第３光透過領域及びレンズを透過して撮像素子に入射された光に基づく第３画像と第４光透過領域及びレンズを透過して撮像素子に入射された光に基づく第４画像とに基づいて被写体までの第２距離が計算される。

Description

カメラモジュール
　本発明の実施形態は、カメラモジュールに関する。
　近年、液晶パネルと、当該液晶パネルの背面に設けられたカメラ（撮像素子）とを備えたスマートフォン等の電子機器が実用化されている。
　ところで、上記した電子機器が備えるカメラの開口部を通過して撮像素子に入射した光に基づいて生成された画像に生じるぼけを利用して、当該カメラから当該画像中の被写体までの距離を計算する符号化開口技術が知られている。
　しかしながら、符号化開口技術においては画像から適切な距離を計算することができない場合があり、計算される距離の精度を向上させることが求められている。
特開２０１８－０９８７５８号公報
　そこで、本発明が解決しようとする課題は、画像から計算される距離の精度を向上させることが可能なカメラモジュールを提供することにある。
　実施形態に係るカメラモジュールは、撮像素子と、前記撮像素子に光を入射させる位置に配置された第１～第４光透過領域を有する入射光制御領域と、前記入射光制御領域と重畳する位置に配置された液晶層と、前記第１～第４光透過領域の各々に光を透過させるように前記液晶層を駆動するドライバとを備える液晶パネルと、前記撮像素子と前記液晶パネルとの間に位置したレンズとを具備する。前記第３及び第４光透過領域のサイズは、前記第１及び第２光透過領域のサイズよりも小さい。前記液晶層の駆動によって前記第１光透過領域及び前記レンズを透過して前記撮像素子に入射された光に基づく第１画像と、前記液晶層の駆動によって前記第２光透過領域及び前記レンズを透過して前記撮像素子に入射された光に基づく第２画像とに基づいて、前記第１及び第２画像中の被写体までの第１距離が計算される。前記液晶層の駆動によって前記第３光透過領域及び前記レンズを透過して前記撮像素子に入射された光に基づく第３画像と、前記液晶層の駆動によって前記第４光透過領域及び前記レンズを透過して前記撮像素子に入射された光に基づく第４画像とに基づいて、前記第３及び第４画像中の被写体までの第２距離が計算される。
図１は、実施形態における電子機器の一構成例を示す分解斜視図である。 図２は、電子機器のカメラ周辺を示す断面図である。 図３は、液晶パネル及びカメラの配置等を示す平面図である。 図４は、液晶パネルの画素を示す断面図である。 図５は、液晶パネルの入射光制御領域を示す断面図である。 図６は、被写体の距離を計算するために用いられるカメラモジュールの概要について説明するための図である。 図７は、被写体の距離を計算するために用いられるカメラモジュールの概要について説明するための図である。 図８は、符号化開口対について説明するための図である。 図９は、液晶パネルの入射光制御領域の一例を模式的に示す平面図である。 図１０は、被写体までの距離を計算する際のカメラモジュールの動作の一例を示すフローチャートである。 図１１は、液晶パネルの入射光制御領域の他の例を模式的に示す平面図である。 図１２は、液晶パネルの入射光制御領域の更に別の例を模式的に示す平面図である。
　以下、図面を参照して、実施形態について説明する。なお、開示はあくまで一例にすぎず、当業者において、発明の主旨を保っての適宜変更について容易に想到し得るものについては、当然に本発明の範囲に含有されるものである。また、図面は説明をより明確にするため、実際の態様に比べ、各部の幅、厚さ、形状等について模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。また、本明細書と各図において、既出の図に関して前述したものと同様の要素には、同一の符号を付して、詳細な説明を適宜省略することがある。
　図１は、本実施形態における電子機器１００の一構成例を示す分解斜視図である。図１に示すように、方向Ｘ、方向Ｙ及び方向Ｚは、互いに直交しているが、９０度以外の角度で交差していてもよい。
　電子機器１００は、表示装置としての液晶表示装置ＤＳＰと、カメラ１とを備えている。液晶表示装置ＤＳＰは、表示パネルとしての液晶パネルＰＮＬと、照明装置（バックライト）ＩＬとを備えている。
　照明装置ＩＬは、導光体ＬＧ１と、光源ＥＭと、ケースＣＳとを備えている。このような照明装置ＩＬは、例えば図１において破線で簡略化して示す液晶パネルＰＮＬを照明するものである。
　導光体ＬＧ１は、方向Ｘ及び方向Ｙによって規定されるＸ－Ｙ平面と平行な平板状に形成されている。導光体ＬＧ１は、液晶パネルＰＮＬに対向している。導光体ＬＧ１は、側面ＳＡと、側面ＳＡの反対側の側面ＳＢと、カメラ１を囲んだ貫通孔ｈ１とを有している。側面ＳＡ及びＳＢは、それぞれ方向Ｘに延出している。例えば、側面ＳＡ及びＳＢは、方向Ｘ及び方向Ｚによって規定されるＸ－Ｚ平面と平行な面である。貫通孔ｈ１は、導光体ＬＧ１を方向Ｚに沿って貫通している。貫通孔ｈ１は、方向Ｙにおいて、側面ＳＡ及びＳＢとの間に位置し、側面ＳＡよりも側面ＳＢに近接している。
　複数の光源ＥＭは、方向Ｘに間隔を置いて並んでいる。光源ＥＭの各々は配線基板Ｆ１に実装され、配線基板Ｆ１と電気的に接続されている。光源ＥＭは、例えば発光ダイオード（ＬＥＤ）であり、白色の照明光を出射する。光源ＥＭから出射される照明光は、側面ＳＡから導光体ＬＧ１へ入射し、側面ＳＡから側面ＳＢに向かって導光体ＬＧ１の内部を進行する。
　ケースＣＳは、導光体ＬＧ１及び光源ＥＭを収容している。ケースＣＳは、側壁Ｗ１～Ｗ４と、底板ＢＰと、貫通孔ｈ２と、突部ＰＰとを有している。側壁Ｗ１及びＷ２は、方向Ｘに延出し、方向Ｙに対向している。側壁Ｗ３及びＷ４は、方向Ｙに延出し、方向Ｘに対向している。貫通孔ｈ２は、方向Ｚにおいて、貫通孔ｈ１に重なっている。突部ＰＰは、底板ＢＰに固定されている。突部ＰＰは、方向Ｚに沿って底板ＢＰから液晶パネルＰＮＬに向かって突出し、貫通孔ｈ２を囲んでいる。
　導光体ＬＧ１は、液晶パネルＰＮＬに重なっている。カメラ１は、配線基板Ｆ２に実装され、配線基板Ｆ２と電気的に接続されている。カメラ１は、貫通孔ｈ２、突部ＰＰの内部及び貫通孔ｈ１を通り、液晶パネルＰＮＬと対向している。
　図２は、電子機器１００のカメラ１周辺を示す断面図である。図２に示すように、照明装置ＩＬは、更に、光反射シートＲＳ、光拡散シートＳＳ、プリズムシートＰＳ１及びＰＳ２を備えている。
　光反射シートＲＳ、導光体ＬＧ１、光拡散シートＳＳ、プリズムシートＰＳ１及びＰＳ２は、方向Ｚに順に配置され、ケースＣＳに収容されている。ケースＣＳは、金属製のケースＣＳ１と、周辺部材としての樹脂製の遮光壁ＣＳ２とを備えている。遮光壁ＣＳ２は、カメラ１と隣り合い、ケースＣＳ１とともに突部ＰＰを形成している。遮光壁ＣＳ２は、カメラ１と導光体ＬＧ１との間に位置し、筒状の形状を形成している。遮光壁ＣＳ２は、黒色樹脂等の光を吸収する樹脂で形成されている。光拡散シートＳＳ、プリズムシートＰＳ１及びＰＳ２は、それぞれ、貫通孔ｈ１に重ねられた貫通孔を有している。突部ＰＰは、貫通孔ｈ１の内側に位置している。
　液晶パネルＰＮＬは、偏光板ＰＬ１及びＰＬ２を更に有している。液晶パネルＰＮＬ及びカバー部材としてのカバーガラスＣＧは、方向Ｚに配置され、方向Ｚに進行する光に対して、光学的なスイッチ機能を備えた液晶素子ＬＣＤを構成している。液晶素子ＬＣＤは、粘着テープＴＰ１により照明装置ＩＬに貼り付けられている。粘着テープＴＰ１は、突部ＰＰ、プリズムシートＰＳ２及び偏光板ＰＬ１に粘着されている。
　液晶パネルＰＮＬは、基板主面に沿った横電界を利用する表示モード、基板主面の法線に沿った縦電界を利用する表示モード、基板主面に対して斜め方向に傾斜した傾斜電界を利用する表示モード、更には、上記の横電界、縦電界及び傾斜電界を適宜組み合わせて利用する表示モードに対応したいずれの構成であってもよい。ここでの基板主面とは、Ｘ－Ｙ平面に平行な面である。
　液晶パネルＰＮＬは、画像を表示する表示領域ＤＡと、表示領域ＤＡの外側の非表示領域ＮＤＡと、表示領域ＤＡに囲まれ、円形状を有する入射光制御領域ＰＣＡとを備えている。なお、本実施形態においては、入射光制御領域ＰＣＡが円形状であるものとして説明するが、当該入射光制御領域ＰＣＡの形状は円形状以外であってもよい。
　液晶パネルＰＮＬは、第１基板ＳＵＢ１と、第２基板ＳＵＢ２と、液晶層ＬＣと、シール材ＳＥとを備えている。
　シール材ＳＥは、非表示領域ＮＤＡに位置し、第１基板ＳＵＢ１と第２基板ＳＵＢ２とを接合している。液晶層ＬＣは、表示領域ＤＡ及び入射光制御領域ＰＣＡと重畳する位置に配置され、第１基板ＳＵＢ１と第２基板ＳＵＢ２との間に保持されている。液晶層ＬＣは、第１基板ＳＵＢ１、第２基板ＳＵＢ２及びシール材ＳＥで囲まれた空間に形成されている。
　照明装置ＩＬから照射された光の透過量を液晶パネルＰＮＬで制御することで、表示領域ＤＡに画像が表示される。電子機器１００の使用者はカバーガラスＣＧの方向Ｚ側に位置し、液晶パネルＰＮＬからの出射光を画像としてみることになる。一方、入射光制御領域ＰＣＡにおいても液晶パネルＰＮＬによって光の透過量が制御されるが、光はカバーガラスＣＧの方向Ｚ側から液晶パネルＰＮＬを経てカメラ１に入射する。
　なお、本実施形態においては、照明装置ＩＬから液晶パネルＰＮＬを経てカバーガラスＣＧ側に向かう光を出射光と称し、カバーガラスＣＧ側から液晶パネルＰＮＬを経てカメラ１に向かう光を入射光と称する。
　ここで、第１基板ＳＵＢ１及び第２基板ＳＵＢ２の主要部について説明する。第１基板ＳＵＢ１は、絶縁基板１０と、配向膜ＡＬ１とを備えている。第２基板ＳＵＢ２は、絶縁基板２０と、カラーフィルタＣＦと、遮光層ＢＭと、透明層ＯＣと、配向膜ＡＬ２とを備えている。
　絶縁基板１０及び２０は、ガラス基板や可撓性を有する樹脂基板等の透明基板である。配向膜ＡＬ１及びＡＬ２は、液晶層ＬＣに接している。
　カラーフィルタＣＦ、遮光層ＢＭ及び透明層ＯＣは、絶縁基板２０と液晶層ＬＣとの間に位置している。なお、図示した例では、カラーフィルタＣＦは、第２基板ＳＵＢ２に設けられているが、第１基板ＳＵＢ１に設けられてもよい。カラーフィルタＣＦは、表示領域ＤＡに位置している。
　入射光制御領域ＰＣＡは、少なくとも最外周に位置し、円環の形状を有する遮光領域ＬＳＡと、当該遮光領域ＬＳＡで囲まれ、遮光領域ＬＳＡに接した光透過領域ＴＡとを有している。
　遮光層ＢＭは、表示領域ＤＡに位置し、画素を区画する遮光部と、非表示領域ＮＤＡに位置した枠上の遮光部とを含んでいる。また、入射光制御領域ＰＣＡにおいて、遮光層ＢＭは、少なくとも遮光領域ＬＳＡに位置し、光透過領域ＴＡに位置した開口ＯＰ１を形成する。
　透明層ＯＣは、表示領域ＤＡにおいてはカラーフィルタＣＦに接し、非表示領域ＮＤＡにおいては遮光層ＢＭに接し、遮光領域ＬＳＡにおいては遮光層ＢＭに接し、光透過領域ＴＡにおいては絶縁基板２０に接している。
　配向膜ＡＬ１及びＡＬ２は、表示領域ＤＡ、入射光制御領域ＰＣＡ及び非表示領域ＮＤＡにわたって設けられている。
　カラーフィルタＣＦの詳細についてはここでは省略するが、カラーフィルタＣＦは、例えば赤色を表示する画素に配置される赤色の着色層、緑色を表示する画素に配置される緑色の着色層及び青色を表示する画素に配置される青色の着色層を備えている。また、カラーフィルタＣＦは、白色を表示する画素に配置される透明樹脂層を備える場合もある。透明層ＯＣは、カラーフィルタＣＦ及び遮光層ＢＭを覆っている。透明層ＯＣは、例えば透明な有機絶縁層である。
　カメラ１は、ケースＣＳの貫通孔ｈ２の内部に位置している。カメラ１は、方向Ｚにおいて、カバーガラスＣＧ及び液晶パネルＰＮＬに重なっている。なお、液晶パネルＰＮＬは、入射光制御領域ＰＣＡにて、偏光板ＰＬ１及びＰＬ２以外の光学シートを更に備えていてもよい。このような光学シートとしては、位相差板、光散乱層、光反射防止層等が挙げられる。液晶パネルＰＮＬ及びカメラ１等を備える電子機器１００において、当該カメラ１は、当該電子機器１００の使用者から見て、液晶パネルＰＮＬの奥側に設けられている。
　カメラ１は、例えば少なくとも１つのレンズを含む光学系２と、撮像素子（イメージセンサ）３と、ケース４とを備えている。撮像素子３は、液晶パネルＰＮＬ側を向いた撮像面３ａを含んでいる。光学系２は、液晶パネルＰＮＬの入射光制御領域ＰＣＡに対向している。光学系２は、撮像面３ａと液晶パネルＰＮＬとの間に位置し、液晶パネルＰＮＬ側を向いた入光面２ａを含んでいる。入光面２ａは、入射光制御領域ＰＣＡに重なっている。光学系２は、液晶パネルＰＮＬに隙間を空けて位置している。ケース４は、光学系２及び撮像素子３を収容している。
　なお、図２においては省略されているが、ケース４の上部には、カメラ１で撮影する被写体を照明するための光源が設けられていてもよい。
　カメラ１の撮像素子３は、カバーガラスＣＧ、液晶パネルＰＮＬ及び光学系２を介して受光する。撮像素子３は、液晶パネルＰＮＬの入射光制御領域ＰＣＡ及び光学系２等を透過した入射光を画像（データ）に変換するように構成されている。なお、カメラ１（撮像素子３）は、例えばカバーガラスＣＧ及び液晶パネルＰＮＬを透過した可視光（例えば、４００ｎｍ～７００ｎｍの波長範囲の光）を画像に変換するように構成されているが、更に、赤外光（例えば、８００ｎｍ～１５００ｎｍの波長範囲の光）を画像に変換するように構成されていてもよい。
　偏光板ＰＬ１は、絶縁基板１０に接着されている。偏光板ＰＬ２は、絶縁基板２０に接着されている。カバーガラスＣＧは、透明接着層ＡＤによって偏光板ＰＬ２に貼り付けられている。
　また、液晶層ＬＣからの電界等の影響を受けないようにするため、偏光板ＰＬ２と絶縁基板２０との間に透明導電層を設ける場合がある。このような透明導電層は、インジウム・ティン・オキサイド（ＩＴＯ）やインジウム・ジンク・オキサイド（ＩＺＯ）等の透明な導電材料で形成されている。
　液晶パネルＰＮＬは、画像を表示する側の第１面Ｓ１と、第１面Ｓ１とは反対側の第２面Ｓ２とを有している。本実施形態において、偏光板ＰＬ２は第１面Ｓ１を有し、偏光板ＰＬ１は第２面Ｓ２を有している。
　なお、表示領域ＤＡ及び入射光制御領域ＰＣＡは、第１基板ＳＵＢ１、第２基板ＳＵＢ２及び液晶層ＬＣと重畳する領域である。
　図３は、図２に示す液晶パネルＰＮＬ及びカメラ１の配置等を示す平面図である。また、図３においては、１つの画素ＰＸの等価回路を併せて示している。
　図３に示すように、表示領域ＤＡは、実質的に四角形の領域であるが、４つの角が丸みを有していてもよく、四角形以外の多角形や円形の領域であってもよい。表示領域ＤＡは、シール材ＳＥで囲まれている。
　液晶パネルＰＮＬは、方向Ｘに沿って延出した一対の短辺Ｅ１１及びＥ１２と、方向Ｙに沿って延出した一対の長辺Ｅ１３及びＥ１４とを有している。液晶パネルＰＮＬは、表示領域ＤＡにおいて、方向Ｘ及び方向Ｙにマトリクス状に配列された複数の画素ＰＸを備えている。表示領域ＤＡにおける各画素ＰＸは、同一の回路構成を有している。
　図３において拡大して示すように、各画素ＰＸは、スイッチング素子ＳＷ、画素電極ＰＥ、共通電極ＣＥ、液晶層ＬＣ及び容量ＣＰ等を備えている。
　スイッチング素子ＳＷは、例えば薄膜トランジスタ（ＴＦＴ：Thin Film Transistor）によって構成されている。スイッチング素子ＳＷは、複数の走査線Ｇのうちの対応する１つの走査線Ｇと、複数の信号線Ｓのうちの対応する１つの信号線Ｓと、画素電極ＰＥとに電気的に接続されている。走査線Ｇには、スイッチング素子ＳＷを制御するための制御信号が与えられる。信号線Ｓには、制御信号とは異なる信号として、映像信号等の画像信号が与えられる。
　共通電極ＣＥには、共通電圧が与えられる。液晶層ＬＣは、画素電極ＰＥと共通電極ＣＥとの間に生じる電圧（電界）によって駆動される。
　容量ＣＰは、例えば共通電極ＣＥと同電位の電極と、画素電極ＰＥと同電位の電極との間に形成される。
　液晶パネルＰＮＬは、配線基板５及びドライバ６（ディスプレイドライバ）を更に備えている。配線基板５は、第１基板ＳＵＢ１の延出部Ｅｘに実装され、当該延出部Ｅｘに連結されている。ドライバ６は、配線基板５に実装され、当該配線基板５に電気的に接続されている。なお、ドライバ６は、延出部Ｅｘに実装され、延出部Ｅｘに電気的に接続されていてもよい。ドライバ６は、例えば画像表示に必要な信号を出力して液晶パネルＰＮＬ（液晶層ＬＣ）を駆動するように構成されており、ＩＣチップとして実装されている。配線基板５は、折り曲げ可能なフレキシブルプリント回路基板であってもよい。
　図３において、電子機器１００は表示領域ＤＡ内にカメラ１を備えているが、当該カメラ１は、図３に示す平面図の表示領域ＤＡ内の上部中央に配置されている。また、カメラ１と重畳する位置には入射光制御領域ＰＣＡが配置されている。
　図４は、液晶パネルＰＮＬの画素ＰＸを示す断面図である。図４は、横電界を利用する表示モードの１つであるＦＦＳ（Fringe Field Switching）モードに対応した液晶パネルＰＮＬの構成を示している。
　図４に示すように、第１基板ＳＵＢ１は、絶縁基板１０と配向膜ＡＬ１との間に、絶縁層１１、信号線Ｓ、絶縁層１２、共通電極ＣＥ、金属層ＭＬ、絶縁層１３及び画素電極ＰＥ等を備えている。また、第１基板ＳＵＢ１の外側には、偏光板ＰＬ１が形成されている。
　絶縁層１１は、絶縁基板１０の上に設けられている。なお、詳しい説明については省略するが、絶縁基板１０と絶縁層１１との間には、上記した走査線Ｇ、スイッチング素子ＳＷのゲート電極及び半導体層、他の絶縁層等が配置されている。信号線Ｓは、絶縁層１１の上に形成されている。絶縁層１２は、絶縁層１１及び信号線Ｓの上に設けられている。
　共通電極ＣＥは、絶縁層１２の上に設けられている。金属層ＭＬは、共通電極ＣＥの上に設けられ、当該共通電極ＣＥに接している。金属層ＭＬは、信号線Ｓの直上に位置している。なお、図４に示す例において、第１基板ＳＵＢ１は金属層ＭＬを備えているが、金属層ＭＬは省略されてもよい。絶縁層１３は、共通電極ＣＥ及び金属層ＭＬの上に設けられている。
　画素電極ＰＥは、絶縁層１３の上に形成されている。画素電極ＰＥは、隣り合う信号線Ｓの間にそれぞれ位置し、共通電極ＣＥと対向している。また、画素電極ＰＥは、共通電極ＣＥと対向する位置にスリットを有している。共通電極ＣＥ及び画素電極ＰＥは、ＩＴＯ及びＩＺＯ等の透明な導電材料によって形成されている。
　絶縁層１３は、共通電極ＣＥと画素電極ＰＥとで挟まれている。配向膜ＡＬ１は、絶縁層１３及び画素電極ＰＥの上に設けられ、当該画素電極ＰＥ等を覆っている。
　一方、第２基板ＳＵＢ２は、絶縁基板２０の第１基板ＳＵＢ１に対向する側に、遮光層ＢＭ、カラーフィルタＣＦ、透明層ＯＣ及び配向膜ＡＬ２等を備えている。
　遮光層ＢＭは、絶縁基板２０の内面に形成されている。遮光層ＢＭは、信号線Ｓ及び金属層ＭＬの直上に位置している。カラーフィルタＣＦは、絶縁基板２０の内面に形成され、一部が遮光層ＢＭと重なっている。透明層ＯＣは、カラーフィルタＣＦを覆っている。配向膜ＡＬ２は、透明層ＯＣを覆っている。また、第２基板ＳＵＢ２の外側には偏光板ＰＬ２が形成されている。
　なお、液晶パネルＰＮＬは、表示領域ＤＡにおいて遮光層ＢＭを形成しない構成とすることができる。この場合、表示領域ＤＡにおいて、例えば金属層ＭＬを格子状に形成し、遮光層ＢＭの代わりに当該金属層ＭＬに遮光機能を持たせる構成とすることができる。
　ここで、例えば偏光板ＰＬ１及びＰＬ２の透過軸が直交しており、画素ＰＸにおいて、画素電極ＰＥと共通電極ＣＥとの間に電圧（電界）が生じておらず、液晶層ＬＣに電圧が印加されていないオフ状態では、液晶層ＬＣに含まれる液晶分子は、配向膜ＡＬ１及びＡＬ２の間で偏光板ＰＬ１の透過軸方向に初期配向している。したがって、液晶層ＬＣにおいて位相差が生じず、偏光板ＰＬ１及びＰＬ２の透過軸が直交しているために、画素ＰＸは最小透過率となり、黒を表示する。つまり、画素ＰＸにおいて液晶パネルＰＮＬは、遮光機能を発揮する。
　一方、画素ＰＸにおいて、画素電極ＰＥと共通電極ＣＥとの間に生じる電圧（電界）が液晶層ＬＣに印加されたオン状態では、液晶分子は初期配向方向とは異なる方向に配向し、その配向方向は電界によって制御される。したがって、液晶層ＬＣにおいて位相差が生じ、画素ＰＸにおいて、液晶パネルＰＮＬは、光透過（透光）機能を発揮する。このため、オン状態の画素ＰＸは、カラーフィルタに応じた色を表示する。
　本実施形態における液晶パネルＰＮＬの方式は、オフ状態で黒を表示するノーマリーブラック方式を想定しているが、オン状態で黒を表示する（オフ状態で白を表示する）ノーマリーホワイト方式であってもよい。
　画素電極ＰＥ及び共通電極ＣＥのうち液晶層ＬＣに近接した方の電極は画素電極ＰＥであり、当該画素電極ＰＥは、上記したように表示電極として機能している。ただし、画素電極ＰＥ及び共通電極ＣＥのうちの液晶層ＬＣに近接した方の電極が共通電極ＣＥであってもよい。この場合、共通電極ＣＥは、スリットを有するように形成され、表示電極として機能する。
　図５は、液晶パネルＰＮＬの入射光制御領域ＰＣＡを示す断面図である。図５においては、信号線Ｓ及び走査線Ｇ等は省略されている。また、図５においては、上記した図４と同一の部分に同一参照符号を付して、その詳しい説明を省略する。
　図５に示すように、絶縁層１３を挟んで形成される２つの導体のうちの一方の導体は、画素電極ＰＥ及び共通電極ＣＥの一方の電極と同一層に設けられ、当該一方の電極と同一材料で形成されている。また、上記した２つの導体のうちの他方の導体は、画素電極ＰＥ及び共通電極ＣＥの他方の電極と同一層に設けられ、当該他方の電極と同一材料で形成されている。
　図５において、第１配線ＷＬ１及び第１制御電極ＲＬ１は、絶縁層１２の上に設けられ、絶縁層１３で覆われている。第１配線ＷＬ１及び第１制御電極ＲＬ１は、共通電極ＣＥと同一層に設けられ、共通電極ＣＥと同一の透明な導電材料で形成されている。
　第２配線ＷＬ２及び第２制御電極ＲＬ２は、絶縁層１３の上に設けられ、配向膜ＡＬ１で覆われている。第２配線ＷＬ２及び第２制御電極ＲＬ２は、画素電極ＰＥと同一層に設けられ、画素電極ＰＥと同一の透明な導電材料で形成されている。
　図５に示す例では、絶縁層１３が第１制御電極ＲＬ１と第２制御電極ＲＬ２とで挟まれているが、第１制御電極ＲＬ１と第２制御電極ＲＬ２とは同層に形成されてもよい。
　入射光制御領域ＰＣＡにおいて、配向膜ＡＬ１は、第２配線ＷＬ２及び第２制御電極ＲＬ２を覆い、液晶層ＬＣに接している。
　第２基板ＳＵＢ２において、カラーフィルタＣＦは入射光制御領域ＰＣＡには設けられていない。
　液晶層ＬＣには、第１制御電極ＲＬ１及び第２制御電極ＲＬ２によって生じる電圧が印加される。この場合、図示しない引き回し線を介して第１制御電極ＲＬ１に第１制御電圧が与えられ、第２制御電極ＲＬ２に第２制御電圧が与えられるが、当該第１制御電圧は画像信号及び共通電圧の一方と電圧レベルが同一であってもよく、第２制御電圧は画像信号及び共通電圧の他方と電圧レベルが同一であってもよい。
　また、第１制御電圧は、共通電圧に対して第１極性の電圧レベルを有していてもよく、第２制御電圧は、共通電圧に対して第２極性の電圧レベルを有していてもよい。なお、上記した第１極性及び第２極性は、一方は正極性であり、他方は負極性である。
　なお、本実施形態においては光透過領域ＴＡに光を透過させるように入射光制御領域ＰＣＡと重畳する位置に配置された液晶層ＬＣを駆動するが、このような制御は、液晶パネルＰＮＬに備えられるドライバ６によって実行される。
　上記した液晶パネルＰＮＬの方式が例えばノーマリーブラック方式である場合、ドライバ６は、入射光制御領域ＰＣＡ（光透過領域ＴＡ）と重畳する位置に形成されている液晶層ＬＣに対して、第１制御電極ＲＬ１及び第２制御電極ＲＬ２によって生じる電圧を印加する（つまり、液晶層ＬＣをオン状態にする）ことによって、光透過領域ＴＡに光を透過させる。これによれば、光透過領域ＴＡを透過した光が撮像素子３に入射され、当該撮像素子３は、当該入射された光を画像に変換することができる。
　一方、ドライバ６は、入射光制御領域ＰＣＡ（光透過領域ＴＡ）と重畳する位置に形成されている液晶層ＬＣに対して電圧を印加しない（つまり、液晶層ＬＣをオフ状態にする）ことによって、光透過領域ＴＡに光を透過させないようにすることもできる。
　ところで、本実施形態においては、上記したように光透過領域ＴＡを透過して撮像素子３に入射した光に基づく画像（つまり、カメラ１によって撮影された被写体の画像）を利用して、当該カメラ１から当該画像中の被写体までの距離（以下、単に被写体の距離と表記）を計算する場合を考える。
　被写体の距離を画像から計算する技術としては、例えば符号化開口技術を利用することができる。詳しい説明については省略するが、符号化開口技術は、被写体の位置に応じて画像に生じるぼけを解析することによって当該被写体の距離を計算する技術である。
　すなわち、上記した符号化開口技術を利用すれば、画像に基づいて被写体の距離を計算し、当該被写体の距離を表すデプスマップを作成するような用途に電子機器１００を用いることができる。なお、被写体の距離を計算する処理及びデプスマップを作成する処理等は、所定のアプリケーションプログラムに従って動作する電子機器１００が備えるＣＰＵ等によって実行されればよい。
　以下、図６及び図７を参照して、上記した被写体の距離を計算するために用いられるカメラモジュールの概要について説明する。なお、本実施形態において、カメラモジュールとは、被写体を撮影するためのカメラ１（レンズを含む光学系２及び撮像素子３）と、光透過領域ＴＡを介して当該撮像素子３に光を入射させるように液晶層ＬＣを駆動する液晶パネルＰＮＬとを備えたものであるものとする。
　図６は、カメラモジュールと被写体との位置関係を示している。まず、図６において、カメラ１（電子機器１００）から比較的遠い位置にいる被写体２００ａの距離を計算する場合を想定する。一般的に、カメラ１においては例えば光学系２に含まれるレンズ２ｂと撮像素子３との間の距離を変化させることによって被写体２００ａにピントが合っている状態で当該被写体２００ａを撮影することができるが、図６に示すように、当該被写体２００ａにピントが合っていない状態で当該被写体２００ａを撮影した場合には、結像位置と撮像素子３の撮像面３ａの位置とにずれが生じるため、撮像素子３に入射した光に基づく画像にはぼけが生じる。
　上記した符号化開口技術によれば、このように画像に生じているぼけに基づいて被写体２００ａまでの距離が計算される。
　次に、カメラ１から比較的近い位置にいる被写体２００ｂまでの距離を計算する場合を想定する。被写体２００ｂまでの距離を計算する場合には、上記したように当該被写体２００ｂにピントが合っていない状態で当該被写体２００ｂを撮影するが、図６に示すように、カメラ１から被写体２００ｂまでの距離が近い場合、光透過領域ＴＡ及びレンズ２ｂを透過した光の一部が撮像素子３に入射しない。この場合、撮像素子３に入射した光に基づく画像から被写体２００ｂの距離が計算されたとしても、撮像素子３に入射しない光（ぼけ）の情報を当該被写体２００ｂの距離の計算に利用することができないため、当該距離には誤差が生じる（つまり、当該距離の精度が低くなる）ことが考えられる。
　この場合、例えば図７に示すように、光透過領域ＴＡのサイズを小さくすることによって、当該光透過領域ＴＡ及びレンズ２ｂを透過した光の全てが撮像素子３に入射するようにすることができる。これによれば、上記した図６に示すように光透過領域ＴＡのサイズが大きい場合と比較して、被写体２００ｂの距離の精度を向上させることができる。
　なお、光透過領域ＴＡのサイズを小さくした場合には、撮像素子３に入射する光量が低下するため、常に小さなサイズの光透過領域ＴＡを用いることは好ましくない。
　そこで、本実施形態においては、被写体がカメラ１から遠い位置にいる場合と近い位置にいる場合とを考慮して、光透過領域ＴＡのサイズを切り替えることが可能な構成を採用する。また、上記したように画像から被写体の距離を計算する場合、例えば図８に示すように２つの光透過領域ＴＡ（符号化開口対）を用意し、一方の光透過領域ＴＡを透過した光に基づく画像（に生じるぼけ）及び他方の光透過領域ＴＡを透過した光に基づく画像（に生じるぼけ）を利用することが、当該距離の精度の向上に寄与すると考えられる。
　以下、本実施形態に係るカメラモジュールの構成について説明する。図９は、本実施形態のカメラモジュールに備えられる液晶パネルＰＮＬの入射光制御領域ＰＣＡを模式的に示す平面図である。
　図９に示すように、本実施形態に係るカメラモジュールＣＭにおいて、液晶パネルＰＮＬは、複数の光透過領域ＴＡを有する入射光制御領域ＰＣＡを備えている。具体的には、図９に示す例では、入射光制御領域ＰＣＡは、第１～第４光透過領域ＴＡ１～ＴＡ４を有している。
　本実施形態において、第１光透過領域ＴＡ１のサイズ及び形状は、第２光透過領域ＴＡ２のサイズ及び形状と同一である。なお、第１光透過領域ＴＡ１及び第２光透過領域ＴＡ２は、第１符号化開口対を構成する。
　また、第３光透過領域ＴＡ３のサイズ及び形状は、第４光透過領域ＴＡ４のサイズ及び形状と同一である。なお、第３光透過領域ＴＡ３及び第４光透過領域ＴＡ４は、第２符号化開口対を構成する。
　更に、本実施形態において、第１光透過領域ＴＡ１及び第２光透過領域ＴＡ２のサイズは、第３光透過領域ＴＡ３及び第４光透過領域ＴＡ４のサイズよりも小さい。
　すなわち、本実施形態においては、符号化開口対を２つ（２対）用意し、当該２つの符号化開口対のうちの一方をピンホールのようなサイズに形成することで、上記した被写体が近距離の位置に存在するような場合でも当該被写体の距離を高い精度で計算することができるようになる。換言すれば、第１光透過領域ＴＡ１及び第２光透過領域ＴＡ２から構成される第１符号化開口対は被写体がカメラ１から近距離の位置に存在する場合に好適な符号化開口対であり、第３光透過領域ＴＡ３及び第４光透過領域ＴＡ４から構成される第２符号化開口対は被写体がカメラ１から中距離または遠距離の位置に存在する場合に好適な符号化開口対であるといえる。
　なお、近距離用の開口に関して、第１光透過領域ＴＡ１のサイズ及び形状は第２光透過領域ＴＡ２のサイズ及び形状と同一でなくてもよい。また中距離または遠距離に関して、第３光透過領域ＴＡ３のサイズ及び形状は第４光透過領域ＴＡ４のサイズ及び形状と同一でなくてもよい。
　次に、図１０のフローチャートを参照して、被写体の距離を計算する際のカメラモジュールの動作の一例について説明する。
　まず、被写体の距離を計算するためにはカメラ１で被写体を撮影する必要があるが、この場合、液晶パネルＰＮＬに備えられるドライバ６は、第１光透過領域ＴＡ１に光を透過させるために、当該第１光透過領域ＴＡ１と重畳する位置に形成されている液晶層ＬＣ（以下、第１光透過領域ＴＡ１の液晶層ＬＣと表記）に対して電圧を印加し、当該液晶層ＬＣを透過状態にする（ステップＳ１）。この場合、第２光透過領域ＴＡ２と重畳する位置に形成されている液晶層ＬＣ（以下、第２光透過領域ＴＡ２の液晶層ＬＣと表記）、第３光透過領域ＴＡ３と重畳する位置に形成されている液晶層ＬＣ（以下、第３光透過領域ＴＡ３の液晶層ＬＣと表記）及び第４光透過領域ＴＡ４と重畳する位置に形成されている液晶層ＬＣ（以下、第４光透過領域ＴＡ４の液晶層ＬＣと表記）は非透過状態である。
　ステップＳ１の処理が実行された場合、第１光透過領域ＴＡ１を透過して撮像素子３に入射された光（入射光）に基づく画像（以下、第１画像と表記）が出力される（ステップＳ２）。
　次に、ドライバ６は、第２光透過領域ＴＡ２に光を透過させるために、当該第２光透過領域ＴＡ２の液晶層ＬＣを透過状態にする（ステップＳ３）。この場合、第１光透過領域ＴＡ１、第３光透過領域ＴＡ３及び第４光透過領域ＴＡ４の各々の液晶層ＬＣは非透過状態である。
　ステップＳ３の処理が実行された場合、第２光透過領域ＴＡ２を透過して撮像素子３に入射された光（入射光）に基づく画像（以下、第２画像と表記）が出力される（ステップＳ４）。
　ここで、電子機器１００（のＣＰＵ等）は、ステップＳ２において出力された第１画像及びステップＳ４において出力された第２画像に生じているぼけに基づいて被写体の距離を計算する処理を実行する。
　次に、ドライバ６は、第３光透過領域ＴＡ３に光を透過させるために、当該第３光透過領域ＴＡ３の液晶層ＬＣを透過状態にする（ステップＳ５）。この場合、第１光透過領域ＴＡ１、第２光透過領域ＴＡ２及び第４光透過領域ＴＡ４の各々の液晶層ＬＣは非透過状態である。
　ステップＳ５の処理が実行された場合、第３光透過領域ＴＡ３を透過して撮像素子３に入射された光（入射光）に基づく画像（以下、第３画像と表記）が出力される（ステップＳ６）。
　更に、ドライバ６は、第４光透過領域ＴＡ４に光を透過させるために、当該第４光透過領域ＴＡ４の液晶層ＬＣを透過状態にする（ステップＳ７）。この場合、第１光透過領域ＴＡ１、第２光透過領域ＴＡ２及び第３光透過領域ＴＡ３の各々の液晶層ＬＣは非透過状態である。
　ステップＳ７の処理が実行された場合、第４光透過領域ＴＡ４を透過して撮像素子３に入射された光（入射光）に基づく画像（以下、第４画像と表記）が出力される（ステップＳ８）。
　ここで、電子機器１００（のＣＰＵ等）は、上記したステップＳ６において出力された第３画像及びステップＳ８において出力された第４画像に生じているぼけに基づいて被写体の距離を計算する処理を実行する。
　上記したように本実施形態に係るカメラモジュールＣＭは、撮像素子３と、液晶パネルＰＮＬと、レンズ２ｂと備え、液晶パネルＰＮＬは、当該撮像素子３に光を入射させる位置に配置された第１～第４光透過領域ＴＡ１～ＴＡ４を有する入射光制御領域ＰＣＡと、当該入射光制御領域ＰＣＡと重畳する位置に配置された液晶層ＬＣと、当該第１～第４光透過領域ＴＡ１～ＴＡ４の各々に光を透過させるように当該液晶層ＬＣを駆動するドライバ６とを備える。また、本実施形態において、第３及び第４光透過領域ＴＡ３及びＴＡ４のサイズは、第１及び第２光透過領域ＴＡ１及びＴＡ２のサイズよりも小さい。
　なお、本実施形態においては、液晶層ＬＣの駆動によって第１光透過領域ＴＡ１及びレンズ２ｂを透過して撮像素子３に入射された光に基づく第１画像と、当該液晶層ＬＣの駆動によって第２光透過領域ＴＡ２及びレンズ２ｂを透過して撮像素子３に入射された光に基づく第２画像とに基づいて、当該第１及び第２画像中の被写体までの第１距離が計算される。また、本実施形態においては、液晶層ＬＣの駆動によって第３光透過領域ＴＡ３及びレンズ２ｂを透過して撮像素子３に入射された光に基づく第３画像と、当該液晶層ＬＣの駆動によって第４光透過領域ＴＡ４及びレンズ２ｂを透過して撮像素子３に入射された光に基づく第４画像とに基づいて、当該第３及び第４画像中の被写体までの第２距離が計算される。
　本実施形態においては、上記した構成により、例えば被写体がカメラ１（電子機器１００）から比較的遠い位置に存在する場合には第１距離を利用し、当該被写体がカメラ１（電子機器１００）から比較的近い位置に存在する場合には第２距離を利用することができるため、上記した図６において説明したように被写体が近距離に存在するような場合に計算される被写体の距離の精度が低下することを回避する（つまり、画像から計算される距離の精度を向上させる）ことができる。
　なお、画像から計算される被写体の距離の精度を向上させるために、例えば格子パターン等を介して入射した光に基づく画像を利用する構成が考えられるが、本実施形態は、このような構成と比較して、格子パターンを用意し配置するような手間を軽減することができる。
　ここで、本実施形態においては、図９に示すように、第１光透過領域ＴＡ１及び第２光透過領域ＴＡ２が方向Ｘに並んで配置され、第３光透過領域ＴＡ３及び第４光透過領域ＴＡ４が方向Ｙに並んで配置される例について説明したが、入射光制御領域ＰＣＡは、第１光透過領域ＴＡ１及び第２光透過領域ＴＡ２が方向Ｙに並んで配置され、第３光透過領域ＴＡ３及び第４光透過領域ＴＡ４が方向Ｘに並んで配置されるように構成されていても構わない。
　また、例えば第１光透過領域ＴＡ１を透過した入射光に基づく第１画像と第２光透過領域ＴＡ２を透過した入射光に基づく第２画像とに基づいて計算される距離が例えば３次元座標を用いて表されるものとすると、図９に示すように第１光透過領域ＴＡ１及び第２光透過領域ＴＡ２が方向Ｘに並んで配置されている場合、被写体の距離を計算する際に方向Ｙ（つまり、Ｙ座標）の誤差が生じる場合がある。同様に、例えば第３光透過領域ＴＡ３を透過した入射光に基づく第３画像と第４光透過領域ＴＡ４を透過した入射光に基づく第４画像とに基づいて計算される距離が例えば３次元座標を用いて表されるものとすると、図９に示すように第３光透過領域ＴＡ３及び第４光透過領域ＴＡ４が方向Ｙに並んで配置されている場合、被写体の距離を計算する際に方向Ｘ（つまり、Ｘ座標）の誤差が生じる場合がある。
　このため、本実施形態における入射光制御領域ＰＣＡにおいて、第１～第４光透過領域ＴＡ１～ＴＡ４は、図１１に示すように配置されていてもよい。図１１に示す例では、第１光透過領域ＴＡ１及び第２光透過領域ＴＡ２は、方向Ｘ（または方向Ｙ）に対して斜め方向に並べて配置されている。一方、第３光透過領域ＴＡ１及び第４光透過領域ＴＡ４は第１光透過領域ＴＡ１及び第２光透過領域ＴＡ２が並べて配置されている方向と直交する方向に並べて配置されている。換言すれば、図１１に示す入射光制御領域ＰＣＡは、図９に示す入射光制御領域ＰＣＡを右方向に２２．５度回転させた構成に相当する。このような構成によれば、上記した方向Ｘまたは方向Ｙの誤差を緩和することができる可能性がある。
　また、本実施形態においては、第１光透過領域ＴＡ１及び第２光透過領域ＴＡ２から構成される第１符号化開口対と第３光透過領域ＴＡ３及び第４光透過領域ＴＡ４から構成される第２符号化開口対とが用意された構成であればよい。このため、本実施形態における入射光制御領域ＰＣＡは、例えば図１２に示すように構成されていてもよい。図１２に示す入射光制御領域ＰＣＡにおいて、第１～第４光透過領域ＴＡ１～ＴＡ４は、第１光透過領域ＴＡ１の中心と第３光透過領域ＴＡ３の中心とが一致し、第２光透過領域ＴＡ２の中心と第４光透過領域ＴＡ４の中心とが一致するように構成されている。本実施形態においては、入射光制御領域ＰＣＡ（第１～第４光透過領域ＴＡ１～ＴＡ４）が図１２に示すように構成されている場合であっても、図１０に示す処理と同様の処理が実行されればよい。
　なお、図１２に示した構成では、第１光透過領域ＴＡ１の中心と第３光透過領域ＴＡ３の中心とが一致し、第２光透過領域ＴＡ２の中心と第４光透過領域ＴＡ４の中心とが一致するように構成したが、これらの中心軸はずれていても良い。
　なお、図１２においては第１光透過領域ＴＡ１（第３光透過領域ＴＡ３）及び第２光透過領域ＴＡ２（第４光透過領域ＴＡ４）が方向Ｘに並べて配置されているが、第１光透過領域ＴＡ１（第３光透過領域ＴＡ３）及び第２光透過領域ＴＡ２（第４光透過領域ＴＡ４）は、方向Ｙに並べて配置されていてもよいし、方向Ｘ及び方向Ｙに対して斜め方向に並べて配置されてもよい。
　更に、本実施形態においては、光透過領域のサイズが異なる２つの符号化開口対が用意されるものとして説明したが、当該光透過領域のサイズが異なる符号化開口対は３つ以上であってもよい。
　また、本実施形態においては、入射光制御領域ＰＣＡが有する第１～第４光透過領域ＴＡ１～ＴＡ４の形状が円形状であるものとして説明したが、当該第１～第４光透過領域ＴＡ１～ＴＡ４の形状は、円形状以外（例えば、矩形状等）であってもよい。
　更に、本実施形態においては、電子機器１００において被写体の距離を計算するために、第１光透過領域ＴＡ１を透過した入射光に基づく第１画像、第２光透過領域ＴＡ２を透過した入射光に基づく第２画像、第３光透過領域ＴＡ３を透過した入射光に基づく第３画像及び第４光透過領域ＴＡ４を透過した入射光に基づく第４画像を出力するものとして説明したが、例えばカメラ１（電子機器１００）から被写体までの距離が予め定められた値以上である（つまり、被写体が中距離または遠距離の位置に存在する）場合に、第１光透過領域ＴＡ１及び第２光透過領域ＴＡ２に光を透過させるように液晶層ＬＣを駆動する（つまり、第１及び第２画像を出力する）ようにしてもよい。一方、カメラ１（電子機器１００）から被写体までの距離が予め定められた値未満である（つまり、被写体が近距離の位置に存在する）場合には、第３光透過領域ＴＡ３及び第４光透過領域ＴＡ４に光を透過させるように液晶層ＬＣを駆動する（つまり、第３及び第４画像を出力する）ようにしてもよい。
　なお、上記したように光を透過させる光透過領域を判別（選択）するための被写体までの距離は、正確な値でなくてもよく、所定のセンサを用いて計測されてもよいし、電子機器１００の使用者によって指定されてもよい。
　また、本実施形態においては、被写体までの距離を計算するために第１～第４光透過領域ＴＡ１～ＴＡ４のうちの１つの光透過領域を透過した入射光に基づく画像が利用されるが、例えば第１～第４光透過領域ＴＡ１～ＴＡ４のうちの２つ（または３つ）の光透過領域を透過した入射光に基づく画像を利用して被写体までの距離を計算するようにしてもよい。
　また、本実施形態においてはカメラモジュールＣＭから出力される第１～第４画像を用いて被写体の距離が計算されるものとして説明したが、当該第１～第４画像は、例えば被写体の全焦点画像を生成するために用いられても構わない。
　以上、本発明の実施形態として説明したカメラモジュールを基にして、当業者が適宜設計変更して実施し得る全てのカメラモジュールも、本発明の要旨を包含する限り、本発明の範囲に属する。
　本発明の思想の範疇において、当業者であれば、各種の変形例に想到し得るものであり、それら変形例についても本発明の範囲に属するものと解される。例えば、上述の実施形態に対して、当業者が適宜、構成要素の追加、削除、若しくは設計変更を行ったもの、または、工程の追加、省略若しくは条件変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含まれる。
　また、上述の実施形態において述べた態様によりもたらされる他の作用効果について、本明細書の記載から明らかなもの、または当業者において適宜想到し得るものについては、当然に本発明によりもたらされるものと解される。
　１００…電子機器、１…カメラ、２…光学系、２ｂ…レンズ、３…撮像素子、ＤＳＰ…液晶表示装置、ＰＮＬ…液晶パネル、ＬＣ…液晶層、ＰＣＡ…入射光制御領域、ＴＡ，ＴＡ１～ＴＡ４…光透過領域、ＬＳＡ…遮光領域。

Claims (5)

  1. 　撮像素子と、
    　前記撮像素子に光を入射させる位置に配置された第１～第４光透過領域を有する入射光制御領域と、前記入射光制御領域と重畳する位置に配置された液晶層と、前記第１～第４光透過領域の各々に光を透過させるように前記液晶層を駆動するドライバとを備える液晶パネルと、
    　前記撮像素子と前記液晶パネルとの間に位置したレンズと
    　を具備し、
    　前記第３及び第４光透過領域のサイズは、前記第１及び第２光透過領域のサイズよりも小さく、
    　前記液晶層の駆動によって前記第１光透過領域及び前記レンズを透過して前記撮像素子に入射された光に基づく第１画像と、前記液晶層の駆動によって前記第２光透過領域及び前記レンズを透過して前記撮像素子に入射された光に基づく第２画像とに基づいて、前記第１及び第２画像中の被写体までの第１距離が計算され、
    　前記液晶層の駆動によって前記第３光透過領域及び前記レンズを透過して前記撮像素子に入射された光に基づく第３画像と、前記液晶層の駆動によって前記第４光透過領域及び前記レンズを透過して前記撮像素子に入射された光に基づく第４画像とに基づいて、前記第３及び第４画像中の被写体までの第２距離が計算される
    　カメラモジュール。
  2. 　前記第１及び第２光透過領域は、第１方向に並べて配置され、
    　前記第３及び第４光透過領域は、前記第１方向とは異なる第２方向に並べて配置される
    　請求項１記載のカメラモジュール。
  3. 　前記第１及び第２光透過領域は、第１方向に並べて配置され、
    　前記第３及び第４光透過領域は、前記第１方向に並べて配置され、
    　前記第１及び第３光透過領域は、前記第１光透過領域の中心と、前記第３光透過領域の中心とが一致するように配置され、
    　前記第２及び第４光透過領域は、前記第２光透過領域の中心と、前記第４光透過領域の中心とが一致するように配置される
    　請求項１記載のカメラモジュール。
  4. 　前記第１～第４光透過領域は、円形状を有する請求項１記載のカメラモジュール。
  5. 　前記ドライバは、前記被写体までの距離が予め定められた値以上である場合に前記第１及び第２光透過領域に光を透過させるように前記液晶層を駆動し、前記被写体までの距離が前記予め定められた値未満である場合に前記第３及び第４光透過領域に光を透過させるように前記液晶層を駆動する請求項１～４のいずれか一項に記載のカメラモジュール。
PCT/JP2023/011083 2022-05-18 2023-03-22 カメラモジュール WO2023223660A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-081529 2022-05-18
JP2022081529 2022-05-18

Publications (1)

Publication Number Publication Date
WO2023223660A1 true WO2023223660A1 (ja) 2023-11-23

Family

ID=88835189

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/011083 WO2023223660A1 (ja) 2022-05-18 2023-03-22 カメラモジュール

Country Status (1)

Country Link
WO (1) WO2023223660A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58194008A (ja) * 1982-05-10 1983-11-11 Olympus Optical Co Ltd 合焦検出装置
JP2006285110A (ja) * 2005-04-04 2006-10-19 Nikon Corp カメラ
JP2013097280A (ja) * 2011-11-04 2013-05-20 Nikon Corp 撮像装置
WO2016003253A1 (en) * 2014-07-04 2016-01-07 Samsung Electronics Co., Ltd. Method and apparatus for image capturing and simultaneous depth extraction
CN109656049A (zh) * 2019-02-26 2019-04-19 京东方科技集团股份有限公司 显示面板和显示装置
WO2022059279A1 (ja) * 2020-09-18 2022-03-24 株式会社ジャパンディスプレイ カメラモジュール

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58194008A (ja) * 1982-05-10 1983-11-11 Olympus Optical Co Ltd 合焦検出装置
JP2006285110A (ja) * 2005-04-04 2006-10-19 Nikon Corp カメラ
JP2013097280A (ja) * 2011-11-04 2013-05-20 Nikon Corp 撮像装置
WO2016003253A1 (en) * 2014-07-04 2016-01-07 Samsung Electronics Co., Ltd. Method and apparatus for image capturing and simultaneous depth extraction
CN109656049A (zh) * 2019-02-26 2019-04-19 京东方科技集团股份有限公司 显示面板和显示装置
WO2022059279A1 (ja) * 2020-09-18 2022-03-24 株式会社ジャパンディスプレイ カメラモジュール

Similar Documents

Publication Publication Date Title
JP7182906B2 (ja) 表示装置及び電子機器
KR102105748B1 (ko) 액정 표시 장치 및 헤드업 디스플레이 장치
US9013657B2 (en) Liquid crystal device, electronic device and projector with maximum-light-intensity direction inclined from the direction normal to the substrates
JP7183028B2 (ja) カメラ及び表示装置を組み込んだ電子機器
JP7191670B2 (ja) 電子機器
JP7123701B2 (ja) 電子機器
JP7330809B2 (ja) 電子機器
WO2021029137A1 (ja) 電子機器
WO2020017153A1 (ja) 表示装置、及び、表示装置を組み込んだ電子機器
US11650444B2 (en) Display device and electronic apparatus incorporating display device therein
CN116670580A (zh) 摄像机组件
JP7150627B2 (ja) 電子機器
CN115116405B (zh) 电平移位电路、显示面板及电子设备
WO2023223660A1 (ja) カメラモジュール
JP2018194666A (ja) 電気光学装置および電子機器
JP2020106711A (ja) 表示装置、及び、表示装置を組み込んだ電子機器
JP7374652B2 (ja) 電子機器
US11874550B2 (en) Display device or electronic device
US11630347B2 (en) Display device
JP6597709B2 (ja) 電気光学装置および電子機器
JP2021189288A (ja) 電気光学装置、電子機器および電気光学装置用基板
JP2022046319A (ja) 視野角制御素子及び表示装置
JP2024012992A (ja) 表示装置
JP2018106056A (ja) カラーフィルタ基板及び表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23807275

Country of ref document: EP

Kind code of ref document: A1