WO2023248589A1 - カメラモジュール - Google Patents

カメラモジュール Download PDF

Info

Publication number
WO2023248589A1
WO2023248589A1 PCT/JP2023/015021 JP2023015021W WO2023248589A1 WO 2023248589 A1 WO2023248589 A1 WO 2023248589A1 JP 2023015021 W JP2023015021 W JP 2023015021W WO 2023248589 A1 WO2023248589 A1 WO 2023248589A1
Authority
WO
WIPO (PCT)
Prior art keywords
brightness
liquid crystal
image
crystal layer
image sensor
Prior art date
Application number
PCT/JP2023/015021
Other languages
English (en)
French (fr)
Inventor
博人 仲戸川
Original Assignee
株式会社ジャパンディスプレイ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ジャパンディスプレイ filed Critical 株式会社ジャパンディスプレイ
Publication of WO2023248589A1 publication Critical patent/WO2023248589A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00—Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/093—Digital circuits for control of exposure time
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B9/00—Exposure-making shutters; Diaphragms
    • G03B9/02—Diaphragms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components

Definitions

  • Embodiments of the present invention relate to a camera module.
  • camera modules have been developed that include a liquid crystal panel and an image sensor (camera) provided on the back side of the liquid crystal panel.
  • a camera module can capture an image when light enters an image sensor included in the camera module.
  • a coded aperture technique is known that calculates the distance to an object.
  • the problem to be solved by the present invention is to provide a camera module that can capture an image that allows calculation of an appropriate distance.
  • the camera module includes an image sensor and a liquid crystal panel.
  • the liquid crystal panel includes an opening disposed at a position where light is incident on the image sensor, a liquid crystal layer disposed at a position overlapping with the opening, and an electrode disposed at a position overlapping with the liquid crystal layer.
  • a driver that drives the liquid crystal layer by applying a voltage to the electrodes.
  • the driver drives the liquid crystal layer based on a first control value for imaging a subject with a first brightness existing within the imaging range, and drives the liquid crystal layer based on a first control value for imaging an object with a first brightness existing within the imaging range.
  • the liquid crystal layer is driven based on the second control value in order to image a bright subject.
  • a first image captured based on the amount of light incident on the image sensor by driving the liquid crystal layer based on the first control value is used to calculate the distance to the subject with the first brightness. It will be done.
  • a second image captured based on the amount of light incident on the image sensor by driving the liquid crystal layer based on the second control value is used to calculate the distance to the subject of the second brightness. It will be done.
  • FIG. 1 is an exploded perspective view showing an example of the configuration of a camera module according to an embodiment.
  • FIG. 2 is a plan view schematically showing an example of a camera module.
  • FIG. 3 is a diagram for explaining the principle of calculating the distance to a subject using a camera module.
  • FIG. 4 is a diagram schematically showing a cross section of the camera module along line AA' shown in FIG.
  • FIG. 5 is a cross-sectional view showing a light transmitting area included in a liquid crystal panel included in a camera module.
  • FIG. 6 is a diagram showing another example of a light transmitting region formed in an opening.
  • FIG. 7 is a diagram showing another example of a light transmitting region formed in an opening.
  • FIG. 1 is an exploded perspective view showing an example of the configuration of a camera module according to an embodiment.
  • FIG. 2 is a plan view schematically showing an example of a camera module.
  • FIG. 3 is a diagram for explaining the principle of calculating the distance to a
  • FIG. 8 is a diagram showing still another example of a light transmitting region formed in an opening.
  • FIG. 9 is a diagram showing still another example of the light transmitting region formed in the opening.
  • FIG. 10 is a diagram for explaining the operation of a camera module according to a comparative example of this embodiment.
  • FIG. 11 is a diagram showing an example of an image transferred from the image sensor.
  • FIG. 12 is a diagram for explaining a first operation example of the camera module according to the present embodiment.
  • FIG. 13 is a diagram for explaining a second operation example of the camera module according to the present embodiment.
  • FIG. 14 is a diagram for explaining a third operation example of the camera module according to the present embodiment.
  • FIG. 15 is a diagram for explaining a distance map created when a medium brightness image and a high brightness image are captured.
  • FIG. 16 is a diagram showing another example of an image transferred from the image sensor.
  • FIG. 17 is a diagram for explaining a fourth operation example of the camera module according to the present embodiment.
  • FIG. 18 is a diagram showing an example of a circuit of an image sensor.
  • FIG. 19 is a diagram for explaining a fifth operation example of the camera module according to the present embodiment.
  • FIG. 20 is a diagram for explaining a distance map created when a medium brightness image and a low brightness image are captured.
  • FIG. 21 is a diagram for explaining a distance map created when a medium brightness image, a high brightness image, and a low brightness image are captured.
  • FIG. 1 is an exploded perspective view showing an example of the configuration of a camera module according to the present embodiment.
  • FIG. 1 shows a three-dimensional space defined by a direction X, a direction Y perpendicular to the direction X, and a direction Z perpendicular to the directions X and Y.
  • the direction X, the direction Y, and the direction Z are orthogonal to each other, they may intersect at an angle other than 90°.
  • the direction Z is defined as upward
  • the direction opposite to direction Z is defined as downward.
  • the second member may be in contact with the first member, or may be located apart from the first member. You can leave it there.
  • the camera module CM includes a liquid crystal panel PNL covered by a cover glass CG as a cover member, and an image sensor IS provided below (on the back side) of the liquid crystal panel PNL.
  • the liquid crystal panel PNL includes an array substrate SUB1 and a counter substrate SUB2.
  • the array substrate SUB1 has a keyhole in which a first portion 1a having a substantially circular shape and a second portion 1b having a substantially rectangular shape connected to the first portion 1a are combined in a planar view when viewing the camera module CM from the direction Z. It has a similar shape (outline).
  • the counter substrate SUB2 has a shape that exposes the second portion 1b of the array substrate SUB1 in a plan view when placed in a position overlapping the first portion 1a of the array substrate SUB1.
  • the liquid crystal panel PNL further includes a liquid crystal layer held between the array substrate SUB1 and the counter substrate SUB2.
  • the image sensor IS is a photoelectric conversion element that converts light incident on the image sensor IS into a voltage signal (electrical signal), and together with an optical system including at least one lens (not shown) constitutes a camera that captures an image.
  • the liquid crystal layer included in the liquid crystal panel PNL described above is driven, so that light transmitted through the cover glass CG and the liquid crystal panel PNL (liquid crystal layer) is directed to the image sensor IS. It is incident. Thereby, the camera module CM can capture an image based on the light incident on the image sensor IS.
  • FIG. 1 is a diagram for explaining the positional relationship in the direction Z of the cover glass CG, the liquid crystal panel PNL (array substrate SUB1 and counter substrate SUB2), and the image sensor IS (camera).
  • the size, shape, etc. of the PNL and the image sensor IS may be different from those in FIG.
  • FIG. 2 is a plan view schematically showing the camera module CM.
  • CM camera module
  • FIG. 2 only the cover glass CG and the array substrate SUB1 are shown for convenience, but a counter substrate SUB2 is arranged between the cover glass CG and the array substrate SUB1. Further, an image sensor IS is arranged on the back side of the array substrate SUB1 (the direction opposite to the direction Z).
  • the liquid crystal panel PNL includes an opening OP having, for example, a circular shape.
  • the opening OP is a portion (region) that overlaps with the liquid crystal layer held between the above-described array substrate SUB1 and counter substrate SUB2.
  • a plurality of regions are formed in the opening OP.
  • the plurality of regions formed in the opening OP are regions that can transmit light by, for example, driving a liquid crystal (hereinafter referred to as light transmission regions), and in the example shown in FIG. It includes third light transmitting areas TA1 to TA3.
  • the first light transmitting area TA1 has a circular shape and is formed, for example, at a position that does not include the center of the opening OP. Specifically, the first light transmitting area TA1 is formed at a position on the opposite side in the X direction from the center of the opening OP.
  • the second light transmitting area TA2 has a circular shape and is formed, for example, at a position facing the first light transmitting area TA1 with the center of the opening OP interposed therebetween. That is, the second light transmitting area TA2 is formed at a position closer to the X direction from the center of the opening OP.
  • the first light transmitting area TA1 and the second light transmitting area TA2 are formed to have approximately the same size.
  • the third light transmitting area TA3 corresponds to the area excluding the first and second light transmitting areas TA1 and TA2 from the opening OP.
  • first to third light transmitting areas TA1 to TA3 are defined by light blocking areas formed by, for example, a black matrix.
  • the liquid crystal panel PNL includes a plurality of drive electrodes arranged at positions corresponding to each of the plurality of light transmission regions.
  • the liquid crystal panel PNL includes a first drive electrode located at a position overlapping with the first light transmission area TA1, a second drive electrode located at a position overlapping with the second light transmission area TA2, and a second drive electrode located at a position overlapping with the second light transmission area TA2.
  • a third drive electrode is provided at a position overlapping with the third light transmission area TA3.
  • the liquid crystal layer PNL when a voltage is applied only to the first drive electrode, it is possible to drive the liquid crystal layer so as to transmit light to the image sensor IS via the first light transmission area TA1. can. Further, for example, when a voltage is applied only to the second drive electrode, the liquid crystal layer can be driven to transmit light to the image sensor IS via the second light transmission area TA2. Similarly, for example, when a voltage is applied only to the third drive electrode, the liquid crystal layer can be driven to transmit light to the image sensor IS via the third light transmission area TA3. Note that here, it is assumed that the liquid crystal panel PNL employs a normally black method in which light is transmitted while a voltage is applied to the drive electrode (that is, in an on state).
  • an image based on the light that has passed through each of the first to third light transmission areas TA1 to TA3 and entered the image sensor IS that is, an image of the subject imaged by the camera module CM
  • the camera module CM is used to calculate the distance from the camera module CM (image sensor IS) to the object in the image (hereinafter referred to as object distance).
  • a coded aperture technique can be used as a technique for calculating the distance of a subject from an image.
  • the coded aperture technique is a technique that calculates the distance to a subject by analyzing blur that occurs in an image depending on the position of the subject.
  • the camera module CM can be used for purposes such as calculating the distance to a subject based on an image and creating a distance map (depth map) representing the distance to the subject.
  • a distance map depth map
  • the process of calculating the distance to the subject and the process of creating a distance map are realized, for example, by a predetermined application program that runs on an electronic device connected to the camera module CM (an electronic device in which the camera module CM is installed). It is fine if it is done.
  • FIG. 3 shows the positional relationship between the camera module CM and the subject.
  • a lens LNS is disposed between the image sensor IS and the liquid crystal panel PNL.
  • the distance to the subject S shown in FIG. 3 is calculated.
  • a camera it is possible to photograph the subject S in focus by changing the distance between the lens LNS and the image sensor IS, but as shown in FIG. If the subject S is photographed without being in focus, there will be a shift between the focus position and the position of the imaging surface of the image sensor IS, so the image based on the light incident on the image sensor IS will be Blur appears.
  • the distance to the subject S is calculated based on the blur that occurs in the image in this way.
  • FIG. 3 shows the case where light passes through the first light transmitting area TA1
  • three light transmitting areas first to third light transmitting areas TA1 to TA3 are used as described above.
  • calculate the distance to the subject using multiple images based on the light that has passed through each of the three light transmission areas in other words, multiple blur patterns based on the light that has passed through different light transmission areas.
  • the first drive electrode (that is, the drive electrode disposed at a position overlapping with the first light transmission area TA1) is electrically connected to the first pad P1 via the first wiring W1
  • the first pad P1 is electrically connected to the driver via the flexible wiring board FPC.
  • the second drive electrode (that is, the drive electrode disposed at a position overlapping with the second light transmission area TA2) is electrically connected to the second pad P2 via the second wiring W2, and the second drive electrode is electrically connected to the second pad P2 via the second wiring W2.
  • the second pad P2 is electrically connected to the driver via the flexible wiring board FPC.
  • the third drive electrode (that is, the drive electrode disposed at a position overlapping with the third light transmission area TA3) is electrically connected to the third pad P3 via the third wiring W3, and the third drive electrode is electrically connected to the third pad P3 via the third wiring W3.
  • the third pad P3 is electrically connected to the driver via the flexible wiring board FPC.
  • first to third pads P1 to P3 described above for example, OLB (Outer Lead Bonding) pads are used.
  • the liquid crystal panel PNL includes a non-opening part NOP surrounding the opening OP, and the first to third pads P1 to P3 are arranged in the non-opening part NOP, as shown in FIG.
  • the first to third pads P1 to P3 extend in the Y direction and are arranged side by side in the X direction.
  • the first to third wirings W1 to W3 described above are connected to the ends of the first to third pads P1 to P3 on the opposite side in the direction Y.
  • FIG. 4 is a diagram schematically showing a cross section of the camera module CM along the line AA' shown in FIG. 2.
  • the liquid crystal panel PNL includes the array substrate SUB1, the counter substrate SUB2, and the liquid crystal layer LC held between the array substrate SUB1 and the counter substrate SUB2, as well as the array substrate SUB1. It includes a drive board DB arranged on the back side (opposite side to direction Z).
  • the driver DR that drives the liquid crystal panel PNL (liquid crystal layer LC) is mounted on the drive board DB.
  • the flexible wiring board FPC described above extends along the first to third pads P1 to P3 (that is, in the Y direction), and the first pad P1 shown in FIG. It is connected to the driver DR via a flexible wiring board FPC that is bent at the side end.
  • the first pad P1 and the flexible wiring board FPC can be electrically connected, for example, by being pressure-bonded via an anisotropic conductive film (ACF).
  • ACF anisotropic conductive film
  • the liquid crystal panel PNL includes a sealing material SE located in the non-opening portion NOP, and the array substrate SUB1 and the counter substrate SUB2 are joined by the sealing material SE. Thereby, the liquid crystal layer LC can be formed in a space surrounded by the array substrate SUB1, the counter substrate SUB2, and the sealant SE.
  • the image sensor IS is arranged, for example, between the array substrate SUB1 and the drive board DB.
  • the light transmission area (that is, the opening OP) included in the liquid crystal panel PNL will be mainly described.
  • the array substrate SUB1 includes an insulating layer 11, an insulating layer 12, and an insulating layer 13 between the insulating substrate 10 and the alignment film AL1. Furthermore, a polarizing plate PL1 is formed on the outside of the array substrate SUB1.
  • the insulating layer 11 is provided on the insulating substrate 10. Further, the insulating layer 12 is provided on the insulating layer 11.
  • the first drive electrode E1 is provided on the insulating layer 12 and covered with the insulating layer 13. Further, the first drive electrode E2 is provided on the insulating layer 13 and covered with the alignment film AL1. The alignment film AL1 is in contact with the liquid crystal layer LC.
  • first drive electrodes E1 and E2 are formed of a transparent conductive material such as indium tin oxide (ITO) and indium zinc oxide (IZO). Further, in the example shown in FIG. 5, the insulating layer 13 is sandwiched between the first drive electrodes E1 and E2, but the first drive electrodes E1 and E2 may be formed in the same layer.
  • ITO indium tin oxide
  • IZO indium zinc oxide
  • the counter substrate SUB2 includes a light shielding layer BM, a transparent layer OC, an alignment film AL2, etc. on the side of the insulating substrate 20 that faces the array substrate SUB1.
  • the light shielding layer BM is formed on the inner surface of the insulating substrate 20 so as to form a light shielding area that partitions the first light transmitting area TA1 and the like described above.
  • the transparent layer OC covers the insulating substrate 20 and the light shielding layer BM.
  • the alignment film AL2 covers the transparent layer OC and is in contact with the liquid crystal layer LC.
  • the liquid crystal layer LC is driven by applying a voltage between the first drive electrodes E1 and E2.
  • a first voltage is applied to the first drive electrode E1 via the first pad P1 and the flexible wiring board FPC, which are arranged at a position overlapping with the non-opening part OP, and the first voltage is applied to the first drive electrode E2. is applied with a second voltage.
  • one of the first and second voltages has, for example, a positive voltage level, and the other has a negative voltage level.
  • the liquid crystal layer LC is driven to transmit light to the image sensor IS via the first light transmission area TA1.
  • Such driving of the liquid crystal layer LC is realized by the driver DR.
  • the liquid crystal molecules are aligned in a direction different from the initial alignment direction, and the liquid crystal layer Since a phase difference occurs in the LC, the light transmittance in the first light transmitting area TA1 increases (that is, light can pass through the first light transmitting area TA1).
  • the light that has passed through the first light transmission area TA1 in this manner is incident on the image sensor IS, and the camera module CM can capture an image based on the light that has entered the image sensor IS.
  • the liquid crystal panel PNL employs a normally black method that does not allow light to pass through in the off state.
  • a normally white method may be adopted.
  • the first light transmitting area TA1 was mainly explained, but the second and third light transmitting areas TA2 and TA3 are also explained, except that the position, size and shape in the opening OP are different. It is sufficient if the structure is similar to that of the first light transmitting area TA1.
  • the shape, position, size, shape, and number of the light-transmitting areas formed in the opening OP can be changed as appropriate depending on the subject for which the distance is calculated as described above (that is, the environment in which the image is captured), etc. I don't care if it happens.
  • four light transmission areas TA1 to TA4 as shown in FIG. 6, for example, may be formed in the opening OP. Furthermore, four light transmitting areas TA1 to TA4 (that is, two coded aperture pairs) as shown in FIG.
  • the distance to the subject is calculated using the light transmission areas TA1 and TA2 (an image based on the light transmitted through them), and if the subject is located at a short distance from the camera module CM, the light transmission area is calculated. It may be configured such that the distance to the subject is calculated using areas TA3 and TA4 (images based on light transmitted therethrough).
  • the light transmitting areas TA1 to TA4 shown in FIG. 7 as shown in FIG. 8, errors in the direction X and direction Y in the calculated distance to the subject may be alleviated.
  • the light transmitting areas TA1 to TA4 shown in FIG. 7 may be arranged as shown in FIG. 9, for example.
  • the distance to the subject is calculated using an image captured when light transmitted through at least one light transmission region enters the image sensor IS.
  • the accuracy of the distance to the subject may be low.
  • FIG. 10 shows the time during which the image sensor IS receives light that has passed through the liquid crystal layer (hereinafter referred to as exposure time), and the image captured when light is incident on the image sensor IS within the exposure time. It also shows the timing at which the image is transferred from the image sensor IS to the outside.
  • the camera module CM captures a plurality of images (that is, moving images) and calculates the distance to the subject using each of the images. Further, in this embodiment, it is assumed that the image transferred from the image sensor IS to the outside includes a voltage signal (brightness value) corresponding to the amount of light incident on the image sensor IS (that is, the brightness of the subject).
  • FIG. 11 shows an example of an image transferred from the image sensor IS when the driver DR drives the liquid crystal layer LC so as to realize the exposure time shown in FIG. 10.
  • the image 100 shown in FIG. 11 includes a medium brightness area 100a and a high brightness area 100b.
  • the medium brightness area 100a is an area that includes a medium brightness subject.
  • the distance to the object is calculated using the blur that occurs in the image, and since the blur is relatively easy to observe in the medium brightness region 100a, the distance can be calculated with high accuracy.
  • the high-brightness area 100b is an area that includes a high-brightness subject, but in such a high-brightness area 100b, the brightness is saturated (overexposure occurs), making it impossible to observe the blur, and the subject cannot be observed. Unable to calculate object distance.
  • the driver DR and the image sensor IS (camera module CM) operate to repeatedly capture images with a constant exposure time as shown in FIG.
  • the driver DR in the present embodiment performs control for imaging a medium-luminance (first luminance) object existing within the imaging range in order to capture an image with which an appropriate distance to the object can be calculated.
  • drive the liquid crystal layer LC based on the value (first control value), and based on the control value (second control value) for imaging a high brightness (second brightness) subject existing within the imaging range. It operates to drive the liquid crystal layer LC.
  • FIG. 12 shows the exposure time of the image sensor IS and how an image captured by light entering the image sensor IS within the exposure time is transferred from the image sensor IS to the outside. It shows the timing.
  • the driver DR drives the liquid crystal layer LC based on the exposure time (control value) for medium brightness.
  • an image captured based on light incident on the image sensor IS within the exposure time for medium brightness (hereinafter referred to as a medium brightness image) is transferred from the image sensor IS.
  • the driver DR drives the liquid crystal layer LC based on the high-brightness exposure time (control value).
  • a high-brightness image an image captured based on light incident on the image sensor IS within the high-brightness exposure time (hereinafter referred to as a high-brightness image) is transferred from the image sensor IS.
  • the exposure time for medium brightness in the first operation example is the same as the exposure time shown in FIG. 10 described above, but the exposure time for high brightness is set shorter than the exposure time for medium brightness. There is. According to this, by shortening the exposure time in the high-brightness image, it is possible to suppress the brightness of the subject whose brightness is saturated and the distance cannot be calculated in the medium-brightness image.
  • the medium-brightness image is an image for accurately calculating the distance to a medium-brightness object
  • the high-brightness image is an image for accurately calculating the distance to a high-brightness object.
  • the exposure time by adjusting the exposure time, the brightness of a medium-brightness image (first image) that can calculate the distance of a medium-brightness object and a high-brightness object is calculated. It becomes possible to capture a high-intensity image (second image) that can be used.
  • first image a medium-brightness image
  • second image a high-intensity image
  • the driver DR drives the liquid crystal layer LC in accordance with the exposure time of the image sensor IS, but the exposure time may be adjusted by the liquid crystal panel PNL, or, for example, by the physical It may be adjusted by controlling a specific shutter or the like.
  • the amount of light received by the image sensor IS (that is, the brightness of the subject in the image) is adjusted by the image sensor IS preparing an exposure time for medium brightness and an exposure time for high brightness. It was explained as a thing.
  • the light transmittance in the liquid crystal layer LC (that is, the amount of light incident on the image sensor IS) is adjusted by the voltage value applied to the drive electrode arranged at a position overlapping with the liquid crystal layer LC. be able to.
  • FIG. 13 shows the time (exposure time) during which the driver DR drives the liquid crystal layer LC in order to make light incident on the image sensor IS, and the time when the driver DR is placed at a position overlapping with the liquid crystal layer LC in order to drive the liquid crystal layer LC. It shows the voltage value applied to the drive electrode that is applied to the image sensor IS, and the timing at which an image captured by light entering the image sensor IS within the exposure time is transferred to the outside from the image sensor IS. That is, in the second operation example, the exposure time is controlled by the liquid crystal panel PNL. Note that here it is assumed that the liquid crystal panel PNL employs a normally black method.
  • the driver DR drives the liquid crystal layer LC by applying a voltage to the drive electrode based on a voltage value (control value) for medium brightness.
  • a voltage value control value
  • the driver DR drives the liquid crystal layer LC by applying a voltage to the drive electrode based on a voltage value (control value) for medium brightness.
  • a medium brightness image captured based on light incident on the image sensor IS is transferred from the image sensor.
  • the driver DR drives the liquid crystal layer LC by applying a voltage to the drive electrode based on the voltage value (control value) for high brightness.
  • the driver DR drives the liquid crystal layer LC by applying a voltage to the drive electrode based on the voltage value (control value) for high brightness.
  • the liquid crystal layer LC is being driven based on the high-brightness voltage value, a high-brightness image captured based on light incident on the image sensor IS is transferred from the image sensor.
  • images for medium brightness and images for high brightness are alternately imaged (that is, the liquid crystal layer based on the voltage value for medium brightness is Driving of the LC and driving of the liquid crystal layer LC based on the voltage value for high brightness are repeatedly performed).
  • the voltage value for medium brightness in the second operation example is the same as the voltage value applied to the drive electrode in the first operation example, but the voltage value for high brightness is the voltage value for the medium brightness. is set lower than the value.
  • the liquid crystal panel PNL that adopts the above-mentioned normally black method, high light transmittance in the liquid crystal layer LC can be achieved by applying a high voltage to the drive electrodes.
  • the high-brightness image in the second operation example is an image for accurately calculating the distance to a high-brightness object.
  • the medium-brightness image in the second operation example is the same as the medium-brightness image in the first operation example, and is therefore an image for accurately calculating the distance to a medium-brightness object.
  • the exposure time time to drive the liquid crystal layer LC to make light enter the image sensor IS
  • the exposure time is It may be constant.
  • the second operation example by adjusting the voltage value applied to the drive electrode, it is possible to calculate a medium-brightness image and a high-brightness object in which a medium-brightness object can be calculated. It becomes possible to capture high-brightness images that are possible.
  • the second operation example is different from the first operation example in that the applied voltage (drive electrode Since it is possible to reduce the voltage value of the voltage applied to the device, power consumption can be suppressed. Furthermore, the second operation example is applicable even in a case where the brightness is saturated even if the exposure time is shortened.
  • one frame of images is a medium brightness image and a high brightness image. It is necessary to capture images for the same purpose, which lowers the frame rate. Therefore, as a modification of the first operation example described above, a medium-brightness image and a high-brightness image are captured using a constant exposure time (that is, the exposure time for capturing a medium-brightness image is A configuration in which a high-brightness image is captured may also be adopted.
  • FIG. 14 shows the time (exposure time) during which the driver DR drives the liquid crystal layer LC to make light enter the image sensor IS, and the image captured by the light entering the image sensor IS within the exposure time. indicates the timing at which the image is transferred from the image sensor IS to the outside.
  • the driver DR drives the liquid crystal layer LC based on a constant exposure time of the image sensor IS.
  • the exposure time in the third operation example is, for example, the same as the exposure time for medium brightness in the first operation example.
  • the image sensor IS generates a high-brightness image based on the amount of light that has entered the image sensor IS before the end of the exposure time during which the driver DR is driving the liquid crystal layer LC. Forward.
  • the image sensor IS transfers a medium-brightness image based on the amount of light that has entered the image sensor IS until the end of the exposure time.
  • the medium-brightness image and the high-brightness image are captured during one exposure time for capturing the medium-brightness image in the first and second operation examples described above. Therefore, a higher frame rate can be achieved compared to the first and second operation examples.
  • the camera module CM may be configured to switch the operation mode depending on whether a high-brightness subject exists within the imaging range of the camera module CM.
  • the camera module CM operates in a first operation mode in which medium-brightness images are continuously captured during normal times, and by analyzing the medium-brightness images, the camera module CM changes the medium-brightness images from the high-brightness images.
  • the second operation mode may be operated in which the above-mentioned medium-brightness image and high-brightness image are captured.
  • the process of analyzing the medium brightness image may be executed by the electronic device in which the camera module CM is installed, or may be executed by a processing circuit or the like installed in the camera module CM.
  • the camera module CM has been described as being used for purposes such as creating a distance map representing the distance of a subject, but with reference to FIG. A distance map created when an image is captured will be briefly described. It is assumed that the process of creating the distance map is executed by the electronic device in which the camera module CM is installed, as described above.
  • FIG. 15 schematically shows a medium brightness image 201 and a distance map 301 that includes the distance to the subject calculated from the medium brightness image 201.
  • the medium-brightness image 201 includes a medium-brightness region (region including a medium-brightness subject) 201a and a high-brightness region (region including a high-brightness subject) 201b.
  • a distance map 301 is created in which a distance of a subject included in the medium brightness area 201a is assigned to the medium brightness area 201a in the medium brightness image 201.
  • FIG. 15 schematically shows the high-brightness image 202 and a distance map 302 that includes the distance to the subject calculated from the high-brightness image 202.
  • the high-brightness image 202 the brightness of the subject is suppressed as described above, so the high-brightness image 202 includes a low-brightness area (an area including a low-brightness subject) 202a and a medium-brightness area (a medium-brightness area). (area including the subject) 202b.
  • the low brightness area 202a corresponds to an area where the brightness of the subject included in the medium brightness area 201a included in the medium brightness image 201 described above is suppressed.
  • the medium brightness area 202b corresponds to an area where the brightness of the subject included in the high brightness area 201b included in the medium brightness image 201 described above is suppressed.
  • a distance map 302 is created in which the distance of the subject included in the medium brightness area 202b is assigned to the medium brightness area 202b in the high brightness image 202.
  • a distance map 303 can be created in which distances are assigned.
  • FIG. 16 shows an example of an image transferred from the image sensor IS when, for example, the driver DR drives the liquid crystal layer LC so as to realize the exposure time shown in FIG. 10 described above.
  • the image 400 shown in FIG. 16 includes a medium brightness area 400a and a low brightness area 400b.
  • the medium brightness area 400a is an area that includes a medium brightness subject. As described above, in the medium brightness region 400a, the distance to the object can be calculated with high accuracy.
  • the low-luminance area 400b is an area that includes a low-luminance subject, but in such a low-luminance area 400b, the S/N ratio in the image sensor IS is low, making it difficult to calculate the distance of the subject with high accuracy. Have difficulty.
  • FIG. 17 shows the time (exposure time) during which the driver DR drives the liquid crystal layer LC in order to make light enter the image sensor IS, and the image captured by the light entering the image sensor IS within the exposure time. indicates the timing at which the image is transferred from the image sensor IS to the outside.
  • the driver DR drives the liquid crystal layer LC based on the exposure time (control value) for medium brightness.
  • an image (medium brightness image) captured based on light incident on the image sensor IS within the exposure time for medium brightness is transferred from the image sensor IS.
  • the driver DR drives the liquid crystal layer LC based on the exposure time (control value) for low brightness.
  • an image captured based on light incident on the image sensor IS within the low-luminance exposure time (hereinafter referred to as a low-luminance image) is transferred from the image sensor IS.
  • the exposure time for medium brightness in the fourth operation example is the same as the exposure time shown in FIG. 10 described above, but the exposure time for low brightness is set longer than the exposure time for medium brightness. There is. According to this, by extending the exposure time in the low-brightness image, it is possible to improve the brightness of a subject whose distance is difficult to calculate because the brightness is low in the medium-brightness image. That is, it can be said that the low-luminance image in the fourth operation example is an image for accurately calculating the distance to a low-luminance object.
  • the driver DR adjusts the exposure time by driving the liquid crystal layer LC, but the exposure time may also be adjusted by the image sensor IS, for example, by a physical It may be adjusted by controlling a shutter or the like.
  • the medium-brightness image is It may also be configured to image.
  • a configuration may be adopted in which a low-luminance image is captured using a gain (analog gain) that adjusts a voltage signal corresponding to the amount of light incident on the image sensor IS.
  • a gain analog gain
  • FIG. 18 is an example of a circuit diagram of the image sensor IS.
  • the image sensor IS includes a vertical scanning circuit VSR, a horizontal scanning circuit HSR, and a light receiving section, and the light receiving section has a plurality of pixel cells corresponding to a plurality of pixels forming an image captured by the camera module CM.
  • One of the plurality of pixel cells includes, for example, a photodiode D, a switch MOSFET Q1 whose gate is connected to the vertical scanning line V, and a switch MOSFET Q2 whose gate is connected to the horizontal scanning line H, which are connected in series. Consists of circuits.
  • output nodes of other similar pixel cells arranged in the same row (horizontal direction) as the pixel cell composed of the photodiode D and switch MOSFETs Q1 and Q2 described above are horizontally extending in the horizontal direction in FIG. Connected to signal line HS. Similar pixel cells are formed in other rows as well.
  • the vertical scanning line V is arranged parallel to the horizontal signal line HS.
  • Each switch MOSFET of a plurality of pixel cells arranged in the same row corresponding to the vertical scanning line V is connected to this vertical scanning line V. Note that the same applies to other vertical scanning lines.
  • the horizontal scanning line H extends in the vertical direction in FIG.
  • the horizontal scanning line H is connected to each switch MOSFET of a plurality of pixel cells arranged in the same column corresponding to the horizontal scanning line H. Note that the same applies to other horizontal scanning lines.
  • the vertical scanning line V is connected to the gate of a switch MOSFET Q3 that connects the horizontal signal line HS and the output line VS extending in the vertical (vertical) direction. Further, a load resistance R for reading is provided between the output line VS and the bias voltage VB. According to such a configuration, a current corresponding to the amount of light (light signal) accumulated in the photodiode of a pixel cell flows, thereby performing a readout operation from the pixel cell and a reset (preset) for the next readout operation. (charging) operation is performed at the same time.
  • the voltage signal obtained by the load resistor R (voltage signal corresponding to the amount of light) is amplified by the sense amplifier SA and transmitted to an output circuit (not shown).
  • the horizontal signal line HS is provided with a MOSFET Q4 substantially in the form of a diode in order to remove false signals such as smear and blooming. That is, the bias voltage VB is applied to the drain of MOSFETQ4. Further, a bias voltage VB' is applied to the gate of MOSFETQ4. By setting both bias voltages VB and VB' to be equal, a common potential is applied to the gate and drain of MOSFET Q4, making it a diode.
  • the MOSFET Q4 described above is formed to have a conductance sufficiently smaller than that of the switch MOSFET Q3 described above.
  • the on-resistance value of MOSFETQ4 is set to a sufficiently larger resistance value than that of switch MOSFETQ3.
  • the vertical scanning line V is set to a high level, one switch MOSFET Q3 and each switch MOSFET of the pixel cells arranged in this row (for example, switch MOSFET Q1, etc.) are turned on.
  • each switch MOSFET for example, switch MOSFET Q2, etc.
  • the switch MOSFET is placed at the intersection of the matrix. A read operation for one pixel cell is performed.
  • the voltage signal corresponding to the amount of light accumulated in the photodiode (that is, the amount of light incident on the image sensor IS) is amplified by the sense amplifier SA, but the amount of amplification is Adjusted by gain.
  • FIG. 19 shows the time (exposure time) during which the driver DR drives the liquid crystal layer LC in order to make light enter the image sensor IS, and the image captured by the light entering the image sensor IS within the exposure time. It shows the above-mentioned analog gain as well as the timing at which is transferred from the image sensor IS to the outside.
  • the driver DR drives the liquid crystal layer LC based on a constant exposure time.
  • the exposure time in the fifth operation example is, for example, the same as the exposure time for medium brightness in the fourth operation example.
  • the image sensor IS adjusts (amplifies) a voltage signal corresponding to the amount of light incident on the image sensor IS, for example, within the first exposure time using an analog gain for medium brightness.
  • the image sensor IS transfers an image (medium brightness image) based on the voltage value adjusted in this way.
  • the image sensor IS adjusts (amplifies) a voltage signal corresponding to the amount of light incident on the image sensor IS within the next second exposure time using an analog gain for low brightness.
  • the image sensor IS transfers an image (low-luminance image) based on the voltage value adjusted in this way.
  • the analog gain is generally constant, and the analog gain for medium brightness in the fifth operation example is set to the same level as the constant analog gain.
  • the analog gain for low brightness (second gain) in the fifth operation example is set higher than the analog gain for medium brightness (first gain). According to this, by amplifying with a higher analog gain, it is possible to improve the brightness of a subject whose distance is difficult to calculate because the brightness is low in a medium brightness image. That is, the low-brightness image in the fifth operation example can be said to be an image for accurately calculating the distance to a low-brightness object, similar to the low-brightness image in the fourth operation example described above.
  • a medium brightness image and a low brightness (second brightness) subject can be calculated for a medium brightness (first brightness) object. It becomes possible to capture a low-luminance image that can be calculated.
  • a low-luminance image may be captured even though the low-luminance subject does not exist. This causes a decrease in the frame rate described above or an increase in the processing amount of the camera module CM.
  • the camera module CM may be configured to switch the operation mode depending on whether or not a low-luminance subject exists within the imaging range of the camera module CM.
  • the camera module CM operates, for example, in a first operation mode in which images for medium brightness are continuously captured during normal times, and by analyzing the medium brightness images, the camera module CM performs a low brightness image from the medium brightness images.
  • the camera may operate in a second operation mode in which the above-mentioned medium-brightness image and low-brightness image are captured.
  • the process of analyzing the medium brightness image may be executed by the electronic device in which the camera module CM is installed, or may be executed by a processing circuit or the like installed in the camera module CM.
  • FIG. 20 schematically shows a medium brightness image 501 and a distance map 601 that includes the distance to the subject calculated from the medium brightness image 501.
  • the medium-brightness image 501 includes a medium-brightness region 501a (a region including a medium-brightness subject) and a low-brightness region 501b (a region including a low-brightness subject).
  • a medium-brightness region 501a a region including a medium-brightness subject
  • a low-brightness region 501b a region including a low-brightness subject.
  • FIG. 20 schematically shows a low-luminance image 502 and a distance map 602 that includes the distance to the subject calculated from the low-luminance image 502.
  • the low-brightness image 502 the brightness of the subject is improved as described above, so the low-brightness image 502 has a high-brightness area (area containing a high-brightness subject) 502a and a medium-brightness area (a medium-brightness area). (area including the subject) 502b.
  • the high brightness area 502a corresponds to an area where the brightness of the subject included in the medium brightness area 501a included in the medium brightness image 501 described above is improved.
  • the medium brightness area 502b corresponds to an area where the brightness of the subject included in the low brightness area 501b included in the medium brightness area 502b described above is improved.
  • the distance to the subject included in the low-luminance image 502 is calculated using such a low-luminance image 502, the distance to the subject included in the medium-luminance area 502b can be calculated with high accuracy.
  • a distance map 602 is created in which a distance of a subject included in the medium brightness area 502b in the low brightness image 502 is assigned to the medium brightness area 502b.
  • a distance map 603 can be created to which distances are assigned.
  • the first to third operation examples are performed when a high-brightness object exists within the imaging range
  • the fourth and fifth operation examples are performed when a low-brightness object exists within the imaging range.
  • the camera module CM performs one of the first to third operation examples and the fourth and fourth operation examples.
  • the configuration may be such that an operation is performed in combination with one of the fifth operation examples.
  • a medium-brightness image is used to calculate the distance to a medium-brightness object
  • a high-brightness image is used to calculate the distance to a high-brightness object
  • a high-brightness image is used to calculate the distance to a low-brightness object. It is possible to capture low-luminance images.
  • the medium brightness image A distance map 804 can be created by combining a distance map 801 created from 701, a distance map 802 created from the high brightness image 702, and a distance map 803 created from the low brightness image 703.
  • the gist of the present invention may be obtained by adding, deleting, or changing the design of components, or adding, omitting, or changing conditions to the above-described embodiment as appropriate by a person skilled in the art. It is within the scope of the present invention as long as it has the following.
  • CM...camera module CG...cover glass, SUB1...array substrate, SUB2...counter substrate, IS...imaging element, OP...opening, TA1...first light transmission area, TA2...second light transmission area, TA3...third Light transmission area, P1...first pad, P2...second pad, P3...third pad, FPC, FPC1 to FPC3...flexible wiring board, W1...first wiring, W2...second wiring, W3...third wiring, LNS...lens, LC...liquid crystal layer, DB...drive board, DR...driver, E1, E2...drive electrode.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)

Abstract

実施形態に係るカメラモジュールは、撮像素子と、液晶パネルとを具備する。液晶パネルは、撮像素子に光を入射させる位置に配置された開口部と、開口部と重畳する位置に配置された液晶層と、液晶層と重畳する位置に配置された電極と、電極に電圧を印加することによって液晶層を駆動するドライバとを含む。ドライバは、第１制御値に基づいて液晶層を駆動し、第２制御値に基づいて液晶層を駆動する。第１制御値に基づいて液晶層が駆動されることによって撮像された第１画像は、第１輝度の被写体までの距離を計算するために用いられる。第２制御値に基づいて液晶層が駆動されることによって撮像された第２画像は、第２輝度の被写体までの距離を計算するために用いられる。

Description

カメラモジュール
　本発明の実施形態は、カメラモジュールに関する。
　近年、液晶パネルと、当該液晶パネルの背面に設けられた撮像素子（カメラ）とを備えたカメラモジュールが開発されている。
　ところで、カメラモジュールは当該カメラモジュールに備えられている撮像素子に光が入射することによって画像を撮像することができるが、当該カメラモジュールによって撮像された画像に生じるぼけを利用して、当該画像中の被写体までの距離を計算する符号化開口技術が知られている。
　しかしながら、カメラモジュールによって撮像される画像によっては、当該画像から適切な距離を計算することができない場合がある。
特表２０１１－５２３２３８号公報 特開２００８－９２４１６号公報
　そこで、本発明が解決しようとする課題は、適切な距離を計算することが可能な画像を撮像することができるカメラモジュールを提供することにある。
　実施形態に係るカメラモジュールは、撮像素子と、液晶パネルとを具備する。前記液晶パネルは、前記撮像素子に光を入射させる位置に配置された開口部と、前記開口部と重畳する位置に配置された液晶層と、前記液晶層と重畳する位置に配置された電極と、前記電極に電圧を印加することによって前記液晶層を駆動するドライバとを含む。前記ドライバは、撮像範囲内に存在する第１輝度の被写体を撮像するための第１制御値に基づいて前記液晶層を駆動し、前記撮像範囲内に存在する前記第１輝度とは異なる第２輝度の被写体を撮像するために第２制御値に基づいて前記液晶層を駆動する。前記第１制御値に基づいて前記液晶層が駆動されることによって前記撮像素子に入射した光量に基づいて撮像された第１画像は、前記第１輝度の被写体までの距離を計算するために用いられる。前記第２制御値に基づいて前記液晶層が駆動されることによって前記撮像素子に入射した光量に基づいて撮像された第２画像は、前記第２輝度の被写体までの距離を計算するために用いられる。
図１は、実施形態に係るカメラモジュールの構成の一例を示す分解斜視図である。 図２はカメラモジュールの一例を模式的に示す平面図である。 図３は、カメラモジュールを用いて被写体の距離を計算する原理について説明するための図である。 図４は、図２に示すＡ－Ａ´線に沿ったカメラモジュールの断面を模式的に示す図である。 図５は、カメラモジュールに備えられる液晶パネルに含まれる光透過領域を示す断面図である。 図６は、開口部に形成される光透過領域の他の例を示す図である。 図７は、開口部に形成される光透過領域の別の例を示す図である。 図８は、開口部に形成される光透過領域の更に別の例を示す図である。 図９は、開口部に形成される光透過領域の更に別の例を示す図である。 図１０は、本実施形態の比較例に係るカメラモジュールの動作について説明するための図である。 図１１は、撮像素子から転送される画像の一例を示す図である。 図１２は、本実施形態に係るカメラモジュールの第１動作例について説明するための図である。 図１３は、本実施形態に係るカメラモジュールの第２動作例について説明するための図である。 図１４は、本実施形態に係るカメラモジュールの第３動作例について説明するための図である。 図１５は、中輝度用画像及び高輝度用画像が撮像された場合において作成される距離マップについて説明するための図である。 図１６は、撮像素子から転送される画像の他の例を示す図である。 図１７は、本実施形態に係るカメラモジュールの第４動作例について説明するための図である。 図１８は、撮像素子の回路の一例を示す図である。 図１９は、本実施形態に係るカメラモジュールの第５動作例について説明するための図である。 図２０は、中輝度用画像及び低輝度用画像が撮像された場合において作成される距離マップについて説明するための図である。 図２１は、中輝度用画像、高輝度用画像及び低輝度用画像が撮像された場合において作成される距離マップについて説明するための図である。
　以下、図面を参照して、実施形態について説明する。なお、開示はあくまで一例にすぎず、当業者において、発明の主旨を保っての適宜変更について容易に想到し得るものについては、当然に本発明の範囲に含有されるものである。また、図面は説明をより明確にするため、実施の態様に比べ、各部の幅、厚さ、形状等について模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。また、本明細書と各図において、既出の図に関して前述したものと同様の要素には、同一の符号を付して、詳細な説明を適宜省略することがある。
　図１は、本実施形態に係るカメラモジュールの構成の一例を示す分解斜視図である。図１は、方向Ｘと、方向Ｘに垂直な方向Ｙと、方向Ｘ及び方向Ｙに垂直な方向Ｚによって規定される三次元空間を示している。なお、方向Ｘ、方向Ｙ及び方向Ｚは、互いに直交しているが、９０°以外の角度で交差していてもよい。また、本実施形態においては、方向Ｚを上と定義し、方向Ｚの反対側の方向を下と定義する。「第１部材の上の第２部材」及び「第１部材の下の第２部材」とした場合、第２部材は、第１部材に接していてもよく、第１部材から離れて位置していてもよい。
　図１に示すように、カメラモジュールＣＭは、カバー部材としてのカバーガラスＣＧに覆われる液晶パネルＰＮＬと、当該液晶パネルＰＮＬの下側（背面側）に設けられた撮像素子ＩＳを備える。
　液晶パネルＰＮＬは、アレイ基板ＳＵＢ１及び対向基板ＳＵＢ２を備える。アレイ基板ＳＵＢ１は、方向ＺからカメラモジュールＣＭを視認する平面視において、略円形状を有する第１部分１ａと当該第１部分１ａに接続される略矩形状の第２部分１ｂとを組み合わせた鍵穴状の形状（輪郭）を有する。一方、対向基板ＳＵＢ２は、アレイ基板ＳＵＢ１の第１部分１ａと重畳する位置に配置された場合に、平面視において当該アレイ基板ＳＵＢ１の第２部分１ｂを露出するような形状を有する。
　なお、図１においては示されていないが、液晶パネルＰＮＬは、アレイ基板ＳＵＢ１と対向基板ＳＵＢ２との間に保持される液晶層を更に備える。
　撮像素子ＩＳは、当該撮像素子ＩＳに入射した光を電圧信号（電気信号）に変換する光電変換素子であり、図示しない少なくとも１つのレンズを含む光学系とともに画像を撮像するカメラを構成する。
　本実施形態に係るカメラモジュールＣＭにおいては、上記した液晶パネルＰＮＬに備えられている液晶層が駆動されることにより、カバーガラスＣＧ及び液晶パネルＰＮＬ（液晶層）を透過した光が撮像素子ＩＳに入射される。これにより、カメラモジュールＣＭは、撮像素子ＩＳに入射した光に基づく画像を撮像することができる。
　なお、図１はカバーガラスＣＧ、液晶パネルＰＮＬ（アレイ基板ＳＵＢ１及び対向基板ＳＵＢ２）及び撮像素子ＩＳ（カメラ）の方向Ｚの位置関係を説明するための図であり、当該カバーガラスＣＧ、液晶パネルＰＮＬ及び撮像素子ＩＳのサイズ及び形状等については図１と異なっていてもよい。
　図２は、カメラモジュールＣＭを模式的に示す平面図である。図２においては、便宜的に、カバーガラスＣＧ及びアレイ基板ＳＵＢ１のみが示されているが、当該カバーガラスＣＧとアレイ基板ＳＵＢ１との間には対向基板ＳＵＢ２が配置されている。また、アレイ基板ＳＵＢ１の背面側（方向Ｚの反対側の方向）には撮像素子ＩＳが配置されている。
　液晶パネルＰＮＬは、例えば円形状を有する開口部ＯＰを含む。本実施形態において、開口部ＯＰとは、上記したアレイ基板ＳＵＢ１と対向基板ＳＵＢ２との間に保持される液晶層と重畳する部分（領域）である。
　本実施形態において、開口部ＯＰには、複数の領域が形成されている。開口部ＯＰに形成されている複数の領域は、例えば液晶を駆動することによって光を透過することができる領域（以下、光透過領域と表記）であり、図２に示す例では、第１～第３光透過領域ＴＡ１～ＴＡ３を含む。
　第１光透過領域ＴＡ１は、円形状を有し、例えば開口部ＯＰの中心を含まない位置に形成されている。具体的には、第１光透過領域ＴＡ１は、開口部ＯＰの中心からＸ方向の反対側の方向に寄った位置に形成されている。
　第２光透過領域ＴＡ２は、円形状を有し、例えば開口部ＯＰの中心を挟んで第１光透過領域ＴＡ１と対向する位置に形成されている。すなわち、第２光透過領域ＴＡ２は、開口部ＯＰの中心からＸ方向に寄った位置に形成されている。
　図２に示す例では、第１光透過領域ＴＡ１と第２光透過領域ＴＡ２とは同程度のサイズに形成されている。
　第３光透過領域ＴＡ３は、開口部ＯＰから第１及び第２光透過領域ＴＡ１及びＴＡ２を除いた領域に相当する。
　なお、第１～第３光透過領域ＴＡ１～ＴＡ３は、例えばブラックマトリクス等によって形成される遮光領域によって区画されているものとする。
　ここで、上記したように光を撮像素子ＩＳに入射させるためには、当該液晶層に対応する位置に配置された電極（以下、駆動電極と表記）に電圧を印加して当該液晶層を駆動する必要があるが、本実施形態において、液晶パネルＰＮＬは、複数の光透過領域の各々に対応する位置に配置された複数の駆動電極を備えているものとする。
　図２に示す例において、液晶パネルＰＮＬは、第１光透過領域ＴＡ１と重畳する位置に配置された第１駆動電極、第２光透過領域ＴＡ２と重畳する位置に配置された第２駆動電極及び第３光透過領域ＴＡ３と重畳する位置に配置された第３駆動電極を備える。
　このような構成によれば、例えば第１駆動電極にのみ電圧が印加された場合には、第１光透過領域ＴＡ１を介して撮像素子ＩＳに光を透過させるように液晶層を駆動することができる。また、例えば第２駆動電極にのみ電圧が印加された場合には、第２光透過領域ＴＡ２を介して撮像素子ＩＳに光を透過させるように液晶層を駆動することができる。同様に、例えば第３駆動電極にのみ電圧が印加された場合には、第３光透過領域ＴＡ３を介して撮像素子ＩＳに光を透過させるように液晶層を駆動することができる。なお、ここでは駆動電極に電圧が印加された状態（つまり、オン状態）で光を透過させるノーマリーブラック方式が液晶パネルＰＮＬにおいて採用されている場合を想定している。
　ところで、本実施形態においては、上記した第１～第３光透過領域ＴＡ１～ＴＡ３の各々を透過して撮像素子ＩＳに入射した光に基づく画像（つまり、カメラモジュールＣＭによって撮像された被写体の画像）を利用して、当該カメラモジュールＣＭ（撮像素子ＩＳ）から当該画像中の被写体までの距離（以下、被写体の距離と表記）を計算するために当該カメラモジュールＣＭが用いられるものとする。
　被写体の距離を画像から計算する技術としては、例えば符号化開口技術を利用することができる。詳しい説明については省略するが、符号化開口技術は、被写体の位置に応じて画像に生じるぼけを解析することによって当該被写体の距離を計算する技術である。
　すなわち、上記した符号化開口技術を利用すれば、画像に基づいて被写体の距離を計算し、当該被写体の距離を表す距離マップ（デプスマップ）を作成するような用途にカメラモジュールＣＭを用いることができる。なお、被写体の距離を計算する処理及び距離マップを作成する処理等は、例えばカメラモジュールＣＭと接続される電子機器（カメラモジュールＣＭが搭載される電子機器）上で動作する所定のアプリケーションプログラムによって実現されればよい。
　ここで、図３を参照して、上記したカメラモジュールＣＭによって撮像された画像を利用して被写体の距離を計算する原理について簡単に説明する。図３は、カメラモジュールＣＭと被写体との位置関係を示している。なお、上記した図１においては省略されているが、カメラモジュールＣＭにおいて、撮像素子ＩＳと液晶パネルＰＮＬとの間にはレンズＬＮＳが配置されている。
　ここでは、図３に示す被写体Ｓの距離を計算する場合を想定する。一般に、カメラにおいては、レンズＬＮＳと撮像素子ＩＳとの間の距離を変化させることによって被写体Ｓにピントが合っている状態で当該被写体Ｓを撮影することができるが、図３に示すように当該被写体Ｓにピントが合っていない状態で当該被写体Ｓを撮影した場合には、焦点位置と撮像素子ＩＳの撮像面の位置とにずれが生じるため、撮像素子ＩＳに入射した光に基づく画像にはぼけが生じる。
　上記した符号化開口技術によれば、このように画像に生じているぼけに基づいて被写体Ｓまでの距離が計算される。
　なお、図３において第１光透過領域ＴＡ１を光が透過する場合を示しているが、本実施形態においては、上記したように３つの光透過領域（第１～第３光透過領域ＴＡ１～ＴＡ３）を用意し、当該３つの光透過領域の各々を透過した光に基づく複数の画像（つまり、異なる光透過領域を透過した光に基づく複数のぼけのパターン）を利用して被写体の距離を計算することにより、当該距離の精度を向上させることができる。
　ここで、本実施形態においては上記したように第１～第３駆動電極の各々に電圧を印加することによって第１～第３光透過領域ＴＡ１～ＴＡ３の各々を介して撮像素子ＩＳに光を透過させることができるが、このように第１～第３駆動電極に電圧を印加するためには、液晶パネルＰＮＬ（液晶層）を駆動するように構成されているドライバ（図示せず）と当該第１～第３駆動電極とを電気的に接続する必要がある。
　この場合、例えば第１駆動電極（つまり、第１光透過領域ＴＡ１と重畳する位置に配置されている駆動電極）は第１配線Ｗ１を介して第１パッドＰ１と電気的に接続されており、当該第１パッドＰ１はフレキシブル配線基板ＦＰＣを介してドライバと電気的に接続される。
　また、第２駆動電極（つまり、第２光透過領域ＴＡ２と重畳する位置に配置されている駆動電極）は第２配線Ｗ２を介して第２パッドＰ２と電気的に接続されており、当該第２パッドＰ２はフレキシブル配線基板ＦＰＣを介してドライバと電気的に接続される。
　同様に、第３駆動電極（つまり、第３光透過領域ＴＡ３と重畳する位置に配置されている駆動電極）は第３配線Ｗ３を介して第３パッドＰ３と電気的に接続されており、当該第３パッドＰ３はフレキシブル配線基板ＦＰＣを介してドライバと電気的に接続されている。
　なお、上記した第１～第３パッドＰ１～Ｐ３としては、例えばＯＬＢ（Outer Lead Bonding）パッドが用いられる。
　また、液晶パネルＰＮＬは開口部ＯＰを囲む非開口部ＮＯＰを含み、第１～第３パッドＰ１～Ｐ３は、図２に示すように、当該非開口部ＮＯＰに配置されている。図２に示す例では、第１～第３パッドＰ１～Ｐ３は、方向Ｙに延在し、方向Ｘに並べて配置されている。この場合、上記した第１～第３配線Ｗ１～Ｗ３は、第１～第３パッドＰ１～Ｐ３の方向Ｙの反対側の端部に接続されている。
　ここで、図４は、図２に示すＡ－Ａ´線に沿ったカメラモジュールＣＭの断面を模式的に示す図である。図４に示すように、液晶パネルＰＮＬは、上記したアレイ基板ＳＵＢ１、対向基板ＳＵＢ２及び当該アレイ基板ＳＵＢ１と当該対向基板ＳＵＢ２との間に保持される液晶層ＬＣに加えて、当該アレイ基板ＳＵＢ１の背面側（方向Ｚとは反対側）に配置された駆動ボードＤＢを含む。
　図４に示すように、液晶パネルＰＮＬ（液晶層ＬＣ）を駆動するドライバＤＲは、駆動ボードＤＢ上に実装されている。上記したフレキシブル配線基板ＦＰＣは第１～第３パッドＰ１～Ｐ３に沿って（つまり、Ｙ方向に）延在しており、図４に示す第１パッドＰ１は、当該第１パッドＰ１の方向Ｙ側の端部で折り曲げられたフレキシブル配線基板ＦＰＣを介して、ドライバＤＲと接続される。第１パッドＰ１とフレキシブル配線基板ＦＰＣとは、例えば異方性導電膜（ＡＣＦ）を介して圧着されることにより、電気的に接続可能である。
　なお、液晶パネルＰＮＬは非開口部ＮＯＰに位置するシール材ＳＥを含み、アレイ基板ＳＵＢ１と対向基板ＳＵＢ２とは、当該シール材ＳＥによって接合されている。これにより、液晶層ＬＣは、アレイ基板ＳＵＢ１、対向基板ＳＵＢ２及びシール材ＳＥで囲まれた空間に形成されることができる。
　また、図４においては省略されているが、撮像素子ＩＳは、例えばアレイ基板ＳＵＢ１と駆動ボードＤＢとの間に配置されている。
　以下、図５を参照して、カメラモジュールＣＭに備えられる液晶パネルＰＮＬの構成の一例について簡単に説明する。ここでは、液晶パネルＰＮＬに含まれる光透過領域（つまり、開口部ＯＰ）について主に説明する。
　図５に示すように、アレイ基板ＳＵＢ１は、絶縁基板１０と配向膜ＡＬ１との間に、絶縁層１１、絶縁層１２及び絶縁層１３とを備えている。また、アレイ基板ＳＵＢ１の外側には、偏光板ＰＬ１が形成されている。
　絶縁層１１は、絶縁基板１０の上に設けられている。また、絶縁層１２は、絶縁層１１の上に設けられている。
　ここで、図５においては、第１駆動電極Ｅ１が絶縁層１２の上に設けられ、絶縁層１３で覆われている。また、第１駆動電極Ｅ２が絶縁層１３の上に設けられ、配向膜ＡＬ１で覆われている。配向膜ＡＬ１は、液晶層ＬＣに接している。
　なお、第１駆動電極Ｅ１及びＥ２は、インジウム・ティン・オキサイド（ＩＴＯ）及びインジウム・ジンク・オキサイド（ＩＺＯ）等の透明な導電材料で形成されている。また、図５に示す例では、絶縁層１３が第１駆動電極Ｅ１及びＥ２に挟まれているが、当該第１駆動電極Ｅ１及びＥ２は同層に形成されていてもよい。
　一方、対向基板ＳＵＢ２は、絶縁基板２０のアレイ基板ＳＵＢ１に対向する側に、遮光層ＢＭ、透明層ＯＣ及び配向膜ＡＬ２等を備えている。
　遮光層ＢＭは、上記した第１光透過領域ＴＡ１等を区画する遮光領域を形成するように絶縁基板２０の内面に形成されている。透明層ＯＣは、絶縁基板２０及び遮光層ＢＭを覆っている。配向膜ＡＬ２は、透明層ＯＣを覆っており、液晶層ＬＣと接している。
　液晶層ＬＣは、第１駆動電極Ｅ１及びＥ２間に電圧が印加されることによって駆動される。この場合、例えば非開口部ＯＰと重畳する位置に配置されている第１パッドＰ１及びフレキシブル配線基板ＦＰＣを介して、第１駆動電極Ｅ１には第１電圧が印加され、第１駆動電極Ｅ２には第２電圧が印加される。なお、第１及び第２電圧の一方は例えば正極性の電圧レベルを有しており、他方は負極性の電圧レベルを有している。
　なお、本実施形態においては例えば第１駆動電極Ｅ１及びＥ２間に電圧を印加することによって第１光透過領域ＴＡ１を介して撮像素子ＩＳに光を透過させるように液晶層ＬＣを駆動するが、このような液晶層ＬＣの駆動は、ドライバＤＲによって実現される。
　ここで、例えば偏光板ＰＬ１及びＰＬ２の透過軸が直交しており、液晶層ＬＣに含まれる液晶分子が配向膜ＡＬ１及びＡＬ２の間で偏光板ＰＬ１の透過軸方向に初期配向しているものとする。
　この場合、第１駆動電極Ｅ１及びＥ２間に電圧が印加されていない（つまり、液晶層ＬＣが駆動されていない）オフ状態では、当該液晶層ＬＣにおいて位相差が生じないため、第１光透過領域ＴＡ１における光透過率は最小となる（つまり、光は第１光透過領域ＴＡ１を透過することができない）。
　一方、第１駆動電極Ｅ１及びＥ２間に電圧が印加されている（つまり、液晶層ＬＣが駆動されている）オン状態では、液晶分子が初期配向方向とは異なる方向に配向し、当該液晶層ＬＣにおいて位相差が生じるため、第１光透過領域ＴＡ１における光透過率は大きくなる（つまり、光は第１光透過領域ＴＡ１を透過することができる）。このように第１光透過領域ＴＡ１を透過した光は撮像素子ＩＳに入射され、カメラモジュールＣＭは、当該撮像素子ＩＳに入射した光に基づく画像を撮像することができる。
　ここではオフ状態で光を透過させないノーマリーブラック方式が液晶パネルＰＮＬにおいて採用されている場合を想定しているが、本実施形態においては、オン状態で光を透過させない（オフ状態で光を透過させる）ノーマリーホワイト方式が採用されていてもよい。
　上記した図４及び図５においては第１光透過領域ＴＡ１について主に説明したが、開口部ＯＰにおける位置、サイズ及び形状が異なる点以外は、第２及び第３光透過領域ＴＡ２及びＴＡ３についても当該第１光透過領域ＴＡ１と同様に構成されていればよい。
　なお、本実施形態においては、円形状を有する開口部ＯＰに３つの光透過領域（第１～第３光透過領域ＴＡ１～ＴＡ３）が形成されているものとして説明したが、当該開口部ＯＰの形状、当該開口部ＯＰに形成される光透過領域の位置、サイズ、形状及び数は、例えば上記したように距離が計算される被写体（つまり、画像が撮像される環境）等に応じて適宜変更されても構わない。
　具体的には、開口部ＯＰには、例えば図６に示すような４つの光透過領域ＴＡ１～ＴＡ４が形成されていてもよい。更に、図７に示すような４つの光透過領域ＴＡ１～ＴＡ４（つまり、２つの符号化開口対）を開口部ＯＰに形成し、例えば被写体がカメラモジュールＣＭから中距離または遠距離の位置に存在する場合には光透過領域ＴＡ１及びＴＡ２（を透過した光に基づく画像）を利用して当該被写体までの距離を計算し、被写体がカメラモジュールＣＭから近距離の位置に存在する場合には光透過領域ＴＡ３及びＴＡ４（を透過した光に基づく画像）を利用して当該被写体までの距離を計算するような構成とするようにしてもよい。また、図７に示す光透過領域ＴＡ１～ＴＡ４を図８のように配置することによって、計算される被写体の距離における方向Ｘ及び方向Ｙの誤差を緩和するようにしてもよい。更に、図７に示す光透過領域ＴＡ１～ＴＡ４は、例えば図９のように配置されていてもよい。
　なお、本実施形態においては開口部ＯＰに複数の光透過領域が形成（配置）されている場合を想定しているが、被写体の距離を計算することが可能であれば、当該開口部ＯＰに１つの光透過領域が形成されている構成であってもよい。
　ここで、本実施形態においては少なくとも１つの光透過領域を透過した光が撮像素子ＩＳに入射することによって撮像された画像を利用して被写体の距離を計算するが、例えば当該画像に含まれる被写体の輝度によっては、当該被写体の距離の精度が低い場合がある。
　以下、図１０を参照して、本実施形態の比較例に係るカメラモジュールＣＭ（ドライバＤＲ及び撮像素子ＩＳ）の動作について簡単に説明する。図１０は、撮像素子ＩＳが液晶層を通過した光を受光する時間（以下、露光時間と表記）と、当該露光時間内に撮像素子ＩＳに光が入射されることによって撮像された画像が当該撮像素子ＩＳから外部に転送されるタイミングとを示している。
　なお、ここではカメラモジュールＣＭが複数の画像（つまり、動画）を撮像しながら、当該画像の各々を利用して被写体の距離を計算するような場合を想定している。また、本実施形態において撮像素子ＩＳから外部に転送される画像には、当該撮像素子ＩＳに入射した光量（つまり、被写体の輝度）に対応する電圧信号（輝度値）が含まれるものとする。
　図１０においては、所定のフレームレート（予め定められている露光時間）に従ってドライバＤＲが液晶層ＬＣを駆動することによって撮像素子ＩＳに入射された光に基づく画像が当該撮像素子ＩＳから順次転送（出力）されることが示されている。
　ここで、図１１は、ドライバＤＲが図１０に示す露光時間を実現するように液晶層ＬＣを駆動した場合に撮像素子ＩＳから転送される画像の一例を示している。ここではカメラモジュールＣＭの撮像範囲内に中輝度の被写体及び高輝度の被写体が存在する場合を想定する。この場合、図１１に示す画像１００は、中輝度領域１００ａ及び高輝度領域１００ｂを含む。
　中輝度領域１００ａは、中輝度の被写体を包含する領域である。本実施形態においては画像に生じるぼけを利用して被写体の距離を計算するところ、中輝度領域１００ａにおいては比較的当該ぼけを観察しやすいため、精度の高い距離を計算することができる。
　一方、高輝度領域１００ｂは高輝度の被写体を包含する領域であるが、このような高輝度領域１００ｂにおいては輝度が飽和する（白飛びが生じる）ことによりぼけを観察することができず、当該被写体の距離を計算することができない。
　すなわち、上記した図１０に示すように一定の露光時間で繰り返し画像を撮像するようにドライバＤＲ及び撮像素子ＩＳ（カメラモジュールＣＭ）が動作した場合には、当該画像から適切に被写体（特に、高輝度の被写体）の距離を計算することができない（つまり、測距できない）場合がある。
　そこで、本実施形態におけるドライバＤＲは、適切な被写体の距離を計算することが可能な画像を撮像するために、撮像範囲内に存在する中輝度（第１輝度）の被写体を撮像するための制御値（第１制御値）に基づいて液晶層ＬＣを駆動するとともに、当該撮像範囲内に存在する高輝度（第２輝度）の被写体を撮像するための制御値（第２制御値）に基づいて液晶層ＬＣを駆動するように動作する。
　以下、図１２を参照して、本実施形態に係るカメラモジュールＣＭの第１動作例について説明する。図１２は、上記した図１０と同様に、撮像素子ＩＳの露光時間と、当該露光時間内に撮像素子ＩＳに光が入射されることによって撮像された画像が当該撮像素子ＩＳから外部に転送されるタイミングとを示している。
　第１動作例において、ドライバＤＲは、中輝度用の露光時間（制御値）に基づいて液晶層ＬＣを駆動する。この場合、中輝度用の露光時間内に撮像素子ＩＳに入射した光に基づいて撮像された画像（以下、中輝度用画像と表記）が当該撮像素子ＩＳから転送される。
　次に、ドライバＤＲは、高輝度用の露光時間（制御値）に基づいて液晶層ＬＣを駆動する。この場合、高輝度用の露光時間内に撮像素子ＩＳに入射した光に基づいて撮像された画像（以下、高輝度用画像と表記）が当該撮像素子ＩＳから転送される。
　第１動作例において動画を撮像する場合は、図１２に示すように、中輝度用画像及び高輝度用画像が交互に撮像される（つまり、中輝度用の露光時間に基づく液晶層ＬＣの駆動及び高輝度用の露光時間に基づく液晶層ＬＣの駆動が繰り返し実行される）。
　ここで、第１動作例における中輝度用の露光時間は上記した図１０に示す露光時間と同一であるが、高輝度用の露光時間は、当該中輝度用の露光時間よりも短く設定されている。これによれば、高輝度用画像においては、露光時間を短縮することによって、中輝度用画像において輝度が飽和して距離を計算することができない被写体の輝度を抑制することができる。すなわち、中輝度用画像は中輝度の被写体の距離を精度よく計算するための画像であるのに対し、高輝度用画像は高輝度の被写体の距離を精度よく計算するための画像であるといえる。
　上記した第１動作例によれば、露光時間を調整することによって、中輝度の被写体の距離を計算することが可能な中輝度用画像（第１画像）及び高輝度の被写体の輝度を計算することが可能な高輝度用画像（第２画像）を撮像することが可能となる。
　第１動作例においては撮像素子ＩＳの露光時間に合わせてドライバＤＲが液晶層ＬＣを駆動する場合を想定しているが、当該露光時間は、液晶パネルＰＮＬによって調整されてもよいし、例えば物理的なシャッター等を制御することによって調整されてもよい。
　ここで、第１動作例においては中輝度用の露光時間及び高輝度用の露光時間を撮像素子ＩＳが用意することによって撮像素子ＩＳの受光量（つまり、画像中の被写体の輝度）を調整するものとして説明した。液晶パネルＰＮＬにおいては、液晶層ＬＣと重畳する位置に配置されている駆動電極に印加する電圧値によって、当該液晶層ＬＣにおける光の透過率（つまり、撮像素子ＩＳに入射する光量）を調整することができる。
　以下、図１３を参照して、本実施形態に係るカメラモジュールＣＭの第２動作例について説明する。図１３は、撮像素子ＩＳに光を入射させるためにドライバＤＲが液晶層ＬＣを駆動する時間（露光時間）と、当該液晶層ＬＣを駆動するために当該液晶層ＬＣと重畳する位置に配置されている駆動電極に印加される電圧値と、当該露光時間内に撮像素子ＩＳに光が入射されることによって撮像された画像が当該撮像素子ＩＳから外部に転送されるタイミングとを示している。すなわち、第２動作例においては液晶パネルＰＮＬによって露光時間を制御している。なお、ここでは液晶パネルＰＮＬがノーマリーブラック方式を採用している場合を想定している。
　第２動作例において、ドライバＤＲは、中輝度用の電圧値（制御値）に基づいて駆動電極に電圧を印加することによって液晶層ＬＣを駆動する。この場合、中輝度用の電圧値に基づいて液晶層ＬＣが駆動されている間に撮像素子ＩＳに入射した光に基づいて撮像された中輝度用画像が当該撮像素子から転送される。
　次に、ドライバＤＲは、高輝度用の電圧値（制御値）に基づいて駆動電極に電圧を印加することによって液晶層ＬＣを駆動する。この場合、高輝度用の電圧値に基づいて液晶層ＬＣが駆動されている間に撮像素子ＩＳに入射した光に基づいて撮像された高輝度用画像が当該撮像素子から転送される。
　第２動作例において動画を撮像する場合は、上記した第１動作例と同様に、中輝度用画像及び高輝度用画像が交互に撮像される（つまり、中輝度用の電圧値に基づく液晶層ＬＣの駆動及び高輝度用の電圧値に基づく液晶層ＬＣの駆動が繰り返し実行される）。
　ここで、第２動作例における中輝度用の電圧値は例えば第１動作例等において駆動電極に印加される電圧値と同一であるが、高輝度用の電圧値は、当該中輝度用の電圧値よりも低く設定されている。上記したノーマリーブラック方式が採用されている液晶パネルＰＮＬにおいては高い電圧が駆動電極に印加されることによって液晶層ＬＣにおける高い光の透過率を実現することができるため、高輝度用画像においては、駆動電圧に印加される電圧を低下させることによって、中輝度用画像において輝度が飽和して距離を計算することができない被写体の輝度を抑制することができる。すなわち、第２動作例における高輝度用画像は、高輝度の被写体の距離を精度よく計算するための画像であるといえる。
　なお、第２動作例における中輝度用画像は、第１動作例における中輝度用画像と同一であるため、中輝度の被写体の距離を精度よく計算するための画像である。
　また、第２動作例においては駆動電極に印加される電圧値で被写体の輝度を調整する構成であるため、露光時間（撮像素子ＩＳに光を入射させるために液晶層ＬＣを駆動する時間）は一定であってもよい。
　上記したように第２動作例によれば、駆動電極に印加される電圧値を調整することによって、中輝度の被写体を計算することが可能な中輝度用画像及び高輝度の被写体を計算することが可能な高輝度用画像を撮像することが可能となる。
　また、上記したように液晶パネルＰＮＬがノーマリーブラック方式を採用している場合、第２動作例は、第１動作例と比較して、高輝度用画像を撮像する際の印加電圧（駆動電極に印加される電圧の電圧値）を低減することができるため、消費電力を抑制することができる。更に、第２動作例は、露光時間を短縮したとしても輝度が飽和するような場合であっても適用可能である。
　ここで、例えば上記した第１及び第２動作例においてカメラモジュールＣＭが複数の画像を連続的に撮像する（つまり、動画を撮像する）場合、１フレームの画像として中輝度用の画像と高輝度用の画像とを撮像する必要があり、フレームレートが低下する。このため、上記した第１動作例の変形例として、一定の露光時間を併用して中輝度用画像と高輝度用画像とを撮像する（つまり、中輝度用画像を撮像するための露光時間において高輝度用画像を撮像する）構成を採用してもよい。
　以下、図１４を参照して、本実施形態に係るカメラモジュールＣＭの第３動作例について説明する。図１４は、撮像素子ＩＳに光を入射させるためにドライバＤＲが液晶層ＬＣを駆動する時間（露光時間）と、当該露光時間内に撮像素子ＩＳに光が入射されることによって撮像された画像が当該撮像素子ＩＳから外部に転送されるタイミングとを示している。
　第３動作例において、ドライバＤＲは、撮像素子ＩＳの一定の露光時間に基づいて液晶層ＬＣを駆動する。なお、第３動作例における露光時間は、例えば第１動作例における中輝度用の露光時間と同一である。
　ここで、第３動作例において、撮像素子ＩＳは、ドライバＤＲが液晶層ＬＣを駆動している露光時間が終了する前の時点までに当該撮像素子ＩＳに入射した光量に基づく高輝度用画像を転送する。
　次に、撮像素子ＩＳは、露光時間が終了した時点までに当該撮像素子ＩＳに入射した光量に基づく中輝度用画像を転送する。
　このような第３動作例によれば、上記した第１及び第２動作例において中輝度用画像を撮像するための１回の露光時間の間に中輝度用画像と高輝度用画像とを撮像することができるため、当該第１及び第２動作例と比較して高いフレームレートを実現することができる。
　なお、ここではカメラモジュールＣＭの撮像範囲内に高輝度の被写体が存在しているものとして説明したが、当該高輝度の被写体が存在していないにもかかわらず、高輝度用画像を撮像することは上記したフレームレートの低下またはカメラモジュールＣＭの処理量の増加の要因となる。
　このため、本実施形態に係るカメラモジュールＣＭは、当該カメラモジュールＣＭの撮像範囲内に高輝度の被写体が存在するか否かに応じて動作モードを切り替えるような構成であってもよい。
　具体的には、カメラモジュールＣＭは、例えば通常時は中輝度用画像を連続的に撮像する第１動作モードで動作し、当該中輝度用画像を解析することによって当該中輝度用画像から高輝度の被写体（を含む領域）が検出された場合に、上記した中輝度用画像及び高輝度用画像を撮像する第２動作モードで動作するようにしてもよい。なお、中輝度用画像を解析する処理は、カメラモジュールＣＭが搭載される電子機器側で実行されてもよいし、カメラモジュールＣＭに搭載される処理回路等によって実行されてもよい。
　ここで、本実施形態に係るカメラモジュールＣＭは被写体の距離を表す距離マップを作成するような用途に用いられるものとして説明したが、図１５を参照して、上記した中輝度用画像及び高輝度用画像が撮像された場合において作成される距離マップについて簡単に説明する。なお、距離マップを作成する処理は、上記したようにカメラモジュールＣＭが搭載される電子機器によって実行されるものとする。
　まず、図１５の上段は、中輝度用画像２０１と当該中輝度用画像２０１から計算された被写体の距離を含む距離マップ３０１とを模式的に示している。
　中輝度用画像２０１は、中輝度領域（中輝度の被写体を含む領域）２０１ａ及び高輝度領域（高輝度の被写体を含む領域）２０１ｂを含む。このような中輝度用画像２０１を利用して当該中輝度用画像２０１に含まれる被写体の距離を計算した場合、中輝度領域２０１ａに含まれる被写体の距離は精度よく計算されるが、高輝度領域２０１ｂに含まれる被写体の距離は計算することができない。この場合、例えば中輝度用画像２０１中の中輝度領域２０１ａに対して当該中輝度領域２０１ａに含まれる被写体の距離が割り当てられた距離マップ３０１が作成される。
　一方、図１５の下段は、高輝度用画像２０２と当該高輝度用画像２０２から計算された被写体の距離を含む距離マップ３０２とを模式的に示している。
　高輝度用画像２０２においては上記したように被写体の輝度が抑制されているため、当該高輝度用画像２０２は、低輝度領域（低輝度の被写体を含む領域）２０２ａ及び中輝度領域（中輝度の被写体を含む領域）２０２ｂを含む。なお、低輝度領域２０２ａは、上記した中輝度用画像２０１に含まれる中輝度領域２０１ａに含まれる被写体の輝度が抑制された領域に相当する。また、中輝度領域２０２ｂは、上記した中輝度用画像２０１に含まれる高輝度領域２０１ｂに含まれる被写体の輝度が抑制された領域に相当する。このような高輝度用画像２０２を利用して当該高輝度用画像２０２に含まれる被写体の距離を計算した場合、中輝度領域２０２ｂに含まれる被写体の距離を精度よく計算することができるため、例えば高輝度用画像２０２中の中輝度領域２０２ｂに対して当該中輝度領域２０２ｂに含まれる被写体の距離が割り当てられた距離マップ３０２が作成される。
　本実施形態においては、上記したように中輝度用画像２０１から作成された距離マップ３０１と高輝度用画像２０２から作成された距離マップ３０２とを合成することによって、全ての領域において精度の高い被写体の距離が割り当てられた距離マップ３０３を作成することができる。
　本実施形態においてはカメラモジュールＣＭの撮像範囲内に高輝度の被写体が存在する場合（つまり、高輝度の被写体の距離を計算することができない場合）について説明したが、当該撮像範囲内に低輝度の被写体が存在する場合についても同様に、当該被写体の距離を計算することが困難である。
　ここで、図１６は、例えばドライバＤＲが上記した図１０に示す露光時間を実現するように液晶層ＬＣを駆動した場合に撮像素子ＩＳから転送される画像の一例を示している。ここでは、カメラモジュールＣＭの撮像範囲内に中輝度の被写体及び低輝度の被写体が存在する場合を想定している。この場合、図１６に示す画像４００は、中輝度領域４００ａ及び低輝度領域４００ｂを含む。
　中輝度領域４００ａは、中輝度の被写体を包含する領域である。上記したように中輝度領域４００ａであれば、精度の高い被写体の距離を計算することができる。
　一方、低輝度領域４００ｂは低輝度の被写体を包含する領域であるが、このような低輝度領域４００ｂにおいては撮像素子ＩＳにおけるＳ／Ｎ比が低く、精度の高い被写体の距離を計算することは困難である。
　以下、図１７を参照して、本実施形態に係るカメラモジュールＣＭの第４動作例について説明する。図１７は、撮像素子ＩＳに光を入射させるためにドライバＤＲが液晶層ＬＣを駆動する時間（露光時間）と、当該露光時間内に撮像素子ＩＳに光が入射されることによって撮像された画像が当該撮像素子ＩＳから外部に転送されるタイミングとを示している。
　第４動作例において、ドライバＤＲは、中輝度用の露光時間（制御値）に基づいて液晶層ＬＣを駆動する。この場合、中輝度用の露光時間内に撮像素子ＩＳに入射した光に基づいて撮像された画像（中輝度用画像）が当該撮像素子ＩＳから転送される。
　次に、ドライバＤＲは、低輝度用の露光時間（制御値）に基づいて液晶層ＬＣを駆動する。この場合、低輝度用の露光時間内に撮像素子ＩＳに入射した光に基づいて撮像された画像（以下、低輝度用画像と表記）が当該撮像素子ＩＳから転送される。
　第４動作例において動画を撮像する場合は、図１７に示すように、中輝度用画像及び低輝度用画像が交互に撮像される（つまり、中輝度用の露光時間に基づく液晶層ＬＣの駆動及び低輝度用の露光時間に基づく液晶層ＬＣの駆動が繰り返し実行される）。
　ここで、第４動作例における中輝度用の露光時間は上記した図１０に示す露光時間と同一であるが、低輝度用の露光時間は、当該中輝度用の露光時間よりも長く設定されている。これによれば、低輝度用画像においては、露光時間を延長することによって、中輝度用画像において輝度が低いために距離を計算することが困難な被写体の輝度を向上させることができる。すなわち、第４動作例における低輝度用画像は、低輝度の被写体の距離を精度よく計算するための画像であるといえる。
　上記した第４動作例によれば、露光時間を調整することによって、中輝度の被写体の距離を計算することが可能な中輝度用画像及び低輝度の被写体の距離を計算することが可能な低輝度用画像を撮像することが可能となる。
　第４動作例においてはドライバＤＲが液晶層ＬＣを駆動することによって露光時間を調整する場合を想定しているが、当該露光時間は、撮像素子ＩＳによって調整されてもよいし、例えば物理的なシャッター等を制御することによって調整されてもよい。
　なお、第４動作例においては、１フレームの画像として中輝度用の画像と低輝度用の画像とを撮像する必要があり、フレームレートが低下する。このため、第４動作例に対して上記した撮像範囲内に高輝度の被写体が存在する場合の第３動作例を適用して、低輝度用画像を撮像するための露光時間において中輝度用画像を撮像する構成としてもよい。
　ここで、上記した第２動作例においては駆動電極に印加される電圧値を調整することによって高輝度用画像を撮像するものとして説明したが、中輝度用画像が撮像される際に駆動電極に印加される電圧値（つまり、液晶層ＬＣにおける光の透過率）は概ね最大値に近く、当該電圧値を調整することにより被写体の輝度を向上させた低輝度用画像を撮像することはできない。
　そこで、例えば撮像素子ＩＳに入射した光量に対応する電圧信号を調整するゲイン（アナログゲイン）を利用して低輝度用画像を撮像するような構成としてもよい。
　図１８は、撮像素子ＩＳの回路図の一例である。撮像素子ＩＳは垂直走査回路ＶＳＲと水平走査回路ＨＳＲと受光部とを備え、当該受光部は、カメラモジュールＣＭによって撮像される画像を構成する複数の画素に対応する複数の画素セルを有する。
　このような複数の画素セルののうちの１つの画素セルは、例えばフォトダイオードＤと垂直走査線Ｖにゲートが接続されたスイッチＭＯＳＦＥＴＱ１と、水平走査線Ｈにゲートが接続されたスイッチＭＯＳＦＥＴＱ２の直列回路から構成される。
　なお、上記したフォトダイオードＤ、スイッチＭＯＳＦＥＴＱ１及びＱ２から構成される画素セルと同じ行（水平方向）に配置される他の同様な画素セルの出力ノードは、図１８において横方向に延在する水平信号線ＨＳに接続される。他の行についても同様な画素セルが形成されている。
　また、垂直走査線Ｖは、水平信号線ＨＳと平行に配置される。この垂直走査線Ｖには、当該垂直走査線Ｖに対応する同一の行に配置される複数の画素セルの各々のスイッチＭＯＳＦＥＴが接続される。なお、他の垂直走査線についても同様である。
　水平走査線Ｈは、図１８において縦方向に延在する。水平走査線Ｈには、当該水平走査線Ｈに対応する同一の列に配置される複数の画素セルの各々のスイッチＭＯＳＦＥＴが接続される。なお、他の水平走査線についても同様である。
　更に、垂直走査線Ｖは、水平信号線ＨＳと縦（垂直）方向に延在する出力線ＶＳとを接続するスイッチＭＯＳＦＥＴＱ３のゲートに接続される。また、この出力線ＶＳとバイアス電圧ＶＢとの間には、読み出し用の負荷抵抗Ｒが設けられている。このような構成によれば、画素セルのフォトダイオードに蓄積された光量（光信号）に対応した電流が流れることによって、当該画素セルからの読み出し動作と、次の読み出し動作のためのリセット（プリチャージ）動作とが同時に行われる。上記負荷抵抗Ｒにより得られた電圧信号（光量に対応する電圧信号）は、センスアンプＳＡによって増幅され、図示しない出力回路に伝えられる。
　特に制限されないが、水平信号線ＨＳには、スメア、ブルーミング等の偽信号を除去するために、実質的にダイオード形態にされるＭＯＳＦＥＴＱ４が設けられる。すなわち、ＭＯＳＦＥＴＱ４のドレインには、バイアス電圧ＶＢが与えられる。また、ＭＯＳＦＥＴＱ４のゲートには、バイアス電圧ＶＢ´が与えられる。これら両バイアス電圧ＶＢとＶＢ´とを等しく設定することにより、ＭＯＳＦＥＴＱ４は、ゲートとドレインに共通の電位が与えられ、ダイオード形態にされる。
　上記したＭＯＳＦＥＴＱ４は、上記したスイッチＭＯＳＦＥＴＱ３に比べてコンダクタンスが十分小さく形成される。換言すれば、ＭＯＳＦＥＴＱ４のオン抵抗値は、スイッチＭＯＳＦＥＴＱ３に比べて十分大きな抵抗値に設定される。例えば垂直走査線Ｖがハイレベルの状態にされると、これに応じて１つのスイッチＭＯＳＦＥＴＱ３と、この行に配置された画素セルの各スイッチＭＯＳＦＥＴ（例えば、スイッチＭＯＳＦＥＴＱ１等）がオン状態になる。この場合において、水平走査線Ｈがハイレベルの状態のとき、当該水平走査線Ｈに対応する列の画素セルの各スイッチＭＯＳＦＥＴ（例えば、スイッチＭＯＳＦＥＴＱ２等）がオン状態となり、行列の交差点に配置される１つの画素セルの読み出し動作が行われる。
　ここで、図１８においてはフォトダイオードに蓄積された光量（つまり、撮像素子ＩＳに入射した光量）に対応する電圧信号がセンスアンプＳＡによって増幅されるものとして説明したが、当該増幅量は、アナログゲインによって調整される。
　以下、図１９を参照して、本実施形態に係るカメラモジュールＣＭの第５動作例について説明する。図１９は、撮像素子ＩＳに光を入射させるためにドライバＤＲが液晶層ＬＣを駆動する時間（露光時間）と、当該露光時間内に撮像素子ＩＳに光が入射されることによって撮像された画像が当該撮像素子ＩＳから外部に転送されるタイミングとともに、上記したアナログゲインを示している。
　第５動作例において、ドライバＤＲは、一定の露光時間に基づいて液晶層ＬＣを駆動する。なお、第５動作例における露光時間は、例えば第４動作例における中輝度用の露光時間と同一である。
　ここで、第５動作例において、撮像素子ＩＳは、例えば第１露光時間内に撮像素子ＩＳに入射した光量に対応する電圧信号を中輝度用のアナログゲインを用いて調整（増幅）する。撮像素子ＩＳは、このように調整された電圧値に基づく画像（中輝度用画像）を転送する。
　次に、撮像素子ＩＳは、次の第２露光時間内に撮像素子ＩＳに入射した光量に対応する電圧信号を低輝度用のアナログゲインを用いて調整（増幅）する。撮像素子ＩＳは、このように調整された電圧値に基づく画像（低輝度用画像）を転送する。
　ここで、一般的にアナログゲインは一定であるところ、第５動作例における中輝度用のアナログゲインは、当該一定のアナログゲインと同程度に設定される。一方、第５動作例における低輝度用のアナログゲイン（第２ゲイン）は、中輝度用のアナログゲイン（第１ゲイン）よりも高く設定されている。これによれば、より高いアナログゲインで増幅することによって、中輝度用画像において輝度が低いために距離を計算することが困難な被写体の輝度を向上させることができる。すなわち、第５動作例における低輝度用画像は、上記した第４動作例における低輝度用画像と同様に、低輝度の被写体の距離を精度よく計算するための画像であるといえる。
　このような第５動作例によれば、アナログゲインを変動させることによって、中輝度（第１輝度）の被写体を計算することが可能な中輝度用画像及び低輝度（第２輝度）の被写体を計算することが可能な低輝度用画像を撮像することが可能となる。
　なお、ここではカメラモジュールＣＭの撮像範囲内に低輝度の被写体が存在しているものとして説明したが、当該低輝度の被写体が存在していないにもかかわらず、低輝度用画像を撮像することは上記したフレームレートの低下またはカメラモジュールＣＭの処理量の増加の要因となる。
　このため、本実施形態に係るカメラモジュールＣＭは、当該カメラモジュールＣＭの撮像範囲内に低輝度の被写体が存在するか否かに応じて動作モードを切り替えるような構成であってもよい。
　具体的には、カメラモジュールＣＭは、例えば通常時は中輝度用画像を連続的に撮像する第１動作モードで動作し、当該中輝度用画像を解析することによって当該中輝度用画像から低輝度の被写体（を含む領域）が検出された場合に、上記した中輝度用画像及び低輝度用画像を撮像する第２動作モードで動作するようにしてもよい。なお、中輝度用画像を解析する処理は、カメラモジュールＣＭが搭載される電子機器側で実行されてもよいし、カメラモジュールＣＭに搭載される処理回路等によって実行されてもよい。
　次に、図２０を参照して、上記した中輝度用画像及び低輝度用画像が撮像された場合において作成される距離マップについて簡単に説明する。
　まず、図２０の上段は、中輝度用画像５０１と当該中輝度用画像５０１から計算された被写体の距離を含む距離マップ６０１とを模式的に示している。
　中輝度用画像５０１は、中輝度領域（中輝度の被写体を含む領域）５０１ａ及び低輝度領域５０１ｂ（低輝度の被写体を含む領域）を含む。このような中輝度用画像５０１を利用して当該中輝度用画像５０１に含まれる被写体の距離を計算した場合、中輝度領域５０１ａに含まれる被写体の距離は精度よく計算されるが、低輝度領域５０１ｂに含まれる被写体の距離を計算することは困難である。この場合、例えば中輝度用画像５０１中の中輝度領域５０１ａに対して当該中輝度領域５０１ａに含まれる被写体の距離が割り当てられた距離マップ６０１が作成される。
　一方、図２０の下段は、低輝度用画像５０２と当該低輝度用画像５０２から計算された被写体の距離を含む距離マップ６０２とを模式的に示している。
　低輝度用画像５０２においては上記したように被写体の輝度を向上させているため、当該低輝度用画像５０２は、高輝度領域（高輝度の被写体を含む領域）５０２ａ及び中輝度領域（中輝度の被写体を含む領域）５０２ｂを含む。なお、高輝度領域５０２ａは、上記した中輝度用画像５０１に含まれる中輝度領域５０１ａに含まれる被写体の輝度を向上させた領域に相当する。また、中輝度領域５０２ｂは、上記した中輝度領域５０２ｂに含まれる低輝度領域５０１ｂに含まれる被写体の輝度を向上させた領域に相当する。このような低輝度用画像５０２を利用して当該低輝度用画像５０２に含まれる被写体の距離を計算した場合、中輝度領域５０２ｂに含まれる被写体の距離を精度よく計算することができる。この場合、例えば低輝度用画像５０２中の中輝度領域５０２ｂに対して当該中輝度領域５０２ｂに含まれる被写体の距離が割り当てられた距離マップ６０２が作成される。
　本実施形態においては、上記したように中輝度用画像５０１から作成された距離マップ６０１と低輝度用画像５０２から作成された距離マップ６０２とを合成することによって、全ての領域において精度の高い被写体の距離が割り当てられた距離マップ６０３を作成することができる。
　本実施形態においては、撮像範囲内に高輝度の被写体が存在する場合における第１～第３動作例と、当該撮像範囲内に低輝度の被写体が存在する場合における第４及び第５動作例とを説明したが、当該撮像範囲内に高輝度の被写体及び低輝度の被写体の両方が存在するような場合には、カメラモジュールＣＭは、第１～第３動作例のうちの１つと第４及び第５動作例のうちの１つとを組み合わせた動作を行うような構成であってもよい。このような構成によれば、中輝度の被写体の距離を計算するための中輝度用画像、高輝度の被写体の距離を計算するための高輝度用画像及び低輝度の被写体の距離を計算するための低輝度用画像を撮像することができる。
　更に、詳しい説明については省略するが、図２１に示すように、カメラモジュールＣＭによって中輝度用画像７０１、高輝度用画像７０２及び低輝度用画像７０３が撮像された場合には、中輝度用画像７０１から作成された距離マップ８０１、高輝度用画像７０２から作成された距離マップ８０２及び低輝度用画像７０３から作成された距離マップ８０３を合成することによって距離マップ８０４を作成することができる。
　以上説明したように本実施形態においては、適切な距離を計算することが可能な画像を撮像することができるカメラモジュールを提供することができる。
　以上、本発明の実施形態として説明したカメラモジュールを基にして、当業者が適宜設計変更して実施して実施し得る全てのカメラモジュールも、本発明の要旨を包含する限り、本発明の範囲に属する。
　本発明の思想の範疇において、当業者であれば、各種の変形例に想到し得るものであり、それら変形例についても本発明の範囲に属するものと解される。例えば、上述の実施形態に対して、当業者が適宜、構成要素の追加、削除、若しくは設計変更を行ったもの、または、工程の追加、省略若しくは条件変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含まれる。
　また、上述の実施形態において述べた態様によりもたらされる他の作用効果について、本明細書の記載から明らかなもの、または当業者において適宜想到し得るものについては、当然に本発明によりもたらされるものと解される。
　ＣＭ…カメラモジュール、ＣＧ…カバーガラス、ＳＵＢ１…アレイ基板、ＳＵＢ２…対向基板、ＩＳ…撮像素子、ＯＰ…開口部、ＴＡ１…第１光透過領域、ＴＡ２…第２光透過領域、ＴＡ３…第３光透過領域、Ｐ１…第１パッド、Ｐ２…第２パッド、Ｐ３…第３パッド、ＦＰＣ，ＦＰＣ１～ＦＰＣ３…フレキシブル配線基板、Ｗ１…第１配線、Ｗ２…第２配線、Ｗ３…第３配線、ＬＮＳ…レンズ、ＬＣ…液晶層、ＤＢ…駆動ボード、ＤＲ…ドライバ、Ｅ１，Ｅ２…駆動電極。

Claims (7)

  1. 　撮像素子と、
    　液晶パネルと
    　を具備し、
    　前記液晶パネルは、
    　前記撮像素子に光を入射させる位置に配置された開口部と、
    　前記開口部と重畳する位置に配置された液晶層と、
    　前記液晶層と重畳する位置に配置された電極と、
    　前記電極に電圧を印加することによって前記液晶層を駆動するドライバと
    　を含み、
    　前記ドライバは、撮像範囲内に存在する第１輝度の被写体を撮像するための第１制御値に基づいて前記液晶層を駆動し、前記撮像範囲内に存在する前記第１輝度とは異なる第２輝度の被写体を撮像するために第２制御値に基づいて前記液晶層を駆動し、
    　前記第１制御値に基づいて前記液晶層が駆動されることによって前記撮像素子に入射した光量に基づいて撮像された第１画像は、前記第１輝度の被写体までの距離を計算するために用いられ、
    　前記第２制御値に基づいて前記液晶層が駆動されることによって前記撮像素子に入射した光量に基づいて撮像された第２画像は、前記第２輝度の被写体までの距離を計算するために用いられる
    　カメラモジュール。
  2. 　前記第１及び第２制御値は、前記液晶層を駆動することによって前記撮像素子に光が入射される露光時間を含み、
    　前記第２輝度が前記第１輝度よりも高い場合、前記第２制御値に含まれる露光時間は、前記第１制御値に含まれる露光時間よりも短い
    　請求項１記載のカメラモジュール。
  3. 　前記第１及び第２制御値は、前記電極に印加される電圧の電圧値を含み、
    　前記第２輝度が前記第１輝度よりも高い場合、前記第２制御値に含まれる電圧値は、前記第１制御値に含まれる電圧値よりも低い
    　請求項１記載のカメラモジュール。
  4. 　前記ドライバは、前記第１制御値に基づく前記液晶層の駆動と前記第２制御値に基づく前記液晶層の駆動を繰り返し実行する請求項１～３のいずれか一項に記載のカメラモジュール。
  5. 　前記ドライバは、前記第１制御値に基づいて前記液晶層が駆動されることによって前記撮像素子に入射した光量に基づいて撮像された画像を解析することによって当該画像に前記第２輝度の被写体が含まれると判定された場合に、前記第２制御値に基づいて前記液晶層を駆動する請求項１～３のいずれか一項に記載のカメラモジュール。
  6. 　撮像素子と、
    　液晶パネルと
    　を具備し、
    　前記液晶パネルは、
    　前記撮像素子に光を入射させる位置に配置された開口部と、
    　前記開口部と重畳する位置に配置された液晶層と、
    　前記液晶層と重畳する位置に配置された電極と、
    　前記電極に電圧を印加することによって前記液晶層を駆動するドライバと
    　を含み、
    　前記ドライバは、予め定められた露光時間に光が前記撮像素子に入射されるように前記液晶層を駆動し、
    　前記露光時間が終了した時点までに前記撮像素子に入射した光量に基づく第１画像は、当該第１画像に含まれる第１輝度の被写体までの距離を計算するために用いられ、
    　前記露光時間が終了する前の時点までに前記撮像素子に入射した光量に基づく第２画像は、当該第２画像に含まれる前記第１輝度よりも高い第２輝度の被写体までの距離を計算するために用いられる
    　カメラモジュール。
  7. 　撮像素子と、
    　液晶パネルと
    　を具備し、
    　前記液晶パネルは、
    　前記撮像素子に光を入射させる位置に配置された開口部と、
    　前記開口部と重畳する位置に配置された液晶層と、
    　前記液晶層と重畳する位置に配置された電極と、
    　前記電極に電圧を印加することによって前記液晶層を駆動するドライバと
    　を含み、
    　前記ドライバは、予め定められた露光時間に光が前記撮像素子に入射されるように前記液晶層を駆動し、
    　前記撮像素子は、第１露光時間内に当該撮像素子に入射した光量に対応する電圧信号を第１ゲインを用いて調整し、前記第１露光時間の次の第２露光時間内に当該撮像素子に入射した光量に対応する電圧信号を前記第１ゲインよりも高い第２ゲインを用いて調整し、
    　前記第１ゲインを用いて調整された電圧信号に基づく第１画像は、当該第１画像に含まれる第１輝度の被写体までの距離を計算するために用いられ、
    　前記第２ゲインを用いて調整された電圧信号に基づく第２画像は、当該第２画像に含まれる前記第１輝度よりも低い第２輝度の被写体までの距離を計算するために用いられる
    　カメラモジュール。
PCT/JP2023/015021 2022-06-23 2023-04-13 カメラモジュール WO2023248589A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-101170 2022-06-23
JP2022101170 2022-06-23

Publications (1)

Publication Number Publication Date
WO2023248589A1 true WO2023248589A1 (ja) 2023-12-28

Family

ID=89379531

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/015021 WO2023248589A1 (ja) 2022-06-23 2023-04-13 カメラモジュール

Country Status (1)

Country Link
WO (1) WO2023248589A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008205530A (ja) * 2007-02-16 2008-09-04 Seiko Epson Corp 撮像装置、撮像システム及び撮像方法
JP2011523238A (ja) * 2008-08-04 2011-08-04 キヤノン株式会社 画像処理装置及び画像処理方法
WO2015151386A1 (ja) * 2014-03-31 2015-10-08 ソニー株式会社 撮像装置、画像データの出力方法及びプログラム
JP2020182057A (ja) * 2019-04-24 2020-11-05 キヤノン株式会社 撮像装置、撮像方法、コンピュータプログラム及び記憶媒体
JP2021197613A (ja) * 2020-06-12 2021-12-27 ソニーグループ株式会社 撮像装置、及び撮像方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008205530A (ja) * 2007-02-16 2008-09-04 Seiko Epson Corp 撮像装置、撮像システム及び撮像方法
JP2011523238A (ja) * 2008-08-04 2011-08-04 キヤノン株式会社 画像処理装置及び画像処理方法
WO2015151386A1 (ja) * 2014-03-31 2015-10-08 ソニー株式会社 撮像装置、画像データの出力方法及びプログラム
JP2020182057A (ja) * 2019-04-24 2020-11-05 キヤノン株式会社 撮像装置、撮像方法、コンピュータプログラム及び記憶媒体
JP2021197613A (ja) * 2020-06-12 2021-12-27 ソニーグループ株式会社 撮像装置、及び撮像方法

Similar Documents

Publication Publication Date Title
JP4867766B2 (ja) 液晶装置、イメージセンサ、及び電子機器
CN109256047B (zh) 一种显示面板、显示装置及其驱动方法
US7812906B2 (en) Liquid crystal device and electronic apparatus
JP4826512B2 (ja) 表示装置及び電子機器
US5446564A (en) Liquid crystal display device having photosensor at each pixel
JP4007390B2 (ja) 電気光学装置及び電子機器
JP5125222B2 (ja) 液晶装置及び電子機器
KR100964586B1 (ko) 지문 인식장치 및 이를 갖는 액정표시장치
US7924273B2 (en) Display apparatus with optical input function
US20120242636A1 (en) Display device
WO2020155550A1 (zh) 电子装置
JP2010161142A (ja) 光電変換装置、電気光学装置、電子機器
CN105182453A (zh) 透镜阵列基板、电光装置以及电子设备
TW200925965A (en) Display apparatus
CN114779510B (zh) 显示装置及其驱动方法
WO2023248589A1 (ja) カメラモジュール
CN113966485B (zh) 显示屏、终端设备以及屏下相机成像控制方法
CN111399267B (zh) 一种显示面板和显示装置
KR20080053890A (ko) 전기 광학 장치용 기판 및 전기 광학 장치, 그리고 전자기기
CN111290069B (zh) 液晶显示装置
JP4656082B2 (ja) 電気光学装置及び電子機器
US11842698B2 (en) Display device
CN115116405B (zh) 电平移位电路、显示面板及电子设备
CN113325585B (zh) 显示装置、可穿戴显示设备及注视点的位置的确定方法
JP2958828B2 (ja) 画像読み取り／表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23826778

Country of ref document: EP

Kind code of ref document: A1