WO2013114889A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2013114889A1
WO2013114889A1 PCT/JP2013/000564 JP2013000564W WO2013114889A1 WO 2013114889 A1 WO2013114889 A1 WO 2013114889A1 JP 2013000564 W JP2013000564 W JP 2013000564W WO 2013114889 A1 WO2013114889 A1 WO 2013114889A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixels
optical
light
pixel
region
Prior art date
Application number
PCT/JP2013/000564
Other languages
English (en)
French (fr)
Inventor
山形 道弘
今村 典広
是永 継博
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US14/009,184 priority Critical patent/US20140071317A1/en
Priority to JP2013537344A priority patent/JP5891403B2/ja
Publication of WO2013114889A1 publication Critical patent/WO2013114889A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B9/00Exposure-making shutters; Diaphragms
    • G03B9/02Diaphragms

Definitions

  • the present application relates to an imaging apparatus, and more particularly to an imaging apparatus capable of acquiring an image having a wide dynamic range.
  • HDR high dynamic range
  • Patent Document 1 discloses a technique in which a pair of photodiodes having different sensitivities are arranged as one pixel and the outputs of the pair of photodiodes are combined.
  • Patent Document 2 discloses a technique that uses a plurality of photoelectric conversion units having different light receiving areas as one pixel unit.
  • Patent Document 3 discloses a technique for performing HDR synthesis by taking a photo under different exposure conditions for each optical system using a compound eye optical system composed of a plurality of lens optical systems.
  • One non-limiting exemplary embodiment of the present application provides an imaging apparatus capable of acquiring an image for high dynamic range synthesis with a simple configuration or a general configuration.
  • An imaging apparatus includes a lens optical system having a first optical region and a second optical region, at least a plurality of first pixels and a plurality of second pixels on which light passing through the lens optical system is incident.
  • a divided light control device including an image pickup device having a pixel, a first light control unit and a second light control unit located in the first optical region and the second optical region, respectively, and the divided light control device A control unit that changes at least one of the transmittance of the first dimming unit and the transmittance of the second dimming unit, and an arrayed optical element disposed between the lens optical system and the imaging device An array-like optical element that causes light that has passed through the first optical region to be incident on the plurality of first pixels and light that has passed through the second optical region to be incident on the plurality of second pixels.
  • the imaging apparatus it is possible to acquire a plurality of images taken under different exposure conditions for high dynamic range composition while using a single lens optical system. For this reason, it is possible to suitably obtain a high dynamic range composite image.
  • FIG. 1 is a diagram illustrating a configuration of a first embodiment of an imaging apparatus according to the present invention.
  • (A) And (b) is sectional drawing and the front view of a division
  • (A) is a front view of the division
  • (b) is a front view which shows the other example of a division
  • (A) And (b) is a figure explaining incidence
  • (A) And (b) is the front view and back view which show embodiment of the digital camera by this invention. It is a block diagram which shows the structure of 5th Embodiment.
  • the inventor of the present application examined in detail the generation of a high dynamic range composite image by a conventional imaging device.
  • the technique of shooting multiple images under different exposure conditions and generating images with a wide dynamic range is used for shooting moving subjects and moving images because images are acquired at different times. I can't.
  • the subject may be photographed with a shift between the acquired images due to the influence of camera shake while photographing a plurality of images. Based on such an image, HDR compositing limits the conditions for good imaging, such as an increase in the amount of calculation.
  • Patent Document 1 and Patent Document 2 require a dedicated image sensor, the initial cost increases.
  • a lens optical system as a lens array is configured in front of the imaging region. Therefore, the effective diameter of a single lens optical system must be less than half of the area of the imaging region or less than 1 ⁇ 4. Goodbye. Therefore, the degree of freedom in optical design is reduced, and it is difficult to construct an optical system with sufficient resolution for the purpose of acquiring images.
  • the inventor of the present application has come up with a novel imaging device capable of acquiring a plurality of images taken under different exposure conditions for high dynamic range synthesis.
  • An imaging device includes a lens optical system having a first optical region and a second optical region, at least a plurality of first pixels and a plurality of light incident on the light that has passed through the lens optical system.
  • a divided light control device including: an image pickup device having a second pixel; a first light control portion and a second light control portion located in each of the first optical region and the second optical region; The control unit that changes at least one of the transmittance of the first dimming unit and the transmittance of the second dimming unit of the divided dimming element, and the lens optical system and the imaging element are disposed.
  • An array-shaped optical element wherein light that has passed through a first optical region is incident on the plurality of first pixels, and light that has passed through the second optical region is incident on the plurality of second pixels.
  • the imaging apparatus further includes a signal processing unit that generates a high dynamic range composite image based on a signal based on incident light on the plurality of first pixels and a signal based on incident light on the plurality of second pixels. May be.
  • the image sensor may be a monochrome image sensor.
  • the lens optical system may be an image side telecentric optical system.
  • the array optical element may be a lenticular lens.
  • the plurality of first pixels and the plurality of second pixels are each arranged in a first direction, and in the second direction orthogonal to the first direction, A plurality of first pixels arranged in the direction and a plurality of second pixels arranged in the first direction may be alternately arranged to constitute an imaging surface.
  • the lens optical system further includes a third optical region and a fourth optical region, and the divided light control element is provided in a third light control unit and the fourth region located in the third region. You may have further the 4th light control part located.
  • the array optical element may be a microlens array.
  • the divided light control device includes at least three transmission parts, and two adjacent ones of the at least three transmission parts have different transmittances, and the control unit includes the at least three transmission parts.
  • a drive mechanism that moves the at least three transmission parts so that any two adjacent ones are located in the first optical region and the second optical region may be included.
  • the split light control device includes a pair of polarizing plates, a common transparent electrode sandwiched between the pair of polarizing plates, and two split transparent electrodes respectively positioned in the first optical region and the second optical region, A liquid crystal layer sandwiched between the common transparent electrode and the two divided transparent electrodes, and the controller may apply different voltages to the two divided transparent electrodes.
  • the imaging device may perform a plurality of imaging operations by changing the voltage.
  • the plurality of first pixels includes a plurality of first A pixels having a filter having a first spectral transmittance characteristic, and a second spectral transmittance characteristic.
  • the plurality of second pixels includes a plurality of first B pixels having a filter having the first spectral transmittance characteristic, and a plurality of second pixels having a filter having the second spectral transmittance characteristic.
  • Array optical elements The light that has passed through the first optical region is incident on the plurality of 1A pixels and the plurality of 3A pixels, and the light that has passed through the second region is combined with the plurality of 2B pixels and the plurality of pixels.
  • a plurality of first optical elements that are incident on the plurality of 4B pixels, and light that has passed through the first region is incident on the plurality of 2A pixels and the plurality of 4A pixels,
  • a plurality of second optical elements that allow light having passed through the second region to enter the plurality of first B pixels and the plurality of third B pixels.
  • the first A pixel, the second B pixel, the third A pixel, and the fourth B pixel may be adjacent to each other on the imaging surface of the imaging element, and may be arranged at the positions of the vertices of the quadrangle.
  • the filter having the first spectral transmittance characteristic and the filter having the second spectral transmittance characteristic are filters that transmit light in the green wavelength band
  • the filter having the third spectral transmittance characteristic is A filter that transmits light in a red wavelength band
  • the filter having the fourth spectral transmittance characteristic is a filter that transmits light in a blue wavelength band, and includes a first A pixel, a second B pixel, and a third A
  • the pixels and the 4B pixels may be arranged in a Bayer array.
  • the plurality of first and second optical elements may be lenticular lenses.
  • the lens optical system may further include a stop, and the first optical region and the second optical region may be located in the vicinity of the stop.
  • An imaging apparatus includes a lens optical system having a first optical region and a second optical region, and a first spectral transmittance characteristic in which light that has passed through the lens optical system is incident.
  • a plurality of first pixels having a filter having a plurality of second pixels having a filter having a second spectral transmittance characteristic, and a plurality of third pixels having a filter having a third spectral transmittance characteristic.
  • a first row including a pixel and a plurality of fourth pixels having a filter having a fourth spectral transmittance characteristic, wherein each first pixel and second pixel are alternately arranged in a first direction;
  • An image pickup device in which each third pixel and the fourth pixel are alternately arranged in a second direction in the first direction and arranged in a second direction to form an image pickup surface;
  • a first dimming unit and a second dimming unit located in the optical region and the second optical region, respectively.
  • a dimming element including the dimming unit, a control unit that changes at least one of the transmittance of the first dimming unit and the transmittance of the second dimming unit of the divided dimming element,
  • An array-like optical element disposed between the lens optical system and the imaging device, wherein the first optical region and the second optical region are arranged in the second direction in the lens optical system.
  • the array-like optical elements are arranged adjacent to each other on the imaging surface in the first direction and the second direction, and the first pixel, the second pixel, the third pixel, and
  • Each of the four pixels including the fourth pixel includes a plurality of optical elements that allow the light transmitted through the lens optical system to enter, and the plurality of optical elements are arranged in a one-dimensional manner in the second direction. In two columns adjacent to each other in the first direction Each optical element in one row, to the corresponding optical elements of the other row are shifted by a length of 1/2 in the second direction of the array period of the optical element.
  • a camera which is an embodiment of the present invention includes any of the imaging apparatuses described above, an image display unit, a shutter button, and an image storage unit.
  • FIG. 1 is a schematic diagram showing a first embodiment of an imaging apparatus according to the present invention.
  • the imaging apparatus A according to the present embodiment includes a lens optical system L having V0 as an optical axis, an array-like optical element K disposed near the focal position of the lens optical system L, an imaging element N, and a signal processing unit C. , A split light control device W and a control unit V are provided.
  • the lens optical system L includes an aperture S and an objective lens L1 that forms an image of light transmitted through the aperture S on an image sensor.
  • the lens optical system L includes a first optical region D1 and a second optical region D2.
  • the first optical region D1 and the second optical region D2 are located in the vicinity of the stop S.
  • a region obtained by combining the first optical region D1 and the second optical region D2 is also referred to as a pupil region.
  • the divided light control element W is a liquid crystal element, and includes a first light control part W1 located in the first optical region D1 and a second light control part W2 located in the second optical region D2.
  • FIGS. 2A and 2B are a cross-sectional view and a front view schematically showing the structure of the split light control element W.
  • the divided light control element W includes a common transparent electrode EC, a liquid crystal layer LC, divided transparent electrodes ED1 and ED2, and polarizing plates PL1 and PL2.
  • the common transparent electrode EC is provided on one surface of the glass substrate H1, and the alignment film T1 covers the common transparent electrode EC.
  • a polarizing plate PL1 is disposed on the other surface of the glass substrate H1.
  • the substrate SB1 is configured.
  • the divided transparent electrodes ED1 and ED2 are provided on one surface of the glass substrate H2, and the alignment film T2 covers them.
  • a polarizing plate PL2 is disposed on the other surface of the glass substrate H2.
  • the polarizing plate PL1 and the polarizing plate PL2 each have a polarization axis and transmit light that vibrates in the direction of the polarization axis.
  • the alignment directions of the alignment film T1 and the alignment film T2 coincide with the directions of the polarization axes of the polarizing plates PL1 and PL2.
  • the substrate SB1 and the substrate SB2 are, for example, a space formed by the sealing material J, the substrate SB1, and the substrate SB2 so that the polarizing axis of the polarizing plate PL1 and the polarizing axis of the polarizing plate PL2 are bonded to each other so as to be orthogonal to each other.
  • the liquid crystal layer LC is held in the liquid crystal layer LC.
  • the divided transparent electrodes ED1 and ED2 are arranged so that the boundary coincides with the horizontal direction passing through the optical axis V0 of the lens optical system L.
  • the common transparent electrode EC, the divided transparent electrode ED1, and the liquid crystal layer LC sandwiched between them constitute the first dimming portion W1 located in the first optical region D1, and the common transparent electrode EC, the divided transparent electrode ED2 and these
  • the sandwiched liquid crystal layer LC constitutes a second light control unit W2 located in the second optical region D2.
  • the liquid crystal layer LC has optical rotation and exhibits an optical rotation according to a voltage applied between the common transparent electrode EC and the divided transparent electrodes ED1 and ED2. Therefore, if the voltages applied to the divided transparent electrode ED1 and the divided transparent electrode ED2 are different, the common transparent electrode EC, the liquid crystal layer LC sandwiched between the divided transparent electrodes ED1, the common transparent electrode EC, and the divided transparent electrode ED2 The liquid crystal layer LC sandwiched between and shows different optical rotation.
  • the polarizing plate PL2 transmits only the component that vibrates in the direction parallel to the polarization axis of the polarizing plate PL2 among the light transmitted through the liquid crystal layer LC.
  • the control unit V applies different voltages to the divided transparent electrodes ED1 and ED2, so that the transmittance of the first dimming unit W1 is different from the transmittance of the second dimming unit W2.
  • the element (divided light control element W) is controlled.
  • the polarization axis of the polarizing plate PL1 and the polarizing axis of the polarizing plate PL2 are mutually Since they are orthogonal, all of the light transmitted through the polarizing plate PL1 passes through the polarizing plate PL2. At this time, the ratio of the light transmitted through the polarizing plate PL2 to the light transmitted through the polarizing plate PL1 is ideally 100%.
  • the ratio of the light transmitted through the polarizing plate PL2 to the light transmitted through the polarizing plate PL1 is ideally 0%.
  • the ratio of the light transmitted through the polarizing plate PL2 to the light transmitted through the polarizing plate PL1 is a value between 0% and 100%.
  • the actual transmittance in the first dimming part W2 and the second dimming part W2 of the liquid crystal element is the ratio of the light transmitted through the polarizing plate PL1 and the liquid crystal element (divided dimming element W). ) Is a value considering light absorption in the constituent elements.
  • the light beam B1 is incident on the first light control portion W1 of the divided light control element W located in the first optical region D1
  • the light beam B2 is the first light beam B2.
  • the light beam B1 and the light beam B2 are converged by the objective lens L1 and enter the arrayed optical element K.
  • FIG. 3 is a perspective view of the arrayed optical element K.
  • the arrayed optical element K includes a plurality of optical elements M each having a lens surface. In the present embodiment, it is a lens surface cylindrical surface of each optical element M. In the arrayed optical element K, the cylindrical surfaces are arranged so as to extend in the horizontal direction, and the plurality of optical elements M are arranged in the vertical direction. Thereby, the plurality of optical elements M constitute a lenticular lens.
  • FIG. 4 is an enlarged view of the arrayed optical element K and the image sensor N shown in FIG.
  • the surface on which the optical element M of the array-like optical element K, which is a lenticular lens, is formed is arranged facing the image sensor N side.
  • the arrayed optical element K is disposed in the vicinity of the focal position of the lens optical system L, and is disposed at a position away from the image sensor N by a predetermined distance.
  • the imaging element N includes a plurality of first pixels P1 and a plurality of second pixels P2 arranged on the imaging surface Ni.
  • a plurality of first pixels P1 and a plurality of second pixels P2 are arranged in the horizontal direction (first direction), respectively, and in the vertical direction (second direction) as shown in FIG.
  • One pixel P1 and second pixel P2 are alternately arranged.
  • the plurality of first pixels P1 and the plurality of second pixels P2 all have the same shape on the imaging surface Ni in the present embodiment.
  • the plurality of first pixels P1 and the plurality of second pixels P2 have the same rectangular shape and have the same area.
  • the imaging element N may include a plurality of microlenses Ms provided on the imaging surface Ni so as to cover the surface of each pixel.
  • the arrangement position of the arrayed optical element K is determined with reference to the focal point of the objective lens L1.
  • the period in the vertical direction of the cylindrical surface of the arrayed optical element K coincides with the period corresponding to two pixels of the pixels formed on the imaging surface Ni.
  • the position of the boundary between two cylindrical surfaces adjacent to the arrayed optical element K and the position of the boundary between two adjacent microlenses Ms of the image sensor N coincide with each other in the horizontal direction. That is, one of the optical elements M of the arrayed optical element K is arranged so as to correspond to two rows of pixels on the imaging surface Ni.
  • the optical element M has a function of distributing the emission direction according to the incident angle of the light beam. Specifically, most of the light beam B1 transmitted through the first optical region D1 is incident on the first pixel P1 on the imaging surface Ni, and most of the light beam B2 transmitted through the second optical region D2 is imaged. The light enters the second pixel P2 on the surface Ni. This can be realized by adjusting the refractive index of the lenticular lens used as the arrayed optical element K, the radius of curvature of the optical element M, the distance from the imaging surface Ni, and the like.
  • the image sensor N photoelectrically converts incident light and outputs an image signal Q0 to the signal processing unit C.
  • the signal processing unit C generates an image signal Q1 from the first pixel P1 and an image signal Q2 from the second pixel P2 from the image signal Q0.
  • the image signal Q1 constitutes an image generated by the light beam transmitted through the first optical region D1
  • the second image signal Q2 constitutes an image generated by the light beam transmitted through the second optical region D2.
  • the transmittances of the first dimming unit W1 and the second dimming unit W2 located in the first optical region D1 and the second optical region D2 are different from each other.
  • the image based on the image signal Q1 and the image based on the image signal Q2 are taken under different exposure conditions.
  • High dynamic range composition can be performed by performing various known image processing using two image signals having different exposure conditions.
  • the two images obtained in this way were taken at once by a single lens optical system. Therefore, there is no difference between the two images except that the same subject is photographed from the same angle at substantially the same time and the exposure conditions are different.
  • the exposure conditions of the two images are varied by adjusting the light transmittance without changing the area of the aperture opening, the resolution of the two images is the same, and preferably high dynamic Range synthesis can be performed.
  • the light transmittance of the first optical region D1 and the second optical region D2 is changed by adjusting the voltage applied to the divided transparent electrode ED1 and the divided transparent electrode ED2. Therefore, it is possible to appropriately adjust the exposure condition of the image to be acquired according to the shooting environment.
  • the transmittance of the divided light control device can be adjusted without using a mechanical drive unit, a high-speed and stable light control operation can be realized. Therefore, it is possible to shoot under different exposure conditions in a short time after shooting under predetermined exposure conditions. For example, when it is desired to photograph a living body under three or more different exposure conditions, an image of the number of times of photographing ⁇ 2 can be acquired by photographing a plurality of times at short intervals.
  • the lens optical system L of the present embodiment may be an image side telecentric optical system.
  • the chief rays of the light rays incident at different angles of view can be incident on the array-like optical element at an angle close to 0 degrees. Therefore, crosstalk (light to be incident on the first pixel P1 is incident on the second pixel P2 or light to be incident on the second pixel P2 is incident on the first pixel P1 over the entire area of the image sensor. Or the like).
  • the diaphragm S is an area through which light beams of all angles of view pass. Therefore, by inserting a surface having an optical characteristic for controlling the transmittance characteristic in the vicinity of the stop S, the transmittance polarization characteristics of the light beams of all angles of view can be similarly controlled. That is, in the present embodiment, the divided light control element W may be provided in the vicinity of the stop S. By arranging the divided light control elements W in the optical regions D1 and D2 located in the vicinity of the stop, it is possible to give the light flux transmittance characteristics corresponding to the number of divided regions.
  • the light passing through the diaphragm S is provided at a position where it directly enters the split light control element W (without passing through another optical member).
  • the divided light control element W may be provided closer to the subject than the stop S. In this case, the light that has passed through the divided light control element W may enter the diaphragm S directly (without passing through another optical member).
  • the incident angle of the light beam at the focal point of the optical system is uniquely determined by the position of the light beam passing through the stop S.
  • the arrayed optical element K has a function of distributing the emission direction according to the incident angle of the light beam. Therefore, the luminous flux can be distributed to the pixels on the imaging surface Ni so as to correspond to the optical regions D1 and D2 divided in the vicinity of the stop S.
  • the incident angle of the light beam at the focal point of the optical system is uniquely determined by the position of the light beam passing through the stop S and the angle of view.
  • the lens optical system includes first to fourth optical regions
  • the split light control element includes four light control units
  • the array optical element includes a micro lens. This is different from the imaging device of the first embodiment. For this reason, differences from the first embodiment will be mainly described.
  • the lens optical system L includes a first optical region, a second optical region, a third optical region, and a fourth optical region.
  • FIG. 5 shows an example of the divided transparent electrode of the divided light control element W arranged in these four optical regions.
  • the divided light control element W is viewed from the object side.
  • the divided light control element W includes a first light control unit W1, a second light control unit D1, a second optical region D2, a third optical region D3, and a fourth optical region D4. It includes an optical part W2, a third dimming part W3, and a fourth dimming part W4.
  • the first dimming unit W1, the second dimming unit W2, the third dimming unit W3, and the fourth dimming unit W4 are divided transparent electrode ED1, divided transparent electrode ED2, divided transparent electrode ED3, divided transparent, respectively.
  • An electrode ED4 is included.
  • the control unit V adjusts the voltage applied to the divided transparent electrodes ED1 to ED4 to vary the light transmittance of the light control unit arranged in the optical region.
  • the boundary between the first optical region D1 and the second optical region D2 and the boundary between the third optical region D3 and the fourth optical region D4 include, for example, imaging including the optical axis V0 of the lens optical system L. Located on a plane parallel to the horizontal direction of the device. Further, the boundary between the first optical region D1 and the fourth optical region D4 and the boundary between the second optical region D2 and the fourth optical region D4 are, for example, the optical axis V0 of the lens optical system L. It lies on a plane parallel to the vertical direction of the image pickup apparatus including it.
  • FIG. 6 is a cutaway perspective view showing a part of the arrayed optical element K and the image sensor N.
  • the optical element M of the arrayed optical element K is a microlens
  • the lens surface is a spherical surface.
  • the optical elements M are periodically arranged in the horizontal direction and the vertical direction, and constitute a microlens array.
  • the imaging element N is disposed to face the arrayed optical element K, and each of the pixels on the imaging surface Ni of the imaging element N is provided with a microlens Ms.
  • the period of the optical element M of the arrayed optical element K is twice the period of the microlens Ms of the imaging element N in both the horizontal direction and the vertical direction. Therefore, four pixels on the imaging surface Ni correspond to one optical element M of the microlens array constituting the arrayed optical element K.
  • FIG. 7 shows the relationship between the pixels arranged on the imaging surface of the image sensor N and the light rays that have passed through the four optical regions of the lens optical system L.
  • the imaging element N includes a plurality of first pixels P1, a plurality of second pixels P2, a plurality of third pixels P3, and a plurality of fourth pixels P4 arranged on the imaging surface Ni.
  • the second pixels P2 and the third pixels P3 are alternately arranged in the horizontal direction
  • the first pixels P1 and the fourth pixels P4 are alternately arranged in the horizontal direction. Is arranged.
  • the row in which the second pixel P2 and the third pixel P3 are arranged and the row in which the first pixel P1 and the fourth pixel P4 are arranged are such that the first pixel P1 is perpendicular to the second pixel P2. They are arranged alternately so as to be adjacent in the direction. Therefore, the first pixel P1, the second pixel P2, the third pixel P3, and the fourth pixel P4 are arranged adjacent to each other in the row and column directions, and correspond to one optical element M of the microlens array. .
  • the light beam that has passed through the first dimming part W1 in the first optical region D1 is converged by the lens optical system L, and is incident on the first pixel P1 by the optical element M of the arrayed optical element K.
  • the light beam transmitted through the second light control unit W2 in the second optical region D2 the light beam transmitted through the third light control unit W3 in the third optical region D3, and the fourth light beam in the fourth optical region D4.
  • the light rays that have passed through the light adjusting portion W4 enter the second pixel P2, the third pixel P3, and the fourth pixel P4, respectively. That is, the light rays that have passed through each optical region are incident on the same pixel located every other pixel in the horizontal and vertical directions on the imaging surface Ni.
  • the image sensor N photoelectrically converts incident light for each pixel and outputs the obtained signal to the signal processing unit C.
  • the signal processing unit C receives signals obtained from the first pixel P1, the second pixel P2, the third pixel P3, and the fourth pixel P4 as the first pixel P1, the second pixel P2, and the third pixel, respectively.
  • the pixel P3 and the fourth pixel P4 are processed to generate an image signal.
  • the image signal Q1 is generated by processing signals obtained from the plurality of first pixels P1.
  • signals obtained from the plurality of second pixels P2, the plurality of third pixels P3, and the plurality of fourth pixels P4 are processed to generate image signals Q2, Q3, and Q4.
  • the image signals Q1, Q2, Q3, and Q4 obtained in this way constitute the image 1, image 2, image 3, and image 4 of the same scene taken by one lens system at the same time.
  • Image 2, Image 3, and Image 4 are taken under different exposure conditions.
  • the same image can be taken under more exposure conditions with different amounts of light, and from the bright part to the dark part can be taken in a wide range of brightness by the HDR process without overexposure or blackout. Images can be obtained.
  • FIG. 8 is a schematic diagram illustrating the imaging apparatus of the present embodiment.
  • the imaging apparatus of the present embodiment is a first embodiment in that it includes a switching-type divided light control element W, a drive mechanism U for the divided light control element W, and a control unit V that controls the operation of the drive mechanism U. This is different from the imaging apparatus. For this reason, differences from the first embodiment will be mainly described.
  • the switchable divided light control element W of the present embodiment has at least three transmission portions, and two adjacent ones have different transmittances.
  • FIG. 9A shows an example of the divided light control element W.
  • FIG. The divided dimming element W shown in FIG. 9A includes eight fan-shaped first to eighth transmission parts w1 to w8, and is arranged around the rotation center S0.
  • the transmittances of the first to eighth transmission parts w1 to w8 are different from each other at least between the adjacent transmission parts, for example, based on the boundary with the adjacent transmission part.
  • the first to eighth transmission parts w1 to w8 can be constituted by, for example, ND filters having different transmittances.
  • the drive mechanism U Based on the signal from the control unit V, the drive mechanism U rotates the dimming element W around the rotation center S0, and performs the dimming at a position where the boundary between adjacent transmission units overlaps the optical axis V0 of the lens optical system L.
  • the rotation of the optical element W is stopped.
  • two transmission portions having different dimming axis directions can be arranged in the first optical region D1 and the second optical region D2, and the first optical region D1 and the second optical region D2 can be arranged in the first optical region D1 and the second optical region D2.
  • the transmissive part located can function as the first dimming part W1 and the second dimming part W2.
  • the transmissive portions arranged in the first optical region D1 and the second optical region D2 can be selected from the first to eighth transmissive portions w1 to w8, the first dimming portion W1 and the second dimming portion are selected.
  • the transmittance of the part W2 can be arbitrarily selected from a predetermined combination.
  • the switching type dimming element is not limited to the configuration shown in FIG. 9A, and various modifications can be made.
  • the first to seventh transmission parts w1 to w7 may be arranged one-dimensionally and the drive mechanism U may move the transmission part in the arrangement direction.
  • the imaging device of the present embodiment is a color imaging device having a pixel arrangement in which the imaging device is a Bayer array and color filters are arranged, and the arrayed optical element K has a shape different from that of the first embodiment. This is different from the imaging apparatus of the first embodiment. For this reason, differences from the first embodiment will be mainly described.
  • pixels are arranged in a square lattice pattern, and pixels having green color filters (first spectral transmission characteristics and second spectral transmission characteristics) among all the pixels are the abbreviations of all pixels. Adjacent to each other in the diagonal direction at half density. Pixels having red and blue color filters (third spectral transmission characteristic and fourth spectral transmission characteristic) are equally arranged at a density half that of green. More specifically, green pixels are present in each row and column (odd, even and odd rows, even rows), while red and blue pixels are either odd or even columns and odd It exists only in either the row or even row.
  • the arrayed optical element K has the same structure as that of the first embodiment (lenticular lens), an image formed by a configuration that transmits the first optical region D1 and the second optical region D2 are included.
  • the image composed of transmitted light rays blue information is missing on the one hand and red information is missing on the other hand.
  • FIG. 10 is a perspective view of the arrayed optical element K of the present embodiment as viewed from the image side.
  • the arrayed optical element K includes a plurality of optical elements M1 and M2 in which cylindrical lenses extending in the horizontal direction (first direction) are arranged one-dimensionally in the vertical direction (second direction) as optical elements.
  • the plurality of optical elements M1 and M2 constitute a column extending in the vertical direction, and the column of the optical element M1 and the column of the optical element M2 are alternately arranged in the horizontal direction.
  • each optical element in one column has a length that is 1 ⁇ 2 of the vertical arrangement period with respect to the corresponding optical element in the other column. This is the vertical shift.
  • Each of the optical elements M1 and M2 corresponds to four pixels having a Bayer-arranged red, blue, and green filter constituting the imaging surface of the imaging device, and a lens is attached to the four pixels at the corresponding positions.
  • the light transmitted through the optical system L is made incident. That is, the cylindrical surface that is the lens surface of each of the optical elements M1 and M2 has a period of two pixels in the pixels of the image sensor N in the vertical direction and the horizontal direction. Accordingly, in two columns of optical elements M1 and M2 that are adjacent in the horizontal direction, each optical element in one column is perpendicular to the corresponding optical element in the other column by one pixel. There is a shift.
  • the light beams transmitted through the first optical region D1 and the second optical region D2 are incident on different pixels by the action of the lenticular lenses that are the optical elements M1 and M2.
  • the positions of the optical elements are shifted by a half cycle in the vertical direction, so that the light rays from the first optical region D1 and the second optical region D2 are every two pixels.
  • the odd rows and the even rows are switched and incident on the pixels of the image sensor.
  • FIGS. 11A and 11B are schematic diagrams illustrating light incident on the imaging surface Ni of the imaging element N in the present embodiment. 11 (a) and 11 (b), for ease of understanding, FIG. 11 (a) shows a pixel to which a light beam transmitted through the first optical region D1 is guided, and a light beam transmitted through the second optical region D2. FIG. 11B shows a pixel from which is derived.
  • the optical element M1 guides the light rays from the first optical region D1 to the green (G1) pixel P1A and the red (R) pixel P3A.
  • the light rays from the second optical region D2 are guided to the green (G2) pixel P2B and the blue pixel P4B.
  • the optical element M2 guides the light rays from the first optical region D1 to the green (G2) pixel P2A and the blue (B) pixel P4A, and the light rays from the second optical region D2.
  • the signal processing unit C receives a signal from a pixel (FIG. 11A) on which a light beam from the first optical region D1 is incident from the imaging element N and a pixel (FIG. 11A) on which a light beam from the second optical region D2 is incident. 11 (b)) and processing them separately to form images.
  • the signal from the pixel (FIG. 11 (a)) where the light beam from the first optical region D1 is incident and the signal from the pixel (FIG. 11 (b)) where the light beam from the second optical region D2 is incident are respectively Since signals from red, blue, and green pixels are included, two color images with different exposure conditions can be acquired. Therefore, a good high dynamic range composite image can be generated.
  • the light beam guided by the optical element M1 among the pixels (FIG. 11A) to which the light beam from the first optical region D1 is incident is green ( The light does not enter the pixel P2A of G2) and the pixel P4A of blue (B).
  • the light beam guided by the column of optical elements M2 does not enter the pixels of the green (G1) pixel P1A and the red (R) pixel P3A. Therefore, in the signal processing unit C, when processing the signal from the pixel (FIG. 11A) on which the light beam from the first optical region D1 is incident, the four pixels in the column of the optical element M1 are missing.
  • the pixel signal may be interpolated using the signal from the pixel in the column of adjacent optical elements M2.
  • the signal of the missing pixel among the four pixels in the column of the optical element M1 is You may interpolate using the signal by the pixel in the row
  • the image pickup device is a Bayer color image pickup device.
  • the pixels having a green filter may be adjacent in the vertical direction, for example.
  • the image sensor includes pixels having red, blue, and green filters, but may include pixels having filters of complementary colors of these colors instead of these colors. Further, the image sensor may be provided with filters of four pixels, for example, red, blue, green, white, or a combination of red, blue, green, yellow, and the like.
  • a digital camera R shown in FIGS. 12A and 12B includes an imaging device A, an image display unit R1, a shutter button R2, a main body operation button R3, a camera control unit R4 (not shown), and a memory R5 (see FIG. 12). Not shown).
  • FIG. 13 is a block diagram showing an internal configuration of the digital camera R shown in FIG. Any of the imaging devices of the first to fourth embodiments can be used as the imaging device A.
  • FIG. 13 shows the imaging device of the first embodiment.
  • the photographer operates the main body operation button R3 to perform setting for performing high dynamic range shooting. Accordingly, the camera control unit R4 sends a signal to the control unit V of the imaging apparatus A, and adjusts the transmittance of the first optical region D1 and the second optical region D2 by the operation described in the first embodiment.
  • the camera control unit R4 acquires the captured images Q1 and Q2 having different exposure conditions from the signal processing unit C of the imaging apparatus A.
  • the camera control unit R4 generates a high dynamic range composite image Q ′ using the acquired images Q1 and Q2.
  • the camera control unit R4 transfers the generated high dynamic range composite image Q ′ to the memory R5, which is an image storage unit, and displays it on the image display unit R1.
  • the photographer confirms the image displayed on the image display unit R1, and instructs the main body operation button R3 to save or delete the photographed image or reset the photographing condition.
  • a digital camera capable of acquiring the high dynamic range composite image Q is realized.
  • the camera control unit R4, the signal processing unit C of the imaging apparatus A, and the control unit V are shown to have different configurations, but these functions may be configured by one information processing unit. Good.
  • the memory R5 is built in the digital camera body, but is not necessarily limited thereto. Instead of providing a memory, a wired or wireless communication means may be provided, and the high dynamic range composite image Q may be transmitted and stored at the transmission destination.
  • the present embodiment has been described by taking a digital camera as an example, a video camera, a mobile phone, a portable information terminal, and the like can also be realized by a configuration similar to that of the present embodiment.
  • the lens optical system L is described as a single lens, but the lens optical system may include a combined lens composed of a plurality of lenses.
  • the degree of freedom in optical design is increased, and thus there is an advantage that a high-resolution image can be acquired.
  • the lens optical system may have telecentricity on the image side.
  • the off-axis principal ray emission of the lens optical system can be calculated by using the period of the array-shaped optical element such as a lenticular lens or microlens array arranged in front of the image sensor. By appropriately adjusting according to the angle, it is possible to exert a good light separation effect.
  • the light transmittance in the light control part of the divided light control element may not be uniform. Specifically, there may be a form in which there is a difference in the amount of light in a predetermined wavelength region for each dimming unit. This is effective in a shooting situation where light in a predetermined wavelength band is particularly strong, or in a shooting situation where light in a predetermined wavelength band is weaker than other wavelength bands.
  • a light control element using an electrochromic (EC) effect may be used as the divided light control element. Since the electrochromic light control device can change the transmittance by applying a voltage, it has the same effect as the liquid crystal device described in the first embodiment.
  • EC electrochromic
  • the divided dimming element does not necessarily have to have the dimming function in all the divided areas, and the function described in the present application can be exhibited even if it has the dimming function in at least one area. .
  • the imaging apparatus includes the signal processing unit C.
  • the imaging apparatus of the present invention may not include this.
  • an output signal from the image sensor may be transmitted to an external device such as a personal computer, and an operation performed by the signal processing unit C may be performed on the external device side.
  • the present invention may be realized by a system including an imaging device including the lens optical system L, the arrayed optical element K, and the imaging device N, and an external signal processing device.
  • the imaging device disclosed in the present application is suitable as an imaging device for industrial cameras such as surveillance cameras, image input cameras such as robots, in-vehicle cameras, etc. in addition to imaging devices used for digital still cameras, digital video cameras, portable terminals, and the like. Can be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Exposure Control For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

 本願に開示された撮像装置は、第1の光学領域および第2の光学領域を有するレンズ光学系Lと、レンズ光学系Lを通過した光が入射する、少なくとも複数の第1の画素と複数の第2の画素とを有する撮像素子Nと、第1の光学領域および第2の光学領域にそれぞれ位置する第1の調光部および第2の調光部とを含む分割調光素子Wと、分割調光素子の第1の調光部の透過率および第2の調光部の透過率の少なくとも一方を変更する制御部Vと、レンズ光学系と撮像素子との間に配置されたアレイ状光学素子Kであって、第1の光学領域を通過した光を複数の第1の画素に入射させ、第2の光学領域を通過した光を複数の第2の画素に入射させるアレイ状光学素子Kとを備える。

Description

撮像装置
 本願は撮像装置に関し、特に幅広いダイナミックレンジを持つ画像を取得することのできる撮像装置に関する。
 近年、固体撮像素子を用いたデジタルスチルカメラが普及し広く用いられている。一般にこれらのデジタルスチルカメラによる撮影は、主要な被写体について露光条件を調節することにより行われる。撮影シーンの明暗差が大きい場合、得られた画像の暗部に黒つぶれが発生したり、明部に白とびが発生したりすることがある。
 しかし、デジタルカメラの場合、取得した画像を元に画像処理を行うことが可能である。例えば、露光条件を変えて複数枚の画像を撮影し、カメラ本体内において画像処理を行い、複数枚の画像を合成することによって、黒つぶれや白とびが抑制された、ダイナミックレンジの広い画像を生成することができる。このような機能はハイダイナミックレンジ(HDR)合成と呼ばれ、この機能を搭載したカメラが市販されている。
 固体撮像素子におけるダイナミックレンジを拡大する方法として、特許文献1は、感度の異なる一対のフォトダイオードを一つの画素として配置し、一対のフォトダイオードの出力を合成処理する技術を開示している。特許文献2は、受光面積の異なる複数の光電変換部を一つの画素単位として用いる技術を開示している。
 特許文献3は、複数のレンズ光学系からなる複眼光学系を用いて、光学系ごとに異なる露光条件で撮影し、HDR合成を行う技術を開示している。
特許第4018820号 特開2011-114680 特開2002-171430
 しかしながら、上述した従来の技術では、より簡単な構成、あるいは、一般的な構成によって、ハイダイナミックレンジ合成用の画像を取得できる撮像装置が求められていた。
 本願の、限定的ではない例示的なある実施形態は、簡単な構成、あるいは、一般的な構成でハイダイナミックレンジ合成用の画像を取得できる撮像装置を提供する。
 本発明の撮像装置は、第1の光学領域および第2の光学領域を有するレンズ光学系と、前記レンズ光学系を通過した光が入射する、少なくとも複数の第1の画素と複数の第2の画素とを有する撮像素子と、第1の光学領域および第2の光学領域にそれぞれ位置する第1の調光部および第2の調光部とを含む分割調光素子と、前記分割調光素子の第1の調光部の透過率および前記第2の調光部の透過率の少なくとも一方を変更する制御部と、前記レンズ光学系と前記撮像素子との間に配置されたアレイ状光学素子であって、第1の光学領域を通過した光を前記複数の第1の画素に入射させ、前記第2の光学領域を通過した光を前記複数の第2の画素に入射させるアレイ状光学素子とを備える。
 本発明の一態様にかかる撮像装置によれば、単一のレンズ光学系を用いながら、ハイダイナミックレンジ合成用の異なる露光条件で撮影された複数の画像を取得することができる。このため、好適にハイダイナミックレンジ合成画像を得ることが可能となる。
本発明による撮像装置の第1の実施形態の構成を示す図である。 (a)および(b)は、第1の実施形態における、分割調光素子の断面図および正面図である。 第1の実施形態におけるアレイ状光学素子の斜視図である。 第1の実施形態におけるアレイ状光学素子および撮像素子近傍の模式的な拡大断面図である。 第2の実施形態における分割調光素子の正面図である。 第2の実施形態におけるアレイ状光学素子および撮像素子近傍の模式的な斜視図である。 第2の実施形態における撮像面に入射する光線を説明する図である。 第3の実施形態の構成を示す図である。 (a)は第3の実施形態における分割調光素子の正面図であり、(b)は分割調光素子の他の例を示す正面図である。 第4の実施形態におけるアレイ状光学素子の斜視図である。 (a)および(b)は、第4の実施形態における撮像素子への光線の入射を説明する図である。 (a)および(b)は、本発明によるデジタルカメラの実施形態を示す正面図および背面図である。 第5の実施形態の構成を示すブロック図である。
 本願発明者は従来の撮像装置によるハイダイナミックレンジ合成画像の生成について詳細に検討した。検討によれば、露光条件を変えて複数枚の画像を撮影し、ダイナミックレンジの広い画像を生成する技術は、異なる時間に画像を取得するため、動きのある被写体の撮影や動画の撮影に用いることができない。また、静止物であってもカメラを手持ちで撮影する場合には、複数枚を撮影している間の手振れの影響で、取得された画像間において被写体がずれて撮影される場合がある。このような画像に基づき、HDR合成するのは計算量が増えてしまうことがあるなど、良好に撮影できる条件が限定される。
 また、特許文献1および特許文献2に開示された技術は、専用の撮像素子を必要とするため、初期コストが増大する。
 特許文献3の技術は、撮像領域の前方にレンズアレイとしてのレンズ光学系を構成しているため、単一のレンズ光学系の有効径は撮像領域の面積の半分あるいは1/4未満でなければならい。このため、光学設計の自由度が小さくなり、画像を取得する目的としては、十分な解像度の光学系を構成するのは困難である。
 このような課題に鑑み、本願発明者は、ハイダイナミックレンジ合成用の、異なる露光条件で撮影された複数の画像を取得することができる新規な撮像装置を想到した。
 本発明の一態様である撮像装置は、第1の光学領域および第2の光学領域を有するレンズ光学系と、前記レンズ光学系を通過した光が入射する、少なくとも複数の第1の画素と複数の第2の画素とを有する撮像素子と、第1の光学領域および第2の光学領域にそれぞれ位置する第1の調光部および第2の調光部とを含む分割調光素子と、前記分割調光素子の第1の調光部の透過率および前記第2の調光部の透過率の少なくとも一方を変更する制御部と、前記レンズ光学系と前記撮像素子との間に配置されたアレイ状光学素子であって、第1の光学領域を通過した光を前記複数の第1の画素に入射させ、前記第2の光学領域を通過した光を前記複数の第2の画素に入射させるアレイ状光学素子とを備える。
 前記撮像装置は、前記複数の第1の画素に入射光による信号と、前記複数の第2の画素に入射光による信号とに基づき、ハイダイナミックレンジ合成画像を生成する信号処理部をさらに備えていてもよい。
 前記撮像素子はモノクロ撮像素子であってもよい。
 前記レンズ光学系は、像側テレセントリック光学系であってもよい。
 前記アレイ状光学素子はレンチキュラレンズであってもよい。
 前記撮像素子において、前記複数の第1の画素および前記複数の第2の画素はそれぞれ第1の方向に複数配列されており、前記第1の方向と直交する第2の方向において、第1の方向に配列された複数の第1の画素および第1の方向に配列された複数の第2の画素が交互に配列され、撮像面を構成していてもよい。
 前記レンズ光学系は、第3の光学領域と第4の光学領域とをさらに含み、前記分割調光素子は、前記第3の領域に位置する第3の調光部および前記第4の領域に位置する第4の調光部とをさらに有していてもよい。
 前記アレイ状光学素子は、マイクロレンズアレイであってもよい。
 前記分割調光素子は、少なくとも3つの透過部を含み、前記少なくとも3つの透過部のうち、隣接する2つは互いに異なる透過率を有しており、前記制御部は、前記少なくとも3つの透過部のうち、任意の隣接する2つが前記第1の光学領域および前記第2の光学領域に位置するように、前記少なくとも3つの透過部を移動させる駆動機構を含んでいてもよい。
 前記分割調光素子は、一対の偏光板と、前記一対の偏光板に挟まれた共通透明電極および前記第1の光学領域および前記第2の光学領域にそれぞれ位置する2つの分割透明電極と、前記共通透明電極および前記2つの分割透明電極に挟まれた液晶層とを含み、前記制御部は、前記2つの分割透明電極に異なる電圧を印加してもよい。
 前記撮像装置は前記電圧を変化させて複数回の撮影動作を行ってもよい。
 本発明の他の一態様である撮像装置は、前記複数の第1の画素は、第1の分光透過率特性を有するフィルタを有する複数の第1Aの画素と、第2の分光透過率特性を有するフィルタを有する複数の第2Aの画素と、第3の分光透過率特性を有するフィルタを有する複数の第3Aの画素と、第4の分光透過率特性を有するフィルタを有する複数の第4Aの画素とを含み、前記複数の第2の画素は、前記第1の分光透過率特性を有するフィルタを有する複数の第1Bの画素と、前記第2の分光透過率特性を有するフィルタを有する複数の第2Bの画素と、前記第3の分光透過率特性を有するフィルタを有する複数の第3Bの画素と、前記第4の分光透過率特性を有するフィルタを有する複数の第4Bの画素とを含み、前記アレイ状光学素子は、前記第1の光学領域を通過した光を前記複数の第1Aの画素と前記複数の第3Aの画素とに入射させ、前記第2の領域を通過した光を前記複数の第2Bの画素と前記複数の第4Bの画素とに入射させる複数の第1の光学要素と、前記第1の領域を通過した光を前記複数の第2Aの画素と前記複数の第4Aの画素とに入射させ、前記第2の領域を通過した光を前記複数の第1Bの画素と前記複数の第3Bの画素とに入射させる複数の第2の光学要素とを含む。
 前記撮像素子の撮像面において、各第1Aの画素、第2Bの画素、第3Aの画素および第4Bの画素は互いに隣接しており、四角形の頂点の位置に配置されていてもよい。
 前記第1の分光透過率特性を有するフィルタおよび前記第2の分光透過率特性を有するフィルタは、緑色波長帯域の光を透過するフィルタであり、前記第3の分光透過率特性を有するフィルタは、赤色波長帯域の光を透過するフィルタであり、前記第4の分光透過率特性を有するフィルタは、青色波長帯域の光を透過するフィルタであり、各第1Aの画素、第2Bの画素、第3Aの画素および第4Bの画素は、ベイヤー配列で配置されていてもよい。
 前記複数の第1および第2の光学要素は、それぞれレンチキュラレンズであってもよい。
 前記レンズ光学系は絞りをさらに含み、前記第1の光学領域および前記第2の光学領域は前記絞り近傍に位置していてもよい。
 本発明の他の一態様である撮像装置は、第1の光学領域および第2の光学領域を有するレンズ光学系と、前記レンズ光学系を通過した光が入射する、第1の分光透過率特性を有するフィルタを有する複数の第1の画素と、第2の分光透過率特性を有するフィルタを有する複数の第2の画素と、第3の分光透過率特性を有するフィルタを有する複数の第3の画素と、第4の分光透過率特性を有するフィルタを有する複数の第4の画素を含み、第1の方向に各第1の画素および第2の画素が交互に配列された第1の行と、前記第1の方向に各第3の画素および前記第4の画素が交互に第2の行とが第2の方向に交互に配列され、撮像面を構成している撮像素子と、第1の光学領域および第2の光学領域にそれぞれ位置する第1の調光部および第2の調光部とを含む分割調光素子と、前記分割調光素子の第1の調光部の透過率および前記第2の調光部の透過率の少なくとも一方を変更する制御部と、前記レンズ光学系と前記撮像素子との間に配置されたアレイ状光学素子とを備え、前記レンズ光学系において、前記第1の光学領域および前記第2の光学領域は、前記第2の方向に配列されており、前記アレイ状光学素子は、前記撮像面において、隣接して前記第1の方向および前記第2の方向に配列された前記第1の画素、第2の画素、第3の画素および第4の画素を含む4つの画素ごとに前記レンズ光学系を透過した光を入射させる複数の光学要素を含み、前記複数の光学要素は、前記第2の方向に1次元に配列された複数の列を構成し、前記第1の方向に隣接する2つの列において、一方の列の各光学要素は、他方の列の対応する光学要素に対して、前記光学要素の配列周期の1/2の長さだけ前記第2の方向にシフトしている。
 本発明の一態様であるカメラは、上記いずれかに記載の撮像装置と、画像表示部と、シャッターボタンと、画像保存部とを備える。
 以下、図面を参照しながら、本発明による撮像装置の実施形態を説明する。
 (第1の実施形態)
 図1は本発明による撮像装置の第1の実施形態を示す模式図である。本実施形態の撮像装置Aは、V0を光軸とするレンズ光学系Lと、レンズ光学系Lの焦点位置近傍に配置されたアレイ状光学素子Kと、撮像素子Nと、信号処理部Cと、分割調光素子Wと、制御部Vとを備える。
 本実施形態では、レンズ光学系Lは、絞りSと絞りSを透過した光を撮像素子上に結像する対物レンズL1とを含む。また、レンズ光学系Lは第1の光学領域D1および第2の光学領域D2を含む。第1の光学領域D1および第2の光学領域D2は絞りS近傍に位置している。第1の光学領域D1および第2の光学領域D2を合わせた領域を瞳領域ともいう。
 分割調光素子Wは液晶素子であり、第1の光学領域D1に位置する第1の調光部W1および第2の光学領域D2に位置する第2の調光部W2を含む。
 図2(a)および(b)は分割調光素子Wの構造を概略的に示す断面図および正面図である。分割調光素子Wは、共通透明電極ECと、液晶層LCと、分割透明電極ED1、ED2と、偏光板PL1、PL2とを含む。
 共通透明電極ECは、ガラス基板H1の一方の面に設けられており、その上を配向膜T1が覆っている。ガラス基板H1の他の面には偏光板PL1が配置されている。これによって、基板SB1が構成されている。また、分割透明電極ED1、ED2は、ガラス基板H2の一方の面に設けられて、その上を配向膜T2が覆っている。ガラス基板H2の他の面には偏光板PL2が配置されている。偏光板PL1および偏光板PL2はそれぞれ偏光軸を有し、偏光軸の方向に振動する光を透過する。例えば、配向膜T1および配向膜T2の配向方向は偏光板PL1、偏光板PL2の偏光軸の方向と一致している。基板SB1と基板SB2とは、例えば、偏光板PL1の偏光軸と偏光板PL2の偏光軸とが互いに直交するようにシール材Jによって張り合わせられ、シール材、基板SB1および基板SB2によって形成される空間に液晶層LCが保持される。
 図2(b)に示すように、分割透明電極ED1、ED2は、境界がレンズ光学系Lの光軸V0を通る水平方向と一致するように配置される。共通透明電極EC、分割透明電極ED1およびこれらに挟まれる液晶層LCが第1の光学領域D1に位置する第1の調光部W1を構成し、共通透明電極EC、分割透明電極ED2およびこれらに挟まれる液晶層LCが第2の光学領域D2に位置する第2の調光部W2を構成している。
 液晶層LCは旋光性を有しており、共通透明電極ECと分割透明電極ED1、ED2との間に印加される電圧に応じた旋光度を示す。したがって、分割透明電極ED1と分割透明電極ED2とに印加する電圧を異ならせると、共通透明電極ECと、分割透明電極ED1とに挟まれた液晶層LCと、共通透明電極ECと分割透明電極ED2とに挟まれた液晶層LCとは、異なる旋光度を示す。
 液晶素子(分割調光素子W)に入射した光線のうち、偏光板PL1の偏光軸と平行な方向に振動する成分のみが液晶層LCを透過する。液晶層LCに入射した光線は、液晶層LCの旋光性により偏光方向が回転し、偏光板PL2に入射する。偏光板PL2は、液晶層LCを透過した光のうち偏光板PL2の偏光軸と平行な方向に振動する成分のみを透過する。
 制御部Vから印加する電圧の値を変え、液晶層LCの旋光度を変化させると、偏光板PL1を透過した光のうち、偏光板PL2の偏光軸と平行な成分の割合を変化させることができる。このため、液晶素子(分割調光素子W)の第1の調光部W1および第2の調光部W2の透過率を、制御部Vから印加する電圧によって独立に変化させることができる。本実施形態では、制御部Vが分割透明電極ED1、ED2に異なる電圧を印加することによって、第1の調光部W1の透過率が第2の調光部W2の透過率と異なるように液晶素子(分割調光素子W)を制御する。
 例えば、液晶層LCが、偏光軸を90度旋回させる旋光性を有するように分割透明電極ED1、ED2に電圧が印加される場合、偏光板PL1の偏光軸と偏光板PL2の偏光軸とが互いに直交しているため、偏光板PL1を透過した光のすべてが偏光板PL2を透過する。この時、偏光板PL1を透過した光に対する偏光板PL2を透過する光の割合は、理想的には100%である。また、液晶層LCが、偏光軸を0度または180度旋回させる旋光性を有するように分割透明電極ED1、ED2に電圧が印加される場合、偏光板PL1を透過した光のすべては偏光板PL2を透過できない。この時、偏光板PL1を透過した光に対する偏光板PL2を透過する光の割合は、理想的には0%である。これらの間の角度で偏光軸が旋回する場合、偏光板PL1を透過した光に対する偏光板PL2を透過する光の割合は、0%~100%の間の値となる。
 液晶素子(分割調光素子W)の第1の調光部W2および第2の調光部W2における実際の透過率は、偏光板PL1を透過する光の割合および液晶素子(分割調光素子W)を構成する要素における光の吸収を考慮した値である。
 図1に示すように、絞りSに入射する光のうち、光線B1は第1の光学領域D1に位置する分割調光素子Wの第1の調光部W1に入射し、光線B2は第1の光学領域D1に位置する分割調光素子Wの第2の調光部W2に入射する。第1の調光部W1および第2の調光部W2の透過率が異なるため、分割調光素子Wを透過することにより、光線B1および光線B2の光量(光線の強度)は異なる。光線B1および光線B2は対物レンズL1によって、収束させられ、アレイ状光学素子Kに入射する。
 図3はアレイ状光学素子Kの斜視図である。アレイ状光学素子Kは、レンズ面をそれぞれ有する複数の光学要素Mを含む。本実施の形態においては、各光学要素Mのレンズ面シリンドリカル面である。アレイ状光学素子Kにおいて、シリンドリカル面が水平方向に伸びるように配置され、複数の光学要素Mは垂直方向に配列される。これによって、複数の光学要素Mがレンチキュラレンズを構成している。
 図4は図1に示したアレイ状光学素子Kおよび撮像素子Nの拡大図である。レンチキュラレンズであるアレイ状光学素子Kの光学要素Mが形成された面を撮像素子N側に向けて配置されている。図1に示したとおり、アレイ状光学素子Kはレンズ光学系Lの焦点位置近傍に配置されており、撮像素子Nからは所定の距離だけ離れた位置に配置している。
 撮像素子Nは、撮像面Niに配列された複数の第1の画素P1および複数の第2の画素P2を含む。複数の第1の画素P1および複数の第2の画素P2はそれぞれ水平方向(第1の方向)に複数配列されており、図4に示すように、垂直方向(第2の方向)において、第1の画素P1および第2の画素P2が交互に配列されている。
 本実施の形態において、複数の第1の画素P1および複数の第2の画素P2は本実施の形態ではいずれも撮像面Niにおいて同じ形状を有している。例えば、複数の第1の画素P1および複数の第2の画素P2は同じ矩形形状を有しており、面積も互いに等しい。
 撮像素子Nは、各画素の表面を覆うように撮像面Niに設けられた複数のマイクロレンズMsを含んでいてもよい。アレイ状光学素子Kの配置位置は対物レンズL1の焦点を基準にして決定される。アレイ状光学素子Kのシリンドリカル面の垂直方向の周期は、撮像面Niに形成されている画素の2画素分に相当する周期と一致する。
 図4に示すように、アレイ状光学素子Kの隣接する2つのシリンドリカル面の境界位置と撮像素子Nの隣接する2つのマイクロレンズMsの境界の位置とは水平方向において一致している。つまり、アレイ状光学素子Kの光学要素Mの1つが撮像面Ni上における2行の画素に対応するように配置されている。光学要素Mは、光線の入射角に応じて射出方向を振り分ける機能を有する。具体的には、第1の光学領域D1を透過した光線B1の大部分を撮像面Ni上の第1の画素P1に入射させ、第2の光学領域D2を透過した光線B2の大部分を撮像面Ni上の第2の画素P2に入射させる。これはアレイ状光学素子Kとして用いるレンチキュラレンズの屈折率および光学要素Mの曲率半径、撮像面Niからの距離などを調節することで実現することができる。
 撮像素子Nは、入射光を光電変換し、画像信号Q0を信号処理部Cへ出力する。信号処理部Cは、画像信号Q0から、第1の画素P1による画像信号Q1と、第2の画素P2による画像信号Q2とを生成する。
 画像信号Q1は、第1の光学領域D1を透過した光線により生成された画像を構成し、第2の画像信号Q2は第2の光学領域D2を透過した光線により生成された画像を構成する。上述した理由から、第1の光学領域D1および第2の光学領域D2に位置する第1の調光部W1および第2の調光部W2の透過率は互いに異なる。このため、画像信号Q1による画像および画像信号Q2による画像は、異なる露光条件で撮影されていることになる。露光条件の異なる2枚の画像信号を用いて、種々の公知の画像処理を行うことにより、ハイダイナミックレンジ合成を行うことができる。
 このようにして得られた2つ画像は、単一のレンズ光学系によって一度に撮影されたものである。したがって、同じ被写体が実質的に同じ時刻に同じ角度から撮影されており、露光条件が異なることを除けば、2つの画像に差異はない。また、2つの画像の露光条件は、絞り開口の面積を異ならせずに、光線の透過率で調節することにより異ならせているため、2つの画像の解像度は同一であり、好適に、ハイダイナミックレンジ合成を行うことができる。
 このように本実施形態によれば、分割透明電極ED1および分割透明電極ED2に印加する電圧を調節することによって、第1の光学領域D1および第2の光学領域D2の領域の光透過率を変更できるため、撮影環境に応じて取得する画像の露光条件を適宜調節することが可能となる。
 また、機械的な駆動部を用いることなく分割調光素子の透過率を調整することが可能であるため、高速で安定した調光動作を実現できる。よって、所定の露光条件で撮影した後、短い時間でさらに異なる露光条件で撮影することも可能である。例えば、生体を、3以上の異なる露光条件で撮影したい場合、短い間隔で複数回、撮影を行うことにより、撮影回数×2の画像を取得することができる。
 なお、本実施形態のレンズ光学系Lは像側テレセントリック光学系であってもよい。これにより、異なる画角で入射する光線の主光線をアレイ状光学素子に対して0度に近い角度で入射させることができる。よって、撮像素子の全域にわたって、クロストーク(第1の画素P1へ入射すべき光が第2の画素P2へ入射したり、第2の画素P2へ入射すべき光が第1の画素P1へ入射したりすること)を抑制することが可能となる。
 絞りSは全ての画角の光束が通過する領域である。従って、絞りSの近傍に透過率特性を制御する光学特性を有する面を挿入することにより、全ての画角の光束の透過率偏光特性を同様に制御することができる。すなわち、本実施形態では、分割調光素子Wは、絞りSの近傍に設けられていてもよい。絞り近傍に位置する光学領域D1、D2に分割調光素子Wを配置することによって、領域の分割数に応じた透過率特性を光束に与えることができる。
 図1においては、絞りSを通過した光が直接(他の光学部材を介することなく)、分割調光素子Wに入射する位置に設けられている。分割調光素子Wは、絞りSよりも被写体側に設けられていてもよい。この場合、分割調光素子Wを通過した光が、直接(他の光学部材を介することなく)、絞りSに入射してもよい。像側テレセントリック光学系の場合、光学系の焦点における光線の入射角は、絞りSを通過する光線の位置によって一義的に決定される。また、アレイ状光学素子Kは、光線の入射角に応じて射出方向を振り分ける機能を有する。そのため、絞りSの近傍で分割された光学領域D1、D2に対応するように、撮像面Ni上の画素に光束を振り分けることができる。
 なお、像側非テレセントリック光学系の場合、光学系の焦点における光線の入射角は、絞りSを通過する光線の位置と画角によって一義的に決定される。
 (第2の実施形態)
 本発明による撮像装置の第2の実施形態を説明する。本実施形態の撮像装置は、レンズ光学系が、第1から第4の光学領域を含み、分割調光素子を4つの調光部を含む点、および、アレイ状光学素子としてマイクロレンズを含む点で第1の実施形態の撮像装置と異なる。このため、主としてこれらの第1の実施形態と異なる点を説明する。
 本実施形態では、レンズ光学系Lは、第1の光学領域と、第2の光学領域と、第3の光学領域と、第4の光学領域とを含む。図5は、この4つの光学領域に配置される分割調光素子Wの分割透明電極の一例を示している。図5では、分割調光素子Wを物体側から見ている。分割調光素子Wは、第1の光学領域D1、第2の光学領域D2、第3の光学領域D3、第4の光学領域D4にそれぞれ位置する第1の調光部W1、第2の調光部W2、第3の調光部W3、第4の調光部W4を含む。第1の調光部W1、第2の調光部W2、第3の調光部W3、第4の調光部W4はそれぞれ分割透明電極ED1、分割透明電極ED2、分割透明電極ED3、分割透明電極ED4を含んでいる。制御部Vは分割透明電極ED1~ED4への印加電圧を調節して、光学領域に配置される調光部の光透過率を異ならせている。
 第1の光学領域D1と第2の光学領域D2との境界、および、第3の光学領域D3と第4の光学領域D4との境界は、例えば、レンズ光学系Lの光軸V0を含む撮像装置の水平方向と平行な平面上に位置する。また、第1の光学領域D1と第4の光学領域D4との境界、および、第2の光学領域D2と第4の光学領域D4との境界は、例えば、レンズ光学系Lの光軸V0を含む撮像装置の垂直方向と平行な平面上に位置する。
 図6は、アレイ状光学素子Kおよび撮像素子Nの一部を示す切り欠き斜視図である。本実施の形態では、アレイ状光学素子Kの光学要素Mは、マイクロレンズであり、レンズ面は球面である。光学要素Mは水平方向および垂直方向に周期的に配置されたており、マイクロレンズアレイを構成している。撮像素子Nはアレイ状光学素子Kに対向して配置され、撮像素子Nの撮像面Ni上の画素にはそれぞれマイクロレンズMsが設けられている。アレイ状光学素子Kの光学要素Mの周期は、水平方向および垂直方向のいずれにおいても、撮像素子NのマイクロレンズMsの周期の2倍である。このため、アレイ状光学素子Kを構成するマイクロレンズアレイの一つの光学要素Mに対して、撮像面Niの4つの画素が対応する。
 図7は、撮像素子Nの撮像面に配列された画素と、レンズ光学系Lの4つの光学領域を透過した光線との関係を示している。撮像素子Nは、撮像面Niに配列された、複数の第1の画素P1、複数の第2の画素P2、複数の第3の画素P3、複数の第4の画素P4を含む。図7に示すように、撮像面Niにおいて、第2の画素P2と第3の画素P3とは水平方向に交互に配置され、第1の画素P1と第4の画素P4とは水平方向に交互に配置されている。第2の画素P2および第3の画素P3が配列された行と、第1の画素P1および第4の画素P4が配列された行とは、第1の画素P1が第2の画素P2に垂直方向に隣接するように、交互に配列されている。このため、第1の画素P1、第2の画素P2、第3の画素P3、第4の画素P4が行および列方向に隣接して配置され、マイクロレンズアレイの一つの光学要素Mに対応する。
 第1の光学領域D1の第1の調光部W1を透過した光線は、レンズ光学系Lによって収束し、アレイ状光学素子Kの光学要素Mによって、第1の画素P1に入射する。同様に、第2の光学領域D2の第2の調光部W2を透過した光線、第3の光学領域D3の第3の調光部W3を透過した光線、第4の光学領域D4の第4の調光部W4を透過した光線はそれぞれ第2の画素P2、第3の画素P3、第4の画素P4に入射する。つまり、各光学領域を透過した光線は、撮像面Ni上において、水平方向および垂直方向に、1つおきに位置する同じ画素に入射する。
 撮像素子Nは、入射光を画素ごとに光電変換し、得られた信号を信号処理部Cへ出力する。信号処理部Cは、第1の画素P1、第2の画素P2、第3の画素P3、第4の画素P4から得られた信号をそれぞれ第1の画素P1、第2の画素P2、第3の画素P3、第4の画素P4ごとに処理し、画像信号を生成する。具体的には、複数の第1の画素P1から得られた信号を処理することによって、画像信号Q1を生成する。同様に、複数の第2の画素P2、複数の第3の画素P3、複数の第4の画素P4から得られた信号を処理し、画像信号Q2、Q3、Q4を生成する。
 このようにして得られた画像信号Q1、Q2、Q3、Q4は、1つのレンズ系によって撮影された同時刻における同じシーンの画像1、画像2、画像3、画像4を構成するが、画像1、画像2、画像3、画像4は異なる露光条件で撮影されている。このため、本実施形態によれば、光量の異なるより多くの露光条件で同一の画像を撮影でき、HDR処理によって、広い明るさの範囲で、明部から暗部までが白とびや黒つぶれなく撮影された画像を得ることができる。
 (第3の実施形態)
 本発明による撮像装置の第3の実施形態を説明する。図8は、本実施形態の撮像装置を示す模式図である。本実施形態の撮像装置は、切り替え型の分割調光素子W、分割調光素子Wの駆動機構Uおよび駆動機構Uの動作を制御する制御部Vを備えている点で、第1の実施形態の撮像装置と異なる。このため、主としてこれらの第1の実施形態と異なる点を説明する。
 本実施形態の切り替え型の分割調光素子Wは、少なくとも3つの透過部を有し、隣接する2つは互いに異なる透過率を有している。図9(a)は、分割調光素子Wの一例を示している。図9(a)に示す分割調光素子Wは8つの扇形の第1から第8の透過部w1~w8を備えており、回転中心S0を中心と配置されている。第1から第8の透過部w1~w8の透過率は、例えば隣接する透過部との境界を基準として、少なくとも隣接する透過部間で互いに異なっている。第1から第8の透過部w1~w8は例えば、透過率の異なるNDフィルタによって構成することができる。
 制御部Vからの信号に基づき、駆動機構Uは、分割調光素子Wを回転中心S0を中心に回転させ、隣り合う透過部の境界がレンズ光学系Lの光軸V0に重なる位置で分割調光素子Wの回転を止める。これによって、第1の光学領域D1および第2の光学領域D2に調光軸の方向が互いに異なる2つの透過部を配置することができ、第1の光学領域D1および第2の光学領域D2に位置する透過部を第1の調光部W1および第2の調光部W2として機能させることができる。また、第1の光学領域D1および第2の光学領域D2に配置する透過部を第1から第8の透過部w1~w8から選択できるため、第1の調光部W1および第2の調光部W2の透過率を所定の組み合わせの中から任意に選択することができる。
 このような構成によれば、被写体の撮影条件に応じて、調光部を選択することにより、第1の光学領域D1および第2の光学領域D2の調光軸の方向を切り替えることが可能となり、より広範な撮影環境に適応した、調光画像を撮影することが可能となる。
 切り替え型の分割調光素子は図9(a)に示す構成に限られず、種々の改変が可能である。例えば、図9(b)に示すように、第1から第7の透過部w1~w7が1次元に配列され、駆動機構Uが配列方向に透過部を移動させてもよい。
 (第4の実施形態)
 本発明による撮像装置の第4の実施形態を説明する。本実施形態の撮像装置は、撮像素子がベイヤー配列でカラーフィルタが配列された画素配置を有するカラー撮像素子である点、および、アレイ状光学素子Kが第1の実施形態と異なる形状のレンチキュラレンズである点で第1の実施形態の撮像装置と異なる。このため、主としてこれらの第1の実施形態と異なる点を説明する。
 ベイヤー配列のカラー撮像素子では、正方格子状に画素が配列されており、各画素のうち緑のカラーフィルタ(第1の分光透過特性および第2の分光透過特性)を有する画素が全画素の略半分の密度で斜め方向に互いに隣接して配置されている。赤および青のカラーフィルタ(第3の分光透過特性および第4の分光透過特性)を有する画素は、緑の半分の密度でそれぞれ均等に配置されている。より具体的には、緑の画素は各行および列(奇数列、偶数列および奇数行、偶数行)に存在するが、赤および青の画素は、奇数列あるいは偶数列のどちらか、および、奇数行あるいは偶数行のどちらかにしか存在しない。そのため、アレイ状光学素子Kが第1の実施形態と同じ構造を有している場合(レンチキュラレンズ)、第1の光学領域D1を透過した構成によって構成される画像および第2の光学領域D2を透過した光線によって構成される画像のうち、一方では青の情報が欠落し、他方では赤の情報が欠落している。
 本実施形態では、ベイヤー配列のカラー撮像素子を用いた場合でも第1の実施形態と同様の効果を得るために、アレイ状光学素子Kの形状を工夫している。図10は、本実施形態のアレイ状光学素子Kを像側からみた斜視図である。アレイ状光学素子Kは、光学要素として、水平方向(第1の方向)に延びるシリンドリカルレンズが垂直方向(第2の方向)に1次元に配列された複数の光学要素M1、M2を含む。複数の光学要素M1、M2はそれぞれ垂直方向に伸びる列を構成しており、光学要素M1の列および光学要素M2の列は水平方向に交互に配置されている。水平方向に隣接する光学要素M1の列と光学要素M2の列において、一方の列の各光学要素は、他方の列の対応する光学要素に対して、垂直方向の配列周期の1/2の長さだけ垂直方向にシフトしている。
 各光学要素M1、M2は、撮像素子の撮像面を構成しているベイヤー配列された赤、青、緑のフィルタを有する4つの画素に対応しており、対応する位置にある4つの画素にレンズ光学系Lを透過した光を入射させる。つまり、各光学要素M1、M2のレンズ面であるシリンドリカル面は垂直方向および水平方向において、撮像素子Nの画素に2画素分の周期を有する。したがって、水平方向に隣接する2つの光学要素M1の列および光学要素M2の列において、一方の列の各光学要素は、他方の列の対応する光学要素に対して、1画素分だけ垂直方向にシフトしている。
 第1の実施形態と同様、光学要素M1、M2であるレンチキュラレンズの作用により、第1の光学領域D1および第2の光学領域D2を透過した光線は、それぞれ別の画素に入射する。光学要素M1の列と光学要素M2の列とでは、光学要素の位置が垂直方向に半周期シフトしているため、第1の光学領域D1および第2の光学領域D2からの光線は2画素おきに奇数行と偶数行が入れ替わって撮像素子の画素に入射する。
 図11(a)および(b)は本実施形態における撮像素子Nの撮像面Niに入射する光を説明する模式図である。図11(a)および(b)では、分かりやすさのため、第1の光学領域D1を透過した光線が導かれる画素を図11(a)に示し、第2の光学領域D2を透過した光線が導かれる画素を図11(b)に示している。
 これらの図に示すように、光学要素M1の列では、光学要素M1は、第1の光学領域D1からの光線を、緑(G1)の画素P1Aおよび赤色(R)の画素P3Aへ導き、第2の光学領域D2からの光線を、緑(G2)の画素P2Bおよび青色の画素P4Bへ導く。光学要素M2の列では、光学要素M2は、第1の光学領域D1からの光線を、緑(G2)の画素P2Aおよび青色(B)の画素P4Aへ導き、第2の光学領域D2からの光線を、緑(G1)の画素P1Bおよび赤色(R)の画素P3Bへと導く。
 信号処理部Cは、撮像素子Nから、第1の光学領域D1からの光線が入射した画素(図11(a))による信号と、第2の光学領域D2からの光線が入射した画素(図11(b))による信号とに分け、別々に処理することによって、それぞれ画像を構成する。第1の光学領域D1からの光線が入射した画素(図11(a))による信号および第2の光学領域D2からの光線が入射した画素(図11(b))による信号には、それぞれ、赤、青、緑の画素からの信号が含まれるため、露光条件の異なる2つのカラー画像を取得することが可能となる。したがって、良好なハイダイナミックレンジ合成画像を生成できる。
 なお、図11(a)および(b)から分かるように、第1の光学領域D1からの光線が入射した画素(図11(a))のうち、光学要素M1によって導かれる光線は、緑(G2)の画素P2Aおよび青色(B)の画素P4Aの画素へは入射しない。同様に、光学要素M2の列によって導かれる光線は、緑(G1)の画素P1Aおよび赤色(R)の画素P3Aの画素へは入射しない。したがって、信号処理部Cにおいて、第1の光学領域D1からの光線が入射した画素(図11(a))による信号を処理する場合、光学要素M1の列における4つ画素のうち、欠けている画素の信号を、隣接する光学要素M2の列における画素による信号を用いて補間してもよい。同様に、第2の光学領域D2からの光線が入射した画素(図11(b))による信号を処理する場合、光学要素M1の列における4つ画素のうち、欠けている画素の信号を、隣接する光学要素M2の列における画素による信号を用いて補間してもよい。
 また、本実施形態では、撮像素子はベイヤー配列のカラー撮像素子であるが、4つの画素において、緑のフィルタを有する画素は例えば、垂直方向に隣接していてもよい。また、撮像素子は、赤、青、緑のフィルタを有する画素を含んでいるが、これらの色の替わりにこれらの色の補色のフィルタを有する画素を含んでいてもよい。また、撮像素子は、4つの画素において、例えば、赤、青、緑、白、あるいは、赤、青、緑、黄などの組み合わせのフィルタが設けられていてもよい。
 (第5の実施形態)
 本発明によるデジタルカメラの実施形態を説明する。
 図12(a)および(b)は、本発明によるデジタルカメラの実施形態を示す正面図および背面図である。図12(a)および(b)に示すデジタルカメラRは、撮像装置Aと、画像表示部R1と、シャッターボタンR2と本体操作ボタンR3、カメラ制御部R4(図示せず)、メモリR5(図示せず)を備える。
 図13は、図12に示したデジタルカメラRの内部構成を示すブロック図である。撮像装置Aには、第1から第4の実施形態の撮像装置のいずれを用いることも可能であり、図13では第1の実施形態の撮像装置を示している。
 撮影者は、本体操作ボタンR3を操作して、ハイダイナミックレンジ撮影を行う設定を行う。これにより、カメラ制御部R4は撮像装置Aの制御部Vに信号を送り、第1の実施形態で説明した動作により第1の光学領域D1および第2の光学領域D2の透過率を調節する。
 シャッターボタンR2の押下動作により、カメラ制御部R4は撮像装置Aの信号処理部Cから露光条件の異なる撮影画像Q1およびQ2を取得する。カメラ制御部R4は取得したQ1、Q2の画像を用いて、ハイダイナミックレンジ合成画像Q’を生成する。
 カメラ制御部R4は、生成したハイダイナミックレンジ合成画像Q’を、画像保存部であるメモリR5に転送すると共に、画像表示部R1に表示する。
 撮影者は、画像表示部R1に表示された画像を確認し、撮影画像の保存、あるいは消去、あるいは撮影条件の再設定を本体操作ボタンR3から指示する。
 本実施形態によれば、ハイダイナミックレンジ合成画像Qを取得できるデジタルカメラが実現する。
 なお、本実施形態では、カメラ制御部R4、撮像装置Aの信号処理部Cおよび制御部Vは別の構成であると示しているが、これらの機能を1つの情報処部によって構成してもよい。
 また、本実施形態では、メモリR5はデジタルカメラ本体内に内蔵されているが、必ずしもこれに限定されない。メモリを備える代わりに、有線あるいは無線の通信手段を有し、ハイダイナミックレンジ合成画像Qを伝送し、伝送先で保存してもよい。
 また、デジタルカメラを例として本実施形態を説明したが、ビデオカメラ、携帯電話、携帯情報端末なども、本実施形態と同様の構成によって実現することができる。
(その他の実施の形態)
 上述の実施形態において、レンズ光学系Lは単レンズとして説明しているが、レンズ光学系は複数枚のレンズから構成される組レンズを含んでいてもよい。組レンズを用いることにより、光学設計の自由度が高まるため、高解像度の画像を取得できるという利点がある。
 また、アレイ状光学素子が良好に光線分離を行うためには、レンズ光学系は像側にテレセントリック性を有していてもよい。しかし、レンズ光学系が像側にテレセントリック性を有さない場合にも、撮像素子前面に配置したレンチキュラレンズやマイクロレンズアレイなどのアレイ状光学素子の周期を、レンズ光学系の軸外主光線射出角に応じて適宜調節することで、良好な光線分離効果を発揮させることが可能である。
 また、分割調光素子の調光部における光透過率は均一でなくてもよい。具体的には、調光部ごとに所定の波長域の光量に差がある形態であってもよい。これは、所定の波長域の光が特に強いような撮影状況、あるいは所定の波長域の光が他の波長域に比べて微弱な撮影状況において有効である。
 また、分割調光素子として、エレクトロクロミック(EC)効果を用いた調光素子を用いてもよい。エレクトロクロミック効果の調光素子は、電圧の印加により透過率を変更することが可能なため、第1の実施形実施で説明した液晶素子と同様の効果を有する。
 また、分割調光素子は、その調光機能を必ずしもすべての分割領域に備える必要はなく、少なくとも1箇所の領域の調光機能を有するだけでも本願で説明した機能を発揮することは可能である。
 また、本実施形態では、撮像装置は、信号処理部Cを備えているが、本発明の撮像装置はこれを備えていなくてもよい。この場合、撮像素子からの出力信号をパーソナルコンピューターなどの外部機器に送信し、外部機器側で信号処理部Cにて行う演算を行ってもよい。即ち、本発明は、レンズ光学系L、アレイ状光学素子Kおよび撮像素子Nを備える撮像装置と、外部の信号処理装置とを備えるシステムによって実現してもよい。
 本願に開示された撮像装置は、デジタルスチルカメラ、デジタルビデオカメラ、携帯端末等に用いる撮像装置のほか、監視カメラ、ロボット等の画像入力用カメラ、車載カメラ等の産業用カメラの撮像装置として好適に用いられ得る。
A             撮像装置
L             レンズ光学系
L1            対物レンズ
V0            光軸
D1、D2、D3、D4   第1、第2、第3、第4の光学領域
S             絞り
W             分割調光素子
K             アレイ状光学素子
M、M1、M2             光学要素
N             撮像素子
Ni            撮像面
Ms            マイクロレンズ
C             信号処理部
V             制御部
U             駆動機構
EC            共通透明電極
ED1、ED2、ED3、ED4 分割透明電極
LC            液晶層
PL1、PL2       偏光板
SB1、SB2       基板
H1、H2         ガラス基板
J             シール材
T1、T2         配向膜
P1~P4         画素
P1A~P4A       画素
P1B~P4B       画素
R             デジタルカメラ
R1            画像表示部
R2            シャッターボタン
R3            本体操作ボタン
R4            カメラ制御部

Claims (18)

  1.  第1の光学領域および第2の光学領域を有するレンズ光学系と、
     前記レンズ光学系を通過した光が入射する、少なくとも複数の第1の画素と複数の第2の画素とを有する撮像素子と、
     第1の光学領域および第2の光学領域にそれぞれ位置する第1の調光部および第2の調光部とを含む分割調光素子と、
     前記分割調光素子の第1の調光部の透過率および前記第2の調光部の透過率の少なくとも一方を変更する制御部と、
     前記レンズ光学系と前記撮像素子との間に配置されたアレイ状光学素子であって、第1の光学領域を通過した光を前記複数の第1の画素に入射させ、前記第2の光学領域を通過した光を前記複数の第2の画素に入射させるアレイ状光学素子と
    を備えた撮像装置。
  2.  前記複数の第1の画素に入射光による信号と、前記複数の第2の画素に入射光による信号とに基づき、ハイダイナミックレンジ合成画像を生成する信号処理部をさらに備えた請求項1に記載の撮像装置。
  3.  前記撮像素子はモノクロ撮像素子である請求項1または2に記載の撮像装置。
  4.  前記レンズ光学系は、像側テレセントリック光学系である請求項1から3のいずれかに記載の撮像装置。
  5.  前記アレイ状光学素子はレンチキュラレンズである請求項1から4のいずれかに記載の撮像装置。
  6.  前記撮像素子において、前記複数の第1の画素および前記複数の第2の画素はそれぞれ第1の方向に複数配列されており、前記第1の方向と直交する第2の方向において、第1の方向に配列された複数の第1の画素および第1の方向に配列された複数の第2の画素が交互に配列され、撮像面を構成している請求項5に記載の撮像装置。
  7.  前記レンズ光学系は、第3の光学領域と第4の光学領域とをさらに含み、
     前記分割調光素子は、前記第3の領域に位置する第3の調光部および前記第4の領域に位置する第4の調光部とをさらに有する請求項1から4のいずれかに記載の撮像装置。
  8.  前記アレイ状光学素子は、マイクロレンズアレイである請求項7に記載の撮像装置。
  9.  前記分割調光素子は、少なくとも3つの透過部を含み、前記少なくとも3つの透過部のうち、隣接する2つは互いに異なる透過率を有しており、
     前記制御部は、前記少なくとも3つの透過部のうち、任意の隣接する2つが前記第1の光学領域および前記第2の光学領域に位置するように、前記少なくとも3つの透過部を移動させる駆動機構を含む請求項1から4のいずれかに記載の撮像装置。
  10.  前記分割調光素子は、
     一対の偏光板と、
     前記一対の偏光板に挟まれた共通透明電極および前記第1の光学領域および前記第2の光学領域にそれぞれ位置する2つの分割透明電極と、
     前記共通透明電極および前記2つの分割透明電極に挟まれた液晶層と、
    を含み、
     前記制御部は、前記2つの分割透明電極に異なる電圧を印加する請求項1から4のいずれかに記載の撮像装置。
  11.  前記電圧を変化させて複数回の撮影動作を行う請求項10に記載の撮像装置。
  12.  前記複数の第1の画素は、第1の分光透過率特性を有するフィルタを有する複数の第1Aの画素と、第2の分光透過率特性を有するフィルタを有する複数の第2Aの画素と、第3の分光透過率特性を有するフィルタを有する複数の第3Aの画素と、第4の分光透過率特性を有するフィルタを有する複数の第4Aの画素とを含み、
     前記複数の第2の画素は、前記第1の分光透過率特性を有するフィルタを有する複数の第1Bの画素と、前記第2の分光透過率特性を有するフィルタを有する複数の第2Bの画素と、前記第3の分光透過率特性を有するフィルタを有する複数の第3Bの画素と、前記第4の分光透過率特性を有するフィルタを有する複数の第4Bの画素とを含み、
     前記アレイ状光学素子は、
     前記第1の光学領域を通過した光を前記複数の第1Aの画素と前記複数の第3Aの画素とに入射させ、前記第2の領域を通過した光を前記複数の第2Bの画素と前記複数の第4Bの画素とに入射させる複数の第1の光学要素と、
     前記第1の領域を通過した光を前記複数の第2Aの画素と前記複数の第4Aの画素とに入射させ、前記第2の領域を通過した光を前記複数の第1Bの画素と前記複数の第3Bの画素とに入射させる複数の第2の光学要素と
    を含む請求項1から4のいずれかに記載の撮像装置。
  13.  前記撮像素子の撮像面において、各第1Aの画素、第2Bの画素、第3Aの画素および第4Bの画素は互いに隣接しており、四角形の頂点の位置に配置されている請求項12に記載の撮像装置。
  14.  前記第1の分光透過率特性を有するフィルタおよび前記第2の分光透過率特性を有するフィルタは、緑色波長帯域の光を透過するフィルタであり、
     前記第3の分光透過率特性を有するフィルタは、赤色波長帯域の光を透過するフィルタであり、
     前記第4の分光透過率特性を有するフィルタは、青色波長帯域の光を透過するフィルタであり、
     各第1Aの画素、第2Bの画素、第3Aの画素および第4Bの画素は、ベイヤー配列で配置されている請求項13に記載の撮像装置。
  15.  前記複数の第1および第2の光学要素は、それぞれレンチキュラレンズである請求項12から14のいずれかに記載の撮像装置。
  16.  前記レンズ光学系は絞りをさらに含み、前記第1の光学領域および前記第2の光学領域は前記絞り近傍に位置している請求項1から15のいずれかに記載の撮像装置。
  17.  第1の光学領域および第2の光学領域を有するレンズ光学系と、
     前記レンズ光学系を通過した光が入射する、第1の分光透過率特性を有するフィルタを有する複数の第1の画素と、第2の分光透過率特性を有するフィルタを有する複数の第2の画素と、第3の分光透過率特性を有するフィルタを有する複数の第3の画素と、第4の分光透過率特性を有するフィルタを有する複数の第4の画素を含み、第1の方向に各第1の画素および第2の画素が交互に配列された第1の行と、前記第1の方向に各第3の画素および前記第4の画素が交互に第2の行とが第2の方向に交互に配列され、撮像面を構成している撮像素子と、
     第1の光学領域および第2の光学領域にそれぞれ位置する第1の調光部および第2の調光部とを含む分割調光素子と、
     前記分割調光素子の第1の調光部の透過率および前記第2の調光部の透過率の少なくとも一方を変更する制御部と、
     前記レンズ光学系と前記撮像素子との間に配置されたアレイ状光学素子と
    を備え、
     前記レンズ光学系において、前記第1の光学領域および前記第2の光学領域は、前記第2の方向に配列されており、
     前記アレイ状光学素子は、前記撮像面において、隣接して前記第1の方向および前記第2の方向に配列された前記第1の画素、第2の画素、第3の画素および第4の画素を含む4つの画素ごとに前記レンズ光学系を透過した光を入射させる複数の光学要素を含み、
     前記複数の光学要素は、前記第2の方向に1次元に配列された複数の列を構成し、前記第1の方向に隣接する2つの列において、一方の列の各光学要素は、他方の列の対応する光学要素に対して、前記光学要素の配列周期の1/2の長さだけ前記第2の方向にシフトしている、撮像装置。
  18.  請求項1から17のいずれかに記載の撮像装置と、
     画像表示部と、
     シャッターボタンと、
     画像保存部と
    を備えたカメラ。
PCT/JP2013/000564 2012-02-02 2013-02-01 撮像装置 WO2013114889A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/009,184 US20140071317A1 (en) 2012-02-02 2013-02-01 Image pickup apparatus
JP2013537344A JP5891403B2 (ja) 2012-02-02 2013-02-01 撮像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012021192 2012-02-02
JP2012-021192 2012-09-03

Publications (1)

Publication Number Publication Date
WO2013114889A1 true WO2013114889A1 (ja) 2013-08-08

Family

ID=48904933

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/000564 WO2013114889A1 (ja) 2012-02-02 2013-02-01 撮像装置

Country Status (3)

Country Link
US (1) US20140071317A1 (ja)
JP (1) JP5891403B2 (ja)
WO (1) WO2013114889A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5710835B2 (ja) * 2012-03-21 2015-04-30 富士フイルム株式会社 撮像装置
CN104243783B (zh) * 2014-09-29 2019-04-26 联想(北京)有限公司 光学模组、电子设备和成像方法
CN104243782B (zh) 2014-09-29 2019-02-05 联想(北京)有限公司 光学模组和电子设备
US10764496B2 (en) * 2018-03-16 2020-09-01 Arcsoft Corporation Limited Fast scan-type panoramic image synthesis method and device
DE102019007311B3 (de) * 2019-10-21 2020-09-24 SEW-EURODRlVE GmbH & Co. KG Empfänger für ein System zur Lichtübertragung, System zur Lichtübertragung und Verfahren zum Betrieb eines Systems zur Lichtübertragung

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003092704A (ja) * 2001-09-17 2003-03-28 Olympus Optical Co Ltd カメラ
JP2003523646A (ja) * 1999-02-25 2003-08-05 ヴィジョンセンス リミテッド 光学装置
JP2004061831A (ja) * 2002-07-29 2004-02-26 Canon Inc 電気泳動光量調整素子
WO2005088984A1 (ja) * 2004-03-10 2005-09-22 Olympus Corporation マルチスペクトル画像撮影装置及びアダプタレンズ
JP2009288042A (ja) * 2008-05-29 2009-12-10 Nikon Corp 距離測定装置
WO2010016195A1 (ja) * 2008-08-05 2010-02-11 パナソニック株式会社 撮像用光検出装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11285030A (ja) * 1998-03-26 1999-10-15 Mr System Kenkyusho:Kk 立体画像表示方法及び立体画像表示装置
IL188169A (en) * 2006-12-18 2011-06-30 Visionsense Ltd High resolution endoscope
US7855740B2 (en) * 2007-07-20 2010-12-21 Eastman Kodak Company Multiple component readout of image sensor
US8143565B2 (en) * 2009-09-30 2012-03-27 Ricoh Co., Ltd. Adjustable multimode lightfield imaging system having an actuator for changing position of a non-homogeneous filter module relative to an image-forming optical module
JP5466973B2 (ja) * 2010-03-04 2014-04-09 株式会社ジャパンディスプレイ 液晶表示装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003523646A (ja) * 1999-02-25 2003-08-05 ヴィジョンセンス リミテッド 光学装置
JP2003092704A (ja) * 2001-09-17 2003-03-28 Olympus Optical Co Ltd カメラ
JP2004061831A (ja) * 2002-07-29 2004-02-26 Canon Inc 電気泳動光量調整素子
WO2005088984A1 (ja) * 2004-03-10 2005-09-22 Olympus Corporation マルチスペクトル画像撮影装置及びアダプタレンズ
JP2009288042A (ja) * 2008-05-29 2009-12-10 Nikon Corp 距離測定装置
WO2010016195A1 (ja) * 2008-08-05 2010-02-11 パナソニック株式会社 撮像用光検出装置

Also Published As

Publication number Publication date
JPWO2013114889A1 (ja) 2015-05-11
US20140071317A1 (en) 2014-03-13
JP5891403B2 (ja) 2016-03-23

Similar Documents

Publication Publication Date Title
JP5906464B2 (ja) 撮像装置
KR102556653B1 (ko) 고체 촬상 소자, 및 전자 장치
US9490281B2 (en) Image sensor and image capturing apparatus
US9609208B2 (en) Image generation method, image generation apparatus, program, and storage medium
US8514319B2 (en) Solid-state image pickup element and image pickup apparatus
JP3542397B2 (ja) 撮像装置
US8456565B2 (en) Imaging device
JP5227368B2 (ja) 3次元撮像装置
WO2013042323A1 (ja) ライトフィールド撮像装置、および画像処理装置
JP6016396B2 (ja) 撮像素子および撮像装置
JP2011197080A (ja) 撮像装置及びカメラ
JP5891403B2 (ja) 撮像装置
JP5507362B2 (ja) 3次元撮像装置および光透過板
JP5783929B2 (ja) 撮像装置
JP2007140176A (ja) 電子カメラ
CN114666469B (zh) 图像处理装置、方法及具有该图像处理装置的镜头模组
JP5907668B2 (ja) 撮像装置及び撮像素子
JP2018046563A (ja) 撮像素子
JPH10164413A (ja) 撮像装置
JP7378935B2 (ja) 画像処理装置
JP6232108B2 (ja) 撮像素子および撮像装置
JP6748529B2 (ja) 撮像素子及び撮像装置
WO2013047080A1 (ja) 立体画撮像装置
JP6221327B2 (ja) 撮像素子およびカメラ
JP2012063456A (ja) 撮像装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013537344

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13743883

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14009184

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13743883

Country of ref document: EP

Kind code of ref document: A1