WO2013051186A1 - 撮像装置、撮像装置を用いたシステム及び測距装置 - Google Patents

撮像装置、撮像装置を用いたシステム及び測距装置 Download PDF

Info

Publication number
WO2013051186A1
WO2013051186A1 PCT/JP2012/005490 JP2012005490W WO2013051186A1 WO 2013051186 A1 WO2013051186 A1 WO 2013051186A1 JP 2012005490 W JP2012005490 W JP 2012005490W WO 2013051186 A1 WO2013051186 A1 WO 2013051186A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
pixels
imaging
optical
optical element
Prior art date
Application number
PCT/JP2012/005490
Other languages
English (en)
French (fr)
Inventor
今村　典広
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN201280004995.8A priority Critical patent/CN103299614B/zh
Publication of WO2013051186A1 publication Critical patent/WO2013051186A1/ja
Priority to US13/932,505 priority patent/US8994870B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying

Definitions

  • the present application relates to an imaging apparatus such as a camera, a system using the imaging apparatus, and a distance measuring apparatus.
  • Patent Document 1 in a logarithmic conversion type imaging device, in order to correct non-uniformity of sensitivity for each pixel, imaging data at the time of uniform light irradiation stored in a memory is subtracted from imaging data of each pixel. A method is disclosed.
  • Patent Document 2 discloses a method of performing imaging by dividing an optical path with a prism and changing imaging conditions (exposure amounts) with two imaging elements.
  • Patent Document 3 discloses a technique for correcting an image shift in such a method.
  • Patent Document 1 requires a circuit that performs logarithmic conversion of the pixel signal for each pixel, and thus the pixel size cannot be reduced. Further, the method disclosed in Patent Document 1 requires a means for recording correction data for correcting the non-uniformity of sensitivity for each pixel, resulting in an increase in cost.
  • Patent Document 3 discloses a technique for correcting an image shift, but it is theoretically difficult to completely correct an image shift due to a time difference for any moving object.
  • One non-limiting exemplary embodiment of the present application is an imaging device that simultaneously acquires a plurality of pieces of image information using a single imaging device and generates a high dynamic range image capable of moving images, a system using the imaging device, and A distance measuring device is provided.
  • An imaging apparatus is disposed between a lens optical system having a lens and a diaphragm, an imaging element on which light that has passed through the lens optical system is incident, and the lens optical system and the imaging element.
  • An optical element extending in a row direction on a plane perpendicular to the optical axis of the lens optical system, and an array of optical elements arranged in a column direction on the plane, and the imaging element is arranged in the row direction.
  • a plurality of pixel groups each including a plurality of first pixels and a plurality of second pixels arranged in the row direction at positions adjacent to the plurality of first pixels in the column direction,
  • the pixel groups are arranged in the column direction, and the boundary positions between the plurality of optical elements are respectively offset with respect to the corresponding boundary positions between the plurality of pixel groups.
  • the amount of light (exposure amount) supplied to the second pixel is made smaller than the amount of light (exposure amount) supplied to the first pixel. Even when more light than the amount that can be detected is supplied to the first pixel (when the pixel value of the first pixel is saturated), using the value detected in the second pixel, The exact brightness of can be calculated. On the other hand, when light within a range that can be detected by the first pixel is supplied to the first pixel (when the pixel value of the first pixel is not saturated), the value detected by the first pixel Can be used. Thereby, a high dynamic range image can be acquired by one imaging using a single imaging system. In one embodiment of the present invention, it is not necessary to use a special imaging element such as a logarithmic conversion type, and a plurality of imaging elements is not necessary.
  • FIG. 1 is a schematic diagram which shows Embodiment 1 of the imaging device A by this invention.
  • B is an enlarged schematic diagram showing the arrayed optical element K and the image sensor N shown in (a). It is a perspective view of the array-like optical element K in Embodiment 1 of this invention.
  • (A) is a figure which shows the positional relationship of the pixel of the array-like optical element K shown in FIG.1 (b), and the image pick-up element N (monochrome image pick-up element).
  • FIG. 2B is a diagram showing a positional relationship between the arrayed optical element K shown in FIG. 1B and pixels of the image sensor N (color image sensor). It is sectional drawing which shows Embodiment 1 of the imaging device A by this invention.
  • FIG. (A) is a figure of the ray tracing simulation which shows a mode that the light ray which passed the array-like optical element K in Embodiment 1 of this invention arrives at the pixel on the image pick-up surface Ni of the image pick-up element N.
  • FIG. (B) is a simulation image captured on the imaging surface Ni
  • (c) is an image generated by extracting an even number column of the simulation image and complementing the odd number column
  • (d) is an odd number column of the simulation image. It is an image generated by extracting and complementing even columns.
  • (A) is a figure of the ray tracing simulation which shows a mode that the light ray which passed the array-like optical element K in Embodiment 1 of this invention arrives at the image pick-up element N.
  • (B) is a simulation image captured by the imaging device N
  • (c) is an image generated by extracting an even number column of the simulation image and complementing the odd number column
  • (d) is an odd number column of the simulation image. It is an image generated by extracting and complementing even columns.
  • It is a flowchart which produces
  • (A) And (b) is the figure which expands and shows the array-like optical element K and the image pick-up element N in Embodiment 2 of this invention. It is sectional drawing which shows the array-like optical element K and the image pick-up element N in case the lens optical system L is an image side non-telecentric optical system.
  • FIG. 1 shows the ratio between the amount of light incident on the first pixel and the amount of light incident on the second pixel outside the vicinity of the optical axis in Embodiment 3 of the present invention. It is a figure which expands and shows the vicinity of the imaging surface in the case where it differs from.
  • (B) shows the vicinity of the imaging surface when the ratio of the amount of light incident on the first pixel and the amount of light incident on the second pixel outside the vicinity of the optical axis is equal to the ratio near the optical axis.
  • FIG. It is sectional drawing of the drive mechanism of the arrayed optical element K in Embodiment 4 of this invention.
  • FIG. (A) shows the array in the fourth embodiment of the present invention in a state where each of the boundary positions between the optical elements of the arrayed optical element K is not offset with respect to the boundary position between the pixels of the image sensor. It is a figure of the ray tracing simulation which shows a mode that the light ray which passed the cylindrical optical element K arrives at the image pick-up element N.
  • FIG. (B) is a simulation image captured by the imaging device N
  • (c) is an image generated by extracting an even number column of the simulation image and complementing the odd number column
  • (d) is an odd number column of the simulation image. It is an image generated by extracting and complementing even columns. It is the schematic of the distance measuring apparatus in Embodiment 5 by this invention.
  • An imaging apparatus is disposed between a lens optical system having a lens and a diaphragm, an imaging element on which light that has passed through the lens optical system is incident, and the lens optical system and the imaging element.
  • An optical element extending in a row direction on a plane perpendicular to the optical axis of the lens optical system, and an array of optical elements arranged in a column direction on the plane, and the imaging element is arranged in the column direction
  • a plurality of pixel groups each having a plurality of second pixels, and a boundary position between the plurality of optical elements is offset in the column direction with respect to a corresponding boundary position between the plurality of pixel groups. ing.
  • the boundary positions between the plurality of optical elements are offset in the column direction with respect to the corresponding boundary positions between the plurality of pixel groups, respectively, from the center to the periphery of the imaging surface constituted by the plurality of pixel groups. May be.
  • Each optical element of the arrayed optical element may be arranged to correspond to one of the plurality of pixel groups.
  • each of the pixel groups light from the same portion of the subject may be incident on each of the plurality of first pixels and the second pixel adjacent thereto in the column direction.
  • the arrayed optical element may be a lenticular lens.
  • the arrayed optical element may be formed on the imaging element.
  • the imaging apparatus may further include a microlens provided between the arrayed optical element and the imaging element, and the arrayed optical element may be formed on the imaging element via the microlens. .
  • the lens optical system is an image side telecentric optical system, and an offset amount between a boundary position between the plurality of optical elements and a boundary position between the plurality of pixel groups depends on a distance from the optical axis in the column direction. May be equal.
  • the lens optical system is an image-side non-telecentric optical system, and an offset amount between a boundary position between the plurality of optical elements and a boundary position between the plurality of pixel groups depends on a distance from the optical axis in the column direction. May be different.
  • the imaging apparatus may further include a drive mechanism that controls the position of the arrayed optical elements in the column direction, and the offset amount may be adjusted by the drive mechanism.
  • the imaging apparatus further includes a signal processing unit that generates an image using a plurality of pixel values obtained in the plurality of first pixels and a plurality of pixel values obtained in the plurality of second pixels,
  • the amount of light supplied to the plurality of first pixels is A times (A> 1) the amount of light supplied to the plurality of second pixels
  • the signal processing unit includes: Pixel value V1 obtained in the pixel P1 which is one of the plurality of first pixels and pixel obtained in the pixel P2 which is one of the plurality of second pixels adjacent thereto.
  • the pixel value V1 is not saturated, the pixel value V1 is output.
  • the pixel value V2 in the second pixel is read.
  • a process of outputting a value obtained by multiplying A by A may be performed.
  • the signal processing unit may perform the processing for each of the plurality of first pixels and the plurality of second pixels.
  • a system includes an imaging device according to any one of the above, a plurality of pixel values obtained in the plurality of first pixels, and a plurality of pixels obtained in the plurality of second pixels.
  • a signal processing unit that generates an image using the pixel values of the plurality of pixels, wherein the amount of light supplied to the plurality of first pixels is the amount of light supplied to the plurality of second pixels.
  • the signal processing unit is adjacent to the pixel value V1 obtained in the pixel P1, which is one of the plurality of first pixels, in each pixel group.
  • the pixel value V2 obtained in the pixel P2 which is one of the plurality of second pixels is read, and when the pixel value V1 is not saturated, the pixel value V1 is output, If the pixel value V1 is saturated, the second pixel It performs a process of outputting a value obtained by multiplying the A to that the pixel value V2.
  • a distance measuring device which is another embodiment of the present invention includes a plurality of the imaging devices or systems described above.
  • An imaging element includes an arrayed optical element in which a plurality of optical elements extending in a row direction on a predetermined plane are arranged in a column direction on the plane, and a plurality of pixels arranged in the column direction A plurality of first pixels arranged in the row direction, and a plurality of pixels arranged in the row direction at positions adjacent to the plurality of first pixels in the column direction.
  • a plurality of pixel groups having a second pixel, and the array-like optical element has a column position in which the boundary position between the plurality of optical elements corresponds to the corresponding boundary position between the plurality of pixel groups.
  • the boundary positions between the plurality of optical elements are offset in the column direction with respect to the corresponding boundary positions between the plurality of pixel groups, respectively, from the center to the periphery of the imaging surface constituted by the plurality of pixel groups. May be.
  • Each optical element of the arrayed optical element may be arranged to correspond to one of the plurality of pixel groups.
  • FIG. 1A is a schematic diagram illustrating the imaging apparatus A according to the first embodiment.
  • the imaging apparatus A according to the present embodiment is arranged in the vicinity of the focal point of the lens optical system L in a region between the lens optical system L having V as an optical axis, the imaging element N, and the lens optical system L and the imaging element N.
  • the arrayed optical element K and the first signal processing unit C are provided.
  • the signal processing unit C may be provided outside the imaging apparatus A.
  • the lens optical system L includes a diaphragm S on which a light beam R from a subject (not shown) is incident, and a lens Lm on which light that has passed through the diaphragm S enters.
  • the lens optical system L is an image side telecentric optical system.
  • the arrayed optical element K is disposed in the vicinity of the focal point of the lens optical system L, and is disposed at a position away from the imaging surface Ni by a predetermined distance.
  • the light beam R passes through the diaphragm S, the lens Lm, and the arrayed optical element K in this order, and reaches the imaging surface Ni on the imaging element N.
  • FIG. 1B is a schematic diagram showing an enlarged portion G (arrayed optical element K and imaging element N) shown in FIG.
  • the arrayed optical element K has a shape as shown in the perspective view of FIG.
  • the array optical element K is typically arranged along a plane perpendicular to the optical axis of the lens optical system.
  • a plurality of optical elements M1 elongated in the horizontal direction (row direction) are arranged in the vertical direction (column direction) on the surface on the imaging element N side of the arrayed optical element K.
  • the cross section (longitudinal direction) of each optical element M1 has a curved shape protruding toward the image sensor N side.
  • the arrayed optical element K has a lenticular lens configuration.
  • the arrayed optical element K is arranged so that the surface on which the optical element M1 is formed faces the imaging surface Ni side.
  • the imaging element N is configured by a plurality of pixel groups Pg1, Pg2, and Pg3 arranged in the vertical direction (column direction) on the imaging surface Ni.
  • Each of the pixel groups Pg1, Pg2, and Pg3 includes a plurality of first pixels P1 and second pixels P2.
  • each optical element M1 corresponds to one of the pixel groups Pg1, Pg2, and Pg3, and the boundary position Mb between the optical elements M1 of the arrayed optical element K is on the imaging element N. This is offset by ⁇ s with respect to the boundary position Nb between the pixel groups Pg on the imaging surface Ni.
  • the boundary position Mb between the optical elements M1 is a portion where the curved surfaces constituting each of the two adjacent optical elements M1 are connected.
  • the boundary position Mb is, for example, a straight line extending in the horizontal direction (row direction).
  • the boundary position Nb between the pixel group Pg1 and the pixel group Pg2 on the imaging surface Ni is a position equidistant from the first pixel P1 in the pixel group Pg1 and the second pixel P2 in the pixel group Pg2.
  • the boundary position Nb is, for example, a straight line extending in the horizontal direction (row direction).
  • the boundary position Nb may coincide with the boundary position Mc in the vertical direction (column direction) of each lens in the micro lens array Ms.
  • the boundary position of each optical element M1 of the arrayed optical element K from the center of the imaging surface of the lens optical system L (optical axis and its vicinity) to the periphery of the imaging surface (outside of the optical axis and its vicinity).
  • Mb is offset in the vertical direction (column direction) with respect to the boundary position Nb between the pixel groups Pg.
  • the offset amount at the center of the imaging surface and the offset amount at the periphery of the imaging surface are the same. That is, on the entire imaging surface, the boundary position Mb of each optical element M1 is offset in the vertical direction (column direction) with respect to the boundary position Nb between the corresponding pixel groups Pg, and the offset amount is from the optical axis.
  • the light beam R can be incident with the amount of light incident on the pixel P1 on the imaging surface Ni different from the amount of light incident on the pixel P2.
  • the microlens array Ms is provided so as to cover the surfaces of the pixels P1 and P2 on the imaging surface Ni of the imaging device N. Parameters such as the refractive index of the arrayed optical element K, the distance from the imaging surface Ni, and the radius of curvature of the surface of the optical element M1 are set to appropriate values.
  • FIGS. 3A and 3B are diagrams showing the positional relationship between each optical element M1 of the arrayed optical element K and the pixel group Pg on the image sensor N.
  • FIG. FIGS. 3A and 3B show an arrangement when the optical elements M1 and the pixel group Pg are viewed in a plane (a plane perpendicular to the optical axis V) in the direction along the optical axis V.
  • FIG. FIG. 3A is a diagram in the case of a monochrome imaging element in which all pixels detect single-color luminance information
  • FIG. 3B shows red (R), green (G), and blue (B). It is a figure in the case of the color image sensor which detects the luminance information of these 3 colors.
  • Pixels are arranged in a matrix on the imaging surface Ni.
  • the pixels can be distinguished into the pixel P1 and the pixel P2.
  • the pixels P1 and the pixels P2 are alternately arranged.
  • One row of pixels P1 and one row of pixels P2 form a pixel group Pg.
  • red (R), green (G), and blue (B) pixels are repeatedly arranged in the horizontal direction (row direction).
  • a plurality of optical elements M1 are arranged in the vertical direction (column direction).
  • the plurality of optical elements M1 respectively correspond to a plurality of pixel groups Pg composed of two rows of pixels composed of one row of pixels P1 and one row of pixels P2.
  • the plurality of optical elements M1 are arranged offset in the vertical direction (column direction) with respect to the plurality of corresponding pixel groups Pg. As shown in FIGS. 3A and 3B, the first pixel P1 and the boundary position Mb of the optical element overlap in plan view.
  • the amount of light incident on the pixels P1 and P2 is determined by the offset amount ⁇ s between the boundary position between the optical elements M1 of the arrayed optical element K and the boundary position between the pixels of the imaging surface Ni on the imaging element N.
  • the quantity ratio can be adjusted.
  • the first signal processing unit C illustrated in FIG. 1A generates an image based on pixel values (for example, gradation values) obtained in the plurality of pixels P1 and pixel values obtained in the plurality of pixels P2. .
  • the ratio of the amount of light incident on the pixel P1 and the pixel P2 can be adjusted by the offset amount ⁇ s.
  • the offset amount ⁇ s is set so that the amount of light incident on the pixel P2 is larger than the amount of light incident on the pixel P1
  • the correct brightness of the subject can be calculated using the value detected in the pixel P1.
  • the value detected by the pixel P2 can be used. Specific processing of the obtained pixel value will be described in detail later.
  • FIG. 4 is a cross-sectional view showing the imaging apparatus A in the first embodiment. 4, the same components as those in FIG. 1A are denoted by the same reference numerals as those in FIG. Although the illustration of the array-like optical element K (shown in FIG. 1 (a), etc.) is omitted in FIG. 4, the array-like optical element K is actually included in the region H of FIG. .
  • the region H has the configuration shown in FIG.
  • Tables 1 and 2 are design data of the optical system L of the imaging apparatus A shown in FIG.
  • Ri is the paraxial radius of curvature (mm) of each surface
  • di is the surface center distance (mm) of each surface
  • nd is the refractive index of the d-line of the lens or filter
  • ⁇ d is the optical element of each optical element.
  • the Abbe number of d line is shown.
  • the R1 surface and the R2 surface are respectively the object side surface and the image side surface of the lens Lm in FIG.
  • FIG. 5A is a ray tracing simulation showing a state in which the light beam that has passed through the arrayed optical element K reaches a pixel on the image sensor, and the boundary position between a plurality of optical elements of the arrayed optical element K. Are offset by a quarter of the pixel pitch with respect to the boundary position between the pixels of the image sensor.
  • the amount of light incident on the pixel P1 on the imaging surface Ni and the amount of light incident on the pixel P2 are made different from each other. be able to.
  • FIG. 5B shows the positional relationship between the arrayed optical elements K and the pixels on the imaging surface Ni shown in FIG. 5A, with a “G” on a 100 mm ⁇ 100 mm plane at a position 4 m away from the stop S. It is a simulation image obtained on the image pick-up surface Ni at the time of arrange
  • the captured image of FIG. 5B is simulated by setting the pixel pitch on the image sensor N shown in FIG. 5A to 3.75 ⁇ m and the pitch of the optical element M1 of the arrayed optical element K to 7.5 ⁇ m. Is obtained by
  • FIG. 5C is an image generated by extracting even-numbered columns of the simulation image of FIG. 5B and complementing the odd-numbered columns.
  • FIG. 5D is a diagram of the simulation image of FIG. This is an image generated by extracting odd columns and complementing even columns.
  • the brightness ratio of the images in FIG. 5C and FIG. 5D is about 2: 1.
  • FIG. 6A is a diagram of a ray tracing simulation showing a state in which the light beam that has passed through the arrayed optical element K reaches the pixels on the image sensor, as in FIG.
  • Each of the boundary positions between the plurality of optical elements is offset from the boundary position between the pixels of the image sensor by 1 ⁇ 2 of the pixel pitch.
  • FIG. 6C is an image generated by extracting even-numbered columns of the simulation image of FIG. 6B and complementing the odd-numbered columns.
  • FIG. 6D is a diagram of the simulation image of FIG. This is an image generated by extracting odd columns and complementing even columns. The ratio of the brightness of the images in FIG. 6C and FIG. 6D is about 3: 1.
  • FIGS. 5 and 6 an example in which the image brightness ratio is about 2: 1 and about 3: 1 is shown.
  • the distance between the array-shaped optical element K and the imaging surface Ni, and the array-shaped optics are shown.
  • the brightness ratio of the image can be further increased.
  • two images with different exposure amounts can be acquired simultaneously.
  • FIG. 7 is a flowchart for generating an image with a high dynamic range from the pixel value of the pixel P1 and the pixel value of the pixel P2.
  • the processing shown in FIG. 7 is executed by the signal processing unit C in FIG.
  • the pixel values of the pixels P1 and P2 will be described as 8 bits (256 gradations).
  • the pixel value of the pixel P1 and the pixel value of the pixel P2 are each read from the image sensor (S101).
  • the pixel values of the pixel P1 and the pixel P2 are V1 and V2, respectively.
  • it is determined whether or not the pixel P1 is saturated (S102). Since the pixel value is 8 bits, it is determined that the pixel value is saturated when the pixel value is 255, and it is determined that the pixel value is not saturated when the pixel value is less than 255.
  • the output value Vo is set to V1 (S103).
  • the output value Vo is set to a value obtained by multiplying V2 by the ratio A between the incident light amount to the pixel P1 and the incident light amount to the pixel P2 (S104).
  • the ratio A of the incident light amount is the design value of the array-like optical element K (the offset amount ⁇ s between the boundary position between the plurality of optical elements of the array-like optical element K and the boundary position between the pixels of the image sensor, The distance between the element K and the imaging surface Ni, the lens shape of the arrayed optical element, and the like may be calculated by simulation or may be actually measured.
  • the incident light amount ratio calculated or measured in advance before product shipment is stored in the storage unit and used for each photographing.
  • the storage unit is provided inside or outside the signal processing unit C shown in FIG.
  • a value obtained by multiplying the pixel P2 by the above-described ratio A (A> 1) of the incident light amount is an output value, but is generated because A> 1.
  • A A> 1
  • Each pixel value of the image is larger than 8 bits.
  • the optical system of the imaging apparatus shown in Tables 1 and 2 is an image side telecentric optical system.
  • the principal ray incident angle of the arrayed optical element K is incident at a value close to 0 degrees. Therefore, the light beam reaching the pixel P1 and the light reaching the pixel P2 over the entire imaging region.
  • the amount ratio can be kept constant.
  • the lens Lm is composed of one lens, but the lens Lm may be composed of a plurality of groups or a plurality of lenses.
  • the signal processing unit C may be provided outside the imaging device A. In this case, processing similar to that of the imaging apparatus A shown in FIG. 1 is performed by a system including the imaging apparatus and the signal processing unit, and a high dynamic range image can be acquired.
  • the second embodiment is different from the first embodiment in that an arrayed optical element is formed on the imaging surface.
  • an arrayed optical element is formed on the imaging surface.
  • FIGS. 8A and 8B are diagrams showing the arrayed optical element K and the imaging element N in an enlarged manner.
  • an arrayed optical element K having a plurality of optical elements Md is formed on the imaging surface Ni of the imaging element N.
  • the arrayed optical element K is composed of a lenticular lens.
  • Pixels P are arranged in a matrix on the imaging surface Ni, as in the first embodiment.
  • the boundary position between the optical elements Md is offset by ⁇ s with respect to the boundary position between pixels on the imaging surface Ni on the imaging element N.
  • FIG. 8B is a diagram showing a modification of the present embodiment. In the configuration shown in FIG.
  • a microlens array Ms is formed on the imaging surface Ni so as to cover the pixels P, and an arrayed optical element is stacked on the surface of the microlens array Ms.
  • the light collection efficiency can be increased as compared with the configuration in FIG.
  • the array-like optical element is separated from the imaging element as in the first embodiment, it becomes difficult to align the array-like optical element and the imaging element.
  • the array-like optical element By using the configuration in which the image sensor is formed on the image sensor, alignment can be performed by a wafer process, so that alignment can be facilitated and alignment accuracy can be increased.
  • the optical system is an image-side non-telecentric optical system, and a plurality of array-like optical elements K arranged on the periphery of the imaging surface of the lens optical system L (outside the optical axis and its vicinity).
  • the offset amount of the boundary position between the optical elements is offset by an amount different from the offset amount of the boundary position between the plurality of optical elements arranged at the center of the imaging surface of the lens optical system L (the optical axis and its vicinity). This is different from the first embodiment.
  • FIG. 9 is a cross-sectional view showing the arrayed optical element K and the image sensor N when the lens optical system L is an image-side non-telecentric optical system.
  • the pixel group Pg2 is closest to the optical axis of the lens optical system L, and the pixel group Pg2 is arranged at “the center of the imaging surface of the lens optical system L (the optical axis and its vicinity)”.
  • the other pixel groups Pg1 and Pg3 are arranged in “the periphery of the imaging surface of the lens optical system L (outside the optical axis and its vicinity)”. As shown in FIG.
  • the magnitude of the offset amount in the vertical direction is smaller in the order of ⁇ s1, ⁇ s2, ⁇ s, ⁇ s3, and ⁇ s4.
  • the offset amount ( ⁇ s1, ⁇ s2) is set smaller than the offset amount ⁇ s at a position close to the optical axis.
  • the offset amount ( ⁇ s3, ⁇ s4) is set to be larger than the offset amount ⁇ s near the optical axis.
  • FIG. 10A is an enlarged view showing the periphery of the imaging surface of the lens optical system L (outside the optical axis and its vicinity) when the lens optical system L is an image-side non-telecentric optical system.
  • the offset amount ⁇ s between the boundary position of the optical element M1 and the boundary position of the pixel group Pg is set to the offset amount ⁇ s of the image side telecentric optical system (or the center of the imaging surface in the image side non-telecentric optical system). Part (offset amount of the optical axis and its vicinity)).
  • the lens optical system L is a non-telecentric optical system
  • light rays are incident obliquely at the peripheral portion of the imaging surface.
  • the offset amount of the boundary position between the plurality of optical elements of the arrayed optical element K arranged outside the axis and its vicinity) is arranged at the center of the imaging surface of the lens optical system L (the optical axis and its vicinity).
  • the ratio of the amount of light reaching the pixel P1 and the amount of light reaching the pixel P2 is the center of the imaging surface of the lens optical system (optical axis).
  • the vicinity thereof) is different from the ratio of the amount of light reaching the pixel P1 and the amount of light reaching the pixel P2.
  • the ratio of the amount of light reaching the pixel P1 and the amount of light reaching the pixel P2 is equal to the boundary position between the plurality of optical elements of the arrayed optical element K and the imaging element as shown in the first embodiment. It can be controlled by the amount of offset from the boundary position between pixels. Therefore, when light rays are obliquely incident on the arrayed optical element in the peripheral portion of the image, the amount of light reaching the pixel P1 and the pixel P2 are reached by making the aforementioned offset amount different from the offset amount in the image center portion.
  • the ratio of the amount of light can be set to be equal.
  • the offset amount when the ratio of the amount of light reaching the pixel P1 and the amount of light reaching the pixel P2 is equal is ⁇ s ′
  • the incident position of the light beam on the arrayed optical element is as shown in FIG.
  • the offset amount [Delta] s' is set to be larger than [Delta] s shown in FIG.
  • the offset amount ⁇ s ′ is made smaller than ⁇ s shown in FIG. Set to.
  • the offset amount is appropriately set according to the image height, and the offset amount varies depending on the distance from the optical axis.
  • the ratio of the amount of light reaching P1 and the amount of light reaching the pixel P2 can be made equal.
  • the imaging device can be downsized.
  • the fourth embodiment is different from the first embodiment in that a drive mechanism for controlling the position in the direction perpendicular to the optical axis of the lens optical system of the arrayed optical element is provided.
  • FIG. 11 is a cross-sectional view of a drive mechanism that controls the position of the arrayed optical element K in the fourth embodiment.
  • an image sensor N is mounted on a substrate J. Both ends of the array-shaped optical element K (both ends in the longitudinal direction (column direction) of the array-shaped optical element K and the image sensor N) are held by the holding member H in a state of facing the image sensor N.
  • One of the two holding members H is connected to the first shaft E1, and the other is connected to the second shaft E2 via the pressure coil spring T.
  • the first shaft E ⁇ b> 1 is guided by a shaft guide F ⁇ b> 1 mounted on the substrate J, and moves the arrayed optical element K held by the holding member H by the displacement of the piezoelectric actuator Z.
  • One side of the piezoelectric actuator Z is fixed by a holding member D mounted on the substrate J.
  • the second shaft E2 is held by a shaft holder F2 mounted on the substrate J.
  • a guide hole is provided in the holding member H to which the second shaft E2 is connected.
  • a pressure coil spring T is provided in the guide hole, and the pressure coil spring T is connected to the second shaft E2 in the guide hole.
  • the piezoelectric actuator Z is displaced in the direction of the arrow by applying a voltage. Since one side of the piezoelectric actuator Z is fixed by the holding member D, the shaft E1 is pushed by the displacement at the time of voltage application, and the holding member H holding the arrayed optical element K is pushed. The position in the direction perpendicular to the optical axis of the system can be changed. Further, when the application of the voltage is released, it is returned to the original position by the repulsive force of the compression coil spring T installed between the holding member H and the shaft E1.
  • the value of the offset amount ⁇ s shown in FIG. 1B shown in the first embodiment can be freely controlled and acquired simultaneously.
  • the brightness ratio of the two images can be controlled.
  • the offset amount ⁇ s can be set to 0. In such a case, as in the ray tracing simulation of FIG. 12A, the amount of light incident on the pixel P1 on the imaging surface Ni and the pixel P2 Can be incident in the same amount as the amount of light incident on.
  • FIG. 12B is a simulation image obtained on the imaging surface Ni when the offset amount ⁇ s is zero.
  • the amount of light incident on the pixel P1 on the imaging surface Ni is the same amount as the amount of light incident on the pixel P2, so that the light and dark stripes are the same as in the first embodiment. Has not appeared.
  • FIG. 12C is an image generated by extracting even-numbered columns of the simulation image of FIG. 12B and complementing the odd-numbered columns.
  • FIG. 12D is an odd-numbered image of the simulation image of FIG. This is an image generated by extracting columns and complementing even columns.
  • the brightness ratio of the images in FIG. 12C and FIG. 12D is 1: 1.
  • the fifth embodiment is a distance measuring device using a plurality of imaging devices (or systems) shown in the first embodiment.
  • FIG. 13 is a schematic diagram of a distance measuring device using two imaging devices.
  • the reference numerals are the same as those in FIG.
  • the arrayed optical elements are lenticulars, and the arrangement direction Q of the lenticular optical elements of each imaging device is orthogonal to the baseline direction B of the distance measuring device.
  • the parallax is extracted by pattern matching, and the distance to the subject is calculated using the extracted parallax by the principle of triangulation.
  • the distance measuring device of the present embodiment it is possible to reduce overexposure and underexposure of an image in an environment with a high dynamic range. It becomes possible to do.
  • the lens optical system L may be an image side telecentric optical system or an image side non-telecentric optical system.
  • an image-side non-telecentric optical system light rays are incident obliquely at the peripheral portion of the imaging surface, so that light leaks to adjacent pixels and crosstalk is likely to occur. Therefore, as in the third embodiment, the offset amount with respect to the pixel boundary values of the optical elements M1 and Md of the arrayed optical element K is different between the central portion of the imaging surface and the peripheral portion of the imaging surface. It is not always necessary to change the offset amount.
  • each of the optical elements M1 and Md of the arrayed optical element is in relation to the boundary position between pixels. Therefore, the amount of light incident on the adjacent pixels may be made different.
  • the imaging device disclosed in the present application is useful as an imaging device such as a digital still camera or a digital video camera. Further, the present invention can be applied to the use of an imaging device for monitoring the periphery of a vehicle and an occupant, an imaging device for security, and a distance measuring device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

　本願に開示された撮像装置は、レンズおよび絞りを有するレンズ光学系と、レンズ光学系を通過した光が入射する撮像素子Ｎと、レンズ光学系と撮像素子Ｎとの間に配置され、レンズ光学系の光軸に垂直な平面における行方向に延びる光学要素Ｍ１が前記平面における列方向に複数配列されたアレイ状光学素子Ｋとを備える。撮像素子Ｎは、行方向に配列された複数の第１の画素Ｐ１と、複数の第１の画素Ｐ１と列方向に隣接した位置に、行方向に配列された複数の第２の画素Ｐ２とを有する複数の画素群Ｐｇ１～Ｐｇ３を含み、複数の画素群Ｐｇ１～Ｐｇ３は列方向に配列され、複数の光学要素Ｍ１間の境界位置は、複数の画素群Ｐｇ１～Ｐｇ３間の対応する境界位置に対して列方向にそれぞれオフセットしている。

Description

撮像装置、撮像装置を用いたシステム及び測距装置
　本願は、カメラ等の撮像装置、撮像装置を用いたシステム及び測距装置に関する。
　高ダイナミックレンジ画像を取得する技術として、対数変換型の撮像素子を設ける方法や、２つの撮像素子を用いて、露光量を異ならせて撮影を行い、２つの画像を合成する方法が知られている。また、時分割で露光時間の異なる画像を得て、これらを合成する方法が知られている。
　特許文献１には、対数変換型の撮像装置において、画素毎の感度の不均一性を補正するために、各画素の撮像データから、メモリに記憶された均一光照射時の撮像データを減算する方法が開示されている。
　特許文献２には、プリズムによって光路を分割し、２つの撮像素子によって撮影条件（露光量）を変えて撮像を行う方法が開示されている。
　また、時分割で露光時間の異なる画像を得て、これらを合成する方法では、時分割で被写体を撮影するため、被写体が動いている場合には、時間差による画像のズレが生じ、画像の連続性が乱れるという課題が生じる。特許文献３には、このような方式における画像のズレを補正する技術が開示されている。
特開平５－３０３５０号公報 特開２００９－３１６８２号公報 特開２００２－１０１３４７号公報
　しかしながら、特許文献１の方法では、画素毎に画素信号を対数変換する回路が必要となるため、画素サイズを小さくすることができない。また、特許文献１に開示される方法では、画素毎の感度の不均一性を補正するための補正用データを記録しておく手段が必要となり、コストアップとなってしまう。
　また、特許文献２の方法では、撮像素子が２つ必要となるため、撮像装置が大型化し、大幅なコストアップとなってしまう。
　特許文献３では、画像のズレを補正する技術が開示されているものの、あらゆる動体に対して時間差による画像のズレを完全に補正することは原理的に困難である。
　本願の限定的ではない例示的なある実施形態は、１つの撮像素子を用いて複数の画像情報を同時に取得し、動画対応可能な高ダイナミックレンジ画像を生成する撮像装置、これを用いたシステムおよび測距装置を提供する。
　本発明の一態様である撮像装置は、レンズおよび絞りを有するレンズ光学系と、前記レンズ光学系を通過した光が入射する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記レンズ光学系の光軸に垂直な平面における行方向に延びる光学要素が前記平面における列方向に複数配列されたアレイ状光学素子とを備え、前記撮像素子は、前記行方向に配列された複数の第１の画素と、前記複数の第１の画素と列方向に隣接した位置に、前記行方向に配列された複数の第２の画素とを有する複数の画素群を含み、前記複数の画素群は前記列方向に配列され、前記複数の光学要素間の境界位置は、前記複数の画素群間の対応する境界位置に対してそれぞれオフセットしている。
　上述の一般的かつ特定の態様は、システム、方法およびコンピュータプログラムを用いて実装され、またはシステム、方法およびコンピュータプログラムの組み合わせを用いて実現され得る。
　本発明の一態様に係る撮像装置によれば、第２の画素に供給される光の量（露光量）を第１の画素に供給される光の量（露光量）よりも少なくすることにより、検出できる量よりも多い光が第１の画素に供給された場合（第１の画素の画素値が飽和している場合）においても、第２の画素において検出された値を用いて、被写体の正確な明るさを算出することができる。一方、第１の画素によって検出できる範囲内の光が第１の画素に供給された場合（第１の画素の画素値が飽和していない場合）には、第１の画素によって検出される値を用いることができる。これにより、単一の撮像系を用いた１回の撮像によって、高ダイナミックレンジ画像を取得することができる。本発明の一態様では、対数変換型等の特殊な撮像素子を用いる必要がなく、また、複数の撮像素子を必要としない。
（ａ）は、本発明による撮像装置Ａの実施の形態１を示す模式図である。（ｂ）は、（ａ）に示すアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す模式図である。 本発明の実施の形態１におけるアレイ状光学素子Ｋの斜視図である。 （ａ）は、図１（ｂ）に示すアレイ状光学素子Ｋと撮像素子Ｎ（モノクロ撮像素子）の画素との位置関係を示す図である。（ｂ）は、図１（ｂ）に示すアレイ状光学素子Ｋと撮像素子Ｎ（カラー撮像素子）の画素との位置関係を示す図である。 本発明による撮像装置Ａの実施の形態１を示す断面図である。 （ａ）は、本発明の実施の形態１におけるアレイ状光学素子Ｋを通過した光線が撮像素子Ｎの撮像面Ｎｉ上の画素に到達する様子を示す光線追跡シミュレーションの図である。（ｂ）は、撮像面Ｎｉで撮像したシミュレーション画像であり、（ｃ）はシミュレーション画像の偶数列を抽出し奇数列を補完して生成した画像であり、（ｄ）はシミュレーション画像の奇数列を抽出し偶数列を補完して生成した画像である。 （ａ）は、本発明の実施の形態１におけるアレイ状光学素子Ｋを通過した光線が撮像素子Ｎに到達する様子を示す光線追跡シミュレーションの図である。（ｂ）は、撮像素子Ｎで撮像したシミュレーション画像であり、（ｃ）はシミュレーション画像の偶数列を抽出し奇数列を補完して生成した画像であり、（ｄ）はシミュレーション画像の奇数列を抽出し偶数列を補完して生成した画像である。 本発明の実施の形態１におけるダイナミックレンジの高い画像を生成するフローチャートである。 （ａ）および（ｂ）は、本発明の実施の形態２におけるアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図である。 レンズ光学系Ｌが像側非テレセントリック光学系の場合におけるアレイ状光学素子Ｋと撮像素子Ｎとを示す断面図である。 （ａ）は、本発明の実施の形態３において、光軸近傍外において第１の画素に入射する光の量と第２の画素に入射する光の量との比が、光軸近傍における比と異なる場合の撮像面の近傍を拡大して示す図である。（ｂ）は、光軸近傍外において第１の画素に入射する光の量と第２の画素に入射する光の量との比が、光軸近傍の比と等しい場合の撮像面の近傍を拡大して示す図である。 本発明の実施の形態４におけるアレイ状光学素子Ｋの駆動機構の断面図である。 （ａ）は、本発明の実施の形態４において、アレイ状光学素子Ｋの光学要素間の境界位置のそれぞれが、前記撮像素子の画素間の境界位置に対してオフセットしてない状態において、アレイ状光学素子Ｋを通過した光線が撮像素子Ｎに到達する様子を示す光線追跡シミュレーションの図である。（ｂ）は、撮像素子Ｎで撮像したシミュレーション画像であり、（ｃ）はシミュレーション画像の偶数列を抽出し奇数列を補完して生成した画像であり、（ｄ）はシミュレーション画像の奇数列を抽出し偶数列を補完して生成した画像である。 本発明による実施の形態５における測距装置の概略図である。
　本発明の一態様の概要は以下のとおりである。
　本発明の一態様である撮像装置は、レンズおよび絞りを有するレンズ光学系と、前記レンズ光学系を通過した光が入射する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記レンズ光学系の光軸に垂直な平面における行方向に延びる光学要素が前記平面における列方向に複数配列されたアレイ状光学素子とを備え、前記撮像素子は、前記列方向に配列された複数の画素群であって、各画素群が、前記行方向に配列された複数の第１の画素と、前記複数の第１の画素と列方向に隣接した位置に、前記行方向に配列された複数の第２の画素とを有する複数の画素群を含み、前記複数の光学要素間の境界位置は、前記複数の画素群間の対応する境界位置に対して、前記列方向にそれぞれオフセットしている。
　前記複数の光学要素間の境界位置は、前記複数の画素群によって構成される撮像面の中心から周辺において、前記複数の画素群間の対応する境界位置に対してそれぞれ前記列方向にオフセットしていてもよい。
　前記アレイ状光学素子の各光学要素は、前記複数の画素群の１つに対応するように配置されていてもよい。
　前記各画素群において、前記複数の第１の画素のそれぞれと、これに前記列方向に隣接する第２の画素とには、被写体における同じ部分からの光が入射してもよい。
　前記アレイ状光学素子は、レンチキュラレンズであってもよい。
　前記アレイ状光学素子は、前記撮像素子上に形成されていてもよい。
　撮像装置は、前記アレイ状光学素子と前記撮像素子との間に設けられたマイクロレンズをさらに備え、前記アレイ状光学素子は、前記マイクロレンズを介して前記撮像素子上に形成されていてもよい。
　前記レンズ光学系は像側テレセントリック光学系であって、前記複数の光学要素間の境界位置と前記複数の画素群の境界位置とのオフセット量は、前記列方向における前記光軸からの距離によらず等しくてもよい。
　前記レンズ光学系は像側非テレセントリック光学系であって、前記複数の光学要素間の境界位置と前記複数の画素群の境界位置とのオフセット量は、前記列方向における前記光軸からの距離によって異なっていてもよい。
　撮像装置は、前記アレイ状光学素子の前記列方向の位置を制御する駆動機構をさらに備え、前記駆動機構によって、前記オフセット量を調整してもよい。
　撮像装置は、前記複数の第１の画素において得られた複数の画素値および前記複数の第２の画素において得られた複数の画素値を用いて画像を生成する信号処理部をさらに備え、前記複数の第１の画素に供給される光の量は前記複数の第２の画素に供給される光の量のＡ倍（Ａ＞１）であり、前記信号処理部は、各画素群において、前記複数の第１の画素のうちの１つである画素Ｐ１において得られた画素値Ｖ１と、これに隣接する前記複数の第２の画素のうちの１つである画素Ｐ２において得られた画素値Ｖ２とを読み込み、前記画素値Ｖ１が飽和していない場合には、前記画素値Ｖ１を出力し、前記画素値Ｖ１が飽和している場合には、前記第２の画素における前記画素値Ｖ２にＡを乗じた値を出力する処理を行ってもよい。
　前記信号処理部は、前記複数の第１の画素および前記複数の第２の画素のそれぞれについて、前記処理を行ってもよい。
　本発明の他の一態様であるシステムは、上記いずれかに記載の撮像装置と、前記複数の第１の画素において得られた複数の画素値および前記複数の第２の画素において得られた複数の画素値を用いて画像を生成する信号処理部とを備えるシステムであって、前記複数の第１の画素に供給される光の量は前記複数の第２の画素に供給される光の量のＡ倍（Ａ＞１）であり、前記信号処理部は、各画素群において、前記複数の第１の画素のうちの１つである画素Ｐ１において得られた画素値Ｖ１と、これに隣接する前記複数の第２の画素のうちの１つである画素Ｐ２において得られた画素値Ｖ２とを読み込み、前記画素値Ｖ１が飽和していない場合には、前記画素値Ｖ１を出力し、前記画素値Ｖ１が飽和している場合には、前記第２の画素における前記画素値Ｖ２にＡを乗じた値を出力する処理を行う。
　本発明の他の一態様である測距装置は、上記いずれかに記載の撮像装置またはシステムを複数備える。
　本発明の他の一態様である撮像素子は、所定の平面における行方向に延びる光学要素が前記平面における列方向に複数配列されたアレイ状光学素子と、前記列方向に配列された複数の画素群であって、各画素群が、前記行方向に配列された複数の第１の画素と、前記複数の第１の画素と列方向に隣接した位置に、前記行方向に配列された複数の第２の画素とを有する複数の画素群とを備え、アレイ状光学素子は、前記複数の光学要素間の境界位置が、前記複数の画素群間の対応する境界位置に対して、前記列方向にそれぞれオフセットするように前記複数の画素群に対して配置されている。
　前記複数の光学要素間の境界位置は、前記複数の画素群によって構成される撮像面の中心から周辺において、前記複数の画素群間の対応する境界位置に対してそれぞれ前記列方向にオフセットしていてもよい。
　前記アレイ状光学素子の各光学要素は、前記複数の画素群の１つに対応するように配置されていてもよい。
　以下、本発明による撮像装置の実施形態を、図面を参照しながら説明する。
（実施の形態１）
　図１（ａ）は、実施の形態１の撮像装置Ａを示す模式図である。本実施形態の撮像装置Ａは、Ｖを光軸とするレンズ光学系Ｌと、撮像素子Ｎと、レンズ光学系Ｌと撮像素子Ｎとの間の領域のうちレンズ光学系Ｌの焦点近傍に配置されたアレイ状光学素子Ｋと、第１の信号処理部Ｃとを備える。信号処理部Ｃは撮像装置Ａの外部に設けられていてもよい。
　レンズ光学系Ｌは、被写体（図示せず）からの光束Ｒが入射する絞りＳと、絞りＳを通過した光が入射するレンズＬｍとから構成されている。また、レンズ光学系Ｌは像側テレセントリック光学系である。
　アレイ状光学素子Ｋは、レンズ光学系Ｌの焦点近傍に配置されており、撮像面Ｎｉから所定の距離だけ離れた位置に配置されている。
　図１（ａ）において、光束Ｒは、絞りＳ、レンズＬｍ、アレイ状光学素子Ｋをこの順に通過し、撮像素子Ｎ上の撮像面Ｎｉに到達する。
　図１（ｂ）は、図１（ａ）に示す部分Ｇ（アレイ状光学素子Ｋおよび撮像素子Ｎ）を拡大して示す模式図である。アレイ状光学素子Ｋは、図２に示す斜視図のような形状を有する。アレイ状光学素子Ｋは、典型的には、レンズ光学系の光軸に垂直な平面に沿って配置されている。アレイ状光学素子Ｋにおける撮像素子Ｎ側の面には、横方向（行方向）に細長く延びる複数の光学要素Ｍ１が縦方向（列方向）に配置されている。それぞれの光学要素Ｍ１の断面（縦方向）は、撮像素子Ｎ側に突出した曲面の形状を有する。このように、アレイ状光学素子Ｋは、レンチキュラレンズの構成を有する。アレイ状光学素子Ｋは、光学要素Ｍ１が形成された面が撮像面Ｎｉ側に向かうように配置されている。
　撮像素子Ｎは、その撮像面Ｎｉに、縦方向（列方向）に配列された複数の画素群Ｐｇ１、Ｐｇ２、Ｐｇ３によって構成される。画素群Ｐｇ１、Ｐｇ２、Ｐｇ３のそれぞれは、複数の第１の画素Ｐ１および第２の画素Ｐ２を有する。
　図１（ｂ）に示すように、各光学要素Ｍ１は画素群Ｐｇ１、Ｐｇ２、Ｐｇ３の1つに対応し、アレイ状光学素子Ｋの各光学要素Ｍ１間の境界位置Ｍｂは、撮像素子Ｎ上の撮像面Ｎｉの画素群Ｐｇ間の境界位置Ｎｂに対してΔｓだけオフセットしている。光学要素Ｍ１間の境界位置Ｍｂは、隣接する２つの光学要素Ｍ１のそれぞれを構成する曲面が接続された部分である。境界位置Ｍｂは、例えば、横方向（行方向）に延びる直線である。撮像面Ｎｉにおける画素群Ｐｇ１と画素群Ｐｇ２との境界位置Ｎｂは、画素群Ｐｇ１における第１の画素Ｐ１と、画素群Ｐｇ２における第２の画素Ｐ２とから等距離の位置である。境界位置Ｎｂは、例えば、横方向（行方向）に延びる直線である。撮像面Ｎｉの表面にマイクロレンズアレイＭｓが設けられている場合、境界位置Ｎｂは、マイクロレンズアレイＭｓにおける各レンズの縦方向（列方向）の境界位置Ｍｃと一致していてもよい。
　図示していないが、レンズ光学系Ｌの撮像面中心部（光軸およびその近傍）から撮像面周辺部（光軸およびその近傍外）にわたって、アレイ状光学素子Ｋの各光学要素Ｍ１の境界位置Ｍｂが画素群Ｐｇ間の境界位置Ｎｂに対して縦方向（列方向）にオフセットしている。撮像面中心部におけるオフセット量と撮像面周辺部におけるオフセット量は同じである。すなわち、撮像面の全体で、各光学要素Ｍ１の境界位置Ｍｂが対応する画素群Ｐｇ間の境界位置Ｎｂに対して縦方向（列方向）にオフセットしており、オフセット量は、光軸からの距離によらず等しい。このような構成により、光束Ｒは撮像面Ｎｉ上の画素Ｐ１に入射する光の量と、画素Ｐ２に入射する光の量とを異ならせて入射させることができる。また、本実施形態では、光束Ｒの集光効率を高めるために、撮像素子Ｎの撮像面Ｎｉ上の画素Ｐ１、Ｐ２の表面を覆うようにマイクロレンズアレイＭｓを設ける。アレイ状光学素子Ｋの屈折率、撮像面Ｎｉからの距離及び光学要素Ｍ１表面の曲率半径等のパラメータは、適切な値に設定される。
　図３（ａ）、（ｂ）は、アレイ状光学素子Ｋの各光学要素Ｍ１と撮像素子Ｎ上の画素群Ｐｇとの位置関係を示す図である。図３（ａ）、（ｂ）は、光軸Ｖに沿った方向に、各光学要素Ｍ１および画素群Ｐｇを平面（光軸Ｖと垂直な平面）視した場合の配置を示している。図３（ａ）は、全ての画素が単色の輝度情報を検出するモノクロ撮像素子の場合の図であり、図３（ｂ）は、赤色（Ｒ）、緑色（Ｇ）、および青色（Ｂ）の３色の輝度情報を検出するカラー撮像素子の場合の図である。
　撮像面Ｎｉには、画素が行列状に配置されている。画素は、画素Ｐ１および画素Ｐ２に区別できる。縦方向（列方向）において、画素Ｐ１と画素Ｐ２とは交互に配置されている。１行の画素Ｐ１と１行の画素Ｐ２とが、画素群Ｐｇを構成している。また、撮像素子がカラー撮像素子である図３（ｂ）においては、横方向（行方向）において、赤色（Ｒ）、緑色（Ｇ）、および青色（Ｂ）の画素が繰り返し配列されている。
　複数の光学要素Ｍ１が、縦方向（列方向）に配置されている。複数の光学要素Ｍ１は、１行の画素Ｐ１および１行の画素Ｐ２から構成される２行の画素から構成される複数の画素群Ｐｇとそれぞれ対応している。複数の光学要素Ｍ１は、複数の対応する画素群Ｐｇに対して縦方向（列方向）にオフセットして配置されている。なお、図３（ａ）、（ｂ）に示すように、平面視して、第１の画素Ｐ１と、光学要素の境界位置Ｍｂとは重なっている。
　画素群Ｐｇ内において上下に配置される画素には、被写体における同じ部分からの光が入射する。本実施形態では、アレイ状光学素子Ｋの各光学要素Ｍ１間の境界位置と撮像素子Ｎ上の撮像面Ｎｉの画素間の境界位置とのオフセット量Δｓによって、画素Ｐ１、Ｐ２に入射する光の量の比を調整することができる。
　図１（ａ）に示す第１の信号処理部Ｃは、複数の画素Ｐ１において得られる画素値（例えば階調値）と、複数の画素Ｐ２において得られる画素値とに基づいて画像を生成する。
　前述の通り、オフセット量Δｓにより、画素Ｐ１と画素Ｐ２に入射する光の量の比を調整することができる。ここで、画素Ｐ２に入射する光の量が画素Ｐ１に入射する光の量よりも多くなるようにオフセット量Δｓを設定すると、検出できる量よりも多い光が画素Ｐ２に供給された場合（画素Ｐ２の画素値が飽和している場合）においても、画素Ｐ１において検出された値を用いて、被写体の正確な明るさを算出することができる。一方、画素Ｐ２によって検出できる範囲内の光が画素Ｐ２に供給された場合（画素Ｐ２の画素値が飽和していない場合）には、画素Ｐ２によって検出される値を用いることができる。得られた画素値の具体的な処理は、後に詳述する。
　次に、具体的にダイナミックレンジの高い画像を取得する方法について説明する。
　図４は、実施の形態１における撮像装置Ａを示す断面図である。図４において図１（ａ）と同じ構成要素には、図１（ａ）と同じ符号を付している。図４においてはアレイ状光学素子Ｋ（図１（ａ）等に示す）の図示は省略しているが、図４の領域Ｈには、実際には、アレイ状光学素子Ｋが含まれている。領域Ｈは、図１（ｂ）に示す構成を有する。
　表１および表２は、図４に示す撮像装置Ａの光学系Ｌの設計データである。表１および表２において、Ｒｉは各面の近軸曲率半径（ｍｍ）、ｄｉは各面の面中心間隔（ｍｍ）、ｎｄはレンズもしくはフィルタのｄ線の屈折率、νｄは各光学素子のｄ線のアッベ数を示している。また、表１、表２の面番号において、Ｒ１面とＲ２面は、それぞれ図４のレンズＬｍの物体側の面と像側の面である。また、非球面形状は、面頂点の接平面から光軸方向の距離をｘ、光軸からの高さをｈとして、ｒを近軸曲率半径、ｋを円錐定数、Ａm（ｍ＝４，６，８，１０）を第ｍ次の非球面係数としたとき（数１）で表される。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-T000001
Figure JPOXMLDOC01-appb-T000002
　次に本実施の形態の光線追跡シミュレーションと取得される画像について説明する。
　図５（ａ）は、アレイ状光学素子Ｋを通過した光線が撮像素子上の画素に到達する様子を示す光線追跡シミュレーションの図であり、アレイ状光学素子Ｋの複数の光学要素間の境界位置のそれぞれを、撮像素子の画素間の境界位置に対して画素ピッチの１／４だけオフセットさせている。このような構成により、図１（ｂ）で示した模式図のように、撮像面Ｎｉ上の画素Ｐ１に入射する光の量と、画素Ｐ２に入射する光の量とを異ならせて入射させることができる。
　図５（ｂ）は、図５（ａ）に示すアレイ状光学素子Ｋと撮像面Ｎｉ上の画素の位置関係において、絞りＳから４ｍ離れた位置に１００ｍｍ×１００ｍｍの平面上に“Ｇ”の文字を描いた被写体を配置した場合の撮像面Ｎｉ上で得られるシミュレーション画像である。図５（ｂ）の撮像画像は、図５（ａ）に示す撮像素子Ｎ上の画素ピッチを３．７５μｍとし、アレイ状光学素子Ｋの光学要素Ｍ１のピッチを７．５μｍに設定し、シミュレーションにより求めたものである。
　図５（ｂ）の撮像画像では、アレイ状光学素子Ｋの複数の光学要素間の境界位置と撮像素子の画素間の境界位置とのオフセットの作用で明暗の縞が出現している。図５（ｃ）は、図５（ｂ）のシミュレーション画像の偶数列を抽出し、奇数列を補完して生成した画像であり、図５（ｄ）は、図５（ｂ）のシミュレーション画像の奇数列を抽出し、偶数列を補完して生成した画像である。図５（ｃ）と図５（ｄ）の画像の明るさの比は、約２：１である。
　また、アレイ状光学素子Ｋの複数の光学要素間の境界位置のそれぞれを、撮像素子の画素間の境界位置に対して画素ピッチの１／２だけオフセットすると、画像の明るさの比をさらに拡大させることができる。
　図６（ａ）は、図５（ａ）と同様にアレイ状光学素子Ｋを通過した光線が撮像素子上の画素に到達する様子を示す光線追跡シミュレーションの図であり、アレイ状光学素子Ｋの複数の光学要素間の境界位置のそれぞれを、撮像素子の画素間の境界位置に対して画素ピッチの１／２だけオフセットさせている。
　図６（ｂ）の撮像画像では、アレイ状光学素子Ｋの複数の光学要素間の境界位置と撮像素子の画素間の境界位置とのオフセットの作用で明暗の縞が出現しており、図５（ｂ）よりも明暗の縞のコントラストが強くなっていることがわかる。図６（ｃ）は、図６（ｂ）のシミュレーション画像の偶数列を抽出し、奇数列を補完して生成した画像であり、図６（ｄ）は、図６（ｂ）のシミュレーション画像の奇数列を抽出し、偶数列を補完して生成した画像である。図６（ｃ）と図６（ｄ）の画像の明るさの比は、約３：１である。
　図５と図６の例では、画像の明るさの比が約２：１および約３：１となる例について示したが、アレイ状光学素子Ｋと撮像面Ｎｉ間との距離やアレイ状光学素子のレンズ形状を制御することにより、画像の明るさの比をさらに大きくすることができる。
　このように、本実施の形態では、露光量の異なる２つの画像を同時に取得することができる。
　図７は、画素Ｐ１の画素値と画素Ｐ２の画素値からダイナミックレンジの高い画像を生成するフローチャートである。図７に示される処理は、図１（ａ）の信号処理部Ｃにて実行される。画素Ｐ１と画素Ｐ２の画素値は８ビット（２５６階調）として説明する。
　まず、画素Ｐ１の画素値と画素Ｐ２の画素値をそれぞれ撮像素子から読み込む（Ｓ１０１）。ここで、画素Ｐ１と画素Ｐ２の画素値は、それぞれＶ１、Ｖ２とする。続いて画素Ｐ１が飽和しているかどうかを判定する（Ｓ１０２）。画素値は、８ビットであるため、画素値が２５５である場合に飽和していると判定され、画素値が２５５未満の場合に飽和していないと判定される。画素Ｐ１が飽和していない場合（Ｓ１０２でＮｏ）は、出力値ＶｏをＶ１とする（Ｓ１０３）。一方、画素Ｐ１が飽和している場合（Ｓ１０２でＹｅｓ）は、出力値Ｖｏを、Ｖ２に、画素Ｐ１への入射光量と画素Ｐ２への入射光量の比Ａを乗じた値とする（Ｓ１０４）。この入射光量の比Ａは、アレイ状光学素子Ｋの設計値（アレイ状光学素子Ｋが有する複数の光学要素間の境界位置と撮像素子の画素間の境界位置とのオフセット量Δｓ、アレイ状光学素子Ｋと撮像面Ｎｉ間との距離やアレイ状光学素子のレンズ形状など）から、シミュレーションにより算出してもよいし、実際に測定して求めてもよい。製品出荷前に予め算出又は測定した入射光量比を記憶部に記憶させて、撮影ごとに使用する。記憶部は、図１（ａ）に示す信号処理部Ｃの内部または外部に設けられる。以上の演算を全ての画素Ｐ１とＰ２について実行することにより、高ダイナミックレンジの画像情報を生成することができる。
　また、前述の通り、画素Ｐ１が飽和している場合は画素Ｐ２に前述した入射光量の比Ａ（Ａ＞１）を乗じた値が出力値となるが、Ａ＞１であるため、生成された画像の各画素値は８ビットよりも大きくなる。生成された８ビットよりも大きい画素値の画像を、例えば８ビットのディスプレイに表示させるには、ダイナミックレンジを圧縮する必要がある。圧縮時に画素値をそのまま比例して圧縮すると暗部の画素情報が欠落するため、対数変換やテーブル変換等によって暗部の階調性を維持しつつダイナミックレンジを圧縮することが望ましい。
　また、表１および表２に示す撮像装置の光学系は、像側テレセントリック光学系である。これにより画角が変化しても、アレイ状光学素子Ｋの主光線入射角は、０度に近い値で入射するため、撮像領域全域にわたって、画素Ｐ１に到達する光束と画素Ｐ２に到達する光の量の比を一定に保つことができる。
　本実施の形態１では、レンズＬｍは１枚のレンズで構成されているが、レンズＬｍは複数群、または複数枚のレンズから構成されていてもよい。
　上述したように、信号処理部Ｃは撮像装置Ａの外部に設けられていてもよい。この場合、撮像装置と信号処理部からなるシステムによって図１に示す撮像装置Ａと同様の処理が行われ、高ダイナミックレンジ画像を取得することができる。
（実施の形態２）
　本実施の形態２は、アレイ状光学素子を撮像面上に形成したという点で、実施の形態１と異なる。ここでは、本実施形態において実施の形態１と同様の内容についての詳細な説明は省略する。
　図８（ａ）および（ｂ）は、アレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図である。本実施形態では、複数の光学要素Ｍｄを有するアレイ状光学素子Ｋが、撮像素子Ｎの撮像面Ｎｉ上に形成されている。アレイ状光学素子Ｋはレンチキュラレンズで構成されている。撮像面Ｎｉには、実施の形態１等と同様に、画素Ｐが行列状に配置されている。実施の形態１と同様に、各光学要素Ｍｄ間の境界位置は、撮像素子Ｎ上の撮像面Ｎｉの画素間の境界位置に対してΔｓだけオフセットしている。また、図８（ｂ）は、本実施形態の変形例を示す図である。図８（ｂ）に示す構成では、撮像面Ｎｉ上に、画素Ｐを覆うようにマイクロレンズアレイＭｓが形成され、マイクロレンズアレイＭｓの表面上にアレイ状光学素子が積層されている。図８（ｂ）に示す構成では、図８（ａ）の構成よりも集光効率を高めることができる。
　実施の形態１のようにアレイ状光学素子が撮像素子と分離していると、アレイ状光学素子と撮像素子との位置合せが難しくなるが、本実施の形態２のように、アレイ状光学素子を撮像素子上に形成する構成にすることにより、ウエハプロセスにて位置合せが可能になるため、位置合せが容易となり、位置合せ精度も増すことができる。
（実施の形態３）
　本実施の形態３は、光学系が像側非テレセントリック光学系であるという点と、レンズ光学系Ｌの撮像面周辺部（光軸およびその近傍外）に配置されたアレイ状光学素子Ｋの複数の光学要素間の境界位置のオフセット量が、レンズ光学系Ｌの撮像面中心部（光軸およびその近傍）に配置された前記複数の光学要素間の境界位置のオフセット量よりも異なる量だけオフセットしているという点で実施の形態１と異なる。
　図９は、レンズ光学系Ｌが像側非テレセントリック光学系の場合におけるアレイ状光学素子Ｋと撮像素子Ｎとを示す断面図である。図９において、レンズ光学系Ｌの光軸に最も近いのは画素群Ｐｇ２であり、画素群Ｐｇ２が、「レンズ光学系Ｌの撮像面中心部（光軸およびその近傍）」に配置されている。それ以外の画素群Ｐｇ１、Ｐｇ３が、「レンズ光学系Ｌの撮像面周辺部（光軸およびその近傍外）」に配置されている。図９に示すように、縦方向（列方向）におけるオフセット量の大きさは、Δｓ１、Δｓ２、Δｓ、Δｓ３、Δｓ４の順に小さい。光学要素Ｍ１への光線の入射位置が光軸よりも上の位置においては、オフセット量（Δｓ１、Δｓ２）を、光軸に近い位置のオフセット量Δｓよりも小さく設定する。一方、光学要素Ｍ１への光線の入射位置が光軸よりも下の位置においては、オフセット量（Δｓ３、Δｓ４）を、光軸に近い位置のオフセット量Δｓよりも大きく設定する。　図１０（ａ）は、レンズ光学系Ｌが像側非テレセントリック光学系の場合における、レンズ光学系Ｌの撮像面周辺部（光軸およびその近傍外）を拡大して示す図である。図１０（ａ）においては、光学要素Ｍ１の境界位置と画素群Ｐｇとの境界位置とのオフセット量Δｓを、像側テレセントリック光学系のオフセット量Δｓ（または像側非テレセントリック光学系における撮像面中心部（光軸およびその近傍）のオフセット量）と同様としている。図１０（ａ）に示すように、レンズ光学系Ｌが非テレセントリック光学系の場合には、撮像面の周辺部では、光線が斜めに入射するため、レンズ光学系Ｌの撮像面周辺部（光軸およびその近傍外）に配置されたアレイ状光学素子Ｋの複数の光学要素間の境界位置のオフセット量が、レンズ光学系Ｌの撮像面中心部（光軸およびその近傍）に配置された前記複数の光学要素間の境界位置のオフセット量と同じであると、画素Ｐ１に到達する光の量と画素Ｐ２に到達する光の量との比が、レンズ光学系の撮像面中心部（光軸およびその近傍）における画素Ｐ１に到達する光の量と画素Ｐ２に到達する光の量との比と異なってしまう。
　一方、画素Ｐ１に到達する光の量と画素Ｐ２に到達する光の量の比は実施の形態１で示したように、アレイ状光学素子Ｋの複数の光学要素間の境界位置と撮像素子の画素間の境界位置とのオフセット量によって制御することができる。従って、画像周辺部においてアレイ状光学素子に光線が斜入射する場合において、前述のオフセット量を画像中心部のオフセット量と異ならせることにより、画素Ｐ１に到達する光の量と画素Ｐ２に到達する光の量の比が同等になるように設定することができる。ここで、画素Ｐ１に到達する光の量と画素Ｐ２に到達する光の量の比を同等になるときのオフセット量をΔｓ’とすると、アレイ状光学素子への光線の入射位置が図１０（ｂ）のように光軸よりも下方にある場合は、オフセット量Δｓ’を図１０（ａ）で示したΔｓよりも大きくなるように設定する。一方、アレイ状光学素子への光線の入射角が図１０（ｃ）のように光軸よりも上方にある場合は、オフセット量Δｓ’を図１０（ａ）で示したΔｓよりも小さくなるように設定する。アレイ状光学素子への光線の入射角は像高によって異なるため、オフセット量を像高に応じて適切に設定し、オフセット量を光軸からの距離によって異ならせることにより、全ての画像領域において画素Ｐ１に到達する光の量と画素Ｐ２に到達する光の量の比を同等にすることができる。
　像側非テレセントリック光学系は、像側テレセントリック光学系に比べて光学長を短くできるので、撮像装置を小型化することができる。
（実施の形態４）
　本実施の形態４は、アレイ状光学素子のレンズ光学系の光軸に垂直な方向の位置を制御する駆動機構を備える点で実施の形態１と異なる。
　図１１は、実施の形態４におけるアレイ状光学素子Ｋの位置を制御する駆動機構の断面図である。図１１において、基板Ｊの上には撮像素子Ｎが実装されている。アレイ状光学素子Ｋの両端（アレイ状光学素子Ｋおよび撮像素子Ｎの縦方向（列方向）の両端）は、それぞれ、保持部材Ｈによって、撮像素子Ｎと対向した状態で保持されている。２つの保持部材Ｈのうちの一方は第１のシャフトＥ１に接続され、他方は、圧力コイルバネＴを介して第２のシャフトＥ２に接続されている。第１のシャフトＥ１は基板Ｊに実装されたシャフトガイドＦ１によってガイドされ、圧電アクチュエータＺの変位によって、保持部材Ｈに保持されたアレイ状光学素子Ｋを移動させる。圧電アクチュエータＺは、基板Ｊに実装された保持部材Ｄによって片面を固定されている。第２のシャフトＥ２は、基板Ｊに実装されたシャフトホルダーＦ２に保持されている。第２のシャフトＥ２が接続されている保持部材Ｈにはガイド穴が設けられている。ガイド穴内には圧力コイルバネＴが設けられ、ガイド穴内において圧力コイルバネＴは第２のシャフトＥ２に接続されている。
　次に圧電アクチュエータＺによるアレイ状光学素子Ｋの位置制御について説明する。圧電アクチュエータＺは、電圧を印加することにより矢印の方向に変位する。圧電アクチュエータＺは保持部材Ｄによって片面を固定されているため、電圧印加時の変位により、シャフトＥ１を押し、アレイ状光学素子Ｋを保持する保持部材Ｈを押すため、アレイ状光学素子のレンズ光学系の光軸に垂直な方向の位置を変化させることができる。また、電圧の印加を解除すると、保持部材ＨとシャフトＥ１の間に設置された圧縮コイルバネＴの反発力により、元の位置に戻される。
　前述の変位量は、圧電アクチュエータＺに印加する電圧によって制御できるため、実施の形態１で示した図１（ｂ）に示すオフセット量Δｓの値を自由に制御することができ、同時に取得される２つの画像の明るさの比を制御することができる。
　また、オフセット量Δｓを０とすることも可能であり、このような場合、図１２（ａ）の光線追跡シミュレーションのように、撮像面Ｎｉ上の画素Ｐ１に入射する光の量と、画素Ｐ２に入射する光の量と同じ量で入射させることができる。
　図１２（ｂ）は、オフセット量Δｓが０である場合の撮像面Ｎｉ上で得られるシミュレーション画像である。図１２（ｂ）のシミュレーション画像では、撮像面Ｎｉ上の画素Ｐ１に入射する光の量と、画素Ｐ２に入射する光の量と同じ量であるため、実施の形態１のように明暗の縞が出現していない。
　図１２（ｃ）は、図１２（ｂ）のシミュレーション画像の偶数列を抽出し奇数列を補完して生成した画像であり、図１２（ｄ）は、図１２（ｂ）のシミュレーション画像の奇数列を抽出し偶数列を補完して生成した画像である。図１２（ｃ）と図１２（ｄ）の画像の明るさの比は、１：１である。
　このように、アレイ状光学素子のレンズ光学系の光軸に垂直な方向の位置を制御する駆動により、撮影シーンに応じて２つの画像の露光量の比を任意に変更することが可能となる。
（実施の形態５）
　本実施の形態５は、実施の形態１に示す撮像装置（またはシステム）を複数用いた測距装置である。図１３は撮像装置を２つ用いた測距装置の概略図である。図１３において、各符号は図４と同じである。本実施の形態では、アレイ状光学素子をレンチキュラとし、測距装置の基線方向Ｂに対して各撮像装置のレンチキュラの光学要素の配列方向Ｑを直交させている。測距装置では、視差をパターンマッチングすることにより抽出し、抽出した視差を用いて三角測量の原理により被写体までの距離を算出する。従って、測距装置の基線方向Ｂに対してレンチキュラの光学要素の配列方向Ｑを直交させることで、測距装置の基線方向Ｂに対してレンチキュラの光学要素の配列方向Ｑを同一にした場合に比べて、視差抽出の分解能を上げることができる。
　本実施の形態の測距装置により、高ダイナミックレンジの環境下において、画像の白とびや黒つぶれを減少させることができ、従来の撮像装置では白とびや黒つぶれしていた領域においても測距することが可能となる。
（その他の実施の形態）
　レンズ光学系Ｌは、像側テレセントリック光学系でもよいし、像側非テレセントリック光学系でもよい。像側非テレセントリック光学系の場合、撮像面の周辺部では、光線が斜めに入射するため、隣接画素に光が漏れてクロストークが発生しやすい。このことから、実施の形態３のように、撮像面中心部と撮像面周辺部とで、アレイ状光学素子Ｋの各光学要素Ｍ１、Ｍｄの画素境界値に対するオフセット量を異ならせているが、必ずしもオフセット量を異ならせる必要は無い。レンズ光学系Ｌの撮像面中心部（光軸およびその近傍）から撮像面周辺部（光軸およびその近傍外）にわたって、アレイ状光学素子の各光学要素Ｍ１、Ｍｄが画素間の境界位置に対してオフセットしていることによって、隣接画素に対して入射する光量を異ならせていればよい。
　本願に開示された撮像装置は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置として有用である。また、自動車の周辺監視用および乗員監視用の撮像装置、セキュリティ用の撮像装置、および測距装置の用途にも応用できる。
Ａ　　　　　　　　　　　　　撮像装置
Ｌ　　　　　　　　　　　　　レンズ光学系
Ｌｍ　　　　　　　　　　　　レンズ
Ｓ　　　　　　　　　　　　　絞り
Ｋ　　　　　　　　　　　　　アレイ状光学素子
Ｎ　　　　　　　　　　　　　撮像素子
Ｎｉ　　　　　　　　　　　　撮像面
Ｍｓ　　　　　　      　　　撮像素子上のマイクロレンズアレイ
Ｍ１、Ｍｄ　　　　　　　　　光学要素
Ｐ１、Ｐ２　　　　　　　　　画素
Ｃ　　　　　　　　　　　　　信号処理部
Ｄ　　　　　　　　　　　　　保持部材
Ｅ１、Ｅ２　　　　　　　　　シャフト
Ｆ１　　　　　　　　　　　　シャフトガイド
Ｆ２　　　　　　　　　　　　シャフトホルダー
Ｊ　　　　　　　　　　　　　基板
Ｔ　　　　　　　　　　　　　圧力コイルバネ
Ｚ　　　　　　　　　　　　　圧電アクチュエータ
Ｐｇ　　　　　　　　　　　　画素群

Claims (17)

  1. 　レンズおよび絞りを有するレンズ光学系と、
    　前記レンズ光学系を通過した光が入射する撮像素子と、
    　前記レンズ光学系と前記撮像素子との間に配置され、前記レンズ光学系の光軸に垂直な平面における行方向に延びる光学要素が前記平面における列方向に複数配列されたアレイ状光学素子とを備え、
    　前記撮像素子は、前記列方向に配列された複数の画素群であって、各画素群が、前記行方向に配列された複数の第１の画素と、前記複数の第１の画素と列方向に隣接した位置に、前記行方向に配列された複数の第２の画素とを有する複数の画素群を含み、、
    　前記複数の光学要素間の境界位置は、前記複数の画素群間の対応する境界位置に対して、前記列方向にそれぞれオフセットしている、撮像装置。
  2. 　前記複数の光学要素間の境界位置は、前記複数の画素群によって構成される撮像面の中心から周辺において、前記複数の画素群間の対応する境界位置に対してそれぞれ前記列方向にオフセットしている、請求項１に記載の撮像装置。
  3. 　前記アレイ状光学素子の各光学要素は、前記複数の画素群の１つに対応するように配置されている請求項２に記載の撮像装置。
  4. 　前記各画素群において、前記複数の第１の画素のそれぞれと、これに前記列方向に隣接する第２の画素とには、被写体における同じ部分からの光が入射する、請求項３に記載の撮像装置。
  5. 　前記アレイ状光学素子は、レンチキュラレンズである、請求項１から４のいずれかに記載の撮像装置。
  6. 　前記アレイ状光学素子は、前記撮像素子上に形成されている、請求項１から５のいずれかに記載の撮像装置。
  7. 　前記アレイ状光学素子と前記撮像素子との間に設けられたマイクロレンズをさらに備え、
    　前記アレイ状光学素子は、前記マイクロレンズを介して前記撮像素子上に形成されている、請求項１から６のいずれかに記載の撮像装置。
  8. 　前記レンズ光学系は像側テレセントリック光学系であって、
    　前記複数の光学要素間の境界位置と前記複数の画素群の境界位置とのオフセット量は、前記列方向における前記光軸からの距離によらず等しい、請求項１から７のいずれかに記載の撮像装置。
  9. 　前記レンズ光学系は像側非テレセントリック光学系であって、
    　前記複数の光学要素間の境界位置と前記複数の画素群の境界位置とのオフセット量は、前記列方向における前記光軸からの距離によって異なる、請求項１から７のいずれかに記載の撮像装置。
  10. 　前記アレイ状光学素子の前記列方向の位置を制御する駆動機構をさらに備え、
    　前記駆動機構によって、前記オフセット量を調整し得る請求項８または９に記載の撮像装置。
  11. 　前記複数の第１の画素において得られた複数の画素値および前記複数の第２の画素において得られた複数の画素値を用いて画像を生成する信号処理部をさらに備え、
    　前記複数の第１の画素に供給される光の量は前記複数の第２の画素に供給される光の量のＡ倍（Ａ＞１）であり、
    　前記信号処理部は、各画素群において、前記複数の第１の画素のうちの１つである画素Ｐ１において得られた画素値Ｖ１と、これに隣接する前記複数の第２の画素のうちの１つである画素Ｐ２において得られた画素値Ｖ２とを読み込み、
    　前記画素値Ｖ１が飽和していない場合には、前記画素値Ｖ１を出力し、
    　前記画素値Ｖ１が飽和している場合には、前記第２の画素における前記画素値Ｖ２にＡを乗じた値を出力する処理を行う、請求項１から１０のいずれかに記載の撮像装置。
  12. 　前記信号処理部は、前記複数の第１の画素および前記複数の第２の画素のそれぞれについて、前記処理を行う、請求項１１に記載の撮像装置。
  13. 　請求項１から１０のいずれかに記載の撮像装置と、
    　前記複数の第１の画素において得られた複数の画素値および前記複数の第２の画素において得られた複数の画素値を用いて画像を生成する信号処理部とを備えるシステムであって、
    　前記複数の第１の画素に供給される光の量は前記複数の第２の画素に供給される光の量のＡ倍（Ａ＞１）であり、
    　前記信号処理部は、各画素群において、前記複数の第１の画素のうちの１つである画素Ｐ１において得られた画素値Ｖ１と、これに隣接する前記複数の第２の画素のうちの１つである画素Ｐ２において得られた画素値Ｖ２とを読み込み、
    　前記画素値Ｖ１が飽和していない場合には、前記画素値Ｖ１を出力し、
    　前記画素値Ｖ１が飽和している場合には、前記第２の画素における前記画素値Ｖ２にＡを乗じた値を出力する処理を行うシステム。
  14. 　請求項１から１２のいずれかに記載の撮像装置または請求項１３に記載のシステムを複数備える測距装置。
  15. 　所定の平面における行方向に延びる光学要素が前記平面における列方向に複数配列されたアレイ状光学素子と、
    　前記列方向に配列された複数の画素群であって、各画素群が、前記行方向に配列された複数の第１の画素と、前記複数の第１の画素と列方向に隣接した位置に、前記行方向に配列された複数の第２の画素とを有する複数の画素群と
    を備え、
    　アレイ状光学素子は、前記複数の光学要素間の境界位置が、前記複数の画素群間の対応する境界位置に対して、前記列方向にそれぞれオフセットするように前記複数の画素群に対して配置されている、撮像素子。
  16. 　前記複数の光学要素間の境界位置は、前記複数の画素群によって構成される撮像面の中心から周辺において、前記複数の画素群間の対応する境界位置に対してそれぞれ前記列方向にオフセットしている、請求項１５に記載の撮像素子。
  17. 　前記アレイ状光学素子の各光学要素は、前記複数の画素群の１つに対応するように配置されている請求項１６に記載の撮像素子。
PCT/JP2012/005490 2011-10-03 2012-08-30 撮像装置、撮像装置を用いたシステム及び測距装置 WO2013051186A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201280004995.8A CN103299614B (zh) 2011-10-03 2012-08-30 摄像装置、使用摄像装置的系统以及测距装置
US13/932,505 US8994870B2 (en) 2011-10-03 2013-07-01 Imaging apparatus, and system and distance measuring device using imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011219386 2011-10-03
JP2011-219386 2011-10-03

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/932,505 Continuation US8994870B2 (en) 2011-10-03 2013-07-01 Imaging apparatus, and system and distance measuring device using imaging apparatus

Publications (1)

Publication Number Publication Date
WO2013051186A1 true WO2013051186A1 (ja) 2013-04-11

Family

ID=48043372

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/005490 WO2013051186A1 (ja) 2011-10-03 2012-08-30 撮像装置、撮像装置を用いたシステム及び測距装置

Country Status (4)

Country Link
US (1) US8994870B2 (ja)
JP (1) JPWO2013051186A1 (ja)
CN (1) CN103299614B (ja)
WO (1) WO2013051186A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023520427A (ja) * 2020-03-30 2023-05-17 トルンプフ レーザー－ ウント ジュステームテヒニク ゲゼルシャフト ミット ベシュレンクテル ハフツング 光学装置及びレーザシステム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101629825B1 (ko) * 2014-12-04 2016-06-22 현대모비스 주식회사 Ｈｄｒ 기능을 이용한 차량용 디스플레이 장치 및 방법
TWI555997B (zh) 2015-04-17 2016-11-01 原相科技股份有限公司 測距系統及測量距離的方法
CN110068307B (zh) * 2015-04-21 2021-09-17 原相科技股份有限公司 测距系统及测量距离的方法
JP2017118296A (ja) * 2015-12-24 2017-06-29 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6981997B2 (ja) * 2016-11-29 2021-12-17 ヌヴォトンテクノロジージャパン株式会社 距離測定装置
CN108445496B (zh) * 2018-01-02 2020-12-08 北京汽车集团有限公司 测距标定装置及方法、测距设备及测距方法
EP4033535A4 (en) * 2019-09-30 2023-03-01 Guangdong Oppo Mobile Telecommunications Corp., Ltd. IMAGE SENSOR, CAMERA ASSEMBLY AND MOBILE TERMINAL

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03117281A (ja) * 1989-09-29 1991-05-20 Toshiba Corp 固体撮像装置
JPH06163864A (ja) * 1992-11-19 1994-06-10 Toshiba Corp 固体撮像装置
JP2005086083A (ja) * 2003-09-10 2005-03-31 Fuji Film Microdevices Co Ltd 固体撮像装置
JP2007311899A (ja) * 2006-05-16 2007-11-29 Toshiba Corp 撮像装置及び撮像方法
JP2009303043A (ja) * 2008-06-16 2009-12-24 Panasonic Corp 固体撮像装置及びその信号処理方法
JP2010147786A (ja) * 2008-12-18 2010-07-01 Fujifilm Corp 撮像装置及び画像処理方法
JP2011082795A (ja) * 2009-10-07 2011-04-21 Olympus Corp 撮像装置及びデジタルカメラ

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5289286A (en) 1991-07-18 1994-02-22 Minolta Camera Kabushiki Kaisha Solid state sensor having logarithmic photovoltaic response, with pixel uniformity correction and white balance circuitry therefor
JPH0530350A (ja) 1991-07-18 1993-02-05 Minolta Camera Co Ltd 固体撮像装置
EP0898249B1 (fr) * 1997-08-22 2003-05-02 Omega Electronics S.A. Système, notamment pour le chronométrage de courses; comportant un capteur photosensible et procédé de réglage de l'alignement d'un tel système sur une ligne de passage d'objets
US6355930B1 (en) * 1999-01-25 2002-03-12 En'urga, Inc. Fast infrared linear image optical instruments
JP2002006205A (ja) 2000-06-22 2002-01-09 Canon Inc 自動焦点カメラ
JP4399693B2 (ja) 2000-09-21 2010-01-20 ソニー株式会社 撮像装置
JP4532800B2 (ja) * 2001-11-08 2010-08-25 キヤノン株式会社 撮像装置及びシステム
US6838715B1 (en) * 2002-04-30 2005-01-04 Ess Technology, Inc. CMOS image sensor arrangement with reduced pixel light shadowing
US7400447B2 (en) * 2003-09-03 2008-07-15 Canon Kabushiki Kaisha Stereoscopic image display device
JP4236168B2 (ja) * 2003-09-10 2009-03-11 富士フイルム株式会社 固体撮像装置
US6903391B2 (en) 2003-09-10 2005-06-07 Fuji Photo Film Co., Ltd. Solid state image pickup device
US7511749B2 (en) * 2003-12-18 2009-03-31 Aptina Imaging Corporation Color image sensor having imaging element array forming images on respective regions of sensor elements
US7483596B2 (en) * 2004-01-13 2009-01-27 International Business Machines Corporation Performance digital image sensing
JP2005259750A (ja) 2004-03-09 2005-09-22 Fuji Film Microdevices Co Ltd 多板式カラー固体撮像装置及びデジタルカメラ
EP1812968B1 (en) * 2004-08-25 2019-01-16 Callahan Cellular L.L.C. Apparatus for multiple camera devices and method of operating same
US7515174B1 (en) * 2004-12-06 2009-04-07 Dreamworks Animation L.L.C. Multi-user video conferencing with perspective correct eye-to-eye contact
JP4487902B2 (ja) * 2005-11-09 2010-06-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP4449936B2 (ja) * 2006-03-31 2010-04-14 ソニー株式会社 撮像装置、カメラシステムおよびその駆動方法
US7369204B1 (en) * 2006-07-21 2008-05-06 Research Foundation Of The University Of Central Florida Fast response liquid crystal mode
JP5000413B2 (ja) 2007-07-30 2012-08-15 オリンパス株式会社 撮像システム及び画像信号処理プログラム
JP5109641B2 (ja) * 2007-12-18 2012-12-26 ソニー株式会社 撮像素子および撮像装置
US8698885B2 (en) * 2011-02-14 2014-04-15 Intuitive Surgical Operations, Inc. Methods and apparatus for demosaicing images with highly correlated color channels
JP5490309B2 (ja) * 2011-03-07 2014-05-14 パナソニック株式会社 撮像装置および測距装置
JP6164846B2 (ja) * 2012-03-01 2017-07-19 キヤノン株式会社 撮像装置、撮像システム、撮像装置の駆動方法
WO2013169671A1 (en) * 2012-05-09 2013-11-14 Lytro, Inc. Optimization of optical systems for improved light field capture and manipulation
US9179126B2 (en) * 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03117281A (ja) * 1989-09-29 1991-05-20 Toshiba Corp 固体撮像装置
JPH06163864A (ja) * 1992-11-19 1994-06-10 Toshiba Corp 固体撮像装置
JP2005086083A (ja) * 2003-09-10 2005-03-31 Fuji Film Microdevices Co Ltd 固体撮像装置
JP2007311899A (ja) * 2006-05-16 2007-11-29 Toshiba Corp 撮像装置及び撮像方法
JP2009303043A (ja) * 2008-06-16 2009-12-24 Panasonic Corp 固体撮像装置及びその信号処理方法
JP2010147786A (ja) * 2008-12-18 2010-07-01 Fujifilm Corp 撮像装置及び画像処理方法
JP2011082795A (ja) * 2009-10-07 2011-04-21 Olympus Corp 撮像装置及びデジタルカメラ

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023520427A (ja) * 2020-03-30 2023-05-17 トルンプフ レーザー－ ウント ジュステームテヒニク ゲゼルシャフト ミット ベシュレンクテル ハフツング 光学装置及びレーザシステム

Also Published As

Publication number Publication date
JPWO2013051186A1 (ja) 2015-03-30
CN103299614A (zh) 2013-09-11
US20130293703A1 (en) 2013-11-07
US8994870B2 (en) 2015-03-31
CN103299614B (zh) 2016-08-10

Similar Documents

Publication Publication Date Title
WO2013051186A1 (ja) 撮像装置、撮像装置を用いたシステム及び測距装置
US9182602B2 (en) Image pickup device and rangefinder device
US11025886B2 (en) Multi-lens camera with a single image sensor
US8711215B2 (en) Imaging device and imaging method
JP5681954B2 (ja) 撮像装置及び撮像システム
JP5358039B1 (ja) 撮像装置
CN102625034B (zh) 图像拾取单元
JP4673202B2 (ja) 画像入力装置
US20160377838A1 (en) Optical image capturing system
US20170017066A1 (en) Optical image capturing system
JP4768367B2 (ja) 立体画像撮像装置及び立体画像表示装置
US9681042B2 (en) Image pickup apparatus, image pickup system, image processing device, and method of controlling image pickup apparatus
KR20160140886A (ko) 저-프로필 폴드형 광학 다중-카메라 시스템에서의 오토-포커스
CN103327223A (zh) 摄像装置
JP5958837B2 (ja) 奥行き推定撮像装置
WO2013111598A1 (ja) アレイ状光学素子、撮像用部材、撮像素子、撮像装置および測距装置
CN111818242B (zh) 影像感测装置
CN113115027A (zh) 校准摄像头的方法和系统
CN100583950C (zh) 成像装置及其生产方法、便携设备
WO2011052172A1 (ja) 撮像装置およびそれを用いた測距装置
US20210231918A1 (en) Optical image capturing system
JP6438704B2 (ja) 立体映像表示装置の製造方法、及び、その位置ずれ調整装置
JP6287086B2 (ja) 撮像装置及び画像読み取り装置
WO2016053140A1 (ru) Мобильное устройство с оптическими элементами
JP6006633B2 (ja) 立体画像取得装置および立体画像取得方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013515436

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12837961

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12837961

Country of ref document: EP

Kind code of ref document: A1