WO2010010707A1 - 撮像装置及び半導体回路素子 - Google Patents

撮像装置及び半導体回路素子 Download PDF

Info

Publication number
WO2010010707A1
WO2010010707A1 PCT/JP2009/003464 JP2009003464W WO2010010707A1 WO 2010010707 A1 WO2010010707 A1 WO 2010010707A1 JP 2009003464 W JP2009003464 W JP 2009003464W WO 2010010707 A1 WO2010010707 A1 WO 2010010707A1
Authority
WO
WIPO (PCT)
Prior art keywords
lens
imaging
magnification
temperature
correction coefficient
Prior art date
Application number
PCT/JP2009/003464
Other languages
English (en)
French (fr)
Inventor
飯島友邦
玉木悟史
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2009550183A priority Critical patent/JP4510930B2/ja
Priority to US12/678,881 priority patent/US8390703B2/en
Publication of WO2010010707A1 publication Critical patent/WO2010010707A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • G01C3/085Use of electric radiation detectors with electronic parallax measurement
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/12Beam splitting or combining systems operating by refraction only
    • G02B27/123The splitting element being a lens or a system of lenses, including arrays and surfaces with refractive power
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • G03B35/10Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Definitions

  • the present invention relates to an imaging apparatus capable of measuring a distance and a semiconductor circuit element used in the imaging apparatus.
  • FIG. 24 is an exploded perspective view of the imaging apparatus of Patent Document 1.
  • FIG. 25 is a diagram for explaining an imaging block of the imaging apparatus.
  • the imaging device 901 that is a compound eye imaging system includes a diaphragm member 902, an optical lens array 903, a light blocking block 904, an optical filter 906, and an imaging unit 907.
  • a diaphragm member 902 having four openings 902-1, 902-2, 902-3, and 902-4, and four optical blocks (lenses) 903-1, 903-2, and 903-3.
  • 903-4 have four imaging optical systems, and the light beams that have passed through each of the four imaging blocks 907-1, 907-2, 907- on the imaging unit 907, respectively. 3, 907-4.
  • An imaging unit 907 formed by a CCD sensor or the like has a parallax calculation for calculating parallax information between images captured by the drive circuit 908 that drives the imaging unit 907 and the plurality of imaging blocks 907-1 to 907-4. Together with the circuit 909, it is formed on the semiconductor substrate 910.
  • the light beams that have passed through the openings 902-1 to 902-4 of the diaphragm member 902 are refracted by the lenses 903-1 to 903-4, and then pass through the light shielding block 904 and the optical filter 906. Passes and forms an image on the imaging blocks 907-1 to 907-4.
  • the distance L is obtained from the parallax d as shown in the following formula (1).
  • f is the focal length of the lenses 903-1 and 903-2
  • B is the distance between the optical axes of the lenses 903-1 and 903-2
  • p is the light between the lenses 903-1 and 903-2. This is the pixel interval of the imaging unit 907 in the direction connecting the axes.
  • L (f * B) / (p * d)... (1)
  • the lens array 903 is deformed by a temperature change, and the distance B between the optical axes of the lenses is changed accordingly. Therefore, the distance cannot be obtained correctly when the temperature changes.
  • Patent Document 2 An imaging apparatus corresponding to such a temperature change is disclosed in Patent Document 2. Since the structure thereof is the same as that of the image pickup apparatus of Patent Document 1 except that a temperature sensor is provided, the image pickup apparatus of Patent Document 2 will be described with reference to FIG. 903-1 to 903-4 and a temperature sensor for measuring a temperature T in the vicinity of the lenses 903-1 to 903-4, and using the temperature T, imaging is performed by the imaging blocks 907-1 to 907-4. The corrected images I1 to I4 are corrected.
  • the imaging apparatus calculates a temperature change amount (T ⁇ T0) with respect to the reference temperature T0 as in the following formula (2), and calculates the thermal expansion coefficient aL of the lens array and the linear expansion of the imaging unit 907. Based on the difference from the rate aS (aL ⁇ aS), the amount of change z of the optical axis interval B of each lens due to temperature change is obtained.
  • the imaging blocks 907-2, 907 are expressed as in the following formulas (4), (5), and (6) with the image I1 captured by the imaging block 907-1 as a reference as in the following formula (3). ⁇ 3, 907-4, the images I2, I3, and I4 are corrected by the change in the optical axis interval of each lens.
  • the lenses 903-1 and 903-2 and the lenses 903-3 and 903-4 are arranged apart from each other in the x-axis direction, and the lenses 903-1 and 903-3 and the lenses 903-2 and 903-3 are arranged. 4 are arranged apart from each other in the y-axis direction.
  • p is an image pickup unit 907 pixel interval, and is the same in the x-axis direction and the y-axis direction. I1 (x, y), I2 (x, y), I3 (x, y), and I4 (x, y) indicate the luminance of each image at coordinates (x, y).
  • the lens 903-2 moves by z / p pixels in the x-axis direction, so that I2 (x, y) is z in the x-axis direction as shown in Equation (4). It is corrected to move by / p. Further, because of the temperature change, the lens 903-3 moves by z / p pixels in the y-axis direction as compared with the lens 903-1, so that I3 (x, y) is changed to the y-axis as in Expression (5). Correction is made to move in the direction by z / p.
  • the lens 903-4 moves by z / p pixels in the x-axis direction and z / p pixels in the y-axis direction as compared with the lens 903-1 due to the temperature change.
  • I4 (x, y) is corrected so as to move by z / p pixels in the x-axis direction and by z / p pixels in the y-axis direction.
  • I1 (x, y) I1 (x, y)... (3)
  • I2 (x, y) I2 (x + z / p, y)... (4)
  • I3 (x, y) I3 (y, x + z / p)... (5)
  • I4 (x, y) I4 (x + z / p, y + z / p)... (6)
  • the conventional image pickup apparatus described in Patent Document 2 uses the image I1 picked up by the image pickup block 907-1 as a reference, as shown in equations (4), (5), and (6).
  • the images I2, I3, and I4 captured by the blocks 907-2, 907-3, and 907-4 are corrected by the change in the optical axis interval of the lens.
  • the present invention has been made in view of the above problems, and an imaging apparatus capable of highly accurate distance measurement even when the temperature changes and the magnification of the captured image changes, and a semiconductor circuit used in the imaging apparatus
  • An object is to provide an element.
  • an imaging apparatus is provided in a one-to-one correspondence with a lens array including a plurality of lenses and the plurality of lenses, and is substantially in the optical axis direction of the corresponding lenses.
  • a correction coefficient generation unit that generates a correction coefficient including a correction coefficient that correlates with magnification (hereinafter referred to as a magnification correlation correction coefficient), and corrects the correction of the imaging signal generated in the imaging region based on the correction coefficient
  • a correction calculation unit that calculates the parallax using the subsequent imaging signal.
  • the “correction coefficient correlating with the magnification of the image captured in the imaging area” means a correction coefficient that corrects a physical quantity having a correlation with the magnification of the image captured in the imaging area.
  • magnification itself of the image captured in the imaging region and the focal length of each of the plurality of lenses are applicable. Further, the expansion and contraction of the lens barrel that accommodates the lens array, the refractive index of each of the plurality of lenses, and the like, which have a correlation with these, also apply.
  • the imaging signal generated in the imaging region is corrected based on the correction coefficient that is created based on the temperature detected by the temperature sensor and correlates with the magnification of the image captured in the imaging region. Since the parallax is calculated using the corrected imaging signal, or even if the temperature changes and the magnification of the captured image changes, the change in the magnification due to the temperature change can be compensated. As a result, highly accurate distance measurement is possible.
  • the correction coefficient creation unit creates a magnification for correcting expansion or contraction of the lens array and the lens barrel that houses the plurality of imaging regions as the magnification correlation correction coefficient based on the temperature detected by the temperature sensor.
  • the correction calculation unit may be configured to correct an imaging signal generated in the imaging region based on the magnification.
  • the correction coefficient creating unit is configured to create a magnification for correcting a change in the refractive index or the focal length of the lens array as the magnification correlation correction coefficient based on the temperature detected by the temperature sensor.
  • the correction calculation unit may be configured to correct an imaging signal generated in the imaging region based on the magnification.
  • correction coefficient creation unit may create the magnification correlation correction coefficient for each of the plurality of imaging regions so as to change by the same ratio with respect to the change in temperature.
  • one magnification correlation correction coefficient is created for a plurality of imaging regions, and accordingly, the computation time is increased accordingly.
  • An image pickup apparatus that can calculate distance with high accuracy at low cost can be realized.
  • the semiconductor circuit element of the present invention is provided with a lens array including a plurality of lenses and a one-to-one correspondence with the plurality of lenses, and a light receiving surface substantially perpendicular to the optical axis direction of the corresponding lenses.
  • a semiconductor circuit element used in an imaging device having a plurality of imaging regions each having an image captured in the imaging region based on a temperature detected by a temperature sensor disposed in the vicinity of the lens array.
  • a correction coefficient generation unit that generates a correction coefficient including a correction coefficient that correlates with magnification (hereinafter referred to as a magnification correlation correction coefficient), and corrects the correction of the imaging signal generated in the imaging region based on the correction coefficient
  • a correction calculation unit that calculates the parallax using the subsequent imaging signal.
  • the imaging signal generated in the imaging region is corrected based on the correction coefficient that is created based on the temperature detected by the temperature sensor and correlates with the magnification of the image captured in the imaging region. Since the parallax is calculated using the corrected imaging signal, or even if the temperature changes and the magnification of the captured image changes, the change in the magnification due to the temperature change can be compensated. As a result, highly accurate distance measurement is possible.
  • FIG. 1 is a cross-sectional view showing a configuration of an imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a plan view showing the configuration of the lens array of the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a plan view showing the configuration of the circuit unit of the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 4 is a plan view showing the configuration of the image pickup element of the image pickup apparatus according to Embodiment 1 of the present invention.
  • FIG. 5 is a circuit diagram of the temperature sensor of the image pickup apparatus according to Embodiment 1 of the present invention.
  • FIG. 6 is a diagram for explaining the position of an object image at infinity in the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 1 is a cross-sectional view showing a configuration of an imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a plan view showing the configuration of the lens array of the imaging apparatus according
  • FIG. 7 is a diagram for explaining the position of an object image at a finite distance in the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 8 is a diagram for explaining a change in magnification due to the extension of the lens barrel according to the first embodiment of the present invention.
  • FIG. 9 is a view for explaining the principle of temperature correction of the lens barrel extension according to Embodiment 1 of the present invention.
  • FIG. 10 is a diagram for explaining the effect of temperature correction of the lens barrel extension according to Embodiment 1 of the present invention.
  • FIG. 11 is a diagram for explaining changes in refractive index and focal length with respect to temperature according to Embodiment 1 of the present invention.
  • FIG. 12 is a diagram for explaining a change in magnification due to a change in focal length according to Embodiment 1 of the present invention.
  • FIG. 13 is a block diagram showing a configuration of the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 14 is a flowchart showing the operation of the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 15 is a diagram for explaining the coefficient storage unit according to the first embodiment of the present invention.
  • FIG. 16 is a diagram for explaining the cutout position of the image pickup signal of the image pickup apparatus according to Embodiment 1 of the present invention.
  • FIG. 17 is a flowchart showing the operation of the distance calculation unit of the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 18 is a diagram for explaining block division in the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 19 is a diagram for explaining the calculation area of the parallax evaluation value in the parallax calculation when the first imaging signal and the second imaging signal are used in the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 20 is a diagram illustrating the relationship between the shift amount and the parallax evaluation value in the parallax calculation when the first imaging signal and the second imaging signal of the imaging apparatus according to Embodiment 1 of the present invention are used.
  • FIG. 21 is a plan view showing the configuration of the lens array of the imaging apparatus according to the second modification of the first embodiment.
  • FIG. 22 is a plan view showing the configuration of the lens array of the imaging apparatus according to the third modification of the first embodiment.
  • FIG. 23 is a plan view showing the configuration of the lens array of the imaging apparatus according to Embodiment 2 of the present invention.
  • FIG. 24 is an exploded perspective view of a conventional imaging device.
  • FIG. 25 is a diagram for explaining an imaging block of a conventional imaging apparatus.
  • the imaging apparatus obtains the change amount of the optical axis interval of the plurality of lenses based on the temperature detected by the temperature sensor, and moves the optical axis origin of the plurality of lenses by half the change amount. Then, the image is corrected so as to eliminate the distortion around the optical axis origin. Thereby, since the influence of distortion can be reduced appropriately, highly accurate parallax can be detected, and distance can be measured with high accuracy. Further, since the magnification of the image is corrected based on the temperature detected by the temperature sensor, the distance can be measured with higher accuracy.
  • FIG. 1 is a cross-sectional view showing a configuration of an imaging apparatus according to Embodiment 1 of the present invention.
  • the imaging apparatus 101 includes a circuit unit 120 and a lens module unit 110 provided above the circuit unit 120.
  • the lens module unit 110 includes a cylindrical lens barrel 111, an upper cover glass 112 that covers the opening of the lens barrel 111, and a lens array 113 that is provided below the upper cover glass 112 and inside the lens barrel 111. And have.
  • the circuit unit 120 includes a substrate 121, a package 122 provided on the substrate 121, an imaging element 123, a package cover glass 124, a system LSI (hereinafter referred to as SLSI) 125 that is a semiconductor circuit element, and a lens array. And a temperature sensor 126 for detecting the temperature in the vicinity of 113.
  • the lens barrel 111 has a cylindrical shape as described above, and its inner wall surface is colored with black that has been matted to prevent irregular reflection of light, and is formed by injection molding of resin.
  • the upper cover glass 112 has a disc shape, is formed of an optical glass material or a transparent resin, and is fixed to the upper inner wall of the lens barrel 111 with an adhesive or the like, and a protective film that prevents damage due to friction or the like on the surface. And an antireflection film for preventing reflection of incident light.
  • FIG. 2 is a plan view showing the configuration of the lens array of the image pickup apparatus according to Embodiment 1 of the present invention.
  • the lens array 113 has a substantially disk shape, is formed of an optical glass material or transparent resin, and has a circular first lens unit 113a, second lens unit 113b, third lens unit 113c, and fourth lens.
  • the portions 113d are arranged in a grid pattern in 2 rows and 2 columns. As shown in FIG. 2, the x axis and the y axis are set along the arrangement direction of the first to fourth lens portions 113a to 113d.
  • the optical axis of the first lens unit 113a and the optical axis of the second lens unit 113b are separated by Dx in the x-axis direction and coincide in the y-axis direction.
  • the optical axis of the first lens portion 113a and the optical axis of the third lens portion 113c coincide in the x-axis direction and are separated by Dy in the y-axis direction.
  • the optical axis of the third lens unit 113c and the optical axis of the fourth lens unit 113d are separated by Dx in the x-axis direction, and the y-axis direction is coincident.
  • the optical axis of the fourth lens unit 113d and the optical axis of the first lens unit 113a are separated by Dx in the x-axis direction and separated by Dy in the y-axis direction.
  • the substrate 121 is made of a resin substrate, and the lens barrel 111 is fixed to the upper surface with an adhesive or the like in contact with the bottom surface. In this way, the lens module unit 110 and the circuit unit 120 are fixed, and the imaging apparatus 101 is configured.
  • the package 122 is made of a resin having a metal terminal, and the metal terminal portion is fixed to the upper surface of the substrate 121 by soldering or the like inside the lens barrel 111.
  • the image sensor 123 is a solid-state image sensor such as a CCD sensor or a CMOS sensor, and its light receiving surface has a first lens unit 113a, a second lens unit 113b, a third lens unit 113c, and a fourth lens unit. It is arranged so as to be substantially perpendicular to the optical axis 113d.
  • Each terminal of the image sensor 123 is connected to a metal terminal at the bottom inside the package 122 by wire bonding, and is electrically connected to the SLSI 125 through the substrate 121.
  • Light emitted from the first lens unit 113a, the second lens unit 113b, the third lens unit 113c, and the fourth lens unit 113d forms an image on the light receiving surface of the image sensor 123, and the light Information is converted into electrical information by a photodiode, and the electrical information is transferred to the SLSI 125.
  • FIG. 3 is a plan view showing the configuration of the circuit unit 120 of the imaging apparatus according to Embodiment 1 of the present invention.
  • the package cover glass 124 has a flat plate shape, is formed of a transparent resin, and is fixed to the upper surface of the package 122 by adhesion or the like. In FIG. 3, for the sake of convenience, the image sensor 123 that can be seen through the package cover glass 124 is omitted.
  • the SLSI 125 drives the image sensor 123 by a method described later, inputs electrical information from the image sensor 123, performs various calculations, communicates with the host CPU, and outputs image information, distance information, and the like to the outside.
  • the SLSI 125 is connected to a power source (for example, 3.3V) and a ground (for example, 0V).
  • FIG. 4 is a plan view showing the configuration of the imaging element of the imaging apparatus according to Embodiment 1 of the present invention.
  • the imaging device 123 includes a first imaging region 123a, a second imaging region 123b, a third imaging region 123c, and a fourth imaging region 123d.
  • These first to fourth imaging regions 123a to 123d are arranged in two rows and two columns so that the respective light receiving surfaces are substantially perpendicular to the optical axes of the first to fourth lens portions 113a to 113d.
  • the An imaging signal is generated in each of these imaging areas 123a to 123d.
  • FIG. 5 is a circuit diagram of the temperature sensor of the image pickup apparatus according to Embodiment 1 of the present invention.
  • the temperature sensor 126 is configured by connecting a first fixed resistor 126a, a thermistor 126b, and a second fixed resistor 126c in series.
  • the other end of the first fixed resistor 126a (the end not connected to the thermistor 126b) is connected to the power source 126d (for example, 3.3V), and the other end of the second fixed resistor 126c (the end not connected to the thermistor 126b).
  • Is connected to the ground 126e for example, 0 V.
  • a connection point 126f between the first fixed resistor 126a and the thermistor 126b is connected to the SLSI 125.
  • the imaging apparatus according to Embodiment 1 of the present invention has four lens units (first lens unit 113a, second lens unit 113b, third lens unit 113c, and fourth lens unit 113d).
  • the relative positions of the four object images formed by the four lens units change according to the subject distance.
  • FIG. 6 is a diagram for explaining the position of an object image at infinity in the imaging apparatus according to Embodiment 1 of the present invention.
  • the typical incident light L1 to the first lens portion 113a of the light from the object 10 at infinity and the typical incident light L2 to the second lens portion 113b are parallel (here, the object 10 Are drawn, but are single, the object 10 at infinity cannot be drawn on a finite sheet of paper, so to clearly show that the incident light L1 and the incident light L2 are parallel, 2 The object 10 at infinity at two positions is drawn).
  • the distance between the optical axis of the first lens unit 113a and the optical axis of the second lens unit 113b, the position where the object image 11a is formed on the image sensor 123, and the object image 11b are formed.
  • the distance between the positions to be done is equal. That is, there is no parallax.
  • FIG. 7 is a diagram for explaining the position of an object at a finite distance in the imaging apparatus according to Embodiment 1 of the present invention.
  • first lens portion 113 a and the second lens portion 113 b are described in the lens array 113 for simplicity.
  • Typical incident light L1 to the first lens portion 113a of light from the object 12 having a finite distance and typical incident light L2 to the second lens portion 113b are not parallel. Therefore, compared with the distance between the optical axis of the first lens unit 113a and the optical axis of the second lens unit 113b, the position where the object image 13a is formed on the image sensor 123 and the object image 13b are connected.
  • the distance between the imaged position is long. That is, there is parallax.
  • the distance (subject distance) from the principal point of the first lens portion 113a to the object (subject) 12 is A
  • the distance between the optical axes of the first lens portion 113a and the second lens portion 113b is D
  • 113b is a right-angled triangle having a length of two sides A and D sandwiching a right angle
  • a right-angled triangle having a length of f and ⁇ of two sides sandwiching a right angle are similar to each other. Accordingly, the parallax value ⁇ is expressed as the following formula (7).
  • f * D / A (7)
  • the same relationship is established for the other lens units.
  • the relative positions of the four object images formed by the four lens portions 113a, 113b, 113c, and 113d change according to the subject distance.
  • the subject distance A can be obtained from the parallax value ⁇ by solving the equation (7) for the subject distance A as shown in the following equation (8).
  • A f * D / ⁇ (8)
  • ddy is the amount of change in the y direction of the interval between the optical axes as the temperature rises, and the unit is the interval between the light receiving elements of the image sensor 122.
  • Dx is the distance between the optical axes between the lenses in the x direction at the reference temperature Th0
  • Dy is the distance between the optical axes between the lenses in the y direction at the reference temperature Th0
  • aL is the coefficient of thermal expansion of the lens array 113.
  • AS is the coefficient of thermal expansion of the image sensor 123
  • T is the temperature
  • Th0 is the reference temperature
  • p is the interval between the light receiving elements of the image sensor 123.
  • ddx Dx * (aL-aS) * (T-Th0) / p (9)
  • ddy Dy * (aL-aS) * (T-Th0) / p (10)
  • the center of the optical axis of the third lens portion 113c moves by ⁇ p * ddx / 2 in the x direction and + p * ddy / 2 in the y direction.
  • the center of the optical axis of the fourth lens portion 113d moves by + p * ddx / 2 in the x direction and + p * ddy / 2 in the y direction.
  • the temperature T is detected, and the change ddx, ddy of the optical axis interval between the lenses of the lens array 113 is obtained from the temperature T, and the optical axis of each lens of the lens array 113 is half of the change ddx, ddy.
  • FIG. 8 is a diagram for explaining a change in magnification due to lens barrel extension according to Embodiment 1 of the present invention.
  • FIG. 8A illustrates the magnification at the reference temperature Th0
  • FIG. 8B illustrates the magnification at the temperature Th higher than the reference temperature.
  • the distance from the main point H of the first lens unit 113a to the subject 14 is A, and the first imaging from the main point H of the first lens unit 113a.
  • the distance to the subject image 15a on the region 123a is B.
  • the principal ray from the upper end of the subject 14 emits the upper end of the subject 14 passes through the principal point H of the first lens unit 113a, and reaches the lower end of the subject image 15a.
  • the distance from the principal point H of the first lens portion 113a to the subject 14 is A, and the first point H from the principal point H of the first lens portion 113a is the first.
  • the distance to the subject image 15b on the imaging region 123a is B ⁇ (1 + ⁇ ). Since the lens barrel 111 extends due to the temperature rise, the distance from the principal point H of the first lens portion 113a to the subject image 15b on the first imaging region 123a by ⁇ times at the temperature Th with respect to the reference temperature Th0. Will increase.
  • the principal ray from the upper end of the subject 14 emits the upper end of the subject 14 passes through the principal point H of the first lens unit 113a, and reaches the lower end of the subject image 15b.
  • the triangle connecting the lower end, the upper end, and the principal point H of the subject 14 is similar to the triangle connecting the upper end, the lower end, and the principal point H of the subject image 15b, the triangle of the subject 14 is expressed by the following equation (111).
  • the magnification ⁇ (Th) at the temperature Th indicated by the ratio of the length X to the length Yb of the subject image 15b is the distance B ⁇ from the principal point H to the subject image 15b with respect to the distance A from the subject 14 to the principal point H.
  • the ratio is (1 + ⁇ ).
  • the lens barrel expands or contracts by ⁇ times the original length.
  • the length of the lens barrel changes by an amount that the distance B to the imaging region 123a is extended or contracted by the expansion of the lens barrel (that is, increases or decreases from B to B ⁇ (1 + ⁇ )), and the magnification increases by 1 + ⁇ times.
  • FIG. 9 is a diagram for explaining the principle of temperature correction of the lens barrel extension according to Embodiment 1 of the present invention.
  • FIG. 9 only the first imaging signal I1 and the second imaging signal I2 corresponding to the first lens unit 113a and the second lens unit 113b are shown for the sake of simplicity.
  • FIG. 9A shows an image and parallax at the reference temperature Th0
  • FIG. 9B shows an image and parallax before correction of the lens barrel extension at a temperature Th higher than the reference temperature
  • c) shows an image and parallax after correction of the lens barrel extension at a temperature Th higher than the reference temperature.
  • Th0 As shown in FIG.
  • the subject image 16aa is captured by the first imaging signal I1
  • the subject image 16ba is captured by the second imaging signal I2
  • each parallax is ⁇ .
  • the magnification increases by 1 + ⁇ as shown in the equation (111). Therefore, when the same subject is imaged, the first as shown in FIG. 9B.
  • the size of the subject image 16ab picked up by the image pickup signal I1 and the size of the subject image 16bb picked up by the second image pickup signal I2 are each increased by 1 + ⁇ times. Therefore, each parallax increases by 1 + ⁇ times (that is, ⁇ ⁇ (1 + ⁇ )). Therefore, as shown in FIG.
  • the first imaging signal is set so that the subject images 16ab and 16bb, which are 1 + ⁇ times larger, have the same size as the subject images 16aa and 16ba at the reference temperature Th0.
  • I1 and the second image pickup signal I2 are corrected (corrected so that the size of the image is 1 / (1 + ⁇ ) times) to obtain subject images 16ac and 16bc.
  • the sizes of the corrected subject images 16ac and 16bc are the same as the sizes of the subject images 16aa and 16ba at the reference temperature Th0, and therefore the parallax is ⁇ and coincides with the parallax ⁇ at the reference temperature Th0. To do.
  • FIG. 10 is a diagram for explaining the effect of temperature correction of the lens barrel extension according to Embodiment 1 of the present invention.
  • FIG. 10A shows the ratio (1 + ⁇ ) of the magnification ⁇ (Th) at the temperature Th to the magnification ⁇ (Th0) at the reference temperature Th0 (in FIG. 10, the reference temperature Th0 is 20 ° C.).
  • the ratio (1 + ⁇ ) of the magnification ⁇ (Th) at Th0 to the magnification ⁇ (Th0) at the reference temperature Th0 is further away from 1 as the temperature Th is away from the reference temperature Th0.
  • the parallax ⁇ also changes in the same manner.
  • the subject distance A is inversely proportional to the parallax ⁇ in the equation (8), and is calculated according to the equation (8) based on the parallax ⁇ . Therefore, if distance calculation is performed without correction related to the magnification change of the captured image accompanying the lens barrel extension, a distance measurement error occurs when the temperature Th is other than the reference temperature Th0 as shown in FIG. Therefore, as described above, by correcting the magnification change of the captured image accompanying the lens barrel extension, the same magnification as the reference temperature Th0, and the same parallax, as shown in FIG. Ranging errors due to temperature changes can be eliminated.
  • the magnification of the image changes due to the extension of the lens barrel. Therefore, by performing the magnification correction that corrects the size of the image so as to cancel out the change in the magnification of the image, the temperature is changed. Even if it changes, the correct parallax can always be obtained, and therefore, the correct distance measurement can always be performed even if the temperature changes.
  • the distance measurement error ⁇ is obtained by multiplying the linear thermal expansion coefficient of the material used for the lens barrel and the allowable temperature change width. Accordingly, the distance measurement error ⁇ in FIG. 10 is, for example, 0.00007 [/ ° C.] as the value of the linear thermal expansion coefficient of a general resin used for a resin lens barrel, and is used for in-vehicle applications.
  • the required accuracy of the distance measuring device may be required to be ⁇ 1% or less. Therefore, if the distance measurement error due to the length change of the lens barrel is ⁇ 0.35% with respect to the center value as described above, the distance measurement error due to the length change of the lens barrel occupies 1/3 of the required accuracy. become. Since the ranging error is caused by various factors other than the change in the length of the lens barrel, it is possible to eliminate the influence of the error due to the change in the length of the lens barrel that occupies 1/3 of the required accuracy. Important for realization of 1% or less.
  • this distance measurement error can be greatly reduced by correcting the change in the length of the lens barrel due to the temperature change. Therefore, even if the lens barrel is formed using a resin that can be mass-produced at low cost by molding, a highly accurate distance measuring device can be realized.
  • FIG. 11 is a diagram for explaining changes in refractive index and focal length with respect to temperature according to Embodiment 1 of the present invention.
  • FIG. 4A when the temperature rises, the refractive index of the lens array 113 decreases. Then, the focal length f of the first lens array 113a changes.
  • FIG. 4B shows the ratio of the focal length f at the temperature Th to the focal length f at the reference temperature Th0 (in FIG. 11, the reference temperature Th0 is 20 ° C.), which was 1 at the reference temperature Th0.
  • the value is 1 or more.
  • the value is 1 or less.
  • FIG. 12 is a diagram illustrating a change in magnification due to a change in focal length according to Embodiment 1 of the present invention.
  • FIG. 12 only the portion relating to the first lens portion 113a is shown for ease of explanation.
  • each component when the subject distance is A and the focal length of the first lens unit 113a is fa, each component is arranged to focus on the first imaging region 123a. Therefore, ideally, all the light emitted from one point of the subject 17 passes through the first lens unit 113a and then converges on one point on the imaging region 123a.
  • the principal ray L20 from the upper end of the subject 17 is emitted from the upper end of the subject 17, passes through the principal point H of the first lens unit 113a, and is not refracted in the subject image 18a on the first imaging region 123a. It reaches the lower end (a position separated from the optical axis 19 of the first lens portion 113a by Y).
  • the light beam L21a parallel to the optical axis 19 from the upper end of the subject 17 is refracted at the point P, passes through the rear focal point Na, and reaches the lower end of the subject image 18a (a position Y away from the optical axis 19).
  • the light beam L22a passing through the front focal point Ma from the upper end of the subject 17 is refracted at the point Qa, becomes parallel to the optical axis 19, and reaches the lower end of the subject image 18a (a position away from the optical axis 19 by Y).
  • the front focal point changes from Ma to Mb in a direction away from the lens
  • the rear focal point changes from Na to Nb in a direction away from the lens.
  • the principal ray L20 from the upper end of the subject 17 is emitted from the upper end of the subject 17, passes through the principal point H of the first lens unit 113a, is not refracted, and is the subject image 18a (focal length) on the first imaging region 123a. Reaches the lower end of the subject image at a position where the distance is fa from the optical axis 19 of the first lens portion 113a by Y.
  • the light beam L21b parallel to the optical axis 19 from the upper end of the subject 17 is refracted at the point P, passes through the rear focal point Nb, and is lighter than the lower end of the subject image 18a (subject image when the focal length is fa). It reaches the side close to the axis 19 (a position away from the optical axis 19 by Yu).
  • the light beam L22b passing through the front focal point Mb from the upper end of the subject 17 is refracted at the point Qb, is parallel to the optical axis 19, and is lighter than the lower end of the subject image 18a (subject image when the focal length is fa). It reaches the side far from the axis 19 (a position Yd away from the optical axis 19).
  • a change in magnification due to a change in focal length that is, a change in magnification at the temperature Th with respect to the magnification at the reference temperature Th0 is obtained by optical analysis or the like, and the magnification is corrected so as to be the magnification at the reference temperature Th0.
  • the magnification of the image changes due to the change in the focal length. Therefore, by performing the magnification correction that corrects the size of the image so as to cancel out the change in the magnification of the image, the temperature is changed. Even if it changes, the correct parallax can always be obtained, and therefore, the correct distance measurement can always be performed even if the temperature changes.
  • FIG. 13 is a block diagram showing a configuration of the imaging apparatus according to Embodiment 1 of the present invention.
  • the SLSI 125 includes a system control unit 131, an imaging element driving unit 132, an imaging signal input unit 133, a temperature sensor signal input unit 134, an input / output unit 135, a coefficient storage unit 141, a temperature compensation calculation unit (correction coefficient creation unit) 142, an imaging A signal correction unit 143 and a distance calculation unit 144 are included.
  • the imaging signal correction unit 143 and the distance calculation unit 144 constitute a correction calculation unit.
  • the system control unit 131 includes a CPU (Central Processing Unit), a logic circuit, and the like, and controls the entire SLSI 125.
  • CPU Central Processing Unit
  • FIG. 13 illustration of signals exchanged between the system control unit 131 and each block is omitted to make the drawing easier to see.
  • FIG. 14 is a flowchart showing the operation of the imaging apparatus according to Embodiment 1 of the present invention.
  • the imaging apparatus 101 is operated according to this flowchart by the system control unit 131 of the SLSI 125.
  • step S1010 the imaging apparatus 101 starts operation.
  • the host CPU not shown
  • the imaging apparatus 101 controls the imaging apparatus 101 (more precisely, the system control unit 131) to start the operation via the input / output unit 135, the imaging apparatus 101 starts the operation.
  • the imaging apparatus 101 inputs an imaging signal.
  • the image sensor driving unit 132 is configured by a logic circuit or the like, and generates a signal for driving the signal image sensor 123 for performing electronic shutter and transfer according to a command from the system control unit 131, and according to this signal.
  • the applied voltage is applied to the image sensor 122.
  • the imaging signal input unit 133 is connected in series with a CDS circuit (correlated double sampling circuit: Correlated Double Sampling Circuit), AGC (automatic gain controller: Automatic Gain Controller), and ADC (analog / digital converter: Analog Digital Converter).
  • CDS circuit correlated double sampling circuit: Correlated Double Sampling Circuit
  • AGC automatic gain controller: Automatic Gain Controller
  • ADC analog / digital converter: Analog Digital Converter
  • the imaging signal input unit 133 outputs the imaging signal I0 by removing fixed noise by the CDS circuit, adjusting the gain by the AGC, and converting the analog signal to the digital value by the ADC. To do.
  • the imaging apparatus 101 inputs a temperature sensor signal.
  • the temperature sensor signal input unit 134 includes an ADC (Analog / Digital / Converter), and receives a temperature sensor signal that is an analog voltage signal from the temperature sensor 126.
  • the temperature sensor signal is converted from an analog signal to a digital value and output as a temperature sensor signal Ts.
  • the temperature sensor signal Ts takes a value from 0 to 4095.
  • it is assumed that the temperature sensor signal Ts is generated using a 12-bit ADC.
  • the imaging apparatus 101 performs temperature compensation for various coefficients.
  • the temperature compensation calculation unit 142 receives the temperature sensor signal Ts, and uses the temperature sensor signal Ts and the data stored in the coefficient storage unit 141 to use the distortion coefficients kd2, kd4, and the magnification (rx, ry), the optical axis center (xc1, yc1) of the first lens portion 113a, the optical axis center (xc2, yc2) of the second lens portion 113b, and the optical axis center (xc3, yc3) of the third lens portion 113c.
  • the optical axis center (xc4, yc4) of the fourth lens unit 113d, the focal length f, and the optical axis distance Dx in the x direction of each lens unit are output.
  • FIG. 15 is a diagram for explaining the coefficient storage unit according to the first embodiment of the present invention.
  • the values of the optical axis center x-coordinate xc1 when the value of the temperature sensor signal Ts is 0, 256, 512, 768, 1024,..., 3840, 4096 are xc1_0, xc1_256, xc1_512, respectively.
  • xc1_768, xc1_1024,..., xc1_3040, and xc1_4096 are stored in the coefficient storage unit 141 in correspondence with the respective values of the temperature sensor signal Ts.
  • the optical axis center y-coordinate yc1 of the first lens unit 113a, the optical axis center (xc2, yc2) of the second lens unit 113b, the optical axis center (xc3, yc3) of the third lens unit 113c, the fourth The optical axis center (xc4, yc4), the distortion coefficients k2, k4, the magnification (rx, ry), the focal length f, and the optical axis distance Dx of each lens unit in the x direction are respectively a coefficient storage unit.
  • the value at each temperature is stored in 141, and is created by performing an interpolation operation on the temperature sensor signal Ts.
  • xc1 xc1_512 + (Ts-512) / (768-512) * (xc_768-xc1_512) (11)
  • the coefficient stored in the coefficient storage unit 141 is created and stored as follows.
  • the center of the optical axis of each lens unit is based on Expressions (9) and (10), and the amount of change ddx in the x direction of the interval between the optical axes as the temperature rises, as in Expressions (12) and (13) below.
  • the amount of change ddy in the y direction is calculated, and it is created assuming that the center of the optical axis moves by half (p * ddx / 2 in the x direction and p * ddy / 2 in the y direction).
  • T (Ts) represents a physical temperature represented by the value of the temperature sensor signal Ts converted into a digital value by the ADC.
  • the optical axis center (xc1, yc1) of the first lens unit 113a is in the x direction from the optical axis center (xc10, yc10) at the reference temperature Th0.
  • the optical axis center (xc2, yc2) of the second lens unit 113b is + ddx / in the x direction from the optical axis center (xc20, yc20) at the reference temperature Th0. 2. Create to move by -ddy / 2 in the y direction.
  • the optical axis center (xc3, yc3) of the third lens portion 113c is ⁇ ddx / in the x direction from the optical axis center (xc30, yc30) at the reference temperature Th0. 2.
  • the optical axis center (xc4, yc4) of the fourth lens portion 113d moves by + ddx / 2 in the x direction and + ddy / 2 in the y direction from the optical axis center (xc40, yc40) at the reference temperature Th0.
  • xc1 xc10-ddx / 2 (14)
  • yc1 yc10-ddy / 2 (15)
  • xc2 xc20 + ddx / 2 (16)
  • yc2 yc20-ddy / 2 (17)
  • xc4 xc40 + ddx / 2 (20)
  • yc4 yc40 + ddy / 2 (21)
  • the distortion coefficients k2 and k4 are created by obtaining values at each temperature through optical analysis and experiments.
  • the length lk of the lens barrel is estimated as in the following formula (22).
  • Th0 is the reference temperature
  • lk0 is the length of the lens barrel at the reference temperature Th0
  • kk is the thermal linear expansion coefficient of the lens barrel
  • T (Ts) is the physical temperature sensor physical temperature indicated by the temperature sensor signal Ts. Temperature.
  • the distance between the lens principal point and the imaging surface of the imaging region is proportional to the length of the lens barrel.
  • the magnification is proportional to the distance between the lens principal point and the imaging surface of the imaging region. Therefore, the magnification is proportional to the change in the length of the lens barrel. Therefore, the ratio before and after the change in the length of the lens barrel is defined as a magnification ratio.
  • a value at each temperature is obtained by optical analysis or the like for a change in magnification due to a change in focal length, and a magnification ratio rfx in the x direction due to a change in focal length according to the value Ts of the temperature sensor as shown in the following equations (112) and (113).
  • an optical analysis calculates a magnification ratio rfx in the x direction due to the change in focal length and a magnification ratio rfy in the y direction due to a change in focal length. The rate may be varied.
  • rfx rfx (Ts) (112)
  • rfy rfy (Ts) (113)
  • magnification ratio rfx in the x direction due to the change in the focal length, and the magnification ratio rfy in the y direction due to the change in the focal length. 1 may be set to 1, and only the correction of the magnification change accompanying the change in the lens barrel length due to the temperature may be performed.
  • the magnification ratio rkx in the x direction due to the change in barrel length and the magnification in the y direction due to the change in barrel length may be set to 1, and only the correction of the magnification change accompanying the focal length change due to the temperature may be performed.
  • the focal length (or refractive index) and the lens barrel extension are simultaneously changed according to the temperature to obtain the magnification at each temperature, and the ratio to the reference temperature is defined as the x-direction magnification rx and the y-direction magnification ry. Also good.
  • the focal length f at the reference temperature is used as the focal length f in both cases of correcting the magnification change accompanying the change in the lens barrel length and correcting the magnification change accompanying the change in the focal length.
  • the imaging apparatus 101 corrects and cuts out the image.
  • the imaging signal correction unit 143 includes the imaging signal I0, the distortion coefficients kd2, kd4, the magnification (rx, ry), the optical axis center (xc1, yc1) of the first lens unit 113a, and the second lens unit.
  • the optical axis center (xc2, yc2) of 113b, the optical axis center (xc3, yc3) of the third lens portion 113c, and the optical axis center (xc4, yc4) of the fourth lens portion 113d are input, and the imaging signal I0
  • An image obtained by capturing the subject image formed by each lens unit is cut out, and the cut-out image is subjected to correction processing such as distortion correction, and these are respectively converted into the first imaging corresponding to the first lens unit 113a.
  • FIG. 16 is a diagram for explaining the cut-out position of the image pickup signal of the image pickup apparatus according to Embodiment 1 of the present invention.
  • the first imaging signal I1 (x, y) is obtained by converting the imaging signal I0 from the origin (x01, y01) to the H1 in the x direction. This is an image of a region cut out by V1 pixels in the y direction.
  • the second image signal I2 (x, y) is the image signal I0 from the origin (x02, y02), H1 pixel in the x direction, and y direction.
  • the third image signal I3 (x, y) is the image signal I0 from the origin (x03, y03), only the H1 pixel in the x direction and the V1 pixel in the y direction.
  • the fourth image signal I4 (x, y) is an image of the clipped region, and is a region of the image signal I0 cut from the origin (x04, y04) by H1 pixels in the x direction and V1 pixels in the y direction. It is an image.
  • the imaging apparatus according to the first embodiment performs the following processing in consideration of movement of the optical axis center due to thermal expansion, distortion correction, and magnification correction.
  • the reference coordinates (tx1, ty1) for one imaging signal are calculated, and the first coordinates from the imaging signal I0 using the reference coordinates (tx1, ty1) for the first imaging signal as shown in the following equation (29).
  • One imaging signal I1 (x, y) is calculated. Note that the reference coordinates (tx1, ty1) for the first imaging signal may have a decimal point.
  • the integer part of the reference coordinates (tx1, ty1) for the first imaging signal is set to (tx1i, ty1i)
  • the decimal part is set to (tx1f, ty1f)
  • 4 pixels are expressed as in the following equation (30). Use and calculate.
  • equations (26), (27), (28), (29), and (30) calculations are performed from 0 to H1-1 for x and from 0 to V1-1 for y.
  • the distortion coefficients kd2, kd4 the magnification (rx, ry), and the optical axis center (xc2, yc2) of the second lens portion 113b as in the following formulas (31), (32), (33).
  • the reference coordinate (tx2, ty2) for the second imaging signal is calculated, and the imaging signal is calculated using the reference coordinate (tx2, ty2) for the second imaging signal as shown in the following equation (34).
  • a second imaging signal I2 (x, y) is calculated from I0. Also, using the distortion coefficients kd2, kd4, magnification (rx, ry), and the optical axis center (xc3, yc3) of the third lens portion 113c as in the following equations (35), (36), (37).
  • the reference coordinates (tx3, ty3) for the third imaging signal are calculated, and the imaging signal I0 is calculated using the reference coordinates (tx3, ty3) for the third imaging signal as shown in the following equation (38).
  • a third imaging signal I3 (x, y) is calculated.
  • the distortion coefficients kd2, kd4, the magnification (rx, ry), and the optical axis center (xc4, yc4) of the fourth lens portion 113d are used.
  • 4 is calculated from the imaging signal I0 using the reference coordinates (tx4, ty4) for the first imaging signal as shown in the following equation (42).
  • 4 image signals I4 (x, y) are calculated.
  • ⁇ 2 represents a square operation and ⁇ 4 represents a fourth power operation.
  • tx1 x01 + xc1 + (x-xc1) * (1 + kd2 * r1 ⁇ 2 + kd4 * r1 ⁇ 4) * rx (26)
  • ty1 y01 + yc1 + (y-yc1] * (1 + kd2 * r1 ⁇ 2 + kd4 * r1 ⁇ 4) * ry (27)
  • I1 (x, y) I0 (tx1, ty1) (29)
  • I1 (x, y) (1-tx1f) * (1-ty1f) * I0 (tx1i, ty1i) + tx1f * (1-ty1f) * I0 (tx1
  • I2 (x, y) I0 (tx2, ty2) (34)
  • tx3 x03 + xc3 + (x-xc3) * (1 + kd2 * r3 ⁇ 2 + kd4 * r3 ⁇ 4) * rx (35)
  • ty3 y03 + yc3 + (y-yc3) * (1 + kd2 * r3 ⁇ 2 + kd4 * r3 ⁇ 4) * ry ...
  • the imaging apparatus 101 calculates a distance.
  • the distance calculation unit 144 includes a first imaging signal I1, a second imaging signal I2, a third imaging signal I3, a fourth imaging signal I4, a focal length f, and an optical axis distance in the x direction. Dx is input, distance is calculated, and distance data DIS is output.
  • FIG. 17 is a flowchart showing the operation of the distance calculation unit of the imaging apparatus according to Embodiment 1 of the present invention.
  • the flowchart in FIG. 17 shows details of the operation in step S1200.
  • step S1210 is executed.
  • step S1210 the distance calculation unit starts a calculation operation.
  • step S1230 the distance calculation unit divides the block.
  • FIG. 18 is a diagram for explaining block division in the imaging apparatus according to Embodiment 1 of the present invention.
  • the first imaging signal I1 is divided into rectangular blocks having HB pixels in the x direction and VB pixels in the y direction, and has Nh blocks in the x direction and Nv blocks in the y direction.
  • step S1240 the distance calculation unit selects a block.
  • step S1240 is executed for the first time after executing step S1210 (FIG. 17)
  • the block indicated by (0,0) is selected.
  • step S1240 is executed, the block is sequentially moved to the right (+ x direction). Select the shifted block.
  • step S1240 when step S1240 is executed for the first time after execution of step S1210, the block indicated by (i% Nh, int (i / Nh)) is selected at the i-th.
  • i% Nh is a remainder when i is divided by Nh
  • int (i / Nh) is an integer part of a quotient when i is divided by Nh.
  • this block is referred to as a selected block B (ih, iv).
  • step S1250 the distance calculation unit performs a parallax calculation.
  • the parallax and parallax reliability between the first lens imaging signal I1 and the second lens imaging signal I2 are calculated.
  • a parallax evaluation value R12 (kx) between the first lens imaging signal I1 and the second lens imaging signal I2 is calculated.
  • FIG. 19 is a diagram for explaining a calculation area of a parallax evaluation value in a parallax calculation when the first imaging signal and the second imaging signal are used in the imaging apparatus according to Embodiment 1 of the present invention.
  • an area indicated by I1 indicates an area selected by the selection block B (ih, iv) of the first lens imaging signal I1, and an area indicated by I2 extends in the x direction from the coordinates of the selection block.
  • an absolute value difference sum SAD: Sum of Absolute Differences
  • R12 (kx) an absolute value difference sum shown in the following equation (51) is calculated to obtain a parallax evaluation value R12 (kx).
  • the parallax evaluation value R12 (kx) is calculated using the first lens imaging signal I1 as a reference.
  • R12 (kx)
  • the parallax evaluation value R12 (kx) is determined by how much the first lens imaging signal I1 of the selected block B (ih, iv) and the second lens imaging signal I2 in a region shifted by kx in the x direction from the selected block. It indicates whether there is a correlation, and a smaller value indicates a larger correlation (similarly).
  • FIG. 20 is a diagram illustrating the relationship between the shift amount and the parallax evaluation value in the parallax calculation when the first imaging signal and the second imaging signal of the imaging apparatus according to Embodiment 1 of the present invention are used. .
  • the first lens imaging signal I1 of the selected block B (ih, iv) and the second lens imaging signal I2 in the region shifted by ⁇ in the x direction from the selected block have the highest correlation, that is, the most similar Indicates that Therefore, it can be seen that the parallax between the first lens imaging signal I1 and the second lens imaging signal I2 in the selected block B (ih, iv) is ⁇ . Therefore, as shown in the following equation (52), this parallax ⁇ is set as a parallax value ⁇ 12 (ih, iv) between the first lens imaging signal I1 and the second lens imaging signal I2 in the selected block B (ih, iv).
  • the parallax and parallax reliability between the first lens imaging signal I1 and the third lens imaging signal I3 are obtained in the same manner.
  • the shifting direction is changed to the y direction, and the shifting amount is ky.
  • the parallax evaluation value R13 (ky) of the first lens imaging signal I1 and the third lens imaging signal I3 in the selected block B (ih, iv) is obtained. That is, the parallax evaluation value R13 (ky) is calculated based on the first lens imaging signal I1.
  • the shift amount giving the minimum value that is, the parallax ⁇ is set as the parallax between the first lens imaging signal I1 and the third lens imaging signal I3 in the selected block B (ih, iv) as shown in the following equation (55).
  • the value ⁇ 13 (ih, iv) is set, and the parallax evaluation value R13 ( ⁇ ) is set to the first lens imaging signal I1 and the third lens imaging signal I3 in the selected block B (ih, iv) as shown in the following formula (56).
  • R13 (ky)
  • the parallax and parallax reliability between the first lens imaging signal I1 and the fourth lens imaging signal I4 are obtained in the same manner.
  • the shifting direction is changed to an oblique direction (a direction connecting the optical axis of the first lens unit 113a and the optical axis of the fourth lens unit 113d), and the shifting amount is kx in the x direction and kx * Dy in the y direction. / Dx.
  • the parallax evaluation value R14 (kx) of the first lens imaging signal I1 and the fourth lens imaging signal I4 in the selected block B (ih, iv) is obtained.
  • the parallax evaluation value R14 (kx) is calculated using the first lens imaging signal I1 as a reference. Then, the shift amount giving the minimum value, that is, the parallax ⁇ is set as the parallax between the first lens imaging signal I1 and the fourth lens imaging signal I4 in the selected block B (ih, iv) as shown in the following equation (58). The value ⁇ 14 (ih, iv) is set, and the parallax evaluation value R14 ( ⁇ ) is set to the first lens imaging signal I1 and the fourth lens imaging signal I4 in the selected block B (ih, iv) as shown in the following equation (59). And C14 (ih, iv).
  • the lens imaging signal I4 is obtained from the surrounding pixels by linear interpolation or the like.
  • Dx and Dy are the distance between the lens parts in the x direction and the distance between the lens parts in the y direction in the first lens part 113a and the fourth lens part 113d.
  • the above three parallax reliability levels are compared, and the most reliable parallax value is set as the parallax value in this block. That is, when the three parallax reliability C12 (ih, iv), C13 (ih, iv), and C14 (ih, iv) are compared and C12 (ih, iv) is the smallest, as in the following equation (60)
  • the parallax value ⁇ (ih, iv) is set as the parallax value ⁇ (ih, iv) in the block B (ih, iv) when C14 (ih, iv) is the smallest.
  • the distance calculation unit calculates a distance from the parallax.
  • equation (7) is solved for distance A, it is expressed as equation (8). Therefore, the distance DIS (x, y) of the region included in block B (ih, iv) is expressed by equation (61) below.
  • f is the focal length
  • Dx is the distance between the optical axes in the x direction
  • p is the distance between the light receiving elements of the image sensor 123. Since the parallax value ⁇ is a pixel unit, the parallax value ⁇ is multiplied by p to be converted into the same unit system as the focal length f and the like.
  • DIS (x, y) [f * Dx] / [p * ⁇ (ih, iv)] ((x, y) is in the range of B (ih, iv)) (61)
  • step S1270 the distance calculation unit determines whether or not to end the distance calculation.
  • the distance calculation unit determines to end the distance calculation, and then executes step S1280.
  • Step S1240 it is determined to continue the distance calculation, and then Step S1240 is executed.
  • step S1280 the distance calculation unit ends the distance calculation and returns to the upper routine. In this way, the distance DIS (x, y) at the coordinates (x, y) after cutting is obtained.
  • step S1910 the imaging apparatus 101 performs data output.
  • the input / output unit 135 outputs image data, distance data, and temperature data to the outside of the imaging apparatus 101.
  • image data the imaging signal I0 or the first imaging signal I1 is output.
  • the distance DIS is output as distance data.
  • a temperature sensor signal Ts is output as temperature data.
  • step S1920 the imaging apparatus 101 determines whether to end the operation.
  • the system control unit 131 communicates with a host CPU (not shown) via the input / output unit 135 and requests an instruction whether to end the operation. If the host CPU commands the end, the operation is terminated, and then step S1930 is executed. On the other hand, if the host CPU does not command termination, the operation is continued, and then step S1020 is executed. That is, as long as the upper CPU does not command termination, the execution of the loops of step S1020, step S1030, step S1110, step S1120, step S1200, and step S1910 is continued.
  • step S1930 the imaging apparatus 101 ends the operation.
  • the imaging apparatus of the present embodiment is configured and operated as described above, so that the following effects are achieved.
  • the imaging apparatus measures the ambient temperature of the lens array 113 by the temperature sensor 126 and inputs the temperature sensor signal Ts. Then, by utilizing the fact that the lens array 113 is isotropically expanded because it is substantially circular, the distance between the optical axes in the x direction according to the temperature rise of the lens array 113 is obtained by the equations (12) and (13). The amount of change ddx and the amount of change ddy in the y direction are obtained, and the optical axis is changed by half of the interval, and the optical axis center (xc1, yc1) of the first lens unit 113a is obtained by equations (14) to (21).
  • the amount of change in the interval between the plurality of lens portions is obtained based on the temperature detected by the temperature sensor 126, and the optical axis origin of the plurality of lenses is moved by half of the amount of change to eliminate distortion around the optical axis origin.
  • the captured image moves.
  • the image center is shifted when the temperature changes even if the center of the image obtained by the imaging device is matched with the center of the image viewed by the driver. Therefore, the driver feels uncomfortable.
  • the imaging apparatus of Embodiment 1 even if the temperature changes, the change in the image center can be suppressed. Therefore, it is possible to realize an imaging apparatus suitable for monitoring the front of an automobile.
  • the imaging apparatus has, for example, a plurality of correction coefficients (sensor temperature) corresponding to the temperature sensor signal Ts if the optical axis center x-coordinate xc1 of the first lens unit 113a is used.
  • the temperature sensor signal Ts is stored, and interpolation processing is performed as shown in Expression (11) to create the temperature sensor signal Ts.
  • the optical axis center y-coordinate yc1 of the first lens unit 113a, the optical axis center (xc2, yc2) of the second lens unit 113b, the optical axis center (xc3, yc3) of the third lens unit 113c, the first The optical axis center (xc4, yc4), the distortion coefficients k2, k4, the magnification (rx, ry), and the optical axis distance Dx in the x direction of each lens unit are respectively stored in the coefficient storage unit 141.
  • the temperature value is saved and created by performing an interpolation operation using the temperature sensor signal Ts.
  • the image pickup apparatus supports all temperature sensor signals Ts (takes digital values from 0 to 4095) when storing the correction coefficient corresponding to each temperature sensor signal Ts in advance.
  • the correction coefficient thinned out every 256 without storing the correction coefficient is stored, and a correction coefficient interpolated with respect to the temperature is created.
  • the correction coefficient the sensor temperature signal Ts is 0, 256, 512, 768, 1024, etc Thinned out every 256 times with respect to the temperature sensor signal Ts.
  • the storage area can be omitted by the thinned-out amount (the storage area used is 1/256 times), so that a low-cost imaging device with a reduced circuit scale can be realized. it can.
  • the optical axis center (xc1, yc1) of the first lens unit 113a and the optical axis center of the second lens unit 113b ( xc2, yc2), the optical axis center (xc3, yc3) of the third lens portion 113c, the optical axis center (xc4, yc4) of the fourth lens portion 113d, the distortion coefficients k2, k4, and the magnification (rx, ry)
  • the reference coordinates (tx1, ty1) for the first imaging signal are obtained using the equations (26), (27), and (28), and the equations (31), (32), and (33) are used.
  • the reference coordinates (tx2, ty2) for the second imaging signal, and the reference coordinates (tx3, ty3) for the third imaging signal are obtained using the equations (35), (36), and (37).
  • the reference coordinates (tx4, ty4) for the fourth imaging signal are obtained using equations (39), (40), and (41), and a plurality of imaging signals indicated by the reference coordinates are referred to and the equation (29 ), (30), (34), (3 ),
  • To create a first image pickup signal I1, the second image pickup signal I2, the third image pickup signal I3, and the fourth image pickup signal I4 is corrected imaging signal subjected to the interpolation process as in (42).
  • the reference destination coordinates (reference destination coordinates (tx1, ty1) for the first imaging signal, reference destination coordinates (tx2, ty2) for the second imaging signal, 3) the reference coordinates (tx3, ty3) for the image pickup signal and the reference coordinates (tx4, ty4) for the fourth image pickup signal are required. Cost. In particular, when it is necessary to change the reference destination coordinates depending on the temperature, the reference destination coordinates for each temperature are required, and an enormous storage capacity is required.
  • correction coefficients (the optical axis center (xc1, yc1) of the first lens unit 113a), the optical axis center (xc2, yc2) of the second lens unit 113b, and the third lens unit 113c are sequentially determined.
  • Reference destination coordinates (for the first imaging signal) from the optical axis center (xc3, yc3), the optical axis center (xc4, yc4) of the fourth lens unit 113d, the distortion coefficients k2, k4, and the magnification (rx, ry))
  • Reference destination coordinates (tx1, ty1), reference coordinates for the second imaging signal (tx2, ty2), reference coordinates for the third imaging signal (tx3, ty3), and for the fourth imaging signal
  • the reference coordinates (tx4, ty4)) are obtained, and corrected image signals (first image signal I1, second image signal I2, third image signal I3, and fourth image signal I4) are created.
  • the temperature compensation calculation unit 142 creates a magnification (rx, ry) based on the temperature sensor signal Ts, and the imaging signal correction unit 143 produces a magnification (rx, ry).
  • the imaging signal I0 is corrected, and corrected imaging signals (first imaging signal I1, second imaging signal I2, third imaging signal I3, and fourth imaging signal I4) are created.
  • the length of the lens barrel 111 the main lens sections of the lens array 113 (first lens section 113a, second lens section 113b, third lens section 113c, and fourth lens section 113d)
  • the distance between the point and the light receiving surface of the image sensor 123 changes, and the magnification changes accordingly.
  • a magnification ratio (rkx, rky) corresponding to the temperature change of the length of the lens barrel 111 is created, and a magnification (rx, ry) is created based on the magnification ratio (rkx, rky).
  • magnification ratio (rfx, rfy) corresponding to the change in focal length
  • correct the imaging signal by the magnification (rx, ry) By doing so, the influence of the temperature change of the focal length can be reduced, so that a highly accurate parallax calculation can be realized, and therefore a highly accurate distance calculation can be realized.
  • the temperature compensation calculation unit 142 creates a magnification (rx, ry) based on the temperature sensor signal Ts, and the imaging signal correction unit 143 produces a magnification (rx, ry).
  • the imaging signal I0 is corrected, and corrected imaging signals (first imaging signal I1, second imaging signal I2, third imaging signal I3, and fourth imaging signal I4) are created. That is, the same magnification correction is performed with respect to the temperature in each imaging signal. Since there is one lens barrel, the change in magnification accompanying the change in the length of the lens barrel is the same for all imaging signals.
  • the lens units (first lens unit 113a, second imaging unit) corresponding to the respective imaging signals (first imaging signal I1, second imaging signal I2, third imaging signal I3, and fourth imaging signal).
  • the lens portion 113b, the third lens portion 113c, and the fourth lens portion 113d) are integrally formed in one lens array 113, and the temperature change of the refractive index of all the lens portions, and hence all the lenses.
  • the temperature change of the focal length of the part is equal.
  • each lens unit can be regarded as the same magnification change with respect to temperature. Accordingly, it is only necessary to create one magnification correlation correction coefficient for a plurality of imaging regions, and accordingly, an imaging apparatus that can reduce the calculation time and can perform distance calculation with high accuracy at low cost can be realized.
  • the imaging signal obtained by each lens unit has the same shape for an imaging target having a shape parallel to a straight line connecting the optical axis centers of the lens units. Therefore, parallax cannot be obtained.
  • a set of three imaging signals (first imaging signal I1 and second imaging signal I2, first imaging signal I1 and third imaging signal I3, and first imaging signal The imaging signal I1 and the fourth imaging signal I4) are selected, and the respective parallax ⁇ 12 (ibx, iby), ⁇ 13 (ibx, iby), and ⁇ 14 (ibx, iby) are obtained for each set.
  • a horizontal linear imaging target cannot be measured from a set (first imaging signal I1 and second imaging signal I2) arranged in the horizontal direction, but is arranged in the vertical direction.
  • a set (first imaging signal I1 and third imaging signal I3, and second imaging signal I2 and fourth imaging signal I4), and a pair arranged obliquely (first imaging signal I1 and fourth imaging signal I4) The distance can be measured by using the imaging signal I4). Therefore, it is possible to deal with imaging objects having various shapes.
  • a plurality of the parallax reliability (C12 (ih, iv), C13 (ih, iv), and C14 (ih, iv)) are respectively calculated, and the block B For each (ih, iv), specify the parallax ⁇ (ih, iv) having the highest reliability among the parallaxes ( ⁇ 12 (ih, iv), ⁇ 13 (ih, iv), and ⁇ 14 (ih, iv)), The distance is calculated based on the parallax ⁇ (ih, iv).
  • the parallax calculation is performed based on the parallax ⁇ (ih, iv) with high reliability, it is possible to perform distance measurement with high reliability.
  • the parallax ( ⁇ (ih, iv)) with high reliability without performing distance calculation in all sets of parallaxes ( ⁇ 12 (ih, iv), ⁇ 13 (ih, iv), and ⁇ 14 (ih, iv)) Since only the distance calculation is performed, high-speed distance measurement is possible.
  • the temperature compensation calculation unit 142 creates a magnification (rx, ry) based on the temperature sensor signal Ts, and the imaging signal correction unit 143 produces a magnification (rx, ry).
  • the imaging signal I0 is corrected, and corrected imaging signals (first imaging signal I1, second imaging signal I2, third imaging signal I3, and fourth imaging signal I4) are created. Therefore, even if the temperature changes, the size of the subject image on the corrected imaging signal does not change. Therefore, when not only distance information but also a corrected imaging signal is output as image information from the imaging device, and the image processing for face recognition is performed by the subsequent controller, for example, the size of the subject image does not change even if the temperature changes. Since it does not change, the correct face size can be obtained.
  • FIG. 21 is a plan view showing the configuration of the lens array of the imaging apparatus according to the second modification of the first embodiment.
  • the lens array 113A shown in FIG. 21 (a) it may be molded into a rectangular shape.
  • projections or the like extending in the planar direction may be provided on the end surfaces thereof.
  • FIG. 22 is a plan view showing the configuration of the lens array of the imaging apparatus according to the third modification of the first embodiment.
  • a lens array 113C shown in FIG. 22A may have two lens portions (a first lens portion 113Ca and a second lens portion 113Cb) separated by Dx in the x direction.
  • the coefficient storage unit 141 determines and stores the optical axis center of each lens unit as follows.
  • the change amount ddx in the x direction and the change amount ddy in the y direction of the interval between the optical axes due to the temperature rise are calculated, and half of them (p * ddx / 2 in the x direction)
  • the optical axis center is moved by p * ddy / 2) in the y direction.
  • the optical axis center (xc1, yc1) of the first lens portion 113Ca is in the x direction from the optical axis center (xc10, yc10) at the reference temperature Th0. To move only -ddx / 2.
  • the optical axis center (xc2, yc2) of the second lens portion 113Cb is + ddx in the x direction from the optical axis center (xc20, yc20) at the reference temperature Th0.
  • xc1 xc10-ddx / 2 (64)
  • yc1 yc10 (65)
  • xc2 xc20 + ddx / 2 (66)
  • yc2 yc20 (67)
  • the nine outermost lens portions are separated by Dx in the x direction and Dy in the y direction.
  • the coefficient storage unit 141 determines and stores the optical axis center of each lens unit as follows.
  • the change amount ddx in the x direction and the change amount ddy in the y direction of the interval between the optical axes due to the temperature rise are calculated, and half of them (p * ddx / 2 in the x direction)
  • the optical axis center is moved by p * ddy / 2) in the y direction.
  • the optical axis center (xc1, yc1) of the first lens portion 113Da is in the x direction from the optical axis center (xc10, yc10) at the reference temperature Th0.
  • the optical axis center (xc2, yc2) of the second lens portion 113Db is ⁇ ddy in the y direction from the optical axis center (xc20, yc20) at the reference temperature Th0. Create to move only / 2.
  • the optical axis center (xc3, yc3) of the third lens portion 113Dc is + ddx in the x direction from the optical axis center (xc30, yc30) at the reference temperature Th0. Created to move -ddy / 2 in the / 2, y direction.
  • the optical axis center (xc4, yc4) of the fourth lens portion 113Dd is ⁇ ddx in the x direction from the optical axis center (xc40, yc40) at the reference temperature Th0. Create to move only / 2. Further, as in the following formulas (76) and (77), the optical axis center (xc5, yc5) of the fifth lens portion 113De is created so as not to move from the optical axis center (xc10, yc10) at the reference temperature Th0. To do.
  • the optical axis center (xc6, yc6) of the sixth lens portion 113Df is + ddx in the x direction from the optical axis center (xc60, yc60) at the reference temperature Th0. Create to move only / 2.
  • the optical axis center (xc7, yc7) of the seventh lens portion 113Dg is ⁇ ddx in the x direction from the optical axis center (xc70, yc70) at the reference temperature Th0. Created to move by + ddy / 2 in the / 2, y direction.
  • the optical axis center (xc8, yc8) of the eighth lens portion 113Dh is + ddy in the y direction from the optical axis center (xc80, yc80) at the reference temperature Th0. Create to move only / 2.
  • the optical axis center (xc9, yc9) of the ninth lens portion 113Di is + ddx in the x direction from the optical axis center (xc90, yc90) at the reference temperature Th0. Created to move by + ddy / 2 in the / 2, y direction.
  • the temperature sensor 126 is disposed on the substrate 121. As described above, when the temperature sensor 126 is provided on the substrate 121, the temperature sensor 126 and the temperature sensor signal input unit 134 may be connected using the wiring on the substrate 121, so that the mounting is easy. There is. However, the present invention is not limited to such a configuration.
  • the temperature sensor 126 detects the temperature of the substrate 121 in the vicinity of the lens array 113, and its purpose is to detect the temperature of the lens array 113.
  • the temperature of the lens array 113 can be detected directly or indirectly.
  • a temperature having a correlation with the temperature of the lens array 113 or a physical quantity other than the temperature may be detected. Then, they can be used in place of the temperature of the lens array 113 that is directly detected by correcting them to the temperature of the lens array 113 or by taking into account the difference from the temperature of the lens array 113.
  • the temperature of the substrate 121 in the vicinity of the lens array 113 is detected. Therefore, in addition to this, for example, the temperature sensor 126 may be arranged in parallel with the image sensor 123 in the package 122.
  • the temperature sensor 126 since the temperature sensor 126 is disposed in the vicinity of the image sensor 123, it is necessary to consider that dust or the like does not adhere to the image sensor 123 when the temperature sensor 126 is mounted, but it is closer to the lens array 113. This increases the accuracy of temperature detection. As a result, it is possible to correct the change of the optical axis more correctly and correct the distortion more correctly, so that the distance measurement accuracy can be improved.
  • the SLSI 125 may be created using a manufacturing process in which a part of the SLSI 125 becomes the temperature sensor 126. In this case, since it is not necessary to mount the temperature sensor 126, the mounting cost can be reduced accordingly.
  • the temperature sensor 126 may be attached to the outer wall or the inner wall of the lens barrel 111.
  • the accuracy of temperature detection is increased. Therefore, the change of the optical axis can be corrected more correctly, the distortion can be corrected more correctly, and the distance measurement accuracy can be improved.
  • it may be embedded in the barrel 111. In this case, it is necessary to consider the wiring of the temperature sensor 126 and the manufacturing method of the lens barrel 111. However, since the temperature sensor 126 can be disposed inside the lens barrel 111 close to the lens array 113, the distance measurement accuracy is similarly improved. Can be improved.
  • the temperature sensor 126 may be disposed at an appropriate position of the lens array 113 and connected by appropriate wiring.
  • the temperature detection accuracy is further increased, and as a result, the distance measurement accuracy can be improved.
  • the temperature sensor 126 is disposed inside the lens array 113, the accuracy of temperature detection is further increased and the distance measurement accuracy is improved. Can do.
  • the imaging device of Embodiment 1 uses the same magnification in all the lens units, the magnification may be different for each lens unit. In this case, each magnification is obtained by measurement or the like.
  • the imaging apparatus of Embodiment 1 includes the distortion coefficients kd2 and kd4, the magnification (rx, ry), the optical axis center (xc1, yc1) of the first lens unit 113a, and the optical axis center of the second lens unit 113b. (xc2, yc2), the optical axis center (xc3, yc3) of the third lens unit 113c, the optical axis center (xc4, yc4) of the fourth lens unit 113d, the focal length f, and the x direction of each lens unit
  • the temperature compensation is performed on the optical axis distance Dx and the imaging signal is corrected, the present invention is not limited to this.
  • the lens array 113 is formed into a substantially circular shape, and each lens unit (the first lens unit 113a, the second lens unit 113b, the third lens unit 113c, and the first lens unit 113) is formed. 4 lens portions 113 d) are arranged at the same distance from the center of the lens array 113.
  • the amount of change in the optical axis interval of each lens portion of the lens array 113 is obtained, the optical axis origin of each lens portion is moved by half the amount of change, and the area around the optical axis origin is obtained.
  • the image is corrected so as to eliminate the distortion.
  • the influence of the distortion can be reduced correctly even if the temperature changes, so that an imaging apparatus that detects parallax with high accuracy and therefore measures distance with high accuracy has been realized.
  • an imaging apparatus was realized in which the center of the image does not change even when the temperature changes.
  • the imaging apparatus includes lens units that are not arranged at the same distance from the center of the lens array.
  • highly accurate parallax can be detected without being affected by temperature changes, and therefore the distance can be measured with high accuracy, and images can be obtained.
  • the center change can be suppressed.
  • the imaging apparatus is configured to replace the lens array 113 according to the first embodiment with the lens array 213, and further store a correction coefficient corresponding to the lens array 213 in the coefficient storage unit 141 according to the first embodiment.
  • Other configurations are the same as those of the first embodiment. Therefore, in FIG. 23, the same code
  • FIG. 23 is a plan view showing the configuration of the lens array of the imaging apparatus according to Embodiment 2 of the present invention.
  • the lens array 213 has a substantially disk shape, is formed of an optical glass material, a transparent resin, or the like, and includes a first lens portion 213a, a second lens portion 213b, a third lens portion 213c, and a fourth lens portion 213d. Are arranged in a grid pattern. As shown in FIG. 23, the x axis and the y axis are set along the arrangement direction of the first to fourth lens portions 213a to 213d.
  • the light incident from the subject side is emitted to the image sensor 123 side, and is on the image sensor 123.
  • Four images are formed on (see FIG. 1).
  • the optical axis of the first lens unit 213a and the optical axis of the second lens unit 213b are separated by Dx in the horizontal direction (x-axis direction), and the vertical direction (y-axis direction).
  • the two are coincident with each other and are arranged at positions symmetrical with respect to the axis in the y-axis direction passing through the center 213o of the lens array 213.
  • the optical axis of the first lens unit 213a and the optical axis of the second lens unit 213b are arranged away from the center 213o of the lens array 213 by Dy1 in the y-axis direction. Further, the optical axis of the third lens portion 213c and the optical axis of the fourth lens portion 213d are separated by Dx in the horizontal direction (x-axis direction) and coincide with each other in the vertical direction (y-axis direction). They are arranged at symmetrical positions with respect to the axis in the y-axis direction passing through the center 213o of the array. The optical axis of the third lens unit 213c and the optical axis of the fourth lens unit 213d are arranged away from the center 213o of the lens array 213 by Dy2 in the y-axis direction.
  • the optical axis center of each lens unit stored in the coefficient storage unit 141 is determined as follows.
  • the center of the optical axis of each of the lens portions 213a to 213d moves to the outside of the lens with respect to the center 213o of the lens array 213, as indicated by the arrows in FIG. To do.
  • This amount of movement is approximately proportional to the distance from the center 213o of the lens array 213 to the optical axis of each of the lens portions 213a to 213d.
  • the movement amount dbx1 in the x-axis direction and the movement amount dby1 in the y-axis direction of the first lens unit 213a accompanying the expansion of the lens array 213 due to a temperature rise are expressed by the following equation (86) with the pixel interval of the image sensor 123 as a unit. ) And (87).
  • Dx / 2 is the distance between the axis in the x-axis direction passing through the center 213o of the lens array 213 at the reference temperature Th0 and the optical axis of the first lens portion 213a
  • Dy1 is the same as the axis in the y-axis direction. This is the distance from the optical axis of the first lens unit 213a.
  • aL is the thermal linear expansion coefficient of the lens array 213
  • aS is the thermal linear expansion coefficient of the image sensor 123
  • T (Ts) is the physical temperature of the temperature sensor when the temperature sensor signal is Ts
  • p is a pixel interval of the image sensor 123.
  • the movement amount dbx2 in the x-axis direction and the movement amount dby2 in the y-axis direction of the second lens portion 213b due to the expansion of the lens array due to the temperature rise are expressed by the following formula (88) and the pixel interval of the image sensor 123 as units. It is expressed as (89).
  • Dx / 2 is the distance between the axis in the x-axis direction passing through the center 213o of the lens array 213 at the reference temperature Th0 and the optical axis of the second lens portion 213b
  • Dy1 is the same as the axis in the y-axis direction. 2 is a distance from the optical axis of the second lens unit 213b.
  • the movement amount dbx3 in the x-axis direction and the movement amount dby3 in the y-axis direction of the third lens unit 213c due to the expansion of the lens array due to the temperature rise are expressed by the following equation (90) with the pixel interval of the image sensor 123 as a unit. It is expressed as (91).
  • Dx / 2 is the distance between the axis in the x-axis direction passing through the center 213o of the lens array at the reference temperature Th0 and the optical axis of the third lens portion 213c
  • Dy2 is the same as the axis in the y-axis direction and the third axis.
  • the movement amount dbx4 in the x-axis direction and the movement amount dby4 in the y-axis direction of the fourth lens unit 213d due to the expansion of the lens array due to the temperature rise are expressed by the following equation (92) with the pixel interval of the image sensor 123 as a unit. It is expressed as (93).
  • Dx / 2 is the distance between the axis passing through the center 213o of the lens array at the reference temperature Th0 and the optical axis of the fourth lens portion 213d
  • the optical axis center of each lens unit is created on the assumption that the optical axis moves by the above-described movement amount.
  • the optical axis center (xc1, yc1) of the first lens portion 213a is in the x direction from the optical axis center (xc10, yc10) at the reference temperature Th0. -Ddx1 and + ddy1 in the y direction.
  • the optical axis center (xc2, yc2) of the second lens portion 213b is + ddx2 in the x direction from the optical axis center (xc20, yc20) at the reference temperature Th0.
  • the optical axis center (xc3, yc3) of the third lens portion 213c is ⁇ ddx3 in the x direction from the optical axis center (xc30, yc30) at the reference temperature Th0.
  • the optical axis center (xc4, yc4) of the fourth lens portion 213d is + ddx4 in the x direction from the optical axis center (xc40, yc40) at the reference temperature Th0.
  • xc1 xc10-ddx1 (94)
  • yc1 yc10 + ddy1 (95)
  • xc2 xc20 + ddx2 (96)
  • yc2 yc20 + ddy2 (97)
  • xc3 xc30-ddx3 (98)
  • yc3 yc30 + ddy3 (99)
  • xc4 xc40 + ddx4 (100)
  • yc4 yc40 + ddy4 (101)
  • the distortion coefficients k2, k4, the magnification (rx, ry), the focal length f, and the optical axis distance Dx in the x direction may be created and stored in the same manner as the imaging apparatus of the first embodiment.
  • the coordinate conversion performed using the above-described coordinate conversion table cuts out an image from the imaging signal I0 (x, y) as in the following formulas (102) to (105), and then It means to translate as in the following formulas (106) to (109).
  • the second embodiment can be modified in the same manner as the modification of the first embodiment.
  • the image pickup apparatus of the present invention is a small image pickup apparatus capable of measuring a distance
  • a mobile phone having a camera function, a digital still camera, an in-vehicle camera, a monitoring camera, a three-dimensional measuring instrument, and a stereoscopic image input camera Etc. are useful.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Lens Barrels (AREA)

Abstract

 本発明の撮像装置は、複数のレンズを含むレンズアレイと、前記複数のレンズと一対一に対応して設けられ、対応する前記レンズの光軸方向に対して略垂直な受光面をそれぞれ有する複数の撮像領域(123)と、レンズアレイの近傍に配置され温度を検知する温度センサ(126)と、温度に基づいて撮像領域で撮像された画像の倍率に相関する補正係数を含む補正係数を作成する補正係数作成部(142)と、補正係数に基づいて、撮像領域において生成された撮像信号を補正するとともに該補正後の撮像信号を用いて視差を演算する補正演算部(143,144)と、を備える。

Description

撮像装置及び半導体回路素子
 本発明は、距離計測可能な撮像装置及びその撮像装置に用いられる半導体回路素子に関する。
 距離計測が可能な従来の撮像装置として、特許文献1の撮像装置がある。図24は、特許文献1の撮像装置の分解斜視図である。また、図25は、同じく撮像装置の撮像ブロックを説明するための図である。図24及び図25に示すように、複眼撮像系である撮像装置901は、絞り部材902と、光学レンズアレイ903と、遮光ブロック904と、光学フィルタ906と、撮像ユニット907とを備えている。この撮像装置901において、4つの開口部902-1、902-2、902-3、902-4を持つ絞り部材902と、4つの光学ブロック(レンズ)903-1、903-2、903-3、903-4を持つ光学レンズアレイ903とにより、4つの撮像光学系が構成されており、それぞれを通過した光線がそれぞれ撮像ユニット907上の4つの撮像ブロック907-1、907-2、907-3、907-4に結像する。CCDセンサなどで形成された撮像ユニット907は、当該撮像ユニット907を駆動する駆動回路908と、これら複数の撮像ブロック907-1~907-4により撮像された画像間の視差情報を算出する視差算出回路909と共に、半導体基板910上に形成される。
 上述したように、絞り部材902の開口部902-1~902-4を通過した光線は、それぞれレンズ903-1~903-4により屈折作用を受けた後、遮光ブロック904内及び光学フィルタ906を通過し、撮像ブロック907-1~907-4に結像する。そして、例えば、撮像ブロック907-1により撮像された画像と撮像ブロック907-2により撮像された画像との類似度をブロックマッチングを用いて演算し、その類似度に基づき視差dを求めた後、下記式(1)のように、視差dから距離Lを求める。ここで、fはレンズ903-1及び903-2の焦点距離であり、Bはレンズ903-1及び903-2の光軸の間隔であり、pはレンズ903-1と903-2との光軸を結ぶ方向の撮像ユニット907の画素間隔である。
 L = (f * B) / (p * d) …(1)
 しかしながら、レンズアレイ903は温度変化により変形し、それに伴いレンズの光軸の間隔Bが変化するため、温度が変化すると正しく距離を求められない。
 このような温度変化に対応する撮像装置が特許文献2に開示されている。その構造は温度センサを有している点を除いて特許文献1の撮像装置と同様であるため、図24を参照しながら説明すると、特許文献2の撮像装置は、等間隔に配置されたレンズ903-1~903-4と、それらのレンズ903-1~903-4近傍の温度Tを測定する温度センサとを備え、その温度Tを用いて、撮像ブロック907-1~907-4により撮像された画像I1~I4を補正する。
 より詳細に説明すると、この撮像装置は、下記式(2)のように、基準温度T0に対する温度変化量(T-T0)を演算し、レンズアレイの熱線膨張率aLと撮像ユニット907の線膨張率aSとの差(aL-aS)に基づき、温度変化による各レンズの光軸の間隔Bの変化量zを求める。そして、下記式(3)のように、撮像ブロック907-1により撮像された画像I1を基準として、下記式(4)、(5)及び(6)のように、撮像ブロック907-2、907-3、907-4により撮像された画像I2、I3、I4を、各レンズの光軸の間隔の変化分だけ補正する。ここで、レンズ903-1及び903-2、並びにレンズ903-3及び903-4がそれぞれ互いにx軸方向に離れて配置され、レンズ903-1及び903-3、並びにレンズ903-2及び903-4がそれぞれ互いにy軸方向に離れて配置されている。そして、pは撮像ユニット907画素間隔であり、x軸方向とy軸方向とで同一である。I1(x,y)、I2(x,y)、I3(x,y)、I4(x,y)は座標(x、y)における各画像の輝度を示す。温度変化により、レンズ903-1と比較し、レンズ903-2はx軸方向にz/p画素だけ移動するため、式(4)のように、I2(x,y)をx軸方向にz/pだけ移動するように補正する。また、温度変化により、レンズ903-3は、レンズ903-1と比較してy軸方向にz/p画素だけ移動するため、式(5)のように、I3(x,y)をy軸方向にz/pだけ移動するように補正する。さらに、温度変化により、レンズ903-4は、レンズ903-1と比較してx軸方向にz/p画素、y軸方向にz/p画素だけ移動するため、式(6)のように、I4(x,y)をx軸方向にz/p画素、y軸方向にz/p画素だけ移動するように補正する。
 z = B (aL - aS) (T - T0) …(2)
 I1(x, y) = I1(x, y) …(3)
 I2(x, y) = I2(x+z/p, y) …(4)
 I3(x, y) = I3(y, x+z/p) …(5)
 I4(x, y) = I4(x+z/p, y+z/p) …(6)
特開2003-143459号公報 特開2002-204462号公報
 前述のように、特許文献2に記載された従来の撮像装置は、撮像ブロック907-1により撮像された画像I1を基準として、式(4)、(5)及び(6)のように、撮像ブロック907-2、907-3、907-4により撮像された画像I2、I3、I4を、レンズの光軸の間隔の変化分だけ補正する。
 しかしながら、特許文献2に記載された従来の撮像装置は、光軸は補正されるが、撮像された画像の倍率の変化は考慮されない。すなわち、レンズアレイの温度変化により、屈折率が変化し、レンズの焦点距離fが変化する。また、鏡筒の温度変化により、レンズアレイから撮像領域までの距離が変化する。これらの場合、いずれも、撮像された画像の倍率が変化する。そのため、その倍率の変化分だけ演算される視差及び被写体距離が変化するため、距離演算精度が悪化する。
 本発明は、上記問題に鑑みなされたもので、温度が変化し、撮像された画像の倍率が変化しても、高精度な距離計測を可能にする撮像装置及びその撮像装置に用いられる半導体回路素子を提供することを目的とする。
 上記課題を解決するために、本発明の撮像装置は、複数のレンズを含むレンズアレイと、前記複数のレンズと一対一に対応して設けられ、対応する前記レンズの光軸方向に対して略垂直な受光面をそれぞれ有する複数の撮像領域と、前記レンズアレイの近傍に配置され温度を検知する温度センサと、前記温度センサにより検知された温度に基づいて、前記撮像領域で撮像された画像の倍率に相関する補正係数(以下、倍率相関補正係数という)を含む補正係数を作成する補正係数作成部と、前記補正係数に基づいて、前記撮像領域において生成された撮像信号を補正するとともに該補正後の撮像信号を用いて視差を演算する補正演算部と、を備える。ここで、「撮像領域で撮像された画像の倍率に相関する補正
係数」とは、撮像領域で撮像された画像の倍率と相関関係を有する物理量を補正する補正係数を意味し、典型的には、撮像領域で撮像された画像の倍率自体、及び複数のレンズの各々の焦点距離が該当する。また、これらと相関関係を有する、レンズアレイを収容する鏡筒の伸び又は縮み、複数のレンズの各々の屈折率等も該当する。
 この構成によれば、温度センサにより検知された温度に基づいて作成された、撮像領域で撮像された画像の倍率に相関する補正係数に基づいて、撮像領域において生成された撮像信号を補正し及び/又はその補正後の撮像信号を用いて視差を演算するので、温度が変化し、撮像された画像の倍率が変化しても、その温度変化による倍率の変化を補償することができる。その結果、高精度な距離計測が可能になる。
 前記補正係数作成部は、前記温度センサにより検知された温度に基づいて、前記倍率相関補正係数として、前記レンズアレイ及び前記複数の撮像領域を収容する鏡筒の伸び又は縮みを補正する倍率を作成するよう構成されており、前記補正演算部は、前記倍率に基づいて、前記撮像領域において生成された撮像信号を補正するよう構成されていてもよい。
 この構成によれば、温度が変化し、鏡筒が伸びても、その鏡筒の伸び又は縮みによって生じる、撮像領域で撮像される画像の倍率変化を補償することができる。
 前記補正係数作成部は、前記温度センサにより検知された温度に基づいて、前記倍率相関補正係数として、前記レンズアレイの屈折率または焦点距離の変化を補正する倍率を作成するよう構成されており、前記補正演算部は、前記倍率に基づいて、前記撮像領域において生成された撮像信号を補正するよう構成されていてもよい。
 この構成によれば、温度が変化し、レンズアレイの屈折率または焦点距離が変化しても、その変化によって生じる、撮像領域で撮像された画像の倍率変化を補償することができる。
 また、前記補正係数作成部は、前記複数の撮像領域のそれぞれに対する前記倍率相関補正係数を前記温度の変化に対して同一の割合だけ変化させるように作成してもよい。
 1つの鏡筒と複数のレンズを含む1つのレンズアレイとを用いて構成される撮像装置において、複数の撮像領域に対して1つの倍率相関補正係数が作成されるため、その分だけ、演算時間を削減でき、低コストで高精度に距離演算する撮像装置を実現することができる。
 また、本発明の半導体回路素子は、複数のレンズを含むレンズアレイと、前記複数のレンズと一対一に対応して設けられ、対応する前記レンズの光軸方向に対して略垂直な受光面をそれぞれ有する複数の撮像領域とを有する撮像装置に用いられる半導体回路素子であって、前記レンズアレイの近傍に配置された温度センサによって検知された温度に基づいて、前記撮像領域で撮像された画像の倍率に相関する補正係数(以下、倍率相関補正係数という)を含む補正係数を作成する補正係数作成部と、前記補正係数に基づいて、前記撮像領域において生成された撮像信号を補正するとともに該補正後の撮像信号を用いて視差を演算する補正演算部と、を備える。
 この構成によれば、温度センサにより検知された温度に基づいて作成された、撮像領域で撮像された画像の倍率に相関する補正係数に基づいて、撮像領域において生成された撮像信号を補正し及び/又はその補正後の撮像信号を用いて視差を演算するので、温度が変化し、撮像された画像の倍率が変化しても、その温度変化による倍率の変化を補償することができる。その結果、高精度な距離計測が可能になる。
 本発明の上記目的、他の目的、特徴、及び利点は、添付図面参照の下、以下の好適な実施態様の詳細な説明から明らかにされる。
 本発明によれば、温度変化が変化し、撮像された画像の倍率が変化しても、それを補償するため、高精度な距離計測が可能となる。
図1は本発明の実施の形態1に係る撮像装置の構成を示す断面図である。 図2は本発明の実施の形態1に係る撮像装置のレンズアレイの構成を示す平面図である。 図3は本発明の実施の形態1に係る撮像装置の回路部の構成を示す平面図である。 図4は本発明の実施の形態1に係る撮像装置の撮像素子の構成を示す平面図である。 図5は本発明の実施の形態1に係る撮像装置の温度センサの回路図である。 図6は本発明の実施の形態1に係る撮像装置において、無限遠にある物体像の位置を説明するための図である。 図7は本発明の実施の形態1に係る撮像装置において、有限距離の位置にある物体像の位置を説明するための図である。 図8は本発明の実施の形態1に係る鏡筒伸びによる倍率変化を説明する図である。 図9は本発明の実施の形態1に係る鏡筒伸びの温度補正の原理を説明する図である。 図10は本発明の実施の形態1に係る鏡筒伸びの温度補正の効果を説明する図である。 図11は本発明の実施の形態1に係る温度に対する屈折率と焦点距離の変化を説明する図である。 図12は本発明の実施の形態1に係る焦点距離変化による倍率変化を説明する図である。 図13は本発明の実施の形態1に係る撮像装置の構成を示すブロック図である。 図14は本発明の実施の形態1に係る撮像装置の動作を示すフローチャートである。 図15は本発明の実施の形態1に係る係数保存部を説明するための図である。 図16は本発明の実施の形態1に係る撮像装置の撮像信号の切り出し位置を説明するための図である。 図17は本発明の実施の形態1に係る撮像装置の距離演算部の動作を示すフローチャートである。 図18は本発明の実施の形態1に係る撮像装置において、ブロック分割を説明する図である。 図19は本発明の実施の形態1に係る撮像装置において、第1の撮像信号と第2の撮像信号を利用したときの視差演算における視差評価値の演算領域を説明する図である。 図20は本発明の実施の形態1に係る撮像装置の第1の撮像信号と第2の撮像信号を利用したときの視差演算におけるずらし量と視差評価値との関係を説明する図である。 図21は実施の形態1の変形例2に係る撮像装置のレンズアレイの構成を示す平面図である。 図22は実施の形態1の変形例3に係る撮像装置のレンズアレイの構成を示す平面図である。 図23は本発明の実施の形態2に係る撮像装置のレンズアレイの構成を示す平面図である。 図24は従来の撮像装置の分解斜視図である。 図25は従来の撮像装置の撮像ブロックを説明するための図である。
 以下、本発明の好ましい実施の形態を、図面を参照しながら説明する。
 (実施の形態1)
 本発明の実施の形態1に係る撮像装置は、温度センサにより検知された温度に基づき複数のレンズの光軸の間隔の変化量を求め、複数のレンズの光軸原点を変化量の半分だけ移動し、光軸原点周りの歪みをなくすように画像を補正する。これにより、歪みの影響を適切に低減できるため、高精度な視差を検知でき、高精度に距離測定できる。また、温度センサにより検知された温度に基づいて画像の倍率を補正するので、より高精度に距離測定できる。
 [構成及び動作]
 図1は、本発明の実施の形態1に係る撮像装置の構成を示す断面図である。図1に示すように、撮像装置101は、回路部120と、その回路部120の上方に設けられたレンズモジュール部110とを備えている。
 レンズモジュール部110は、円筒状の鏡筒111と、その鏡筒111の開口を覆う上部カバーガラス112と、その上部カバーガラス112の下方であって鏡筒111の内部に設けられたレンズアレイ113とを有している。また、回路部120は、基板121と、その基板121上に設けられたパッケージ122、撮像素子123、パッケージカバーガラス124、半導体回路素子であるシステムLSI(以下、SLSIと記す)125、及びレンズアレイ113近傍の温度を検出する温度センサ126とを有している。
 鏡筒111は、上述のとおり円筒状であって、その内壁面は光の乱反射を防止するためにつやが消された黒で着色されており、樹脂を射出成形し形成される。上部カバーガラス112は、円盤状であり、光学ガラス材あるいは透明樹脂などから形成され、鏡筒111の上部の内壁に接着剤などにより固着され、その表面には摩擦などによる損傷を防止する保護膜と、入射光の反射を防止する反射防止膜とが設けられている。
 図2は、本発明の実施の形態1に係る撮像装置のレンズアレイの構成を示す平面図である。レンズアレイ113は、略円盤状であり、光学ガラス材又は透明樹脂などから形成され、円形の第1のレンズ部113a、第2のレンズ部113b、第3のレンズ部113c、及び第4のレンズ部113dが2行2列で碁盤目状に配設されている。第1~第4のレンズ部113a~113dの配置方向に沿って、図2に示すようにx軸及びy軸を設定する。第1のレンズ部113a、第2のレンズ部113b、第3のレンズ部113c、及び第4のレンズ部113dにおいて、被写体側から入射した光は、撮像素子123側へ射出され、撮像素子123上に4つの像が結像される。なお、図2に示すように、第1のレンズ部113aの光軸及び第2のレンズ部113bの光軸は、x軸方向ではDxだけ離れており、y軸方向では一致する。第1のレンズ部113aの光軸及び第3のレンズ部113cの光軸は、x軸方向では一致しており、y軸方向ではDyだけ離れている。第3のレンズ部113cの光軸及び第4のレンズ部113dの光軸は、x軸方向ではDxだけ離れており、y軸方向は一致する。第4のレンズ部113dの光軸及び第1のレンズ部113aの光軸は、x軸方向ではDxだけ離れており、y軸方向ではDyだけ離れている。
 基板121は、樹脂基板から構成され、上面に鏡筒111がその底面を接して接着剤などにより固着される。このようにして、レンズモジュール部110と回路部120とが固定され、撮像装置101を構成する。
 パッケージ122は、金属端子を有する樹脂からなり、鏡筒111の内側において、基板121の上面にその金属端子部が半田づけ等されて固着される。
 撮像素子123は、CCDセンサやCMOSセンサのような固体撮像素子であり、その受光面が第1のレンズ部113a、第2のレンズ部113b、第3のレンズ部113c、及び第4のレンズ部113dの光軸と略垂直になるようにして配置される。撮像素子123の各端子は、パッケージ122の内側の底部の金属端子にワイヤーボンディングにより金線127で接続され、基板121を介して、SLSI125と電気的に接続される。撮像素子123の受光面に、第1のレンズ部113a、第2のレンズ部113b、第3のレンズ部113c、及び第4のレンズ部113dから射出された光がそれぞれ結像し、その光の情報がフォトダイオードにより電気の情報へ変換され、その電気の情報がSLSI125に転送される。
 図3は、本発明の実施の形態1に係る撮像装置の回路部120の構成を示す平面図である。パッケージカバーガラス124は、平板状であり、透明樹脂により形成され、パッケージ122の上面に接着などにより固着される。なお、図3においては、便宜上、パッケージカバーガラス124を透して見える撮像素子123などは省略する。
 SLSI125は、後述の方法で、撮像素子123を駆動し、撮像素子123からの電気情報を入力し、各種演算を行い、上位CPUと通信を行い、外部に画像情報や距離情報などを出力する。なお、SLSI125は、電源(例えば3.3V)とグランド(例えば、0V)に接続される。
 図4は、本発明の実施の形態1に係る撮像装置の撮像素子の構成を示す平面図である。図4に示すように、撮像素子123は、第1の撮像領域123a、第2の撮像領域123b、第3の撮像領域123c、及び第4の撮像領域123dを含んで構成されている。これらの第1~第4の撮像領域123a~123dは、それぞれの受光面が、第1~第4のレンズ部113a~113dの光軸と略垂直になるようにして2行2列で配置される。これらの各撮像領域123a~123dにて撮像信号が生成される。
 図5は、本発明の実施の形態1に係る撮像装置の温度センサの回路図である。図5に示すように、温度センサ126は、第1の固定抵抗126aとサーミスタ126bと第2の固定抵抗126cとが直列に接続されて構成されている。ここで、第1の固定抵抗126aの他端(サーミスタ126bに接続されない端)は電源126d(例えば3.3V)に接続され、第2の固定抵抗126cの他端(サーミスタ126bに接続されない端)はグランド126e(例えば、0V。SLSI125のグランドと同一電位)に接続される。また、第1の固定抵抗126aとサーミスタ126bとの接続点126fがSLSI125に接続されている。
 次に、被写体距離と視差との関係を説明する。本発明の実施の形態1に係る撮像装置は、4つのレンズ部(第1のレンズ部113a、第2のレンズ部113b、第3のレンズ部113c、及び第4のレンズ部113d)を有するため、4つのレンズ部がそれぞれ形成する4つの物体像の相対的位置が、被写体距離に応じて変化する。
 図6は、本発明の実施の形態1に係る撮像装置において、無限遠にある物体像の位置を説明するための図である。図6においては、簡単のため、レンズアレイ113において、第1のレンズ部113a、及び第2のレンズ部113bのみを記す。無限遠の物体10からの光の第1のレンズ部113aへの代表的な入射光L1と、第2のレンズ部113bへの代表的な入射光L2とは平行である(ここで、物体10は2つ描画されているが、単一である。無限遠の物体10を有限な紙面上に描画できない。そのため、入射光L1と入射光L2とが平行であることを明示するために、2つの位置の無限遠の物体10を描画している)。このため、第1のレンズ部113aの光軸と第2のレンズ部113bの光軸との間の距離と、撮像素子123上の物体像11aが結像される位置と物体像11bが結像される位置との間の距離は等しい。すなわち、視差はない。
 図7は、本発明の実施の形態1に係る撮像装置において、有限距離の位置にある物体の位置を説明するための図である。図7において、簡単のため、レンズアレイ113において、第1のレンズ部113a、及び第2のレンズ部113bのみを記す。有限距離の物体12からの光の第1のレンズ部113aへの代表的な入射光L1と第2のレンズ部113bへの代表的な入射光L2とは平行ではない。従って、第1のレンズ部113aの光軸と第2のレンズ部113bの光軸との間の距離に比べて、撮像素子123上の物体像13aが結像される位置と物体像13bが結像される位置との間の距離は長い。すなわち、視差がある。
 第1のレンズ部113aの主点から物体(被写体)12までの距離(被写体距離)をA、第1のレンズ部113aと第2のレンズ部113bとの光軸間距離をD、レンズ部113a,113bの焦点距離をfとすると、図7の直角を挟む2辺の長さがA、Dの直角三角形と、直角を挟む2辺の長さがf、Δの直角三角形とが相似であることより、視差値Δは、下記式(7)のように表される。
 Δ=f*D/A ・・・(7)
 その他のレンズ部についても同様の関係が成立する。このように、被写体距離に応じて4つのレンズ部113a,113b,113c,113dがそれぞれ形成する4つの物体像の相対的位置が変化する。例えば、被写体距離Aが小さくなると、視差値Δが大きくなる。そこで、下記式(8)のように、式(7)を被写体距離Aについて解くことにより、視差値Δから被写体距離Aを求めることができる。
 A=f*D/Δ ・・・(8)
 次に、光軸中心の温度補償の原理を説明する。図2の矢印のように、温度上昇に伴いレンズアレイ113が膨張し光軸中心がレンズ外側に移動する。レンズアレイが温度上昇に比例し等方的に膨張すると仮定すると、光軸中心の間隔は、下記式(9)、(10)で表される。ここで、ddxは温度上昇に伴う光軸間の間隔のx方向の変化量であり、単位は撮像素子123の受光素子の間隔である。また、ddyは温度上昇に伴う光軸間の間隔のy方向の変化量であり、単位は撮像素子122の受光素子の間隔である。また、Dxは基準温度Th0におけるx方向のレンズ間の光軸の間隔であり、Dyは基準温度Th0におけるy方向のレンズ間の光軸の間隔であり、aLはレンズアレイ113の熱線膨張率であり、aSは撮像素子123の熱線膨張率であり、Tは温度であり、Th0は基準温度であり、pは撮像素子123の受光素子の間隔である。
 ddx = Dx * (aL - aS) * (T - Th0) / p ・・・(9)
 ddy = Dy * (aL - aS) * (T - Th0) / p ・・・(10)
 そして、温度上昇に伴い各レンズ部の光軸中心は等方的に膨張するため、図2のように、温度上昇に伴うレンズ間の光軸間の間隔の変化の半分(x方向にp*ddx/2、y方向にp*ddy/2)だけ移動する。すなわち、第1のレンズ部113aの光軸中心は、x方向に-p*ddx/2、y方向に-p*ddy/2だけ移動する。また、第2のレンズ部113bの光軸中心は、x方向に+p*ddx/2、y方向に-p*ddy/2だけ移動する。また、第3のレンズ部113cの光軸中心は、x方向に-p*ddx/2、y方向に+p*ddy/2だけ移動する。また、第4のレンズ部113dの光軸中心は、x方向に+p*ddx/2、y方向に+p*ddy/2だけ移動する。
 したがって、温度Tを検知し、その温度Tからレンズアレイ113の各レンズ間の光軸の間隔の変化ddx,ddyを求め、その変化ddx,ddyの半分だけレンズアレイ113の各レンズの光軸が移動すると推定し補償することにより、温度変化に伴うレンズアレイ113の膨張の影響を低減し、正確な視差を求めることができ、それゆえ、正確な距離を求めることができる。
 次に、温度変化による鏡筒伸びの影響を低減するための温度補正の原理を説明する。図8は、本発明の実施の形態1に係る鏡筒伸びによる倍率変化を説明する図である。図8において、説明を簡単にするため、第1のレンズ部113aに関する部分のみを示す。図8(a)は、基準温度Th0における倍率の説明を示し、図8(b)は、基準温度よりも高い温度Thにおける倍率の説明を示す。基準温度Th0において、図8(a)のように、第1のレンズ部113aの主点Hから被写体14までの距離はAであり、第1のレンズ部113aの主点Hから第1の撮像領域123a上の被写体像15aまでの距離はBである。被写体14の下端からの主光線L11は、被写体14の下端を発し、第1のレンズ部113aの主点Hを通り、被写体像15aの上端に達する。一方、被写体14の上端からの主光線は、被写体14の上端を発し、第1のレンズ部113aの主点Hを通り、被写体像15aの下端に達する。ここで、被写体14の下端、上端、主点Hを結ぶ三角形と、被写体像15aの上端、下端、主点Hを結ぶ三角形は相似であるため、下記式(110)のように、被写体14の長さXに対する被写体像15aの長さYaの比で示される基準温度Th0における倍率β(Th0)は、被写体14から主点Hまでの距離Aに対する主点Hから被写体像15aまでの距離Bとの比となる。
 β(Th0) = Ya/X = B/A ・・・(110)
 一方、温度Thにおいて、図8(b)のように、第1のレンズ部113aの主点Hから被写体14までの距離はAであり、第1のレンズ部113aの主点Hから第1の撮像領域123a上の被写体像15bまでの距離はB・(1+α)である。温度上昇により、鏡筒111が伸びるため、基準温度Th0に対して、温度Thではα倍分だけ第1のレンズ部113aの主点Hから第1の撮像領域123a上の被写体像15bまでの距離が増加する。被写体14の下端からの主光線L11は、被写体14の下端を発し、第1のレンズ部113aの主点Hを通り、被写体像15bの上端に達する。一方、被写体14の上端からの主光線は、被写体14の上端を発し、第1のレンズ部113aの主点Hを通り、被写体像15bの下端に達する。ここで、被写体14の下端、上端、主点Hを結ぶ三角形と、被写体像15bの上端、下端、主点Hを結ぶ三角形は相似であるため、下記式(111)のように、被写体14の長さXに対する被写体像15bの長さYbとの比で示される温度Thにおける倍率β(Th)は、被写体14から主点Hまでの距離Aに対する主点Hから被写体像15bまでの距離B・(1+α)の比となる。式(110)と式(111)の比較から明瞭に、温度が基準温度Th0から温度Thに上昇すると、鏡筒が元の長さのα倍分だけ伸び又は縮み、それに伴い主点Hと第1の撮像領域123aまでの距離Bが鏡筒の膨張によって伸び又は縮んだ分だけ鏡筒長が変化し(すなわち、BからB・(1+α)に増加又は減少し)、倍率は1+α倍に増加又は減少する(すなわち、B/AからB・(1+α)/Aに増加又は減少する)。以下、本実施の形態においては鏡筒長が伸びた場合(すなわち、α>0の場合)を例にとって説明する。
 β(Th) = Yb/X = B・(1+α)/A ・・・(111)
 図9は、本発明の実施の形態1に係る鏡筒伸びの温度補正の原理を説明する図である。図9において、説明を簡単にするため、第1のレンズ部113a、および第2のレンズ部113bに対応する第1の撮像信号I1、および第2の撮像信号I2のみを示す。また、図9において、適宜、レンズ間の光軸の移動に対する補正がなされているものとする。図9(a)は、基準温度Th0における画像と視差とを示し、図9(b)は、基準温度よりも高い温度Thにおける鏡筒伸びの補正前の画像と視差とを示し、図9(c)は、基準温度よりも高い温度Thにおける鏡筒伸びの補正後の画像と視差とを示す。基準温度Th0において、図9(a)のように、第1の撮像信号I1に被写体像16aaが撮像され、第2の撮像信号I2に被写体像16baが撮像され、それぞれの視差がΔとなるものとする。ここで、温度が基準温度Th0から温度Thまで上昇すると、式(111)のように倍率が1+α倍に増加するため、同一の被写体を撮像したとき、図9(b)のように、第1の撮像信号I1に撮像される被写体像16abの大きさ、および第2の撮像信号I2に撮像される被写体像16bbの大きさが、それぞれ1+α倍に増加する。そのため、それぞれの視差が1+α倍に増加する(すなわち、Δ・(1+α)となる)。そこで、図9(c)のように、この1+α倍に大きくなった被写体像16ab、16bbが基準温度Th0のときの被写体像16aa、16baと同一の大きさになるように、第1の撮像信号I1、および第2の撮像信号I2を補正し(画像の大きさが1/(1+α)倍になるのように補正し、)被写体像16ac、16bcとする。すると、補正された被写体像16ac、16bcの大きさは、基準温度Th0のときの被写体像16aa、16baの大きさと同一となり、それゆえ、視差がΔとなり、基準温度Th0のときの視差Δに一致する。
 図10は、本発明の実施の形態1に係る鏡筒伸びの温度補正の効果を説明する図である。上述のように、温度Thが変化すると膨張による鏡筒の伸び又は縮みに伴って各撮像領域に撮像される画像の倍率が変化する。図10(a)は、基準温度Th0(図10において、基準温度Th0を20℃とする)のときの倍率β(Th0)に対する温度Thのときの倍率β(Th)の比(1+α)を示したものであり、基準温度Th0のとき1(α=0)であったものが、基準温度Th0以上のときは1以上(αが0以上)となり、基準温度Th0以下のときは1以下(αが0以下)となる。そして、温度Thが基準温度Th0から離れるほど、基準温度Th0のときの倍率β(Th0)に対するTh0のときの倍率β(Th)の比(1+α)は1から離れる。そして、上述のように視差Δも、同様に変化する。ここで、被写体距離Aは、式(8)において視差Δに反比例し、視差Δに基づき式(8)に従って演算される。そのため、鏡筒伸びに伴う撮像画像の倍率変化に関する補正なしに測距演算を行うと、図10(b)のように、温度Thが基準温度Th0以外のとき測距誤差が発生する。そこで、上述のように、鏡筒伸びに伴う撮像画像の倍率変化に関する補正を行い、基準温度Th0のときと同一の倍率とし、同一の視差とすることにより、図10(c)のように、温度変化に対する測距誤差をなくすことができる。
 このように、基準温度から温度が変化すると、鏡筒伸びにより画像の倍率が変化するため、画像の倍率の変化分を打ち消すように画像の大きさを補正する倍率補正を行うことにより、温度が変化しても常に正しい視差を求めることができ、それゆえ、温度が変化しても常に正しい距離測定ができる。
 なお、測距誤差αは、鏡筒に用いられる材料の線熱膨張係数と許容温度変化幅とを掛け合わせることにより求められる。従って、図10における測距誤差αは、例えば、樹脂製の鏡筒に用いられる一般的な樹脂の線熱膨張係数の値として、0.00007[/℃]を用い、車載用途などに用いた場合の許容温度変化幅を100℃とする(-20℃から80℃まで変化すると仮定する)と、α=0.00007×100=0.007、すなわち、0.7%(中心値に対して±0.35%)程度となることがわかる。ここで、測距装置の必要精度としては、±1%以下が求められることがある。従って、鏡筒の長さ変化による測距誤差が上述のように中心値に対して±0.35%とすると、鏡筒の長さ変化による測距誤差が必要精度の1/3を占めることになる。測距誤差は、鏡筒の長さ変化以外の様々な要因によっても発生するため、必要精度の1/3を占める鏡筒の長さ変化よる誤差の影響を除去することは、測距精度±1%以下の実現のために重要である。
 そこで、本実施の形態のように、温度変化による鏡筒の長さ変化を補正することにより、この測距誤差を大きく低減することが可能となる。これにより、成形により安価に量産が可能な樹脂を用いて鏡筒を形成しても、高精度な測距装置を実現することができる。
 次に、焦点距離の温度補正の原理を説明する。図11は、本発明の実施の形態1に係る温度に対する屈折率と焦点距離の変化を説明する図である。図4(a)のように、温度が上昇すると、レンズアレイ113の屈折率が減少する。すると、第1のレンズアレイ113aの焦点距離fが変化する。図4(b)は、基準温度Th0(図11において、基準温度Th0を20℃とする)における焦点距離fに対する温度Thにおける焦点距離fの比を示し、基準温度Th0のとき1であったものが、基準温度Th0以上のときは1以上となり、基準温度Th0以下のときは1以下となり、基準温度Th0から離れるほど1から離れる。
 図12は、本発明の実施の形態1に係る焦点距離変化による倍率変化を説明する図である。図12において、説明を簡単にするため、第1のレンズ部113aに関する部分のみを示す。図12において、被写体距離がA、第1のレンズ部113aの焦点距離がfaのとき、第1の撮像領域123aに合焦するように各部品が配置されているものとする。そのため、理想的には、被写体17の1点から発せられたあらゆる光は、第1のレンズ部113aを通過した後、撮像領域123a上の1点に集光する。すなわち、被写体17の上端からの主光線L20は、被写体17の上端から発し、第1のレンズ部113aの主点Hを通過し、屈折せずに第1の撮像領域123a上の被写体像18aの下端(第1のレンズ部113aの光軸19からYだけ離れた位置)に達する。また、被写体17の上端から光軸19に平行な光線L21aは、点Pで屈折され、後側焦点Naを通過し、被写体像18aの下端(光軸19からYだけ離れた位置)に達する。また、被写体17の上端から前側焦点Maを通過する光線L22aは、点Qaで屈折され、光軸19と平行になり、被写体像18aの下端(光軸19からYだけ離れた位置)に達する。
 次に、温度が上昇し、焦点距離がfaからfb(>fa)に変化したときを考える。このとき、前側焦点がMaからMbにレンズから遠ざかる向きに変化し、後側焦点がNaからNbにレンズから遠ざかる向きに変化する。被写体17の上端からの主光線L20は、被写体17の上端から発し、第1のレンズ部113aの主点Hを通過し、屈折せずに第1の撮像領域123a上の被写体像18a(焦点距離がfaのときの被写体像)の下端(第1のレンズ部113aの光軸19からYだけ離れた位置)に達する。一方、被写体17の上端から光軸19に平行な光線L21bは、点Pで屈折され、後側焦点Nbを通過し、被写体像18a(焦点距離がfaのときの被写体像)の下端よりも光軸19に近い側(光軸19からYuだけ離れた位置)に達する。また、被写体17の上端から前側焦点Mbを通過する光線L22bは、点Qbで屈折され、光軸19と平行になり、被写体像18a(焦点距離がfaのときの被写体像)の下端よりも光軸19から遠い側(光軸19からYdだけ離れた位置)に達する。すなわち、被写体17の1点から発せられたあらゆる光は、第1のレンズ部113aを通過した後、撮像領域123a上の1点に集光せずにぼける。また、Yに対するYuのずれの大きさとYに対するYdのずれの大きさとが異なるため、倍率が変化する。
 このように、温度が変化すると、焦点距離が変化し、倍率が変化する。そして、図9および図10を用いて説明したとおり、倍率変化により測距誤差が発生する。そこで、光学解析などにより焦点距離変化による倍率変化、すなわち、基準温度Th0における倍率に対する温度Thにおける倍率変化を求め、基準温度Th0のときの倍率になるように倍率を補正する。
 このように、基準温度から温度が変化すると、焦点距離変化により画像の倍率が変化するため、画像の倍率の変化分を打ち消すように画像の大きさを補正する倍率補正を行うことにより、温度が変化しても常に正しい視差を求めることができ、それゆえ、温度が変化しても常に正しい距離測定ができる。
 次に、本発明の実施の形態1に係る撮像装置の動作を説明する。
 図13は、本発明の実施の形態1に係る撮像装置の構成を示すブロック図である。SLSI125は、システム制御部131、撮像素子駆動部132、撮像信号入力部133、温度センサ信号入力部134、入出力部135、係数保存部141、温度補償演算部(補正係数作成部)142、撮像信号補正部143、及び距離演算部144を有する。そして、撮像信号補正部143及び距離演算部144が補正演算部を構成する。
 システム制御部131は、CPU(中央演算処理装置:Central Processing Unit)、ロジック回路などから構成され、SLSI125の全体を制御する。なお、図13においては、図を見やすくするため、システム制御部131と各ブロックとの間で授受される信号の図示を省略している。
 図14は、本発明の実施の形態1に係る撮像装置の動作を示すフローチャートである。SLSI125のシステム制御部131により、撮像装置101は、このフローチャートのとおりに動作される。
 ステップS1010において、撮像装置101は動作を開始する。例えば、上位CPU(図示せず)が、入出力部135を介し、撮像装置101(正確にはシステム制御部131)に動作の開始を命令することにより、撮像装置101は、動作を開始する。
 次に、ステップS1020において、撮像装置101は撮像信号を入力する。具体的には、撮像素子駆動部132は、ロジック回路などから構成され、システム制御部131の命令により電子シャッターや転送を行うための信号撮像素子123を駆動する信号を発生し、この信号に応じた電圧を撮像素子122に印加する。撮像信号入力部133は、CDS回路(相関二重サンプリング回路:Correlated Double Sampling Circuit)、AGC(自動利得制御器:Automatic Gain Controller)、ADC(アナログ/ディジタル変換器:Analog Digital Converter)が直列に接続されて構成され、撮像素子123からの電気信号が入力される。撮像信号入力部133は、入力される電気信号を、CDS回路により固定ノイズを除去し、AGCによりゲインを調整し、ADCによりアナログ信号からディジタル値に変換しするようにして、撮像信号I0を出力する。ここで、撮像信号入力部133は、撮像信号I0(x,y)を、x方向にH0画素、y方向にV0画素だけ、I0(0,0)((x,y)=(0,0))、I0(1,0)、I0(2,0)、・・・、I0(H0-1,V0-1)の順に出力する。
 次に、ステップS1030において、撮像装置101は温度センサ信号を入力する。具体的には、温度センサ信号入力部134は、ADC(Analog Digital Converter:アナログ・デジタル変換器)などから構成され、温度センサ126からアナログ電圧信号である温度センサ信号を入力される。そして、この温度センサ信号を、アナログ信号からディジタル値に変換し、温度センサ信号Tsとして出力する。例えば12bitのADCを用いると、温度センサ信号Tsは、0~4095までの値を取る。以下、温度センサ信号Tsは、12bitのADCを用いて作成されたものとして説明する。
 次に、ステップS1110において、撮像装置101は各種の係数を温度補償する。具体的には、温度補償演算部142は、温度センサ信号Tsを入力され、この温度センサ信号Tsと係数保存部141に保存されたデータとを用いて、歪曲係数kd2,kd4、倍率(rx,ry)、第1のレンズ部113aの光軸中心(xc1,yc1)、第2のレンズ部113bの光軸中心(xc2,yc2)、第3のレンズ部113cの光軸中心(xc3,yc3)、第4のレンズ部113dの光軸中心(xc4,yc4)、焦点距離f、及び各レンズ部のx方向の光軸間距離Dxを出力する。
 図15は、本発明の実施の形態1に係る係数保存部を説明するための図である。図15において、簡単のため、第1のレンズ部113aの光軸中心x座標xc1のみが記述されている。図15に示すように、温度センサ信号Tsの値が0、256、512、768、1024、・・・、3840、4096のときの光軸中心x座標xc1の値がそれぞれxc1_0、xc1_256、xc1_512、xc1_768、xc1_1024、・・・、xc1_3040、xc1_4096として、温度センサ信号Tsの当該各値に対応させて係数保存部141に保存されている。そして、温度補償演算部142は、温度センサ信号Tsの値に対応する光軸中心x座標xc1を補間演算し作成する。例えば、温度センサ信号Tsの値が512以上768未満のときには、温度センサ信号Ts=512、768のときの光軸中心x座標xc1_512、xc1_768を用いて、下記式(11)のように補間演算を行い、xc1を作成する。他の係数も同様に作成する。すなわち、第1のレンズ部113aの光軸中心y座標yc1、第2のレンズ部113bの光軸中心(xc2,yc2)、第3のレンズ部113cの光軸中心(xc3,yc3)、第4のレンズ部113dの光軸中心(xc4,yc4)、歪曲係数k2,k4、倍率(rx,ry)、焦点距離f、及び各レンズ部のx方向の光軸間距離Dxは、それぞれ係数保存部141に各温度での値が保存され、温度センサ信号Tsに関して補間演算を行い作成される。
 xc1 = xc1_512 + (Ts-512)/(768-512)*(xc_768-xc1_512) ・・・(11)
 なお、係数保存部141に保存される係数は以下のように作成され保存される。各レンズ部の光軸中心は、式(9)、(10)に基づき、下記式(12)、(13)のように、温度上昇に伴う光軸間の間隔のx方向の変化量ddx、y方向の変化量ddyを演算し、その半分(x方向にp*ddx/2、y方向にp*ddy/2)だけ光軸中心が移動するとして作成する。ここで、T(Ts)はADCによりディジタル値に変換された温度センサ信号Tsの値によって表される物理的な温度を示す。具体的には、下記式(14)、(15)のように、第1のレンズ部113aの光軸中心(xc1,yc1)は、基準温度Th0における光軸中心(xc10,yc10)からx方向に-ddx/2、y方向に-ddy/2だけ移動するように作成する。また、下記式(16)(17)のように、第2のレンズ部113bの光軸中心(xc2,yc2)は、基準温度Th0における光軸中心(xc20,yc20)からx方向に+ddx/2、y方向に-ddy/2だけ移動するように作成する。また、下記式(18)(19)のように、第3のレンズ部113cの光軸中心(xc3,yc3)は、基準温度Th0における光軸中心(xc30,yc30)からx方向に-ddx/2、y方向に+ddy/2だけ移動するように作成する。また、第4のレンズ部113dの光軸中心(xc4,yc4)は、基準温度Th0における光軸中心(xc40,yc40)からx方向に+ddx/2、y方向に+ddy/2だけ移動するように作成する。
 ddx = Dx * (aL - aS) * (T(Ts) - Th0) / p ・・・(12)
 ddy = Dy * (aL - aS) * (T(Ts) - Th0) / p ・・・(13)
 xc1 = xc10 - ddx/2 ・・・(14)
 yc1 = yc10 - ddy/2 ・・・(15)
 xc2 = xc20 + ddx/2 ・・・(16)
 yc2 = yc20 - ddy/2 ・・・(17)
 xc3 = xc30 - ddx/2 ・・・(18)
 yc3 = yc30 + ddy/2 ・・・(19)
 xc4 = xc40 + ddx/2 ・・・(20)
 yc4 = yc40 + ddy/2 ・・・(21)
 歪曲係数k2,k4は、光学解析や実験などで各温度における値を求めることにより、作成される。
 鏡筒の長さlkは下記式(22)のように推定される。ここで、Th0は基準温度であり、lk0は基準温度Th0における鏡筒の長さであり、kkは鏡筒の熱線膨張率、T(Ts)は温度センサ信号Tsが示す温度センサの物理的な温度である。ここで、レンズ主点と撮像領域の撮像面の距離は、鏡筒の長さに比例する。そして、前述の式(111)のように、倍率はレンズ主点と撮像領域の撮像面の距離に比例する。したがって、倍率は、鏡筒の長さの変化に比例する。そこで、鏡筒の長さの変化の前後における比率を倍率比とする。具体的には、下記式(23)、(24)のように、鏡筒長変化によるx方向の倍率比rkx、鏡筒長変化によるy方向の倍率比rkyとして作成する。
 lk = lk0*{1+kk*(T(Ts)-Th0)} ・・・(22)
 rkx = {1+kk*(T(Ts)-Th0)} ・・・(23)
 rky = {1+kk*(T(Ts)-Th0)} ・・・(24)
 焦点距離変化による倍率変化を光学解析などで各温度における値を求め、下記式(112)、(113)のように、温度センサの値Tsに応じ、焦点距離変化によるx方向の倍率比rfx、焦点距離変化によるy方向の倍率比rfyを作成する。なお、焦点距離は主に屈折率変化によって変化するため、光学解析によって焦点距離変化によるx方向の倍率比rfx、焦点距離変化によるy方向の倍率比rfyを求めるにあたり、焦点距離の代わりに、屈折率を変化させてもよい。
 rfx = rfx(Ts) ・・・(112)
 rfy = rfy(Ts) ・・・(113)
 そして、下記式(114)、(115)のように、両者の乗算結果を、x方向の倍率rx、y方向の倍率ryとし、倍率補正に利用する。
 rx = rkx * rfx ・・・(114)
 ry = rky * rfy ・・・(115)
 なお、温度による焦点距離変化に伴う倍率変化と比較し、温度による鏡筒長変化に伴う倍率変化が大きいとき、焦点距離変化によるx方向の倍率比rfx、焦点距離変化によるy方向の倍率比rfyをそれぞれ1として、温度による鏡筒長変化に伴う倍率変化の補正のみを行ってもよい。
 一方、温度による鏡筒長変化に伴う倍率変化と比較し、温度による焦点距離変化に伴う倍率変化が大きいとき、鏡筒長変化によるx方向の倍率比rkx、鏡筒長変化によるy方向の倍率比rkyをそれぞれ1として、温度による焦点距離変化に伴う倍率変化の補正のみを行ってもよい。
 また、光学解析において、温度に応じ焦点距離(あるいは屈折率)と鏡筒伸びとを同時に変化させ、各温度における倍率を求め、基準温度に対する比をx方向の倍率rx、y方向の倍率ryとしてもよい。
 なお、鏡筒長変化に伴う倍率変化を補正する場合及び焦点距離変化に伴う倍率変化を補正する場合のいずれにおいても、焦点距離fは、基準温度における焦点距離を用いる。
 x方向の光軸間距離Dxは、x方向の光軸間距離の変化量が式(12)のddxで示されることより、このddxを用いて下記式(25)のように作成する。
 Dx = Dx0 + ddx * p ・・・(25)
 なお、各温度において各種方法により測定された係数を保存してもよい。
 次に、ステップS1120において、撮像装置101は画像を補正し切り出す。具体的には、撮像信号補正部143は、撮像信号I0、歪曲係数kd2,kd4、倍率(rx,ry)、第1のレンズ部113aの光軸中心(xc1,yc1)、第2のレンズ部113bの光軸中心(xc2,yc2)、第3のレンズ部113cの光軸中心(xc3,yc3)、及び第4のレンズ部113dの光軸中心(xc4,yc4)を入力され、撮像信号I0から各レンズ部により結像された被写体像を撮像した画像を切り出し、この切り出した画像に歪曲補正などの補正処理を行い、これらを、それぞれ、第1のレンズ部113aに対応する第1の撮像信号I1(x,y)、第2のレンズ部113bに対応する第2の撮像信号I2(x,y)、第3のレンズ部113cに対応する第3の撮像信号I3(x,y)、及び第4のレンズ部113dに対応する第4の撮像信号I4(x,y)として出力する。
 図16は、本発明の実施の形態1に係る撮像装置の撮像信号の切り出し位置を説明するための図である。歪みがなく、温度によるレンズの膨張がない場合、図16に示すように、第1の撮像信号I1(x,y)は、撮像信号I0を、原点(x01,y01)から、x方向にH1画素、y方向にV1画素だけ切り出した領域の画像であり、第2の撮像信号I2(x,y)は、撮像信号I0を、原点(x02,y02)から、x方向にH1画素、y方向にV1画素だけ切り出した領域の画像であり、第3の撮像信号I3(x,y)は、撮像信号I0を、原点(x03,y03)から、x方向にH1画素、y方向にV1画素だけ切り出した領域の画像であり、第4の撮像信号I4(x,y)は、撮像信号I0を、原点(x04,y04)から、x方向にH1画素、y方向にV1画素だけ切り出した領域の画像である。実施の形態1の撮像装置は、熱膨張による光軸中心の移動、歪み補正、倍率補正を加味し、以下のような処理を行う。
 下記式(26)、(27)、(28)のように、歪曲係数kd2,kd4、倍率(rx,ry)、第1のレンズ部113aの光軸中心(xc1,yc1)を用いて、第1の撮像信号用の参照先座標(tx1,ty1)を演算し、下記式(29)のように、第1の撮像信号用の参照先座標(tx1,ty1)を用いて撮像信号I0から第1の撮像信号I1(x,y)を演算する。なお、第1の撮像信号用の参照先座標(tx1, ty1)は、小数点を持ってもよい。その場合、第1の撮像信号用の参照先座標(tx1,ty1)の整数部分を(tx1i,ty1i)とし、小数部分を(tx1f,ty1f)とし、下記式(30)のように4画素を利用し演算する。ここで、式(26)、(27)、(28)、(29)、(30)において、xに関して0からH1-1まで、yに関して0からV1-1までの演算を行う。同様に、下記式(31)、(32)、(33)のように、歪曲係数kd2,kd4、倍率(rx,ry)、第2のレンズ部113bの光軸中心(xc2,yc2)を用いて、第2の撮像信号用の参照先座標(tx2,ty2)を演算し、下記式(34)のように、第2の撮像信号用の参照先座標(tx2,ty2)を用いて撮像信号I0から第2の撮像信号I2(x,y)を演算する。また、下記式(35)、(36)、(37)のように、歪曲係数kd2,kd4、倍率(rx,ry)、第3のレンズ部113cの光軸中心(xc3,yc3)を用いて、第3の撮像信号用の参照先座標(tx3,ty3)を演算し、下記式(38)のように、第3の撮像信号用の参照先座標(tx3,ty3)を用いて撮像信号I0から第3の撮像信号I3(x,y)を演算する。また、下記式(39)(40)(41)のように、歪曲係数kd2,kd4、倍率(rx,ry)、第4のレンズ部113dの光軸中心(xc4,yc4)を用いて、第4の撮像信号用の参照先座標(tx4,ty4)を演算し、下記式(42)のように、第1の撮像信号用の参照先座標(tx4,ty4)を用いて撮像信号I0から第4の撮像信号I4(x,y)を演算する。下記式において、^2は2乗演算を表し、^4は4乗演算を表す。
 tx1 = x01 + xc1 + (x - xc1) * (1 + kd2 * r1^2 + kd4 * r1^4) * rx ・・・(26)
 ty1 = y01 + yc1 + (y - yc1] * (1 + kd2 * r1^2 + kd4 * r1^4) * ry ・・・(27)
 r1^2 = (x - xc1)^2 + (y - yc1)^2、r1^4 = (r1^2)^2 ・・・(28)
 I1(x,y) = I0(tx1,ty1) ・・・(29)
 I1(x,y) = (1 - tx1f) * (1 - ty1f) * I0(tx1i,ty1i)
+ tx1f * (1 - ty1f) * I0(tx1i+1,ty1i)
+ (1 - tx1f) * ty1f * I0(tx1i,ty1i+1)
+ tx1f * ty1f * I0(tx1i+1,ty1i+1) ・・・(30)
 tx2 = x02 + xc2 + (x - xc2) * (1 + kd2 * r2^2 + kd4 * r2^4) * rx ・・・(31)
 ty2 = y02 + yc2 + (y - yc2) * (1 + kd2 * r2^2 + kd4 * r2^4) * ry ・・・(32)
 r2^2 = (x - xc2)^2 + (y - yc2)^2、r2^4 = (r2^2)^2 ・・・(33)
 I2(x,y) = I0(tx2,ty2) ・・・(34)
 tx3 = x03 + xc3 + (x - xc3) * (1 + kd2 * r3^2 + kd4 * r3^4) * rx ・・・(35)
 ty3 = y03 + yc3 + (y - yc3) * (1 + kd2 * r3^2 + kd4 * r3^4) * ry ・・・(36)
 r3^2 = (x - xc3)^2 + (y - yc3)^2、r3^4 = (r3^2)^2 ・・・(37)
 I3(x,y) = I0(tx3,ty3) ・・・(38)
 tx4 = x04 + xc4 + (x - xc4) * (1 + kd2 * r4^2 + kd4 * r4^4) * rx ・・・(39)
 ty4 = y04 + yc4 + (y - yc4) * (1 + kd2 * r4^2 + kd4 * r4^4) * ry ・・・(40)
 r4^2 = (x - xc4)^2 + (y - yc4)^2、r4^4 = (r4^2)^2 ・・・(41)
 I4(x,y) = I0(tx4,ty4) ・・・(42)
 なお、上記の変換において、歪みがなく、倍率を補正しないときは、下記式(43)、(44)、(45)、(46)のように、撮像信号I0(x,y)から画像を切り出し、その後、下記式(47)、(48)、(49)、(50)のように、平行移動することを意味する。
 I1(x, y) = I0(x + x01, y + y01) ・・・(43)
 I2(x, y) = I0(x + x02, y + y02) ・・・(44)
 I3(x, y) = I0(x + x03, y + y03) ・・・(45)
 I4(x, y) = I0(x + x04, y + y04) ・・・(46)
 I1(x, y) = I1(x-ddx/2, y-ddy/2) ・・・(47)
 I2(x, y) = I2(x+ddx/2, y-ddy/2) ・・・(48)
 I3(x, y) = I3(y-ddx/2, x+ddy/2) ・・・(49)
 I4(x, y) = I4(x+ddx/2, y+ddy/2) ・・・(50)
 次に、ステップS1200において、撮像装置101は距離を演算する。具体的には、距離演算部144は、第1の撮像信号I1、第2の撮像信号I2、第3の撮像信号I3、第4の撮像信号I4、焦点距離f、x方向の光軸間距離Dxを入力され、距離を演算し、距離データDISを出力する。
 図17は、本発明の実施の形態1に係る撮像装置の距離演算部の動作を示すフローチャートである。図17のフローチャートは、ステップS1200の動作の詳細を示す。ステップS1200の演算では、まず、ステップS1210を実行する。
 ステップS1210において、距離演算部は演算の動作を開始する。
 次に、ステップS1230において、距離演算部はブロックを分割する。
 図18は、本発明の実施の形態1に係る撮像装置において、ブロック分割を説明する図である。図18において、第1の撮像信号I1は、x方向にHB画素、y方向にVB画素を有する長方形状のブロックに分割され、x方向にNh個、y方向にNv個のブロックを持つ。
 次に、ステップS1240において、距離演算部はブロックを選択する。ステップS1210(図17)を実行後、初めてこのステップS1240を実行するときは(0,0)で示されるブロックを選択し、以後、ステップS1240が実行されるときは、右側(+x方向)に順にずらしたブロックを選択する。なお、図18において右端のブロック((Nh-1,0)、(Nh-1,1)、・・・で示されるブロック)を選択した次は、1つ下の行の左端の(y方向に+1かつx=0となる)ブロック((0,1)、(0,2)、・・・で示されるブロック)を選択する。すなわち、ステップS1210を実行後、初めてこのステップS1240を実行するときを0番目としたとき、i番目において(i%Nh, int(i/Nh))で示されるブロックを選択する。ここで、i%NhはiをNhで除算したときの剰余、int(i/Nh)はiをNhで除算したときの商の整数部である。以後このブロックを選択ブロックB(ih,iv)と呼ぶ。
 次に、ステップS1250において、距離演算部は視差演算する。まず、第1のレンズ撮像信号I1と第2のレンズ撮像信号I2との視差と視差信頼度とを演算する。最初に、第1のレンズ撮像信号I1と第2のレンズ撮像信号I2との視差評価値R12(kx)を演算する。ここで、kxは画像をどれだけずらすかを示すずらし量であり、kx=0、1、2、・・・、SBのように変化させる。
 図19は、本発明の実施の形態1に係る撮像装置において、第1の撮像信号と第2の撮像信号を利用したときの視差演算における視差評価値の演算領域を説明する図である。図19において、I1で示される領域は、第1のレンズ撮像信号I1の選択ブロックB(ih,iv)で選択された領域を示し、I2で示される領域は、選択ブロックの座標からx方向にkxだけずれた領域の第2のレンズ撮像信号I2である。ずらし量kx=0からSBについて、下記式(51)に示される絶対値差分総和(SAD:Sum of Absolute Differences)を演算し、視差評価値R12(kx)とする。すなわち、第1のレンズ撮像信号I1を基準として、視差評価値R12(kx)を演算する。
 R12(kx) = ΣΣ|I1(x,y)-I2(x+kx,y)| ・・・ (51)
 この視差評価値R12(kx)は、選択ブロックB(ih,iv)の第1のレンズ撮像信号I1と選択ブロックからx方向にkxだけずれた領域における第2のレンズ撮像信号I2とがどれだけ相関があるかを示し、値が小さいほど相関が大きい(よく似ている)ことを示す。
 図20は、本発明の実施の形態1に係る撮像装置の第1の撮像信号と第2の撮像信号を利用したときの視差演算におけるずらし量と視差評価値との関係を説明する図である。図20に示すように、視差評価値R12(kx)はずらし量kxの値によって変化し、ずらし量kx=Δのとき極小値を持つ。そのため、選択ブロックB(ih,iv)の第1のレンズ撮像信号I1と選択ブロックからx方向にΔだけずれた領域における第2のレンズ撮像信号I2とが最も相関が高い、すなわち、最も似ていることを示す。従って、選択ブロックB(ih,iv)における第1のレンズ撮像信号I1と第2のレンズ撮像信号I2との視差がΔであることが分かる。そこで、下記式(52)のように、この視差Δを選択ブロックB(ih,iv)における第1のレンズ撮像信号I1と第2のレンズ撮像信号I2との視差値Δ12(ih,iv)とし、下記式(53)のように、視差評価値R12(Δ)を選択ブロックB(ih,iv)における第1のレンズ撮像信号I1と第2のレンズ撮像信号I2との視差信頼度C12(ih,iv)とする。
 Δ12(ih,iv) = Δ ・・・ (52)
 C12(ih,iv) = R12(Δ) ・・・ (53)
 次に、第1のレンズ撮像信号I1と第3のレンズ撮像信号I3との視差と視差信頼度も同様に求める。ただし、ずらす方向をy方向に変更し、ずらし量をkyとする。下記式(54)のように、選択ブロックB(ih,iv)における第1のレンズ撮像信号I1と第3のレンズ撮像信号I3の視差評価値R13(ky)を求める。すなわち、第1のレンズ撮像信号I1を基準として、視差評価値R13(ky)を演算する。そして、最小値を与えるずらし量、すなわち視差Δを、下記式(55)のように、選択ブロックB(ih,iv)における第1のレンズ撮像信号I1と第3のレンズ撮像信号I3との視差値Δ13(ih,iv)とし、下記式(56)のように、視差評価値R13(Δ)を選択ブロックB(ih,iv)における第1のレンズ撮像信号I1と第3のレンズ撮像信号I3との信頼度C13(ih,iv)とする。
 R13(ky) = ΣΣ|I1(x,y)-I3(x,y+ky)| ・・・ (54)
 Δ13(ih,iv) = Δ ・・・ (55)
 C13(ih,iv) = R13(Δ) ・・・ (56)
 次に、第1のレンズ撮像信号I1と第4のレンズ撮像信号I4との視差と視差信頼度も同様に求める。ただし、ずらす方向を斜め方向(第1のレンズ部113aの光軸と第4のレンズ部113dの光軸とを結ぶ方向)に変更し、ずらし量はx方向にkx、y方向にkx*Dy/Dxとする。下記式(57)のように、選択ブロックB(ih,iv)における第1のレンズ撮像信号I1と第4のレンズ撮像信号I4の視差評価値R14(kx)を求める。すなわち、第1のレンズ撮像信号I1を基準として、視差評価値R14(kx)を演算する。そして、最小値を与えるずらし量、すなわち視差Δを、下記式(58)のように、選択ブロックB(ih,iv)における第1のレンズ撮像信号I1と第4のレンズ撮像信号I4との視差値Δ14(ih,iv)とし、下記式(59)のように、視差評価値R14(Δ)を選択ブロックB(ih,iv)における第1のレンズ撮像信号I1と第4のレンズ撮像信号I4との信頼度C14(ih,iv)とする。なお、式(57)において座標(x+kx,y+kx*Dy/Dx)が小数となるとき、レンズ撮像信号I4は周辺画素から線形補間などにより求める。なお、図2のように、Dx、及びDyは、第1のレンズ部113aと第4のレンズ部113dにおけるx方向のレンズ部の間隔、及びy方向のレンズ部の間隔である。
 R14(ky) = ΣΣ|I1(x,y)-I4(x+kx,y+kx*Dy/Dx)| ・・・ (57)
 Δ14(ih,iv) = Δ ・・・ (58)
 C14(ih,iv) = R14(Δ) ・・・ (59)
 そして、上記3つの視差信頼度を比較し最も信頼できる視差値をこのブロックにおける視差値とする。すなわち、下記式(60)のように、3つの視差信頼度C12(ih,iv)、C13(ih,iv)、C14(ih,iv)を比較し、C12(ih,iv)が最も小さいときΔ12(ih,iv)をブロックB(ih,iv)における視差値Δ(ih,iv)とし、C13(ih,iv)が最も小さいときΔ13(ih,iv)をブロックB(ih,iv)における視差値Δ(ih,iv)とし、C14(ih,iv)が最も小さいときΔ14(ih,iv)をブロックB(ih,iv)における視差値Δ(ih,iv)とする。なお、信頼度(C12、C13、C14)として絶対値差分総和(式(53)、(56)、(59))を用いたが正規化相関係数を用いてもよい。この場合、最も大きい信頼度を与える視差値を選択する。ここで、視差値をx方向に統一するため、Δ13(ih,iv)を採用するとき、レンズ部の間隔の比であるDx/Dyを乗ずる。
 Δ(ih,iv) = Δ12(ih,iv)  (C12(ih,iv)が最も小さいとき) ・・・ (60)
= Δ13(ih,iv)*Dx/Dy (C13(ih,iv)が最も小さいとき)
= Δ14(ih,iv)  (C14(ih,iv)が最も小さいとき)
 次に、ステップS1260において、距離演算部は視差から距離を演算する。式(7)を距離Aについて解くと式(8)のように表されるため、ブロックB(ih,iv)に含まれる領域の距離DIS(x,y)は、下記式(61)にように示される。ここで、fは焦点距離、Dxはx方向の光軸間距離、pは撮像素子123の受光素子の間隔である。視差値Δが画素単位であるため、視差値Δにpを乗ずることにより、焦点距離fなどと同一の単位系に変換する。
 DIS(x,y) = [f*Dx]/[p*Δ(ih,iv)] ((x,y)はB(ih,iv)の範囲) ・・・ (61)
 次に、ステップS1270において、距離演算部は距離演算を終了するかどうかを判断する。距離演算部は、全てのブロックが選択されたとき(選択ブロックがB(Nh-1,Nv-1)のとき)、距離演算を終了すると決定し、次に、ステップS1280を実行する。一方、全てのブロックが選択されていないとき(選択ブロックがB(Nh-1,Nv-1)でないとき)、距離演算を継続すると決定し、次に、ステップS1240を実行する。
 ステップS1280において、距離演算部は距離演算を終了し、上位ルーチンへ戻る。このようにして、切出し後の座標(x,y)における距離DIS(x,y)が求められる。
 次に、ステップS1910(図14)において、撮像装置101は、データ出力を行う。具体的には、入出力部135は、画像データ、距離データ、及び温度データを撮像装置101の外部に出力する。画像データとして、撮像信号I0、あるいは第1の撮像信号I1を出力する。距離データとして、距離DISを出力する。温度データとして、温度センサ信号Tsを出力する。
 次に、ステップS1920において、撮像装置101は動作を終了するかどうかを判断する。例えば、システム制御部131は、入出力部135を介し、上位CPU(図示せず)と通信し、動作を終了するかどうかの命令を要求する。そして、上位CPUが終了を命令すれば動作を終了し、次に、ステップS1930を実行する。一方、上位CPUが終了を命令しなければ動作を継続し、次に、ステップS1020を実行する。すなわち、上位CPUが終了を命令しない限り、ステップS1020、ステップS1030、ステップS1110、ステップS1120、ステップS1200、及びステップS1910のループの実行を継続する。
 ステップS1930において、撮像装置101は動作を終了する。
 [作用効果]
 本実施の形態の撮像装置が以上のように構成されて動作することにより、以下の効果が奏される。
 以上のとおり、実施の形態1の撮像装置は、温度センサ126によりレンズアレイ113の周囲温度を計測し、温度センサ信号Tsとして入力する。そして、レンズアレイ113が略円形であるために等方的に膨張することを利用し、式(12)及び(13)によって、レンズアレイ113の温度上昇に伴う光軸間の間隔のx方向の変化量ddx、y方向の変化量ddyを求め、その間隔の半分だけ光軸が変化するものとして、式(14)から(21)によって、第1のレンズ部113aの光軸中心(xc1,yc1)、第2のレンズ部113bの光軸中心(xc2,yc2)、第3のレンズ部113cの光軸中心(xc3,yc3)、及び第4のレンズ部113dの光軸中心(xc4,yc4)を作成し、これらに基づき座標変換する。このことにより、温度が変化しレンズアレイ113が変形しても、光軸の位置を正しく補償することができるため、温度の影響を低減した視差を得て、この視差に基づき正しい距離計測ができる。また、温度センサ126により検知された温度に基づき複数のレンズ部の間隔の変化量を求め、複数のレンズの光軸原点をその変化量の半分だけ移動させて、光軸原点周りの歪みをなくすように画像を補正することにより、正しく歪みの影響を低減できるため、視差の検知及び距離測定を高精度に行うことができる。
 温度によりレンズ部の光軸の位置が変化すると、撮影される画像が移動することになる。例えば、自動車の前方監視に撮像装置を利用する場合、その撮像装置により得られた画像中心を運転者が見た画像の中心に合わせても、温度が変化すると画像中心がずれる。そのため、運転者は違和感を覚える。これに対し、実施の形態1の撮像装置の場合、温度が変化しても、画像中心の変化を抑制することができる。そのため、自動車の前方監視にも適した撮像装置を実現することができる。
 なお、光軸中心から離れるほど歪曲が大きくなり、測距精度が悪くなる。本実施の形態の撮像装置によれば、光軸を上記のように補償することにより、歪曲が大きい領域の利用を避けるという効果を奏する。
 また、本発明の第1の実施の形態の撮像装置は、例えば、第1のレンズ部113aの光軸中心x座標xc1であれば、温度センサ信号Tsに応じた複数組の補正係数(センサ温度信号Tsが0、256、512、768、1024、・・・、3840、4096のときの値であるxc1_0、xc1_256、xc1_512、xc1_768、xc1_1024、・・・、xc1_3040、xc1_4096)を係数保存部141に保存し、温度センサ信号Tsに関して式(11)のように補間処理を行い、作成する。同様に、第1のレンズ部113aの光軸中心y座標yc1、第2のレンズ部113bの光軸中心(xc2,yc2)、第3のレンズ部113cの光軸中心(xc3,yc3)、第4のレンズ部113dの光軸中心(xc4,yc4)、歪曲係数k2,k4、倍率(rx,ry)、及び各レンズ部のx方向の光軸間距離Dxは、それぞれ係数保存部141に各温度での値を保存し、温度センサ信号Tsを用いて補間演算を行い作成する。
 このことより、補正式から補正係数を演算すること(例えば、式(12)から(21)のような演算をすること)が不要になるため、その分だけ演算時間や演算回路が不要となり、低コストな撮像装置を実現する。また、温度に応じて複雑な非線形な変化をする補正係数について、光学解析や実験で求めた値を保存し用いることにより、補正式で表現される変化と実際の変化との誤差を防止し、正しく歪みの影響を低減できるため、視差の検知及び距離測定を高精度に行うことができる。
 また、本発明の実施の形態1の撮像装置は、予め各温度センサ信号Tsに応じた補正係数を保存するにあたり、全ての温度センサ信号Ts(0から4095までのディジタル値を取る)に対応した補正係数を保存せずに256おきに間引いた補正係数を保存し、温度に対して補間した補正係数を作成する。例えば、第1のレンズ部113aの光軸中心x座標xc1ならば、温度センサ信号Tsに対し256おきに間引いた補正係数(センサ温度信号Tsが0、256、512、768、1024、・・・、3840、4096のときの値であるxc1_0、xc1_256、xc1_512、xc1_768、xc1_1024、・・・、xc1_3040、xc1_4096)を保存し、温度センサ信号Tsに関して補間して用いる。このことにより、間引いた分だけ記憶領域を省略することができる(使用される記憶領域が1/256倍になる)ため、その分だけ回路規模を縮小した低コストな撮像装置を実現することができる。
 また、本発明の第1の実施の形態の撮像装置は、撮像信号補正部143において、第1のレンズ部113aの光軸中心(xc1,yc1)、第2のレンズ部113bの光軸中心(xc2,yc2)、第3のレンズ部113cの光軸中心(xc3,yc3)、第4のレンズ部113dの光軸中心(xc4,yc4)、歪曲係数k2,k4、及び倍率(rx,ry)に基づき、式(26)、(27)、(28)を用いて第1の撮像信号用の参照先座標(tx1,ty1)を求め、式(31)、(32)、(33)を用いて第2の撮像信号用の参照先座標(tx2,ty2)を求め、式(35)、(36)、(37)を用いて第3の撮像信号用の参照先座標(tx3,ty3)を求め、式(39)、(40)、(41)を用いて第4の撮像信号用の参照先座標(tx4,ty4)を求め、参照先座標が示す複数の撮像信号を参照し式(29)、(30)、(34)、(38)、(42)のように補間処理を施し補正後撮像信号である第1の撮像信号I1、第2の撮像信号I2、第3の撮像信号I3、及び第4の撮像信号I4を作成する。
 予め参照先座標を演算し保持する場合、補正後撮像信号(第1の撮像信号I1、第2の撮像信号I2、第3の撮像信号I3、及び第4の撮像信号I4)の全ての画素(全て合わせて画素数が4*H1*V1)に関し参照先座標(第1の撮像信号用の参照先座標(tx1,ty1)、第2の撮像信号用の参照先座標(tx2,ty2)、第3の撮像信号用の参照先座標(tx3,ty3)、及び第4の撮像信号用の参照先座標(tx4,ty4))が必要となるため、膨大な記憶容量が必要となり、その分だけ高コストとなる。特に、温度により参照先座標を変化させる必要がある場合、温度毎の参照先座標が必要であり、さらに膨大な記憶容量が必要となる。本発明の構成により、逐次、補正係数(第1のレンズ部113aの光軸中心(xc1,yc1)、第2のレンズ部113bの光軸中心(xc2,yc2)、第3のレンズ部113cの光軸中心(xc3,yc3)、第4のレンズ部113dの光軸中心(xc4,yc4)、歪曲係数k2,k4、及び倍率(rx,ry))から参照先座標(第1の撮像信号用の参照先座標(tx1,ty1)、第2の撮像信号用の参照先座標(tx2,ty2)、第3の撮像信号用の参照先座標(tx3,ty3)、及び第4の撮像信号用の参照先座標(tx4,ty4))を求め、補正後撮像信号(第1の撮像信号I1、第2の撮像信号I2、第3の撮像信号I3、及び第4の撮像信号I4)を作成する。このことにより、補正係数のみに記憶領域を割り当てればよく、大きな容量の記憶領域は不要であるため、低コストな撮像装置を実現する。特に、温度により参照先座標を変化させる必要がある場合、その効果は顕著となる。
 また、本発明の第1の実施の形態の撮像装置は、温度補償演算部142において温度センサ信号Tsに基づき倍率(rx,ry)を作成し、撮像信号補正部143において倍率(rx,ry)などに基づき撮像信号I0を補正し、補正後撮像信号(第1の撮像信号I1、第2の撮像信号I2、第3の撮像信号I3、及び第4の撮像信号I4)を作成する。温度変化に伴い鏡筒111の長さ(レンズアレイ113の各レンズ部(第1のレンズ部113a、第2のレンズ部113b、第3のレンズ部113c、及び第4のレンズ部113d)の主点と撮像素子123の受光面との距離)が変化し、その分だけ倍率が変化するため、倍率変化を考慮しなければ鏡筒の長さが温度変化する分だけ距離精度が悪化する。本発明の構成により、鏡筒111の長さの温度変化に対応した倍率比(rkx,rky)を作成し、この倍率比(rkx,rky)に基づき倍率(rx,ry)を作成し、倍率(rx,ry)だけ撮像信号を補正することにより、鏡筒の長さの温度変化の影響を低減することができるため、高精度な視差演算を実現し、それゆえ高精度な距離演算を実現することができる。
 同様に、焦点距離変化に対応した倍率比(rfx,rfy)を作成し、倍率比(rfx,rfy)に基づき倍率(rx,ry)を作成し、倍率(rx,ry)だけ撮像信号を補正することにより、焦点距離の温度変化の影響を低減することができるため、高精度な視差演算を実現し、それゆえ高精度な距離演算を実現することができる。
 また、本発明の第1の実施の形態の撮像装置は、温度補償演算部142において温度センサ信号Tsに基づき倍率(rx,ry)を作成し、撮像信号補正部143において倍率(rx,ry)などに基づき撮像信号I0を補正し、補正後撮像信号(第1の撮像信号I1、第2の撮像信号I2、第3の撮像信号I3、及び第4の撮像信号I4)を作成する。すなわち、各撮像信号において、温度に対して同一の倍率補正を行う。鏡筒が1つであるため、鏡筒長変化に伴う倍率変化は全ての撮像信号において等しい。また、各撮像信号(第1の撮像信号I1、第2の撮像信号I2、第3の撮像信号I3、及び第4の撮像信号)に対応するレンズ部(第1のレンズ部113a、第2のレンズ部113b、第3のレンズ部113c、及び第4のレンズ部113d)は1つのレンズアレイ113に一体形成されたものであり、全てのレンズ部の屈折率の温度変化、それゆえ全てのレンズ部の焦点距離の温度変化が等しい。このように、1つの鏡筒113と複数のレンズ部を含む1つのレンズアレイ113を用いて撮像装置が構成されるため、各レンズ部において温度に関して同一の倍率変化とみなすことができる。従って、複数の撮像領域に対して1つの倍率相関補正係数を作成するだけでよく、その分だけ、演算時間を削減でき、低コストで高精度に距離演算する撮像装置を実現することができる。
 一組のレンズ部に対応した撮像信号において、それぞれのレンズ部の光軸中心を結ぶ直線に平行な形状をなす撮像対象に対しては、それぞれのレンズ部により得られる撮像信号において同一形状となるため、視差を求めることができない。実施の形態1の撮像装置によれば、3つの撮像信号の組(第1の撮像信号I1及び第2の撮像信号I2、第1の撮像信号I1及び第3の撮像信号I3、並びに第1の撮像信号I1及び第4の撮像信号I4)を選択し、それぞれの組に対しそれぞれの視差Δ12(ibx,iby)、Δ13(ibx,iby)、及びΔ14(ibx,iby)を得る。このことにより、1つの組で正しく視差を求められない撮像対象であっても、他の組で正しく視差を求めることができるため、その視差に基づき距離を計測できる。例えば、水平な線状の撮像対象は、水平方向に並べられた組(第1の撮像信号I1及び第2の撮像信号I2)からは距離を計測することができないが、鉛直方向に並べられた組(第1の撮像信号I1及び第3の撮像信号I3、並びに第2の撮像信号I2及び第4の撮像信号I4)、及び斜めに並べられた組(第1の撮像信号I1及び第4の撮像信号I4)を用いることにより、距離を計測することができる。そのため、多様な形状の撮像対象に対応することができる。
 また、実施の形態1の撮像装置によれば、複数の前記視差の信頼度(C12(ih,iv)、C13(ih,iv)、及びC14(ih,iv))をそれぞれ演算し、ブロックB(ih,iv)毎に、視差(Δ12(ih,iv)、Δ13(ih,iv)、及びΔ14(ih,iv))のうち信頼度が最も大きい視差Δ(ih,iv)を特定し、その視差Δ(ih,iv)に基づいて距離を演算する。このように、信頼性が高い視差Δ(ih,iv)に基づき視差演算するため、信頼性が高い距離計測が可能となる。また、全ての組の視差(Δ12(ih,iv)、Δ13(ih,iv)、及びΔ14(ih,iv))において距離演算を行わず、信頼性が高い視差(Δ(ih,iv))のみの距離演算を行うため、高速な距離計測が可能となる。
 また、本発明の第1の実施の形態の撮像装置は、温度補償演算部142において温度センサ信号Tsに基づき倍率(rx,ry)を作成し、撮像信号補正部143において倍率(rx,ry)などに基づき撮像信号I0を補正し、補正後撮像信号(第1の撮像信号I1、第2の撮像信号I2、第3の撮像信号I3、及び第4の撮像信号I4)を作成する。そのため、温度が変化しても補正後撮像信号上の被写体像の大きさが変化しない。そのため、撮像装置から距離情報のみならず、補正後撮像信号を画像情報として出力し、後段のコントローラで、例えば、顔認識の画像処理を行う場合、温度が変化しても被写体像の大きさが変化しないため、正しい顔の大きさを求めることができる。
 [変形例]
 本発明の実施の形態1の撮像装置には種々の変形例が考えられる。以下、これを説明する。
 <変形例1>
 実施の形態1に係る撮像装置において、レンズアレイ113は略円形に成型されているが、これに限定されない。図21は、実施の形態1の変形例2に係る撮像装置のレンズアレイの構成を示す平面図である。図21(a)に示すレンズアレイ113Aのように、矩形状に成型されてもよい。さらに、図21(b)に示すレンズアレイ113Bのように、その端面等に平面方向に伸びる突起等が設けられていてもよい。このようにレンズアレイが略円形でない構成においても、レンズ部はほぼ等方に膨張するため、実施の形態1と同様に動作させることにより、実施の形態1の場合と同様の効果を得ることができる。
 <変形例2>
 実施の形態1に係る撮像装置において、レンズアレイ113は4つのレンズ部を持ったがレンズ部の数はこれに限定されない。図22は、実施の形態1の変形例3に係る撮像装置のレンズアレイの構成を示す平面図である。図22(a)に示すレンズアレイ113Cのように、x方向にDxだけ離れた2つのレンズ部(第1のレンズ部113Ca、及び第2のレンズ部113Cb)を持つものでもよい。なお、係数保存部141にぞれぞれのレンズ部の光軸中心を以下のように決定し保存する。式(12)、(13)のように、温度上昇に伴う光軸間の間隔のx方向の変化量ddx、y方向の変化量ddyを演算し、その半分(x方向にp*ddx/2、y方向にp*ddy/2)だけ光軸中心が移動するとして作成する。具体的には、下記式(64)、(65)のように、第1のレンズ部113Caの光軸中心(xc1,yc1)は、基準温度Th0における光軸中心(xc10,yc10)からx方向に-ddx/2だけ移動するように作成する。また、下記式(66)、(67)のように、第2のレンズ部113Cbの光軸中心(xc2,yc2)は、基準温度Th0における光軸中心(xc20,yc20)からx方向に+ddx/2だけ移動するように作成する。
 xc1 = xc10 - ddx/2 ・・・(64)
 yc1 = yc10 ・・・(65)
 xc2 = xc20 + ddx/2 ・・・(66)
 yc2 = yc20 ・・・(67)
 また、図22(b)に示すレンズアレイ113Dのように、最外周部のレンズ部同士がx方向にDxだけ、y方向にDyだけ離れた9つのレンズ部(第1のレンズ部113Da、第2のレンズ部113Db、第3のレンズ部113Dc、第4のレンズ部113Dd、第5のレンズ部113De、第6のレンズ部113Df、第7のレンズ部113Dg、第8のレンズ部113Dh、及び第9のレンズ部113Di。x方向、y方向に関してそれぞれ等間隔に配置されたもの)を持つものでもよい。なお、係数保存部141にぞれぞれのレンズ部の光軸中心を以下のように決定し保存する。式(12)、(13)のように、温度上昇に伴う光軸間の間隔のx方向の変化量ddx、y方向の変化量ddyを演算し、その半分(x方向にp*ddx/2、y方向にp*ddy/2)だけ光軸中心が移動するとして作成する。具体的には、下記式(68)、(69)のように、第1のレンズ部113Daの光軸中心(xc1,yc1)は、基準温度Th0における光軸中心(xc10,yc10)からx方向に-ddx/2、y方向に-ddy/2だけ移動するように作成する。また、下記式(70)、(71)のように、第2のレンズ部113Dbの光軸中心(xc2,yc2)は、基準温度Th0における光軸中心(xc20,yc20)からy方向に-ddy/2だけ移動するように作成する。また、下記式(72)、(73)のように、第3のレンズ部113Dcの光軸中心(xc3,yc3)は、基準温度Th0における光軸中心(xc30,yc30)からx方向に+ddx/2、y方向に-ddy/2だけ移動するように作成する。また、下記式(74)、(75)のように、第4のレンズ部113Ddの光軸中心(xc4,yc4)は、基準温度Th0における光軸中心(xc40,yc40)からx方向に-ddx/2だけ移動するように作成する。また、下記式(76)、(77)のように、第5のレンズ部113Deの光軸中心(xc5,yc5)は、基準温度Th0における光軸中心(xc10,yc10)から移動しないように作成する。また、下記式(78)、(79)のように、第6のレンズ部113Dfの光軸中心(xc6,yc6)は、基準温度Th0における光軸中心(xc60,yc60)からx方向に+ddx/2だけ移動するように作成する。また、下記式(80)、(81)のように、第7のレンズ部113Dgの光軸中心(xc7,yc7)は、基準温度Th0における光軸中心(xc70,yc70)からx方向に-ddx/2、y方向に+ddy/2だけ移動するように作成する。また、下記式(82)、(83)のように、第8のレンズ部113Dhの光軸中心(xc8,yc8)は、基準温度Th0における光軸中心(xc80,yc80)からy方向に+ddy/2だけ移動するように作成する。また、下記式(84)、(85)のように、第9のレンズ部113Diの光軸中心(xc9,yc9)は、基準温度Th0における光軸中心(xc90,yc90)からx方向に+ddx/2、y方向に+ddy/2だけ移動するように作成する。
 xc1 = xc10 - ddx/2 ・・・(68)
 yc1 = yc10 - ddy/2 ・・・(69)
 xc2 = xc20 ・・・(70)
 yc2 = yc20 - ddy/2 ・・・(71)
 xc3 = xc30 + ddx/2 ・・・(72)
 yc3 = yc30 - ddy/2 ・・・(73)
 xc4 = xc40 - ddx/2 ・・・(74)
 yc4 = yc40 ・・・(75)
 xc5 = xc50 ・・・(76)
 yc5 = yc50 ・・・(77)
 xc6 = xc60 + ddx/2 ・・・(78)
 yc6 = yc60 ・・・(79)
 xc7 = xc70 - ddx/2 ・・・(80)
 yc7 = yc70 + ddy/2 ・・・(81)
 xc8 = xc80 ・・・(82)
 yc8 = yc80 + ddy/2 ・・・(83)
 xc9 = xc90 + ddx/2 ・・・(84)
 yc9 = yc90 + ddy/2 ・・・(85)
 これ以外の点は、上述の実施の形態1と同様である。これにより、実施の形態1と同様の効果が得られる。
 <その他の変形例>
 なお、実施の形態1に係る撮像装置において、温度センサ126は、基板121上に配設されている。このように、温度センサ126を基板121上に配設する場合、基板121上の配線を用いて温度センサ126と温度センサ信号入力部134とを接続すればよいため、実装が容易であるという利点がある。しかし、このような構成に限定されるわけではない。温度センサ126は、レンズアレイ113近傍の基板121の温度を検出しているが、その目的は、レンズアレイ113の温度を検出することにある。レンズアレイ113の温度は直接又は間接的に検出することができる。レンズアレイ113の温度を間接的に検出するには、レンズアレイ113の温度と相関関係を有する温度あるいは温度以外の物理量を検出すればよい。そして、それらをレンズアレイ113の温度に補正し、あるいはレンズアレイ113の温度との差異を見込むことによって、それらを、直接検出するレンズアレイ113の温度の代わりに用いることができる。本実施の形態では、この観点から、レンズアレイ113近傍の基板121の温度を検出している。従って、これ以外に、例えば、温度センサ126をパッケージ122内部の撮像素子123に並列して配設するようにしてもよい。この場合、撮像素子123の近傍に温度センサ126が配置されるため、温度センサ126の実装時にゴミ等が撮像素子123に付着しないようにする配慮が必要となるものの、レンズアレイ113により近くなることにより、温度検出の精度が増す。その結果、光軸の変化をより正しく補正し、歪曲をより正しく補正することができるので、距離測定精度を向上させることができる。
 また、SLSI125の一部が温度センサ126となるような製造プロセスを用いてSLSI125を作成してもよい。この場合、温度センサ126を実装する必要がないため、その分だけ実装コストを低減できる。
 また、温度センサ126が、鏡筒111の外壁又は内壁に貼設されていてもよい。この場合、温度センサ126の配線に考慮が必要だが、レンズアレイ113に近い鏡筒111に温度センサ126を配置することができるため、温度検出の精度が増す。よって、光軸の変化をより正しく補正し、歪曲をより正しく補正することができ、距離測定精度を向上させることができる。また、鏡筒111の内部に埋設されていてもよい。この場合、温度センサ126の配線及び鏡筒111の製造方法に考慮が必要だが、レンズアレイ113に近い鏡筒111の内部に温度センサ126を配置することができるため、同様にして距離測定精度を向上させることができる。
 また、温度センサ126をレンズアレイ113の適宜の位置に配設し、適宜配線により接続してもよい。この場合、温度センサ126の配線に考慮が必要だが、レンズアレイ113に温度センサ126を直接配設するため、さらに温度検出の精度が増し、その結果距離測定精度を向上させることができる。また、レンズ部の内部に埋設されていてもよい。この場合、温度センサ126の配線及びレンズアレイ113の製造方法に考慮が必要だが、レンズアレイ113の内部に温度センサ126を配置するため、さらに温度検出の精度が増し、距離測定精度を向上させることができる。
 また、実施の形態1の撮像装置は、すべてのレンズ部において、同一の倍率を用いているが、レンズ部毎に倍率が異なっていてもよい。この場合、測定などによりぞれぞれの倍率を求める。
 また、実施の形態1の撮像装置は、歪曲係数kd2,kd4、倍率(rx,ry)、第1のレンズ部113aの光軸中心(xc1,yc1)、第2のレンズ部113bの光軸中心(xc2,yc2)、第3のレンズ部113cの光軸中心(xc3,yc3)、第4のレンズ部113dの光軸中心(xc4,yc4)、焦点距離f、及び各レンズ部のx方向の光軸間距離Dxを温度補償し、撮像信号を補正したが、これに限定されない。例えば、高次歪曲係数や、各レンズ部の倍率や、各レンズ部の回転などを補正してもよい。
(実施の形態2)
 本発明の実施の形態1に係る撮像装置は、レンズアレイ113が略円形に成型され、各レンズ部(第1のレンズ部113a、第2のレンズ部113b、第3のレンズ部113c、及び第4のレンズ部113d)がレンズアレイ113の中心から同一距離に配置されている。そして、温度センサ126によって検知された温度に基づきレンズアレイ113の各レンズ部の光軸の間隔の変化量を求め、各レンズ部の光軸原点を変化量の半分だけ移動し、光軸原点周りの歪みをなくすように画像を補正する。これにより、温度が変化しても正しく歪みの影響を低減できるため、高精度な視差を検知し、それゆえ高精度に距離測定する撮像装置を実現した。また、温度が変化しても、画像中心が変化しない撮像装置を実現した。
 これに対し、本発明の実施の形態2に係る撮像装置は、レンズアレイの中心から同一距離に配置されない各レンズ部を備えている。このように、各レンズ部がレンズアレイの中心から同一距離に配置されない場合においても、温度変化に影響されることなく高精度な視差を検知し、それゆえ高精度に距離測定し、かつ、画像中心の変化を抑制することができる。
 実施の形態2の撮像装置は、実施の形態1のレンズアレイ113をレンズアレイ213に置換え、さらに、実施の形態1の係数保存部141にレンズアレイ213に対応する補正係数を保存するよう構成したものである。その他の構成は実施の形態1と同様である。従って、図23において、図2と同一又は相当する要素には、同一の符号を付与し、その説明を省略する。また、以下では、実施の形態1の図面を用いて説明する場合がある。
 図23は、本発明の実施の形態2に係る撮像装置のレンズアレイの構成を示す平面図である。レンズアレイ213は、略円盤状であり、光学ガラス材や透明樹脂などから形成され、第1のレンズ部213a、第2のレンズ部213b、第3のレンズ部213c、及び第4のレンズ部213dが碁盤目状に配置される。第1~第4のレンズ部213a~213dの配置方向に沿って、図23に示すようにx軸及びy軸を設定する。第1のレンズ部213a、第2のレンズ部213b、第3のレンズ部213c、及び第4のレンズ部213dにおいて、被写体側から入射した光は、撮像素子123側へ射出し、撮像素子123上に4つの像を結像する(図1参照)。なお、図23に示すように、第1のレンズ部213aの光軸と第2のレンズ部213bの光軸とは、水平方向(x軸方向)ではDxだけ離れ、垂直方向(y軸方向)では一致しており、レンズアレイ213の中心213oを通るy軸方向の軸に対して対称な位置に配置される。そして、第1のレンズ部213aの光軸と第2のレンズ部213bの光軸とは、レンズアレイ213の中心213oからy軸方向にDy1だけ離れて配置される。また、第3のレンズ部213cの光軸と第4のレンズ部213dの光軸とは、水平方向(x軸方向)ではDxだけ離れ、垂直方向(y軸方向)では一致しており、レンズアレイの中心213oを通るy軸方向の軸に対して対称な位置に配置される。そして、第3のレンズ部213cの光軸と第4のレンズ部213dの光軸とは、レンズアレイ213の中心213oからy軸方向にDy2だけ離れて配置される。
 なお、係数保存部141(図13参照)に保存される各レンズ部の光軸中心を以下のように決定する。レンズアレイ213の温度が上昇した場合、各レンズ部213a~213dが膨張する。この場合、レンズアレイ213は略円形であるため、図23において矢印で示すように、各レンズ部213a~213dの光軸中心がレンズアレイ213の中心213oに対して各レンズ部がレンズ外側に移動する。この移動量は、レンズアレイ213の中心213oから各レンズ部213a~213dの光軸までの距離に略比例する。すなわち、温度上昇によるレンズアレイ213の膨張に伴う第1のレンズ部213aのx軸方向の移動量dbx1及びy軸方向の移動量dby1は、撮像素子123の画素間隔を単位として、下記式(86)及び(87)のように表される。ここで、Dx/2は基準温度Th0におけるレンズアレイ213の中心213oを通るx軸方向の軸と第1のレンズ部213aの光軸との距離であり、Dy1は同じくy軸方向の軸と第1のレンズ部213aの光軸との距離である。また、aLはレンズアレイ213の熱線膨張率であり、aSは撮像素子123の熱線膨張率であり、T(Ts)は温度センサ信号がTsのときの温度センサの物理的な温度であり、Th0は基準温度であり、pは撮像素子123の画素間隔である。また、温度上昇によるレンズアレイ膨張に伴う第2のレンズ部213bのx軸方向の移動量dbx2及びy軸方向の移動量dby2は、撮像素子123の画素間隔を単位として、下記式(88)及び(89)のように表される。ここで、Dx/2は基準温度Th0におけるレンズアレイ213の中心213oを通るx軸方向の軸と第2のレンズ部213bの光軸との距離であり、Dy1は同じくy軸方向の軸と第2のレンズ部213bの光軸との距離である。また、温度上昇によるレンズアレイ膨張に伴う第3のレンズ部213cのx軸方向の移動量dbx3及びy軸方向の移動量dby3は、撮像素子123の画素間隔を単位として、下記式(90)及び(91)のように表される。ここで、Dx/2は基準温度Th0におけるレンズアレイの中心213oを通るx軸方向の軸と第3のレンズ部213cの光軸との距離であり、Dy2は同じくy軸方向の軸と第3のレンズ部213cの光軸との距離である。さらに、温度上昇によるレンズアレイ膨張に伴う第4のレンズ部213dのx軸方向の移動量dbx4及びy軸方向の移動量dby4は、撮像素子123の画素間隔を単位として、下記式(92)及び(93)のように表される。ここで、Dx/2は基準温度Th0におけるレンズアレイの中心213oを通る軸と第4のレンズ部213dの光軸との距離であり、Dy2は同じくy軸方向の軸と第4のレンズ部213dの光軸との距離である。
 ddx1 = (Dx/2) * (aL - aS) * (T(Ts) - Th0) / p ・・・(86)
 ddy1 = Dy1 * (aL - aS) * (T(Ts) - Th0) / p ・・・(87)
 ddx2 = (Dx/2) * (aL - aS) * (T(Ts) - Th0) / p ・・・(88)
 ddy2 = Dy1 * (aL - aS) * (T(Ts) - Th0) / p ・・・(89)
 ddx3 = (Dx/2) * (aL - aS) * (T(Ts) - Th0) / p ・・・(90)
 ddy3 = Dy2 * (aL - aS) * (T(Ts) - Th0) / p ・・・(91)
 ddx4 = (Dx/2) * (aL - aS) * (T(Ts) - Th0) / p ・・・(92)
 ddy4 = Dy2 * (aL - aS) * (T(Ts) - Th0) / p ・・・(93)
 そして、各レンズ部の光軸中心は、上述の移動量だけ光軸が移動するとして作成する。具体的には、下記式(94)、(95)のように、第1のレンズ部213aの光軸中心(xc1,yc1)は、基準温度Th0における光軸中心(xc10,yc10)からx方向に-ddx1、y方向に+ddy1だけ移動するように作成する。また、下記式(96)、(97)のように、第2のレンズ部213bの光軸中心(xc2,yc2)は、基準温度Th0における光軸中心(xc20,yc20)からx方向に+ddx2、y方向に+ddy2だけ移動するように作成する。また、下記式(98)、(99)のように、第3のレンズ部213cの光軸中心(xc3,yc3)は、基準温度Th0における光軸中心(xc30,yc30)からx方向に-ddx3、y方向に+ddy3だけ移動するように作成する。また、下記式(100)、(101)のように、第4のレンズ部213dの光軸中心(xc4,yc4)は、基準温度Th0における光軸中心(xc40,yc40)からx方向に+ddx4、y方向に+ddy4だけ移動するように作成する。
 xc1 = xc10 - ddx1 ・・・(94) 
 yc1 = yc10 + ddy1 ・・・(95)
 xc2 = xc20 + ddx2 ・・・(96) 
 yc2 = yc20 + ddy2 ・・・(97)
 xc3 = xc30 - ddx3 ・・・(98) 
 yc3 = yc30 + ddy3 ・・・(99)
 xc4 = xc40 + ddx4 ・・・(100)
 yc4 = yc40 + ddy4 ・・・(101)
 なお、歪曲係数k2、k4、倍率(rx,ry)、焦点距離f、及びx方向の光軸間距離Dxは、実施の形態1の撮像装置と同様の方法で作成し保存すればよい。
 なお、歪みが生じない場合、上記の座標変換テーブルを用いてなされる座標変換は、下記式(102)から(105)のように、撮像信号I0(x,y)から画像を切り出し、その後、下記式(106)から(109)のように、平行移動することを意味する。
 I1(x, y) = I0(x + x01, y + y01) ・・・(102)
 I2(x, y) = I0(x + x02, y + y02) ・・・(103)
 I3(x, y) = I0(x + x03, y + y03) ・・・(104)
 I4(x, y) = I0(x + x04, y + y04) ・・・(105)
 I1(x, y) = I1(x-ddx1, y+ddy1) ・・・(106)
 I2(x, y) = I2(x+ddx2, y+ddy2) ・・・(107)
 I3(x, y) = I3(y-ddx3, x+ddy3) ・・・(108)
 I4(x, y) = I4(x+ddx4, y+ddy4) ・・・(109)
 本実施の形態の撮像装置が以上のように構成されて動作することにより、実施の形態1と同様の効果が奏される。
 なお、実施の形態2を、実施の形態1の変形例と同様に変形することが可能であることは言うまでもない。
 上記説明から、当業者にとっては、本発明の多くの改良や他の実施形態が明らかである。従って、上記説明は、例示としてのみ解釈されるべきであり、本発明を実行する最良の態様を当業者に教示する目的で提供されたものである。本発明の精神を逸脱することなく、その構造及び/又は機能の詳細を実質的に変更できる。
 本発明の撮像装置は、距離計測可能な小型の撮像装置であるため、カメラ機能を備えた携帯型電話機、デジタルスチルカメラ、車載用カメラ、監視用カメラ、三次元計測器、及び立体画像入力カメラ等に有用である。
 101 カメラモジュール
 110 レンズモジュール
 111 鏡筒
 112 カバーガラス
 113、213 レンズアレイ
 120 回路部
 121 基板
 122 パッケージ
 123 撮像素子
 124 パッケージカバーガラス
 125 SLSI
 126 温度センサ
 127 金線
 131 システム制御部
 132 撮像素子駆動部
 133 撮像信号入力部
 134 温度センサ信号入力部
 135 入出力部
 141 係数保存部
 142 温度補償演算部
 143 撮像信号補正部
 144 距離演算部
 

Claims (8)

  1.  複数のレンズを含むレンズアレイと、
     前記複数のレンズと一対一に対応して設けられ、対応する前記レンズの光軸方向に対して略垂直な受光面をそれぞれ有する複数の撮像領域と、
     前記レンズアレイの近傍に配置され温度を検知する温度センサと、
     前記温度センサにより検知された温度に基づいて、前記撮像領域で撮像された画像の倍率に相関する補正係数(以下、倍率相関補正係数という)を含む補正係数を作成する補正係数作成部と、
     前記補正係数に基づいて、前記撮像領域において生成された撮像信号を補正するとともに該補正後の撮像信号を用いて視差を演算する補正演算部と、を備える、撮像装置。
  2.  前記補正係数作成部は、前記温度センサにより検知された温度に基づいて、前記倍率相関補正係数として、前記レンズアレイ及び前記複数の撮像領域を収容する鏡筒の伸び又は縮みを補正する倍率を作成するよう構成されており、
     前記補正演算部は、前記倍率に基づいて、前記撮像領域において生成された撮像信号を補正するよう構成されている、請求項1に記載の撮像装置。
  3.  前記補正係数作成部は、前記温度センサにより検知された温度に基づいて、前記倍率相関補正係数として、前記レンズアレイの屈折率または焦点距離の変化を補正する倍率を作成するよう構成されており、
     前記補正演算部は、前記倍率に基づいて、前記撮像領域において生成された撮像信号を補正するよう構成されている、請求項1に記載の撮像装置。
  4.  前記補正係数作成部は、前記複数の撮像領域のそれぞれに対する前記倍率相関補正係数を前記温度の変化に対して同一の割合だけ変化させるように作成する、請求項1~3のいずれかに記載の撮像装置。
  5.  複数のレンズを含むレンズアレイと、前記複数のレンズと一対一に対応して設けられ、対応する前記レンズの光軸方向に対して略垂直な受光面をそれぞれ有する複数の撮像領域とを有する撮像装置に用いられる半導体回路素子であって、
     前記レンズアレイの近傍に配置された温度センサによって検知された温度に基づいて、前記撮像領域で撮像された画像の倍率に相関する補正係数(以下、倍率相関補正係数という)を含む補正係数を作成する補正係数作成部と、
     前記補正係数に基づいて、前記撮像領域において生成された撮像信号を補正するとともに該補正後の撮像信号を用いて視差を演算する補正演算部と、を備える、半導体回路素子。
  6.  前記補正係数作成部は、前記温度センサにより検知された温度に基づいて、前記倍率相関補正係数として鏡筒の伸び又は縮みを補正する倍率を作成するよう構成されており、
     前記補正演算部は、前記倍率に基づいて、前記撮像領域において生成された撮像信号を補正するよう構成されている、請求項5に記載の半導体回路素子。
  7.  前記補正係数作成部は、前記温度センサにより検知された温度に基づいて、前記倍率相関補正係数として、前記レンズアレイの屈折率または焦点距離の変化を補正する倍率を作成するよう構成されており、
     前記補正演算部は、前記倍率に基づいて、前記撮像領域において生成された撮像信号を補正するよう構成されている、請求項5に記載の半導体回路素子。
  8.  前記補正係数作成部は、前記複数の撮像領域のそれぞれに対する前記倍率相関補正係数を前記温度の変化に対して同一の割合だけ変化させるように作成する、請求項5~7のいずれかに記載の半導体回路素子。
     
PCT/JP2009/003464 2008-07-23 2009-07-23 撮像装置及び半導体回路素子 WO2010010707A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009550183A JP4510930B2 (ja) 2008-07-23 2009-07-23 撮像装置及び半導体回路素子
US12/678,881 US8390703B2 (en) 2008-07-23 2009-07-23 Image pickup apparatus and semiconductor circuit element

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-189562 2008-07-23
JP2008189562 2008-07-23

Publications (1)

Publication Number Publication Date
WO2010010707A1 true WO2010010707A1 (ja) 2010-01-28

Family

ID=41570176

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/003464 WO2010010707A1 (ja) 2008-07-23 2009-07-23 撮像装置及び半導体回路素子

Country Status (3)

Country Link
US (1) US8390703B2 (ja)
JP (1) JP4510930B2 (ja)
WO (1) WO2010010707A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013127416A (ja) * 2011-12-19 2013-06-27 Ricoh Co Ltd 測距装置、測距システム、測距プログラムおよび視差補正方法
JP2014052335A (ja) * 2012-09-10 2014-03-20 Ricoh Co Ltd 画像処理装置及びステレオカメラ装置
JP2015228576A (ja) * 2014-05-30 2015-12-17 株式会社富士通ゼネラル 車載カメラ装置
JP2016132384A (ja) * 2015-01-20 2016-07-25 株式会社富士通ゼネラル 車載カメラ装置
US11002538B2 (en) 2017-10-27 2021-05-11 Canon Kabushiki Kaisha Device, method, and medium for measuring distance information using a parallax calculated from multi-viewpoint images
EP4067813A1 (en) 2021-03-30 2022-10-05 Canon Kabushiki Kaisha Distance measurement device, moving device, distance measurement method, control method for moving device, and storage medium
US11682131B2 (en) 2017-10-27 2023-06-20 Canon Kabushiki Kaisha Image capturing apparatus and method of controlling image capturing apparatus

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5178266B2 (ja) * 2008-03-19 2013-04-10 キヤノン株式会社 固体撮像装置
JP5387856B2 (ja) * 2010-02-16 2014-01-15 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
TWI448666B (zh) * 2010-06-15 2014-08-11 Pixart Imaging Inc 依據環境溫度以校正測距裝置所量測之待測物之待測距離之校正方法與其相關裝置
FR2969819A1 (fr) 2010-12-22 2012-06-29 St Microelectronics Grenoble 2 Capteur d'image tridimensionnel
FR2969822A1 (fr) * 2010-12-24 2012-06-29 St Microelectronics Grenoble 2 Capteur d'image tridimensionnel
WO2013133225A1 (ja) * 2012-03-07 2013-09-12 旭硝子株式会社 マイクロレンズアレイおよび撮像素子パッケージ
US20150281601A1 (en) * 2014-03-25 2015-10-01 INVIS Technologies Corporation Modular Packaging and Optical System for Multi-Aperture and Multi-Spectral Camera Core
EP2942938B1 (en) * 2014-05-07 2021-01-27 Veoneer Sweden AB Camera module for a motor vehicle and method of pre-focusing a lens objective in a lens holder
CN105323454B (zh) * 2014-07-30 2019-04-05 光宝电子(广州)有限公司 多相机图像撷取系统与图像重组补偿方法
KR102316448B1 (ko) 2015-10-15 2021-10-25 삼성전자주식회사 이미지 장치 및 그것의 뎁쓰 계산 방법
EP3576401B1 (en) * 2017-01-24 2024-03-06 LG Innotek Co., Ltd. Camera module including a liquid lens
US20220148138A1 (en) * 2019-03-26 2022-05-12 Sony Semiconductor Solutions Corporation Vehicle-mounted camera apparatus and image distortion correction method
US20230140390A1 (en) * 2020-04-13 2023-05-04 T-Smart Systems Llc Structure and Method of Manufacturing for a Hermetic Housing Enclosure for a Thermal Shock Proof, Zero Thermal Gradient Imaging or Sensing Core

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04350613A (ja) * 1991-05-28 1992-12-04 Hitachi Ltd 画像認識装置
WO2004106858A1 (ja) * 2003-05-29 2004-12-09 Olympus Corporation ステレオカメラシステム及びステレオ光学モジュール
JP2007081806A (ja) * 2005-09-14 2007-03-29 Konica Minolta Holdings Inc 撮像システム
JP4264464B2 (ja) * 2007-06-28 2009-05-20 パナソニック株式会社 撮像装置及び半導体回路素子

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04264464A (ja) 1991-02-19 1992-09-21 Ricoh Co Ltd 複写制御装置
JPH0787385A (ja) 1993-09-10 1995-03-31 Canon Inc 撮像装置
JPH10281761A (ja) 1997-04-02 1998-10-23 Fuji Electric Co Ltd 測距装置
JP3976887B2 (ja) * 1998-04-17 2007-09-19 キヤノン株式会社 カメラ
JP2001099643A (ja) * 1999-07-23 2001-04-13 Fuji Electric Co Ltd 測距装置
US6785028B1 (en) * 1999-11-24 2004-08-31 Ricoh Company, Ltd. Optical scanning device having a temperature compensation unit
CN1454310A (zh) * 2000-09-04 2003-11-05 早川昇 温度显示装置及温度监视系统
JP3703424B2 (ja) 2000-10-25 2005-10-05 キヤノン株式会社 撮像装置及びその制御方法及び制御プログラム及び記憶媒体
US7262799B2 (en) * 2000-10-25 2007-08-28 Canon Kabushiki Kaisha Image sensing apparatus and its control method, control program, and storage medium
JP2003143459A (ja) * 2001-11-02 2003-05-16 Canon Inc 複眼撮像系およびこれを備えた装置
DE10324044B4 (de) 2003-05-27 2006-01-12 Siemens Ag Dilatometer mit einer Interferometeranordnung und Verwendung des Dilatometers mit der Interferometeranordnung
WO2004106857A1 (ja) * 2003-05-29 2004-12-09 Olympus Corporation ステレオ光学モジュール及びステレオカメラ
JP2007263563A (ja) * 2004-06-03 2007-10-11 Matsushita Electric Ind Co Ltd カメラモジュール
JP2006122338A (ja) * 2004-10-28 2006-05-18 Aruze Corp 遊技機及びプログラム
JP2007033315A (ja) 2005-07-28 2007-02-08 Pentax Corp 3次元物体測量装置および測量写真解析装置
US7999873B2 (en) * 2005-11-22 2011-08-16 Panasonic Corporation Imaging device with plural lenses and imaging regions
JP2007271301A (ja) 2006-03-30 2007-10-18 Matsushita Electric Ind Co Ltd 撮像装置
JP2007322128A (ja) 2006-05-30 2007-12-13 Matsushita Electric Ind Co Ltd カメラモジュール
US7826736B2 (en) * 2007-07-06 2010-11-02 Flir Systems Ab Camera and method for use with camera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04350613A (ja) * 1991-05-28 1992-12-04 Hitachi Ltd 画像認識装置
WO2004106858A1 (ja) * 2003-05-29 2004-12-09 Olympus Corporation ステレオカメラシステム及びステレオ光学モジュール
JP2007081806A (ja) * 2005-09-14 2007-03-29 Konica Minolta Holdings Inc 撮像システム
JP4264464B2 (ja) * 2007-06-28 2009-05-20 パナソニック株式会社 撮像装置及び半導体回路素子

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013127416A (ja) * 2011-12-19 2013-06-27 Ricoh Co Ltd 測距装置、測距システム、測距プログラムおよび視差補正方法
JP2014052335A (ja) * 2012-09-10 2014-03-20 Ricoh Co Ltd 画像処理装置及びステレオカメラ装置
JP2015228576A (ja) * 2014-05-30 2015-12-17 株式会社富士通ゼネラル 車載カメラ装置
JP2016132384A (ja) * 2015-01-20 2016-07-25 株式会社富士通ゼネラル 車載カメラ装置
US11002538B2 (en) 2017-10-27 2021-05-11 Canon Kabushiki Kaisha Device, method, and medium for measuring distance information using a parallax calculated from multi-viewpoint images
US11682131B2 (en) 2017-10-27 2023-06-20 Canon Kabushiki Kaisha Image capturing apparatus and method of controlling image capturing apparatus
EP4067813A1 (en) 2021-03-30 2022-10-05 Canon Kabushiki Kaisha Distance measurement device, moving device, distance measurement method, control method for moving device, and storage medium
US12069234B2 (en) 2021-03-30 2024-08-20 Canon Kabushiki Kaisha Distance measurement device, moving device, distance measurement method, control method for moving device, and storage medium

Also Published As

Publication number Publication date
JP4510930B2 (ja) 2010-07-28
JPWO2010010707A1 (ja) 2012-01-05
US8390703B2 (en) 2013-03-05
US20100259648A1 (en) 2010-10-14

Similar Documents

Publication Publication Date Title
JP4510930B2 (ja) 撮像装置及び半導体回路素子
JP4264464B2 (ja) 撮像装置及び半導体回路素子
US8405820B2 (en) Ranging device and ranging module and image-capturing device using the ranging device or the ranging module
US10491799B2 (en) Focus detection apparatus, focus control apparatus, image capturing apparatus, focus detection method, and storage medium
US8619183B2 (en) Image pickup apparatus and optical-axis control method
KR102017416B1 (ko) 액추에이터 드라이버, 촬상 장치, 캘리브레이션 방법
US7490019B2 (en) Method and apparatus for three-dimensional measurement
US8212912B2 (en) Imaging device, imaging system, and imaging method
JPWO2006035778A1 (ja) カメラモジュールおよびそれを備えた電子機器
JP7205486B2 (ja) 撮像装置
JP2009250785A (ja) 撮像装置
US11233961B2 (en) Image processing system for measuring depth and operating method of the same
KR102597470B1 (ko) 뎁스 맵 결정 방법 및 그 방법을 적용한 전자 장치
JP2006308496A (ja) 測距装置及び撮像装置
JP2021177245A (ja) 撮像装置およびアクチュエータドライバ
WO2021044746A1 (ja) 画像処理装置
JP2010002280A (ja) 撮像装置、測距装置及び視差算出方法
JP5434816B2 (ja) 測距装置及び撮像装置
KR20090116024A (ko) 이미지센서 및 이를 이용한 광축 시프트 보정 방법
JP6060482B2 (ja) 測距装置、測距システム、測距プログラムおよび視差補正方法
JP7109386B2 (ja) 画像処理装置
JP2024063309A (ja) 測距カメラシステム、それを備える移動装置、校正方法、およびプログラム
JP3745056B2 (ja) 測距位置調節装置
JP2019168609A (ja) 光学部品保持装置及び、その撮像装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2009550183

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 12678881

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09800223

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09800223

Country of ref document: EP

Kind code of ref document: A1