WO2010010707A1 - 撮像装置及び半導体回路素子 - Google Patents

撮像装置及び半導体回路素子 Download PDF

Info

Publication number
WO2010010707A1
WO2010010707A1 PCT/JP2009/003464 JP2009003464W WO2010010707A1 WO 2010010707 A1 WO2010010707 A1 WO 2010010707A1 JP 2009003464 W JP2009003464 W JP 2009003464W WO 2010010707 A1 WO2010010707 A1 WO 2010010707A1
Authority
WO
WIPO (PCT)
Prior art keywords
lens
imaging
magnification
temperature
correction coefficient
Prior art date
Application number
PCT/JP2009/003464
Other languages
English (en)
French (fr)
Inventor
飯島友邦
玉木悟史
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2009550183A priority Critical patent/JP4510930B2/ja
Priority to US12/678,881 priority patent/US8390703B2/en
Publication of WO2010010707A1 publication Critical patent/WO2010010707A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/12—Beam splitting or combining systems operating by refraction only
    • G02B27/123—The splitting element being a lens or a system of lenses, including arrays and surfaces with refractive power
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Definitions

  • the present invention relates to an imaging apparatus capable of measuring a distance and a semiconductor circuit element used in the imaging apparatus.
  • FIG. 24 is an exploded perspective view of the imaging apparatus of Patent Document 1.
  • FIG. 25 is a diagram for explaining an imaging block of the imaging apparatus.
  • the imaging device 901 that is a compound eye imaging system includes a diaphragm member 902, an optical lens array 903, a light blocking block 904, an optical filter 906, and an imaging unit 907.
  • a diaphragm member 902 having four openings 902-1, 902-2, 902-3, and 902-4, and four optical blocks (lenses) 903-1, 903-2, and 903-3.
  • 903-4 have four imaging optical systems, and the light beams that have passed through each of the four imaging blocks 907-1, 907-2, 907- on the imaging unit 907, respectively. 3, 907-4.
  • An imaging unit 907 formed by a CCD sensor or the like has a parallax calculation for calculating parallax information between images captured by the drive circuit 908 that drives the imaging unit 907 and the plurality of imaging blocks 907-1 to 907-4. Together with the circuit 909, it is formed on the semiconductor substrate 910.
  • the light beams that have passed through the openings 902-1 to 902-4 of the diaphragm member 902 are refracted by the lenses 903-1 to 903-4, and then pass through the light shielding block 904 and the optical filter 906. Passes and forms an image on the imaging blocks 907-1 to 907-4.
  • the distance L is obtained from the parallax d as shown in the following formula (1).
  • f is the focal length of the lenses 903-1 and 903-2
  • B is the distance between the optical axes of the lenses 903-1 and 903-2
  • p is the light between the lenses 903-1 and 903-2. This is the pixel interval of the imaging unit 907 in the direction connecting the axes.
  • L (f * B) / (p * d)... (1)
  • the lens array 903 is deformed by a temperature change, and the distance B between the optical axes of the lenses is changed accordingly. Therefore, the distance cannot be obtained correctly when the temperature changes.
  • Patent Document 2 An imaging apparatus corresponding to such a temperature change is disclosed in Patent Document 2. Since the structure thereof is the same as that of the image pickup apparatus of Patent Document 1 except that a temperature sensor is provided, the image pickup apparatus of Patent Document 2 will be described with reference to FIG. 903-1 to 903-4 and a temperature sensor for measuring a temperature T in the vicinity of the lenses 903-1 to 903-4, and using the temperature T, imaging is performed by the imaging blocks 907-1 to 907-4. The corrected images I1 to I4 are corrected.
  • the imaging apparatus calculates a temperature change amount (T ⁇ T0) with respect to the reference temperature T0 as in the following formula (2), and calculates the thermal expansion coefficient aL of the lens array and the linear expansion of the imaging unit 907. Based on the difference from the rate aS (aL ⁇ aS), the amount of change z of the optical axis interval B of each lens due to temperature change is obtained.
  • the imaging blocks 907-2, 907 are expressed as in the following formulas (4), (5), and (6) with the image I1 captured by the imaging block 907-1 as a reference as in the following formula (3). ⁇ 3, 907-4, the images I2, I3, and I4 are corrected by the change in the optical axis interval of each lens.
  • the lenses 903-1 and 903-2 and the lenses 903-3 and 903-4 are arranged apart from each other in the x-axis direction, and the lenses 903-1 and 903-3 and the lenses 903-2 and 903-3 are arranged. 4 are arranged apart from each other in the y-axis direction.
  • p is an image pickup unit 907 pixel interval, and is the same in the x-axis direction and the y-axis direction. I1 (x, y), I2 (x, y), I3 (x, y), and I4 (x, y) indicate the luminance of each image at coordinates (x, y).
  • the lens 903-2 moves by z / p pixels in the x-axis direction, so that I2 (x, y) is z in the x-axis direction as shown in Equation (4). It is corrected to move by / p. Further, because of the temperature change, the lens 903-3 moves by z / p pixels in the y-axis direction as compared with the lens 903-1, so that I3 (x, y) is changed to the y-axis as in Expression (5). Correction is made to move in the direction by z / p.
  • the lens 903-4 moves by z / p pixels in the x-axis direction and z / p pixels in the y-axis direction as compared with the lens 903-1 due to the temperature change.
  • I4 (x, y) is corrected so as to move by z / p pixels in the x-axis direction and by z / p pixels in the y-axis direction.
  • I1 (x, y) I1 (x, y)... (3)
  • I2 (x, y) I2 (x + z / p, y)... (4)
  • I3 (x, y) I3 (y, x + z / p)... (5)
  • I4 (x, y) I4 (x + z / p, y + z / p)... (6)
  • the conventional image pickup apparatus described in Patent Document 2 uses the image I1 picked up by the image pickup block 907-1 as a reference, as shown in equations (4), (5), and (6).
  • the images I2, I3, and I4 captured by the blocks 907-2, 907-3, and 907-4 are corrected by the change in the optical axis interval of the lens.
  • the present invention has been made in view of the above problems, and an imaging apparatus capable of highly accurate distance measurement even when the temperature changes and the magnification of the captured image changes, and a semiconductor circuit used in the imaging apparatus
  • An object is to provide an element.
  • an imaging apparatus is provided in a one-to-one correspondence with a lens array including a plurality of lenses and the plurality of lenses, and is substantially in the optical axis direction of the corresponding lenses.
  • a correction coefficient generation unit that generates a correction coefficient including a correction coefficient that correlates with magnification (hereinafter referred to as a magnification correlation correction coefficient), and corrects the correction of the imaging signal generated in the imaging region based on the correction coefficient
  • a correction calculation unit that calculates the parallax using the subsequent imaging signal.
  • the “correction coefficient correlating with the magnification of the image captured in the imaging area” means a correction coefficient that corrects a physical quantity having a correlation with the magnification of the image captured in the imaging area.
  • magnification itself of the image captured in the imaging region and the focal length of each of the plurality of lenses are applicable. Further, the expansion and contraction of the lens barrel that accommodates the lens array, the refractive index of each of the plurality of lenses, and the like, which have a correlation with these, also apply.
  • the imaging signal generated in the imaging region is corrected based on the correction coefficient that is created based on the temperature detected by the temperature sensor and correlates with the magnification of the image captured in the imaging region. Since the parallax is calculated using the corrected imaging signal, or even if the temperature changes and the magnification of the captured image changes, the change in the magnification due to the temperature change can be compensated. As a result, highly accurate distance measurement is possible.
  • the correction coefficient creation unit creates a magnification for correcting expansion or contraction of the lens array and the lens barrel that houses the plurality of imaging regions as the magnification correlation correction coefficient based on the temperature detected by the temperature sensor.
  • the correction calculation unit may be configured to correct an imaging signal generated in the imaging region based on the magnification.
  • the correction coefficient creating unit is configured to create a magnification for correcting a change in the refractive index or the focal length of the lens array as the magnification correlation correction coefficient based on the temperature detected by the temperature sensor.
  • the correction calculation unit may be configured to correct an imaging signal generated in the imaging region based on the magnification.
  • correction coefficient creation unit may create the magnification correlation correction coefficient for each of the plurality of imaging regions so as to change by the same ratio with respect to the change in temperature.
  • one magnification correlation correction coefficient is created for a plurality of imaging regions, and accordingly, the computation time is increased accordingly.
  • An image pickup apparatus that can calculate distance with high accuracy at low cost can be realized.
  • the semiconductor circuit element of the present invention is provided with a lens array including a plurality of lenses and a one-to-one correspondence with the plurality of lenses, and a light receiving surface substantially perpendicular to the optical axis direction of the corresponding lenses.
  • a semiconductor circuit element used in an imaging device having a plurality of imaging regions each having an image captured in the imaging region based on a temperature detected by a temperature sensor disposed in the vicinity of the lens array.
  • a correction coefficient generation unit that generates a correction coefficient including a correction coefficient that correlates with magnification (hereinafter referred to as a magnification correlation correction coefficient), and corrects the correction of the imaging signal generated in the imaging region based on the correction coefficient
  • a correction calculation unit that calculates the parallax using the subsequent imaging signal.
  • the imaging signal generated in the imaging region is corrected based on the correction coefficient that is created based on the temperature detected by the temperature sensor and correlates with the magnification of the image captured in the imaging region. Since the parallax is calculated using the corrected imaging signal, or even if the temperature changes and the magnification of the captured image changes, the change in the magnification due to the temperature change can be compensated. As a result, highly accurate distance measurement is possible.
  • FIG. 1 is a cross-sectional view showing a configuration of an imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a plan view showing the configuration of the lens array of the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a plan view showing the configuration of the circuit unit of the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 4 is a plan view showing the configuration of the image pickup element of the image pickup apparatus according to Embodiment 1 of the present invention.
  • FIG. 5 is a circuit diagram of the temperature sensor of the image pickup apparatus according to Embodiment 1 of the present invention.
  • FIG. 6 is a diagram for explaining the position of an object image at infinity in the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 1 is a cross-sectional view showing a configuration of an imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a plan view showing the configuration of the lens array of the imaging apparatus according
  • FIG. 7 is a diagram for explaining the position of an object image at a finite distance in the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 8 is a diagram for explaining a change in magnification due to the extension of the lens barrel according to the first embodiment of the present invention.
  • FIG. 9 is a view for explaining the principle of temperature correction of the lens barrel extension according to Embodiment 1 of the present invention.
  • FIG. 10 is a diagram for explaining the effect of temperature correction of the lens barrel extension according to Embodiment 1 of the present invention.
  • FIG. 11 is a diagram for explaining changes in refractive index and focal length with respect to temperature according to Embodiment 1 of the present invention.
  • FIG. 12 is a diagram for explaining a change in magnification due to a change in focal length according to Embodiment 1 of the present invention.
  • FIG. 13 is a block diagram showing a configuration of the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 14 is a flowchart showing the operation of the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 15 is a diagram for explaining the coefficient storage unit according to the first embodiment of the present invention.
  • FIG. 16 is a diagram for explaining the cutout position of the image pickup signal of the image pickup apparatus according to Embodiment 1 of the present invention.
  • FIG. 17 is a flowchart showing the operation of the distance calculation unit of the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 18 is a diagram for explaining block division in the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 19 is a diagram for explaining the calculation area of the parallax evaluation value in the parallax calculation when the first imaging signal and the second imaging signal are used in the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 20 is a diagram illustrating the relationship between the shift amount and the parallax evaluation value in the parallax calculation when the first imaging signal and the second imaging signal of the imaging apparatus according to Embodiment 1 of the present invention are used.
  • FIG. 21 is a plan view showing the configuration of the lens array of the imaging apparatus according to the second modification of the first embodiment.
  • FIG. 22 is a plan view showing the configuration of the lens array of the imaging apparatus according to the third modification of the first embodiment.
  • FIG. 23 is a plan view showing the configuration of the lens array of the imaging apparatus according to Embodiment 2 of the present invention.
  • FIG. 24 is an exploded perspective view of a conventional imaging device.
  • FIG. 25 is a diagram for explaining an imaging block of a conventional imaging apparatus.
  • the imaging apparatus obtains the change amount of the optical axis interval of the plurality of lenses based on the temperature detected by the temperature sensor, and moves the optical axis origin of the plurality of lenses by half the change amount. Then, the image is corrected so as to eliminate the distortion around the optical axis origin. Thereby, since the influence of distortion can be reduced appropriately, highly accurate parallax can be detected, and distance can be measured with high accuracy. Further, since the magnification of the image is corrected based on the temperature detected by the temperature sensor, the distance can be measured with higher accuracy.
  • FIG. 1 is a cross-sectional view showing a configuration of an imaging apparatus according to Embodiment 1 of the present invention.
  • the imaging apparatus 101 includes a circuit unit 120 and a lens module unit 110 provided above the circuit unit 120.
  • the lens module unit 110 includes a cylindrical lens barrel 111, an upper cover glass 112 that covers the opening of the lens barrel 111, and a lens array 113 that is provided below the upper cover glass 112 and inside the lens barrel 111. And have.
  • the circuit unit 120 includes a substrate 121, a package 122 provided on the substrate 121, an imaging element 123, a package cover glass 124, a system LSI (hereinafter referred to as SLSI) 125 that is a semiconductor circuit element, and a lens array. And a temperature sensor 126 for detecting the temperature in the vicinity of 113.
  • the lens barrel 111 has a cylindrical shape as described above, and its inner wall surface is colored with black that has been matted to prevent irregular reflection of light, and is formed by injection molding of resin.
  • the upper cover glass 112 has a disc shape, is formed of an optical glass material or a transparent resin, and is fixed to the upper inner wall of the lens barrel 111 with an adhesive or the like, and a protective film that prevents damage due to friction or the like on the surface. And an antireflection film for preventing reflection of incident light.
  • FIG. 2 is a plan view showing the configuration of the lens array of the image pickup apparatus according to Embodiment 1 of the present invention.
  • the lens array 113 has a substantially disk shape, is formed of an optical glass material or transparent resin, and has a circular first lens unit 113a, second lens unit 113b, third lens unit 113c, and fourth lens.
  • the portions 113d are arranged in a grid pattern in 2 rows and 2 columns. As shown in FIG. 2, the x axis and the y axis are set along the arrangement direction of the first to fourth lens portions 113a to 113d.
  • the optical axis of the first lens unit 113a and the optical axis of the second lens unit 113b are separated by Dx in the x-axis direction and coincide in the y-axis direction.
  • the optical axis of the first lens portion 113a and the optical axis of the third lens portion 113c coincide in the x-axis direction and are separated by Dy in the y-axis direction.
  • the optical axis of the third lens unit 113c and the optical axis of the fourth lens unit 113d are separated by Dx in the x-axis direction, and the y-axis direction is coincident.
  • the optical axis of the fourth lens unit 113d and the optical axis of the first lens unit 113a are separated by Dx in the x-axis direction and separated by Dy in the y-axis direction.
  • the substrate 121 is made of a resin substrate, and the lens barrel 111 is fixed to the upper surface with an adhesive or the like in contact with the bottom surface. In this way, the lens module unit 110 and the circuit unit 120 are fixed, and the imaging apparatus 101 is configured.
  • the package 122 is made of a resin having a metal terminal, and the metal terminal portion is fixed to the upper surface of the substrate 121 by soldering or the like inside the lens barrel 111.
  • the image sensor 123 is a solid-state image sensor such as a CCD sensor or a CMOS sensor, and its light receiving surface has a first lens unit 113a, a second lens unit 113b, a third lens unit 113c, and a fourth lens unit. It is arranged so as to be substantially perpendicular to the optical axis 113d.
  • Each terminal of the image sensor 123 is connected to a metal terminal at the bottom inside the package 122 by wire bonding, and is electrically connected to the SLSI 125 through the substrate 121.
  • Light emitted from the first lens unit 113a, the second lens unit 113b, the third lens unit 113c, and the fourth lens unit 113d forms an image on the light receiving surface of the image sensor 123, and the light Information is converted into electrical information by a photodiode, and the electrical information is transferred to the SLSI 125.
  • FIG. 3 is a plan view showing the configuration of the circuit unit 120 of the imaging apparatus according to Embodiment 1 of the present invention.
  • the package cover glass 124 has a flat plate shape, is formed of a transparent resin, and is fixed to the upper surface of the package 122 by adhesion or the like. In FIG. 3, for the sake of convenience, the image sensor 123 that can be seen through the package cover glass 124 is omitted.
  • the SLSI 125 drives the image sensor 123 by a method described later, inputs electrical information from the image sensor 123, performs various calculations, communicates with the host CPU, and outputs image information, distance information, and the like to the outside.
  • the SLSI 125 is connected to a power source (for example, 3.3V) and a ground (for example, 0V).
  • FIG. 4 is a plan view showing the configuration of the imaging element of the imaging apparatus according to Embodiment 1 of the present invention.
  • the imaging device 123 includes a first imaging region 123a, a second imaging region 123b, a third imaging region 123c, and a fourth imaging region 123d.
  • These first to fourth imaging regions 123a to 123d are arranged in two rows and two columns so that the respective light receiving surfaces are substantially perpendicular to the optical axes of the first to fourth lens portions 113a to 113d.
  • the An imaging signal is generated in each of these imaging areas 123a to 123d.
  • FIG. 5 is a circuit diagram of the temperature sensor of the image pickup apparatus according to Embodiment 1 of the present invention.
  • the temperature sensor 126 is configured by connecting a first fixed resistor 126a, a thermistor 126b, and a second fixed resistor 126c in series.
  • the other end of the first fixed resistor 126a (the end not connected to the thermistor 126b) is connected to the power source 126d (for example, 3.3V), and the other end of the second fixed resistor 126c (the end not connected to the thermistor 126b).
  • Is connected to the ground 126e for example, 0 V.
  • a connection point 126f between the first fixed resistor 126a and the thermistor 126b is connected to the SLSI 125.
  • the imaging apparatus according to Embodiment 1 of the present invention has four lens units (first lens unit 113a, second lens unit 113b, third lens unit 113c, and fourth lens unit 113d).
  • the relative positions of the four object images formed by the four lens units change according to the subject distance.
  • FIG. 6 is a diagram for explaining the position of an object image at infinity in the imaging apparatus according to Embodiment 1 of the present invention.
  • the typical incident light L1 to the first lens portion 113a of the light from the object 10 at infinity and the typical incident light L2 to the second lens portion 113b are parallel (here, the object 10 Are drawn, but are single, the object 10 at infinity cannot be drawn on a finite sheet of paper, so to clearly show that the incident light L1 and the incident light L2 are parallel, 2 The object 10 at infinity at two positions is drawn).
  • the distance between the optical axis of the first lens unit 113a and the optical axis of the second lens unit 113b, the position where the object image 11a is formed on the image sensor 123, and the object image 11b are formed.
  • the distance between the positions to be done is equal. That is, there is no parallax.
  • FIG. 7 is a diagram for explaining the position of an object at a finite distance in the imaging apparatus according to Embodiment 1 of the present invention.
  • first lens portion 113 a and the second lens portion 113 b are described in the lens array 113 for simplicity.
  • Typical incident light L1 to the first lens portion 113a of light from the object 12 having a finite distance and typical incident light L2 to the second lens portion 113b are not parallel. Therefore, compared with the distance between the optical axis of the first lens unit 113a and the optical axis of the second lens unit 113b, the position where the object image 13a is formed on the image sensor 123 and the object image 13b are connected.
  • the distance between the imaged position is long. That is, there is parallax.
  • the distance (subject distance) from the principal point of the first lens portion 113a to the object (subject) 12 is A
  • the distance between the optical axes of the first lens portion 113a and the second lens portion 113b is D
  • 113b is a right-angled triangle having a length of two sides A and D sandwiching a right angle
  • a right-angled triangle having a length of f and ⁇ of two sides sandwiching a right angle are similar to each other. Accordingly, the parallax value ⁇ is expressed as the following formula (7).
  • ⁇ f * D / A (7)
  • the same relationship is established for the other lens units.
  • the relative positions of the four object images formed by the four lens portions 113a, 113b, 113c, and 113d change according to the subject distance.
  • the subject distance A can be obtained from the parallax value ⁇ by solving the equation (7) for the subject distance A as shown in the following equation (8).
  • A f * D / ⁇ (8)
  • ddy is the amount of change in the y direction of the interval between the optical axes as the temperature rises, and the unit is the interval between the light receiving elements of the image sensor 122.
  • Dx is the distance between the optical axes between the lenses in the x direction at the reference temperature Th0
  • Dy is the distance between the optical axes between the lenses in the y direction at the reference temperature Th0
  • aL is the coefficient of thermal expansion of the lens array 113.
  • AS is the coefficient of thermal expansion of the image sensor 123
  • T is the temperature
  • Th0 is the reference temperature
  • p is the interval between the light receiving elements of the image sensor 123.
  • ddx Dx * (aL-aS) * (T-Th0) / p (9)
  • ddy Dy * (aL-aS) * (T-Th0) / p (10)
  • the center of the optical axis of the third lens portion 113c moves by ⁇ p * ddx / 2 in the x direction and + p * ddy / 2 in the y direction.
  • the center of the optical axis of the fourth lens portion 113d moves by + p * ddx / 2 in the x direction and + p * ddy / 2 in the y direction.
  • the temperature T is detected, and the change ddx, ddy of the optical axis interval between the lenses of the lens array 113 is obtained from the temperature T, and the optical axis of each lens of the lens array 113 is half of the change ddx, ddy.
  • FIG. 8 is a diagram for explaining a change in magnification due to lens barrel extension according to Embodiment 1 of the present invention.
  • FIG. 8A illustrates the magnification at the reference temperature Th0
  • FIG. 8B illustrates the magnification at the temperature Th higher than the reference temperature.
  • the distance from the main point H of the first lens unit 113a to the subject 14 is A, and the first imaging from the main point H of the first lens unit 113a.
  • the distance to the subject image 15a on the region 123a is B.
  • the principal ray from the upper end of the subject 14 emits the upper end of the subject 14 passes through the principal point H of the first lens unit 113a, and reaches the lower end of the subject image 15a.
  • the distance from the principal point H of the first lens portion 113a to the subject 14 is A, and the first point H from the principal point H of the first lens portion 113a is the first.
  • the distance to the subject image 15b on the imaging region 123a is B ⁇ (1 + ⁇ ). Since the lens barrel 111 extends due to the temperature rise, the distance from the principal point H of the first lens portion 113a to the subject image 15b on the first imaging region 123a by ⁇ times at the temperature Th with respect to the reference temperature Th0. Will increase.
  • the principal ray from the upper end of the subject 14 emits the upper end of the subject 14 passes through the principal point H of the first lens unit 113a, and reaches the lower end of the subject image 15b.
  • the triangle connecting the lower end, the upper end, and the principal point H of the subject 14 is similar to the triangle connecting the upper end, the lower end, and the principal point H of the subject image 15b, the triangle of the subject 14 is expressed by the following equation (111).
  • the magnification ⁇ (Th) at the temperature Th indicated by the ratio of the length X to the length Yb of the subject image 15b is the distance B ⁇ from the principal point H to the subject image 15b with respect to the distance A from the subject 14 to the principal point H.
  • the ratio is (1 + ⁇ ).
  • the lens barrel expands or contracts by ⁇ times the original length.
  • the length of the lens barrel changes by an amount that the distance B to the imaging region 123a is extended or contracted by the expansion of the lens barrel (that is, increases or decreases from B to B ⁇ (1 + ⁇ )), and the magnification increases by 1 + ⁇ times.
  • FIG. 9 is a diagram for explaining the principle of temperature correction of the lens barrel extension according to Embodiment 1 of the present invention.
  • FIG. 9 only the first imaging signal I1 and the second imaging signal I2 corresponding to the first lens unit 113a and the second lens unit 113b are shown for the sake of simplicity.
  • FIG. 9A shows an image and parallax at the reference temperature Th0
  • FIG. 9B shows an image and parallax before correction of the lens barrel extension at a temperature Th higher than the reference temperature
  • c) shows an image and parallax after correction of the lens barrel extension at a temperature Th higher than the reference temperature.
  • Th0 As shown in FIG.
  • the subject image 16aa is captured by the first imaging signal I1
  • the subject image 16ba is captured by the second imaging signal I2
  • each parallax is ⁇ .
  • the magnification increases by 1 + ⁇ as shown in the equation (111). Therefore, when the same subject is imaged, the first as shown in FIG. 9B.
  • the size of the subject image 16ab picked up by the image pickup signal I1 and the size of the subject image 16bb picked up by the second image pickup signal I2 are each increased by 1 + ⁇ times. Therefore, each parallax increases by 1 + ⁇ times (that is, ⁇ ⁇ (1 + ⁇ )). Therefore, as shown in FIG.
  • the first imaging signal is set so that the subject images 16ab and 16bb, which are 1 + ⁇ times larger, have the same size as the subject images 16aa and 16ba at the reference temperature Th0.
  • I1 and the second image pickup signal I2 are corrected (corrected so that the size of the image is 1 / (1 + ⁇ ) times) to obtain subject images 16ac and 16bc.
  • the sizes of the corrected subject images 16ac and 16bc are the same as the sizes of the subject images 16aa and 16ba at the reference temperature Th0, and therefore the parallax is ⁇ and coincides with the parallax ⁇ at the reference temperature Th0. To do.
  • FIG. 10 is a diagram for explaining the effect of temperature correction of the lens barrel extension according to Embodiment 1 of the present invention.
  • FIG. 10A shows the ratio (1 + ⁇ ) of the magnification ⁇ (Th) at the temperature Th to the magnification ⁇ (Th0) at the reference temperature Th0 (in FIG. 10, the reference temperature Th0 is 20 ° C.).
  • the ratio (1 + ⁇ ) of the magnification ⁇ (Th) at Th0 to the magnification ⁇ (Th0) at the reference temperature Th0 is further away from 1 as the temperature Th is away from the reference temperature Th0.
  • the parallax ⁇ also changes in the same manner.
  • the subject distance A is inversely proportional to the parallax ⁇ in the equation (8), and is calculated according to the equation (8) based on the parallax ⁇ . Therefore, if distance calculation is performed without correction related to the magnification change of the captured image accompanying the lens barrel extension, a distance measurement error occurs when the temperature Th is other than the reference temperature Th0 as shown in FIG. Therefore, as described above, by correcting the magnification change of the captured image accompanying the lens barrel extension, the same magnification as the reference temperature Th0, and the same parallax, as shown in FIG. Ranging errors due to temperature changes can be eliminated.
  • the magnification of the image changes due to the extension of the lens barrel. Therefore, by performing the magnification correction that corrects the size of the image so as to cancel out the change in the magnification of the image, the temperature is changed. Even if it changes, the correct parallax can always be obtained, and therefore, the correct distance measurement can always be performed even if the temperature changes.
  • the distance measurement error ⁇ is obtained by multiplying the linear thermal expansion coefficient of the material used for the lens barrel and the allowable temperature change width. Accordingly, the distance measurement error ⁇ in FIG. 10 is, for example, 0.00007 [/ ° C.] as the value of the linear thermal expansion coefficient of a general resin used for a resin lens barrel, and is used for in-vehicle applications.
  • the required accuracy of the distance measuring device may be required to be ⁇ 1% or less. Therefore, if the distance measurement error due to the length change of the lens barrel is ⁇ 0.35% with respect to the center value as described above, the distance measurement error due to the length change of the lens barrel occupies 1/3 of the required accuracy. become. Since the ranging error is caused by various factors other than the change in the length of the lens barrel, it is possible to eliminate the influence of the error due to the change in the length of the lens barrel that occupies 1/3 of the required accuracy. Important for realization of 1% or less.
  • this distance measurement error can be greatly reduced by correcting the change in the length of the lens barrel due to the temperature change. Therefore, even if the lens barrel is formed using a resin that can be mass-produced at low cost by molding, a highly accurate distance measuring device can be realized.
  • FIG. 11 is a diagram for explaining changes in refractive index and focal length with respect to temperature according to Embodiment 1 of the present invention.
  • FIG. 4A when the temperature rises, the refractive index of the lens array 113 decreases. Then, the focal length f of the first lens array 113a changes.
  • FIG. 4B shows the ratio of the focal length f at the temperature Th to the focal length f at the reference temperature Th0 (in FIG. 11, the reference temperature Th0 is 20 ° C.), which was 1 at the reference temperature Th0.
  • the value is 1 or more.
  • the value is 1 or less.
  • FIG. 12 is a diagram illustrating a change in magnification due to a change in focal length according to Embodiment 1 of the present invention.
  • FIG. 12 only the portion relating to the first lens portion 113a is shown for ease of explanation.
  • each component when the subject distance is A and the focal length of the first lens unit 113a is fa, each component is arranged to focus on the first imaging region 123a. Therefore, ideally, all the light emitted from one point of the subject 17 passes through the first lens unit 113a and then converges on one point on the imaging region 123a.
  • the principal ray L20 from the upper end of the subject 17 is emitted from the upper end of the subject 17, passes through the principal point H of the first lens unit 113a, and is not refracted in the subject image 18a on the first imaging region 123a. It reaches the lower end (a position separated from the optical axis 19 of the first lens portion 113a by Y).
  • the light beam L21a parallel to the optical axis 19 from the upper end of the subject 17 is refracted at the point P, passes through the rear focal point Na, and reaches the lower end of the subject image 18a (a position Y away from the optical axis 19).
  • the light beam L22a passing through the front focal point Ma from the upper end of the subject 17 is refracted at the point Qa, becomes parallel to the optical axis 19, and reaches the lower end of the subject image 18a (a position away from the optical axis 19 by Y).
  • the front focal point changes from Ma to Mb in a direction away from the lens
  • the rear focal point changes from Na to Nb in a direction away from the lens.
  • the principal ray L20 from the upper end of the subject 17 is emitted from the upper end of the subject 17, passes through the principal point H of the first lens unit 113a, is not refracted, and is the subject image 18a (focal length) on the first imaging region 123a. Reaches the lower end of the subject image at a position where the distance is fa from the optical axis 19 of the first lens portion 113a by Y.
  • the light beam L21b parallel to the optical axis 19 from the upper end of the subject 17 is refracted at the point P, passes through the rear focal point Nb, and is lighter than the lower end of the subject image 18a (subject image when the focal length is fa). It reaches the side close to the axis 19 (a position away from the optical axis 19 by Yu).
  • the light beam L22b passing through the front focal point Mb from the upper end of the subject 17 is refracted at the point Qb, is parallel to the optical axis 19, and is lighter than the lower end of the subject image 18a (subject image when the focal length is fa). It reaches the side far from the axis 19 (a position Yd away from the optical axis 19).
  • a change in magnification due to a change in focal length that is, a change in magnification at the temperature Th with respect to the magnification at the reference temperature Th0 is obtained by optical analysis or the like, and the magnification is corrected so as to be the magnification at the reference temperature Th0.
  • the magnification of the image changes due to the change in the focal length. Therefore, by performing the magnification correction that corrects the size of the image so as to cancel out the change in the magnification of the image, the temperature is changed. Even if it changes, the correct parallax can always be obtained, and therefore, the correct distance measurement can always be performed even if the temperature changes.
  • FIG. 13 is a block diagram showing a configuration of the imaging apparatus according to Embodiment 1 of the present invention.
  • the SLSI 125 includes a system control unit 131, an imaging element driving unit 132, an imaging signal input unit 133, a temperature sensor signal input unit 134, an input / output unit 135, a coefficient storage unit 141, a temperature compensation calculation unit (correction coefficient creation unit) 142, an imaging A signal correction unit 143 and a distance calculation unit 144 are included.
  • the imaging signal correction unit 143 and the distance calculation unit 144 constitute a correction calculation unit.
  • the system control unit 131 includes a CPU (Central Processing Unit), a logic circuit, and the like, and controls the entire SLSI 125.
  • CPU Central Processing Unit
  • FIG. 13 illustration of signals exchanged between the system control unit 131 and each block is omitted to make the drawing easier to see.
  • FIG. 14 is a flowchart showing the operation of the imaging apparatus according to Embodiment 1 of the present invention.
  • the imaging apparatus 101 is operated according to this flowchart by the system control unit 131 of the SLSI 125.
  • step S1010 the imaging apparatus 101 starts operation.
  • the host CPU not shown
  • the imaging apparatus 101 controls the imaging apparatus 101 (more precisely, the system control unit 131) to start the operation via the input / output unit 135, the imaging apparatus 101 starts the operation.
  • the imaging apparatus 101 inputs an imaging signal.
  • the image sensor driving unit 132 is configured by a logic circuit or the like, and generates a signal for driving the signal image sensor 123 for performing electronic shutter and transfer according to a command from the system control unit 131, and according to this signal.
  • the applied voltage is applied to the image sensor 122.
  • the imaging signal input unit 133 is connected in series with a CDS circuit (correlated double sampling circuit: Correlated Double Sampling Circuit), AGC (automatic gain controller: Automatic Gain Controller), and ADC (analog / digital converter: Analog Digital Converter).
  • CDS circuit correlated double sampling circuit: Correlated Double Sampling Circuit
  • AGC automatic gain controller: Automatic Gain Controller
  • ADC analog / digital converter: Analog Digital Converter
  • the imaging signal input unit 133 outputs the imaging signal I0 by removing fixed noise by the CDS circuit, adjusting the gain by the AGC, and converting the analog signal to the digital value by the ADC. To do.
  • the imaging apparatus 101 inputs a temperature sensor signal.
  • the temperature sensor signal input unit 134 includes an ADC (Analog / Digital / Converter), and receives a temperature sensor signal that is an analog voltage signal from the temperature sensor 126.
  • the temperature sensor signal is converted from an analog signal to a digital value and output as a temperature sensor signal Ts.
  • the temperature sensor signal Ts takes a value from 0 to 4095.
  • it is assumed that the temperature sensor signal Ts is generated using a 12-bit ADC.
  • the imaging apparatus 101 performs temperature compensation for various coefficients.
  • the temperature compensation calculation unit 142 receives the temperature sensor signal Ts, and uses the temperature sensor signal Ts and the data stored in the coefficient storage unit 141 to use the distortion coefficients kd2, kd4, and the magnification (rx, ry), the optical axis center (xc1, yc1) of the first lens portion 113a, the optical axis center (xc2, yc2) of the second lens portion 113b, and the optical axis center (xc3, yc3) of the third lens portion 113c.
  • the optical axis center (xc4, yc4) of the fourth lens unit 113d, the focal length f, and the optical axis distance Dx in the x direction of each lens unit are output.
  • FIG. 15 is a diagram for explaining the coefficient storage unit according to the first embodiment of the present invention.
  • the values of the optical axis center x-coordinate xc1 when the value of the temperature sensor signal Ts is 0, 256, 512, 768, 1024,..., 3840, 4096 are xc1_0, xc1_256, xc1_512, respectively.
  • xc1_768, xc1_1024,..., xc1_3040, and xc1_4096 are stored in the coefficient storage unit 141 in correspondence with the respective values of the temperature sensor signal Ts.
  • the optical axis center y-coordinate yc1 of the first lens unit 113a, the optical axis center (xc2, yc2) of the second lens unit 113b, the optical axis center (xc3, yc3) of the third lens unit 113c, the fourth The optical axis center (xc4, yc4), the distortion coefficients k2, k4, the magnification (rx, ry), the focal length f, and the optical axis distance Dx of each lens unit in the x direction are respectively a coefficient storage unit.
  • the value at each temperature is stored in 141, and is created by performing an interpolation operation on the temperature sensor signal Ts.
  • xc1 xc1_512 + (Ts-512) / (768-512) * (xc_768-xc1_512) (11)
  • the coefficient stored in the coefficient storage unit 141 is created and stored as follows.
  • the center of the optical axis of each lens unit is based on Expressions (9) and (10), and the amount of change ddx in the x direction of the interval between the optical axes as the temperature rises, as in Expressions (12) and (13) below.
  • the amount of change ddy in the y direction is calculated, and it is created assuming that the center of the optical axis moves by half (p * ddx / 2 in the x direction and p * ddy / 2 in the y direction).
  • T (Ts) represents a physical temperature represented by the value of the temperature sensor signal Ts converted into a digital value by the ADC.
  • the optical axis center (xc1, yc1) of the first lens unit 113a is in the x direction from the optical axis center (xc10, yc10) at the reference temperature Th0.
  • the optical axis center (xc2, yc2) of the second lens unit 113b is + ddx / in the x direction from the optical axis center (xc20, yc20) at the reference temperature Th0. 2. Create to move by -ddy / 2 in the y direction.
  • the optical axis center (xc3, yc3) of the third lens portion 113c is ⁇ ddx / in the x direction from the optical axis center (xc30, yc30) at the reference temperature Th0. 2.
  • the optical axis center (xc4, yc4) of the fourth lens portion 113d moves by + ddx / 2 in the x direction and + ddy / 2 in the y direction from the optical axis center (xc40, yc40) at the reference temperature Th0.
  • xc1 xc10-ddx / 2 (14)
  • yc1 yc10-ddy / 2 (15)
  • xc2 xc20 + ddx / 2 (16)
  • yc2 yc20-ddy / 2 (17)
  • xc4 xc40 + ddx / 2 (20)
  • yc4 yc40 + ddy / 2 (21)
  • the distortion coefficients k2 and k4 are created by obtaining values at each temperature through optical analysis and experiments.
  • the length lk of the lens barrel is estimated as in the following formula (22).
  • Th0 is the reference temperature
  • lk0 is the length of the lens barrel at the reference temperature Th0
  • kk is the thermal linear expansion coefficient of the lens barrel
  • T (Ts) is the physical temperature sensor physical temperature indicated by the temperature sensor signal Ts. Temperature.
  • the distance between the lens principal point and the imaging surface of the imaging region is proportional to the length of the lens barrel.
  • the magnification is proportional to the distance between the lens principal point and the imaging surface of the imaging region. Therefore, the magnification is proportional to the change in the length of the lens barrel. Therefore, the ratio before and after the change in the length of the lens barrel is defined as a magnification ratio.
  • a value at each temperature is obtained by optical analysis or the like for a change in magnification due to a change in focal length, and a magnification ratio rfx in the x direction due to a change in focal length according to the value Ts of the temperature sensor as shown in the following equations (112) and (113).
  • an optical analysis calculates a magnification ratio rfx in the x direction due to the change in focal length and a magnification ratio rfy in the y direction due to a change in focal length. The rate may be varied.
  • rfx rfx (Ts) (112)
  • rfy rfy (Ts) (113)
  • magnification ratio rfx in the x direction due to the change in the focal length, and the magnification ratio rfy in the y direction due to the change in the focal length. 1 may be set to 1, and only the correction of the magnification change accompanying the change in the lens barrel length due to the temperature may be performed.
  • the magnification ratio rkx in the x direction due to the change in barrel length and the magnification in the y direction due to the change in barrel length may be set to 1, and only the correction of the magnification change accompanying the focal length change due to the temperature may be performed.
  • the focal length (or refractive index) and the lens barrel extension are simultaneously changed according to the temperature to obtain the magnification at each temperature, and the ratio to the reference temperature is defined as the x-direction magnification rx and the y-direction magnification ry. Also good.
  • the focal length f at the reference temperature is used as the focal length f in both cases of correcting the magnification change accompanying the change in the lens barrel length and correcting the magnification change accompanying the change in the focal length.
  • the imaging apparatus 101 corrects and cuts out the image.
  • the imaging signal correction unit 143 includes the imaging signal I0, the distortion coefficients kd2, kd4, the magnification (rx, ry), the optical axis center (xc1, yc1) of the first lens unit 113a, and the second lens unit.
  • the optical axis center (xc2, yc2) of 113b, the optical axis center (xc3, yc3) of the third lens portion 113c, and the optical axis center (xc4, yc4) of the fourth lens portion 113d are input, and the imaging signal I0
  • An image obtained by capturing the subject image formed by each lens unit is cut out, and the cut-out image is subjected to correction processing such as distortion correction, and these are respectively converted into the first imaging corresponding to the first lens unit 113a.
  • FIG. 16 is a diagram for explaining the cut-out position of the image pickup signal of the image pickup apparatus according to Embodiment 1 of the present invention.
  • the first imaging signal I1 (x, y) is obtained by converting the imaging signal I0 from the origin (x01, y01) to the H1 in the x direction. This is an image of a region cut out by V1 pixels in the y direction.
  • the second image signal I2 (x, y) is the image signal I0 from the origin (x02, y02), H1 pixel in the x direction, and y direction.
  • the third image signal I3 (x, y) is the image signal I0 from the origin (x03, y03), only the H1 pixel in the x direction and the V1 pixel in the y direction.
  • the fourth image signal I4 (x, y) is an image of the clipped region, and is a region of the image signal I0 cut from the origin (x04, y04) by H1 pixels in the x direction and V1 pixels in the y direction. It is an image.
  • the imaging apparatus according to the first embodiment performs the following processing in consideration of movement of the optical axis center due to thermal expansion, distortion correction, and magnification correction.
  • the reference coordinates (tx1, ty1) for one imaging signal are calculated, and the first coordinates from the imaging signal I0 using the reference coordinates (tx1, ty1) for the first imaging signal as shown in the following equation (29).
  • One imaging signal I1 (x, y) is calculated. Note that the reference coordinates (tx1, ty1) for the first imaging signal may have a decimal point.
  • the integer part of the reference coordinates (tx1, ty1) for the first imaging signal is set to (tx1i, ty1i)
  • the decimal part is set to (tx1f, ty1f)
  • 4 pixels are expressed as in the following equation (30). Use and calculate.
  • equations (26), (27), (28), (29), and (30) calculations are performed from 0 to H1-1 for x and from 0 to V1-1 for y.
  • the distortion coefficients kd2, kd4 the magnification (rx, ry), and the optical axis center (xc2, yc2) of the second lens portion 113b as in the following formulas (31), (32), (33).
  • the reference coordinate (tx2, ty2) for the second imaging signal is calculated, and the imaging signal is calculated using the reference coordinate (tx2, ty2) for the second imaging signal as shown in the following equation (34).
  • a second imaging signal I2 (x, y) is calculated from I0. Also, using the distortion coefficients kd2, kd4, magnification (rx, ry), and the optical axis center (xc3, yc3) of the third lens portion 113c as in the following equations (35), (36), (37).
  • the reference coordinates (tx3, ty3) for the third imaging signal are calculated, and the imaging signal I0 is calculated using the reference coordinates (tx3, ty3) for the third imaging signal as shown in the following equation (38).
  • a third imaging signal I3 (x, y) is calculated.
  • the distortion coefficients kd2, kd4, the magnification (rx, ry), and the optical axis center (xc4, yc4) of the fourth lens portion 113d are used.
  • 4 is calculated from the imaging signal I0 using the reference coordinates (tx4, ty4) for the first imaging signal as shown in the following equation (42).
  • 4 image signals I4 (x, y) are calculated.
  • ⁇ 2 represents a square operation and ⁇ 4 represents a fourth power operation.
  • tx1 x01 + xc1 + (x-xc1) * (1 + kd2 * r1 ⁇ 2 + kd4 * r1 ⁇ 4) * rx (26)
  • ty1 y01 + yc1 + (y-yc1] * (1 + kd2 * r1 ⁇ 2 + kd4 * r1 ⁇ 4) * ry (27)
  • I1 (x, y) I0 (tx1, ty1) (29)
  • I1 (x, y) (1-tx1f) * (1-ty1f) * I0 (tx1i, ty1i) + tx1f * (1-ty1f) * I0 (tx1
  • I2 (x, y) I0 (tx2, ty2) (34)
  • tx3 x03 + xc3 + (x-xc3) * (1 + kd2 * r3 ⁇ 2 + kd4 * r3 ⁇ 4) * rx (35)
  • ty3 y03 + yc3 + (y-yc3) * (1 + kd2 * r3 ⁇ 2 + kd4 * r3 ⁇ 4) * ry ...
  • the imaging apparatus 101 calculates a distance.
  • the distance calculation unit 144 includes a first imaging signal I1, a second imaging signal I2, a third imaging signal I3, a fourth imaging signal I4, a focal length f, and an optical axis distance in the x direction. Dx is input, distance is calculated, and distance data DIS is output.
  • FIG. 17 is a flowchart showing the operation of the distance calculation unit of the imaging apparatus according to Embodiment 1 of the present invention.
  • the flowchart in FIG. 17 shows details of the operation in step S1200.
  • step S1210 is executed.
  • step S1210 the distance calculation unit starts a calculation operation.
  • step S1230 the distance calculation unit divides the block.
  • FIG. 18 is a diagram for explaining block division in the imaging apparatus according to Embodiment 1 of the present invention.
  • the first imaging signal I1 is divided into rectangular blocks having HB pixels in the x direction and VB pixels in the y direction, and has Nh blocks in the x direction and Nv blocks in the y direction.
  • step S1240 the distance calculation unit selects a block.
  • step S1240 is executed for the first time after executing step S1210 (FIG. 17)
  • the block indicated by (0,0) is selected.
  • step S1240 is executed, the block is sequentially moved to the right (+ x direction). Select the shifted block.
  • step S1240 when step S1240 is executed for the first time after execution of step S1210, the block indicated by (i% Nh, int (i / Nh)) is selected at the i-th.
  • i% Nh is a remainder when i is divided by Nh
  • int (i / Nh) is an integer part of a quotient when i is divided by Nh.
  • this block is referred to as a selected block B (ih, iv).
  • step S1250 the distance calculation unit performs a parallax calculation.
  • the parallax and parallax reliability between the first lens imaging signal I1 and the second lens imaging signal I2 are calculated.
  • a parallax evaluation value R12 (kx) between the first lens imaging signal I1 and the second lens imaging signal I2 is calculated.
  • FIG. 19 is a diagram for explaining a calculation area of a parallax evaluation value in a parallax calculation when the first imaging signal and the second imaging signal are used in the imaging apparatus according to Embodiment 1 of the present invention.
  • an area indicated by I1 indicates an area selected by the selection block B (ih, iv) of the first lens imaging signal I1, and an area indicated by I2 extends in the x direction from the coordinates of the selection block.
  • an absolute value difference sum SAD: Sum of Absolute Differences
  • R12 (kx) an absolute value difference sum shown in the following equation (51) is calculated to obtain a parallax evaluation value R12 (kx).
  • the parallax evaluation value R12 (kx) is calculated using the first lens imaging signal I1 as a reference.
  • R12 (kx) ⁇
  • the parallax evaluation value R12 (kx) is determined by how much the first lens imaging signal I1 of the selected block B (ih, iv) and the second lens imaging signal I2 in a region shifted by kx in the x direction from the selected block. It indicates whether there is a correlation, and a smaller value indicates a larger correlation (similarly).
  • FIG. 20 is a diagram illustrating the relationship between the shift amount and the parallax evaluation value in the parallax calculation when the first imaging signal and the second imaging signal of the imaging apparatus according to Embodiment 1 of the present invention are used. .
  • the first lens imaging signal I1 of the selected block B (ih, iv) and the second lens imaging signal I2 in the region shifted by ⁇ in the x direction from the selected block have the highest correlation, that is, the most similar Indicates that Therefore, it can be seen that the parallax between the first lens imaging signal I1 and the second lens imaging signal I2 in the selected block B (ih, iv) is ⁇ . Therefore, as shown in the following equation (52), this parallax ⁇ is set as a parallax value ⁇ 12 (ih, iv) between the first lens imaging signal I1 and the second lens imaging signal I2 in the selected block B (ih, iv).
  • the parallax and parallax reliability between the first lens imaging signal I1 and the third lens imaging signal I3 are obtained in the same manner.
  • the shifting direction is changed to the y direction, and the shifting amount is ky.
  • the parallax evaluation value R13 (ky) of the first lens imaging signal I1 and the third lens imaging signal I3 in the selected block B (ih, iv) is obtained. That is, the parallax evaluation value R13 (ky) is calculated based on the first lens imaging signal I1.
  • the shift amount giving the minimum value that is, the parallax ⁇ is set as the parallax between the first lens imaging signal I1 and the third lens imaging signal I3 in the selected block B (ih, iv) as shown in the following equation (55).
  • the value ⁇ 13 (ih, iv) is set, and the parallax evaluation value R13 ( ⁇ ) is set to the first lens imaging signal I1 and the third lens imaging signal I3 in the selected block B (ih, iv) as shown in the following formula (56).
  • R13 (ky) ⁇
  • the parallax and parallax reliability between the first lens imaging signal I1 and the fourth lens imaging signal I4 are obtained in the same manner.
  • the shifting direction is changed to an oblique direction (a direction connecting the optical axis of the first lens unit 113a and the optical axis of the fourth lens unit 113d), and the shifting amount is kx in the x direction and kx * Dy in the y direction. / Dx.
  • the parallax evaluation value R14 (kx) of the first lens imaging signal I1 and the fourth lens imaging signal I4 in the selected block B (ih, iv) is obtained.
  • the parallax evaluation value R14 (kx) is calculated using the first lens imaging signal I1 as a reference. Then, the shift amount giving the minimum value, that is, the parallax ⁇ is set as the parallax between the first lens imaging signal I1 and the fourth lens imaging signal I4 in the selected block B (ih, iv) as shown in the following equation (58). The value ⁇ 14 (ih, iv) is set, and the parallax evaluation value R14 ( ⁇ ) is set to the first lens imaging signal I1 and the fourth lens imaging signal I4 in the selected block B (ih, iv) as shown in the following equation (59). And C14 (ih, iv).
  • the lens imaging signal I4 is obtained from the surrounding pixels by linear interpolation or the like.
  • Dx and Dy are the distance between the lens parts in the x direction and the distance between the lens parts in the y direction in the first lens part 113a and the fourth lens part 113d.
  • the above three parallax reliability levels are compared, and the most reliable parallax value is set as the parallax value in this block. That is, when the three parallax reliability C12 (ih, iv), C13 (ih, iv), and C14 (ih, iv) are compared and C12 (ih, iv) is the smallest, as in the following equation (60)
  • the parallax value ⁇ (ih, iv) is set as the parallax value ⁇ (ih, iv) in the block B (ih, iv) when C14 (ih, iv) is the smallest.
  • the distance calculation unit calculates a distance from the parallax.
  • equation (7) is solved for distance A, it is expressed as equation (8). Therefore, the distance DIS (x, y) of the region included in block B (ih, iv) is expressed by equation (61) below.
  • f is the focal length
  • Dx is the distance between the optical axes in the x direction
  • p is the distance between the light receiving elements of the image sensor 123. Since the parallax value ⁇ is a pixel unit, the parallax value ⁇ is multiplied by p to be converted into the same unit system as the focal length f and the like.
  • DIS (x, y) [f * Dx] / [p * ⁇ (ih, iv)] ((x, y) is in the range of B (ih, iv)) (61)
  • step S1270 the distance calculation unit determines whether or not to end the distance calculation.
  • the distance calculation unit determines to end the distance calculation, and then executes step S1280.
  • Step S1240 it is determined to continue the distance calculation, and then Step S1240 is executed.
  • step S1280 the distance calculation unit ends the distance calculation and returns to the upper routine. In this way, the distance DIS (x, y) at the coordinates (x, y) after cutting is obtained.
  • step S1910 the imaging apparatus 101 performs data output.
  • the input / output unit 135 outputs image data, distance data, and temperature data to the outside of the imaging apparatus 101.
  • image data the imaging signal I0 or the first imaging signal I1 is output.
  • the distance DIS is output as distance data.
  • a temperature sensor signal Ts is output as temperature data.
  • step S1920 the imaging apparatus 101 determines whether to end the operation.
  • the system control unit 131 communicates with a host CPU (not shown) via the input / output unit 135 and requests an instruction whether to end the operation. If the host CPU commands the end, the operation is terminated, and then step S1930 is executed. On the other hand, if the host CPU does not command termination, the operation is continued, and then step S1020 is executed. That is, as long as the upper CPU does not command termination, the execution of the loops of step S1020, step S1030, step S1110, step S1120, step S1200, and step S1910 is continued.
  • step S1930 the imaging apparatus 101 ends the operation.
  • the imaging apparatus of the present embodiment is configured and operated as described above, so that the following effects are achieved.
  • the imaging apparatus measures the ambient temperature of the lens array 113 by the temperature sensor 126 and inputs the temperature sensor signal Ts. Then, by utilizing the fact that the lens array 113 is isotropically expanded because it is substantially circular, the distance between the optical axes in the x direction according to the temperature rise of the lens array 113 is obtained by the equations (12) and (13). The amount of change ddx and the amount of change ddy in the y direction are obtained, and the optical axis is changed by half of the interval, and the optical axis center (xc1, yc1) of the first lens unit 113a is obtained by equations (14) to (21).
  • the amount of change in the interval between the plurality of lens portions is obtained based on the temperature detected by the temperature sensor 126, and the optical axis origin of the plurality of lenses is moved by half of the amount of change to eliminate distortion around the optical axis origin.
  • the captured image moves.
  • the image center is shifted when the temperature changes even if the center of the image obtained by the imaging device is matched with the center of the image viewed by the driver. Therefore, the driver feels uncomfortable.
  • the imaging apparatus of Embodiment 1 even if the temperature changes, the change in the image center can be suppressed. Therefore, it is possible to realize an imaging apparatus suitable for monitoring the front of an automobile.
  • the imaging apparatus has, for example, a plurality of correction coefficients (sensor temperature) corresponding to the temperature sensor signal Ts if the optical axis center x-coordinate xc1 of the first lens unit 113a is used.
  • the temperature sensor signal Ts is stored, and interpolation processing is performed as shown in Expression (11) to create the temperature sensor signal Ts.
  • the optical axis center y-coordinate yc1 of the first lens unit 113a, the optical axis center (xc2, yc2) of the second lens unit 113b, the optical axis center (xc3, yc3) of the third lens unit 113c, the first The optical axis center (xc4, yc4), the distortion coefficients k2, k4, the magnification (rx, ry), and the optical axis distance Dx in the x direction of each lens unit are respectively stored in the coefficient storage unit 141.
  • the temperature value is saved and created by performing an interpolation operation using the temperature sensor signal Ts.
  • the image pickup apparatus supports all temperature sensor signals Ts (takes digital values from 0 to 4095) when storing the correction coefficient corresponding to each temperature sensor signal Ts in advance.
  • the correction coefficient thinned out every 256 without storing the correction coefficient is stored, and a correction coefficient interpolated with respect to the temperature is created.
  • the correction coefficient the sensor temperature signal Ts is 0, 256, 512, 768, 1024, etc Thinned out every 256 times with respect to the temperature sensor signal Ts.
  • the storage area can be omitted by the thinned-out amount (the storage area used is 1/256 times), so that a low-cost imaging device with a reduced circuit scale can be realized. it can.
  • the optical axis center (xc1, yc1) of the first lens unit 113a and the optical axis center of the second lens unit 113b ( xc2, yc2), the optical axis center (xc3, yc3) of the third lens portion 113c, the optical axis center (xc4, yc4) of the fourth lens portion 113d, the distortion coefficients k2, k4, and the magnification (rx, ry)
  • the reference coordinates (tx1, ty1) for the first imaging signal are obtained using the equations (26), (27), and (28), and the equations (31), (32), and (33) are used.
  • the reference coordinates (tx2, ty2) for the second imaging signal, and the reference coordinates (tx3, ty3) for the third imaging signal are obtained using the equations (35), (36), and (37).
  • the reference coordinates (tx4, ty4) for the fourth imaging signal are obtained using equations (39), (40), and (41), and a plurality of imaging signals indicated by the reference coordinates are referred to and the equation (29 ), (30), (34), (3 ),
  • To create a first image pickup signal I1, the second image pickup signal I2, the third image pickup signal I3, and the fourth image pickup signal I4 is corrected imaging signal subjected to the interpolation process as in (42).
  • the reference destination coordinates (reference destination coordinates (tx1, ty1) for the first imaging signal, reference destination coordinates (tx2, ty2) for the second imaging signal, 3) the reference coordinates (tx3, ty3) for the image pickup signal and the reference coordinates (tx4, ty4) for the fourth image pickup signal are required. Cost. In particular, when it is necessary to change the reference destination coordinates depending on the temperature, the reference destination coordinates for each temperature are required, and an enormous storage capacity is required.
  • correction coefficients (the optical axis center (xc1, yc1) of the first lens unit 113a), the optical axis center (xc2, yc2) of the second lens unit 113b, and the third lens unit 113c are sequentially determined.
  • Reference destination coordinates (for the first imaging signal) from the optical axis center (xc3, yc3), the optical axis center (xc4, yc4) of the fourth lens unit 113d, the distortion coefficients k2, k4, and the magnification (rx, ry))
  • Reference destination coordinates (tx1, ty1), reference coordinates for the second imaging signal (tx2, ty2), reference coordinates for the third imaging signal (tx3, ty3), and for the fourth imaging signal
  • the reference coordinates (tx4, ty4)) are obtained, and corrected image signals (first image signal I1, second image signal I2, third image signal I3, and fourth image signal I4) are created.
  • the temperature compensation calculation unit 142 creates a magnification (rx, ry) based on the temperature sensor signal Ts, and the imaging signal correction unit 143 produces a magnification (rx, ry).
  • the imaging signal I0 is corrected, and corrected imaging signals (first imaging signal I1, second imaging signal I2, third imaging signal I3, and fourth imaging signal I4) are created.
  • the length of the lens barrel 111 the main lens sections of the lens array 113 (first lens section 113a, second lens section 113b, third lens section 113c, and fourth lens section 113d)
  • the distance between the point and the light receiving surface of the image sensor 123 changes, and the magnification changes accordingly.
  • a magnification ratio (rkx, rky) corresponding to the temperature change of the length of the lens barrel 111 is created, and a magnification (rx, ry) is created based on the magnification ratio (rkx, rky).
  • magnification ratio (rfx, rfy) corresponding to the change in focal length
  • correct the imaging signal by the magnification (rx, ry) By doing so, the influence of the temperature change of the focal length can be reduced, so that a highly accurate parallax calculation can be realized, and therefore a highly accurate distance calculation can be realized.
  • the temperature compensation calculation unit 142 creates a magnification (rx, ry) based on the temperature sensor signal Ts, and the imaging signal correction unit 143 produces a magnification (rx, ry).
  • the imaging signal I0 is corrected, and corrected imaging signals (first imaging signal I1, second imaging signal I2, third imaging signal I3, and fourth imaging signal I4) are created. That is, the same magnification correction is performed with respect to the temperature in each imaging signal. Since there is one lens barrel, the change in magnification accompanying the change in the length of the lens barrel is the same for all imaging signals.
  • the lens units (first lens unit 113a, second imaging unit) corresponding to the respective imaging signals (first imaging signal I1, second imaging signal I2, third imaging signal I3, and fourth imaging signal).
  • the lens portion 113b, the third lens portion 113c, and the fourth lens portion 113d) are integrally formed in one lens array 113, and the temperature change of the refractive index of all the lens portions, and hence all the lenses.
  • the temperature change of the focal length of the part is equal.
  • each lens unit can be regarded as the same magnification change with respect to temperature. Accordingly, it is only necessary to create one magnification correlation correction coefficient for a plurality of imaging regions, and accordingly, an imaging apparatus that can reduce the calculation time and can perform distance calculation with high accuracy at low cost can be realized.
  • the imaging signal obtained by each lens unit has the same shape for an imaging target having a shape parallel to a straight line connecting the optical axis centers of the lens units. Therefore, parallax cannot be obtained.
  • a set of three imaging signals (first imaging signal I1 and second imaging signal I2, first imaging signal I1 and third imaging signal I3, and first imaging signal The imaging signal I1 and the fourth imaging signal I4) are selected, and the respective parallax ⁇ 12 (ibx, iby), ⁇ 13 (ibx, iby), and ⁇ 14 (ibx, iby) are obtained for each set.
  • a horizontal linear imaging target cannot be measured from a set (first imaging signal I1 and second imaging signal I2) arranged in the horizontal direction, but is arranged in the vertical direction.
  • a set (first imaging signal I1 and third imaging signal I3, and second imaging signal I2 and fourth imaging signal I4), and a pair arranged obliquely (first imaging signal I1 and fourth imaging signal I4) The distance can be measured by using the imaging signal I4). Therefore, it is possible to deal with imaging objects having various shapes.
  • a plurality of the parallax reliability (C12 (ih, iv), C13 (ih, iv), and C14 (ih, iv)) are respectively calculated, and the block B For each (ih, iv), specify the parallax ⁇ (ih, iv) having the highest reliability among the parallaxes ( ⁇ 12 (ih, iv), ⁇ 13 (ih, iv), and ⁇ 14 (ih, iv)), The distance is calculated based on the parallax ⁇ (ih, iv).
  • the parallax calculation is performed based on the parallax ⁇ (ih, iv) with high reliability, it is possible to perform distance measurement with high reliability.
  • the parallax ( ⁇ (ih, iv)) with high reliability without performing distance calculation in all sets of parallaxes ( ⁇ 12 (ih, iv), ⁇ 13 (ih, iv), and ⁇ 14 (ih, iv)) Since only the distance calculation is performed, high-speed distance measurement is possible.
  • the temperature compensation calculation unit 142 creates a magnification (rx, ry) based on the temperature sensor signal Ts, and the imaging signal correction unit 143 produces a magnification (rx, ry).
  • the imaging signal I0 is corrected, and corrected imaging signals (first imaging signal I1, second imaging signal I2, third imaging signal I3, and fourth imaging signal I4) are created. Therefore, even if the temperature changes, the size of the subject image on the corrected imaging signal does not change. Therefore, when not only distance information but also a corrected imaging signal is output as image information from the imaging device, and the image processing for face recognition is performed by the subsequent controller, for example, the size of the subject image does not change even if the temperature changes. Since it does not change, the correct face size can be obtained.
  • FIG. 21 is a plan view showing the configuration of the lens array of the imaging apparatus according to the second modification of the first embodiment.
  • the lens array 113A shown in FIG. 21 (a) it may be molded into a rectangular shape.
  • projections or the like extending in the planar direction may be provided on the end surfaces thereof.
  • FIG. 22 is a plan view showing the configuration of the lens array of the imaging apparatus according to the third modification of the first embodiment.
  • a lens array 113C shown in FIG. 22A may have two lens portions (a first lens portion 113Ca and a second lens portion 113Cb) separated by Dx in the x direction.
  • the coefficient storage unit 141 determines and stores the optical axis center of each lens unit as follows.
  • the change amount ddx in the x direction and the change amount ddy in the y direction of the interval between the optical axes due to the temperature rise are calculated, and half of them (p * ddx / 2 in the x direction)
  • the optical axis center is moved by p * ddy / 2) in the y direction.
  • the optical axis center (xc1, yc1) of the first lens portion 113Ca is in the x direction from the optical axis center (xc10, yc10) at the reference temperature Th0. To move only -ddx / 2.
  • the optical axis center (xc2, yc2) of the second lens portion 113Cb is + ddx in the x direction from the optical axis center (xc20, yc20) at the reference temperature Th0.
  • xc1 xc10-ddx / 2 (64)
  • yc1 yc10 (65)
  • xc2 xc20 + ddx / 2 (66)
  • yc2 yc20 (67)
  • the nine outermost lens portions are separated by Dx in the x direction and Dy in the y direction.
  • the coefficient storage unit 141 determines and stores the optical axis center of each lens unit as follows.
  • the change amount ddx in the x direction and the change amount ddy in the y direction of the interval between the optical axes due to the temperature rise are calculated, and half of them (p * ddx / 2 in the x direction)
  • the optical axis center is moved by p * ddy / 2) in the y direction.
  • the optical axis center (xc1, yc1) of the first lens portion 113Da is in the x direction from the optical axis center (xc10, yc10) at the reference temperature Th0.
  • the optical axis center (xc2, yc2) of the second lens portion 113Db is ⁇ ddy in the y direction from the optical axis center (xc20, yc20) at the reference temperature Th0. Create to move only / 2.
  • the optical axis center (xc3, yc3) of the third lens portion 113Dc is + ddx in the x direction from the optical axis center (xc30, yc30) at the reference temperature Th0. Created to move -ddy / 2 in the / 2, y direction.
  • the optical axis center (xc4, yc4) of the fourth lens portion 113Dd is ⁇ ddx in the x direction from the optical axis center (xc40, yc40) at the reference temperature Th0. Create to move only / 2. Further, as in the following formulas (76) and (77), the optical axis center (xc5, yc5) of the fifth lens portion 113De is created so as not to move from the optical axis center (xc10, yc10) at the reference temperature Th0. To do.
  • the optical axis center (xc6, yc6) of the sixth lens portion 113Df is + ddx in the x direction from the optical axis center (xc60, yc60) at the reference temperature Th0. Create to move only / 2.
  • the optical axis center (xc7, yc7) of the seventh lens portion 113Dg is ⁇ ddx in the x direction from the optical axis center (xc70, yc70) at the reference temperature Th0. Created to move by + ddy / 2 in the / 2, y direction.
  • the optical axis center (xc8, yc8) of the eighth lens portion 113Dh is + ddy in the y direction from the optical axis center (xc80, yc80) at the reference temperature Th0. Create to move only / 2.
  • the optical axis center (xc9, yc9) of the ninth lens portion 113Di is + ddx in the x direction from the optical axis center (xc90, yc90) at the reference temperature Th0. Created to move by + ddy / 2 in the / 2, y direction.
  • the temperature sensor 126 is disposed on the substrate 121. As described above, when the temperature sensor 126 is provided on the substrate 121, the temperature sensor 126 and the temperature sensor signal input unit 134 may be connected using the wiring on the substrate 121, so that the mounting is easy. There is. However, the present invention is not limited to such a configuration.
  • the temperature sensor 126 detects the temperature of the substrate 121 in the vicinity of the lens array 113, and its purpose is to detect the temperature of the lens array 113.
  • the temperature of the lens array 113 can be detected directly or indirectly.
  • a temperature having a correlation with the temperature of the lens array 113 or a physical quantity other than the temperature may be detected. Then, they can be used in place of the temperature of the lens array 113 that is directly detected by correcting them to the temperature of the lens array 113 or by taking into account the difference from the temperature of the lens array 113.
  • the temperature of the substrate 121 in the vicinity of the lens array 113 is detected. Therefore, in addition to this, for example, the temperature sensor 126 may be arranged in parallel with the image sensor 123 in the package 122.
  • the temperature sensor 126 since the temperature sensor 126 is disposed in the vicinity of the image sensor 123, it is necessary to consider that dust or the like does not adhere to the image sensor 123 when the temperature sensor 126 is mounted, but it is closer to the lens array 113. This increases the accuracy of temperature detection. As a result, it is possible to correct the change of the optical axis more correctly and correct the distortion more correctly, so that the distance measurement accuracy can be improved.
  • the SLSI 125 may be created using a manufacturing process in which a part of the SLSI 125 becomes the temperature sensor 126. In this case, since it is not necessary to mount the temperature sensor 126, the mounting cost can be reduced accordingly.
  • the temperature sensor 126 may be attached to the outer wall or the inner wall of the lens barrel 111.
  • the accuracy of temperature detection is increased. Therefore, the change of the optical axis can be corrected more correctly, the distortion can be corrected more correctly, and the distance measurement accuracy can be improved.
  • it may be embedded in the barrel 111. In this case, it is necessary to consider the wiring of the temperature sensor 126 and the manufacturing method of the lens barrel 111. However, since the temperature sensor 126 can be disposed inside the lens barrel 111 close to the lens array 113, the distance measurement accuracy is similarly improved. Can be improved.
  • the temperature sensor 126 may be disposed at an appropriate position of the lens array 113 and connected by appropriate wiring.
  • the temperature detection accuracy is further increased, and as a result, the distance measurement accuracy can be improved.
  • the temperature sensor 126 is disposed inside the lens array 113, the accuracy of temperature detection is further increased and the distance measurement accuracy is improved. Can do.
  • the imaging device of Embodiment 1 uses the same magnification in all the lens units, the magnification may be different for each lens unit. In this case, each magnification is obtained by measurement or the like.
  • the imaging apparatus of Embodiment 1 includes the distortion coefficients kd2 and kd4, the magnification (rx, ry), the optical axis center (xc1, yc1) of the first lens unit 113a, and the optical axis center of the second lens unit 113b. (xc2, yc2), the optical axis center (xc3, yc3) of the third lens unit 113c, the optical axis center (xc4, yc4) of the fourth lens unit 113d, the focal length f, and the x direction of each lens unit
  • the temperature compensation is performed on the optical axis distance Dx and the imaging signal is corrected, the present invention is not limited to this.
  • the lens array 113 is formed into a substantially circular shape, and each lens unit (the first lens unit 113a, the second lens unit 113b, the third lens unit 113c, and the first lens unit 113) is formed. 4 lens portions 113 d) are arranged at the same distance from the center of the lens array 113.
  • the amount of change in the optical axis interval of each lens portion of the lens array 113 is obtained, the optical axis origin of each lens portion is moved by half the amount of change, and the area around the optical axis origin is obtained.
  • the image is corrected so as to eliminate the distortion.
  • the influence of the distortion can be reduced correctly even if the temperature changes, so that an imaging apparatus that detects parallax with high accuracy and therefore measures distance with high accuracy has been realized.
  • an imaging apparatus was realized in which the center of the image does not change even when the temperature changes.
  • the imaging apparatus includes lens units that are not arranged at the same distance from the center of the lens array.
  • highly accurate parallax can be detected without being affected by temperature changes, and therefore the distance can be measured with high accuracy, and images can be obtained.
  • the center change can be suppressed.
  • the imaging apparatus is configured to replace the lens array 113 according to the first embodiment with the lens array 213, and further store a correction coefficient corresponding to the lens array 213 in the coefficient storage unit 141 according to the first embodiment.
  • Other configurations are the same as those of the first embodiment. Therefore, in FIG. 23, the same code
  • FIG. 23 is a plan view showing the configuration of the lens array of the imaging apparatus according to Embodiment 2 of the present invention.
  • the lens array 213 has a substantially disk shape, is formed of an optical glass material, a transparent resin, or the like, and includes a first lens portion 213a, a second lens portion 213b, a third lens portion 213c, and a fourth lens portion 213d. Are arranged in a grid pattern. As shown in FIG. 23, the x axis and the y axis are set along the arrangement direction of the first to fourth lens portions 213a to 213d.
  • the light incident from the subject side is emitted to the image sensor 123 side, and is on the image sensor 123.
  • Four images are formed on (see FIG. 1).
  • the optical axis of the first lens unit 213a and the optical axis of the second lens unit 213b are separated by Dx in the horizontal direction (x-axis direction), and the vertical direction (y-axis direction).
  • the two are coincident with each other and are arranged at positions symmetrical with respect to the axis in the y-axis direction passing through the center 213o of the lens array 213.
  • the optical axis of the first lens unit 213a and the optical axis of the second lens unit 213b are arranged away from the center 213o of the lens array 213 by Dy1 in the y-axis direction. Further, the optical axis of the third lens portion 213c and the optical axis of the fourth lens portion 213d are separated by Dx in the horizontal direction (x-axis direction) and coincide with each other in the vertical direction (y-axis direction). They are arranged at symmetrical positions with respect to the axis in the y-axis direction passing through the center 213o of the array. The optical axis of the third lens unit 213c and the optical axis of the fourth lens unit 213d are arranged away from the center 213o of the lens array 213 by Dy2 in the y-axis direction.
  • the optical axis center of each lens unit stored in the coefficient storage unit 141 is determined as follows.
  • the center of the optical axis of each of the lens portions 213a to 213d moves to the outside of the lens with respect to the center 213o of the lens array 213, as indicated by the arrows in FIG. To do.
  • This amount of movement is approximately proportional to the distance from the center 213o of the lens array 213 to the optical axis of each of the lens portions 213a to 213d.
  • the movement amount dbx1 in the x-axis direction and the movement amount dby1 in the y-axis direction of the first lens unit 213a accompanying the expansion of the lens array 213 due to a temperature rise are expressed by the following equation (86) with the pixel interval of the image sensor 123 as a unit. ) And (87).
  • Dx / 2 is the distance between the axis in the x-axis direction passing through the center 213o of the lens array 213 at the reference temperature Th0 and the optical axis of the first lens portion 213a
  • Dy1 is the same as the axis in the y-axis direction. This is the distance from the optical axis of the first lens unit 213a.
  • aL is the thermal linear expansion coefficient of the lens array 213
  • aS is the thermal linear expansion coefficient of the image sensor 123
  • T (Ts) is the physical temperature of the temperature sensor when the temperature sensor signal is Ts
  • p is a pixel interval of the image sensor 123.
  • the movement amount dbx2 in the x-axis direction and the movement amount dby2 in the y-axis direction of the second lens portion 213b due to the expansion of the lens array due to the temperature rise are expressed by the following formula (88) and the pixel interval of the image sensor 123 as units. It is expressed as (89).
  • Dx / 2 is the distance between the axis in the x-axis direction passing through the center 213o of the lens array 213 at the reference temperature Th0 and the optical axis of the second lens portion 213b
  • Dy1 is the same as the axis in the y-axis direction. 2 is a distance from the optical axis of the second lens unit 213b.
  • the movement amount dbx3 in the x-axis direction and the movement amount dby3 in the y-axis direction of the third lens unit 213c due to the expansion of the lens array due to the temperature rise are expressed by the following equation (90) with the pixel interval of the image sensor 123 as a unit. It is expressed as (91).
  • Dx / 2 is the distance between the axis in the x-axis direction passing through the center 213o of the lens array at the reference temperature Th0 and the optical axis of the third lens portion 213c
  • Dy2 is the same as the axis in the y-axis direction and the third axis.
  • the movement amount dbx4 in the x-axis direction and the movement amount dby4 in the y-axis direction of the fourth lens unit 213d due to the expansion of the lens array due to the temperature rise are expressed by the following equation (92) with the pixel interval of the image sensor 123 as a unit. It is expressed as (93).
  • Dx / 2 is the distance between the axis passing through the center 213o of the lens array at the reference temperature Th0 and the optical axis of the fourth lens portion 213d
  • the optical axis center of each lens unit is created on the assumption that the optical axis moves by the above-described movement amount.
  • the optical axis center (xc1, yc1) of the first lens portion 213a is in the x direction from the optical axis center (xc10, yc10) at the reference temperature Th0. -Ddx1 and + ddy1 in the y direction.
  • the optical axis center (xc2, yc2) of the second lens portion 213b is + ddx2 in the x direction from the optical axis center (xc20, yc20) at the reference temperature Th0.
  • the optical axis center (xc3, yc3) of the third lens portion 213c is ⁇ ddx3 in the x direction from the optical axis center (xc30, yc30) at the reference temperature Th0.
  • the optical axis center (xc4, yc4) of the fourth lens portion 213d is + ddx4 in the x direction from the optical axis center (xc40, yc40) at the reference temperature Th0.
  • xc1 xc10-ddx1 (94)
  • yc1 yc10 + ddy1 (95)
  • xc2 xc20 + ddx2 (96)
  • yc2 yc20 + ddy2 (97)
  • xc3 xc30-ddx3 (98)
  • yc3 yc30 + ddy3 (99)
  • xc4 xc40 + ddx4 (100)
  • yc4 yc40 + ddy4 (101)
  • the distortion coefficients k2, k4, the magnification (rx, ry), the focal length f, and the optical axis distance Dx in the x direction may be created and stored in the same manner as the imaging apparatus of the first embodiment.
  • the coordinate conversion performed using the above-described coordinate conversion table cuts out an image from the imaging signal I0 (x, y) as in the following formulas (102) to (105), and then It means to translate as in the following formulas (106) to (109).
  • the second embodiment can be modified in the same manner as the modification of the first embodiment.
  • the image pickup apparatus of the present invention is a small image pickup apparatus capable of measuring a distance
  • a mobile phone having a camera function, a digital still camera, an in-vehicle camera, a monitoring camera, a three-dimensional measuring instrument, and a stereoscopic image input camera Etc. are useful.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Lens Barrels (AREA)

Abstract

　本発明の撮像装置は、複数のレンズを含むレンズアレイと、前記複数のレンズと一対一に対応して設けられ、対応する前記レンズの光軸方向に対して略垂直な受光面をそれぞれ有する複数の撮像領域(123)と、レンズアレイの近傍に配置され温度を検知する温度センサ(126)と、温度に基づいて撮像領域で撮像された画像の倍率に相関する補正係数を含む補正係数を作成する補正係数作成部(142)と、補正係数に基づいて、撮像領域において生成された撮像信号を補正するとともに該補正後の撮像信号を用いて視差を演算する補正演算部(143,144)と、を備える。

Description

撮像装置及び半導体回路素子
　本発明は、距離計測可能な撮像装置及びその撮像装置に用いられる半導体回路素子に関する。
　距離計測が可能な従来の撮像装置として、特許文献１の撮像装置がある。図２４は、特許文献１の撮像装置の分解斜視図である。また、図２５は、同じく撮像装置の撮像ブロックを説明するための図である。図２４及び図２５に示すように、複眼撮像系である撮像装置９０１は、絞り部材９０２と、光学レンズアレイ９０３と、遮光ブロック９０４と、光学フィルタ９０６と、撮像ユニット９０７とを備えている。この撮像装置９０１において、４つの開口部９０２－１、９０２－２、９０２－３、９０２－４を持つ絞り部材９０２と、４つの光学ブロック（レンズ）９０３－１、９０３－２、９０３－３、９０３－４を持つ光学レンズアレイ９０３とにより、４つの撮像光学系が構成されており、それぞれを通過した光線がそれぞれ撮像ユニット９０７上の４つの撮像ブロック９０７－１、９０７－２、９０７－３、９０７－４に結像する。ＣＣＤセンサなどで形成された撮像ユニット９０７は、当該撮像ユニット９０７を駆動する駆動回路９０８と、これら複数の撮像ブロック９０７－１～９０７－４により撮像された画像間の視差情報を算出する視差算出回路９０９と共に、半導体基板９１０上に形成される。
　上述したように、絞り部材９０２の開口部９０２－１～９０２－４を通過した光線は、それぞれレンズ９０３－１～９０３－４により屈折作用を受けた後、遮光ブロック９０４内及び光学フィルタ９０６を通過し、撮像ブロック９０７－１～９０７－４に結像する。そして、例えば、撮像ブロック９０７－１により撮像された画像と撮像ブロック９０７－２により撮像された画像との類似度をブロックマッチングを用いて演算し、その類似度に基づき視差ｄを求めた後、下記式（１）のように、視差ｄから距離Ｌを求める。ここで、ｆはレンズ９０３－１及び９０３－２の焦点距離であり、Ｂはレンズ９０３－１及び９０３－２の光軸の間隔であり、ｐはレンズ９０３－１と９０３－２との光軸を結ぶ方向の撮像ユニット９０７の画素間隔である。
　L = (f * B) / (p * d) …(1)
　しかしながら、レンズアレイ９０３は温度変化により変形し、それに伴いレンズの光軸の間隔Ｂが変化するため、温度が変化すると正しく距離を求められない。
　このような温度変化に対応する撮像装置が特許文献２に開示されている。その構造は温度センサを有している点を除いて特許文献１の撮像装置と同様であるため、図２４を参照しながら説明すると、特許文献２の撮像装置は、等間隔に配置されたレンズ９０３－１～９０３－４と、それらのレンズ９０３－１～９０３－４近傍の温度Ｔを測定する温度センサとを備え、その温度Ｔを用いて、撮像ブロック９０７－１～９０７－４により撮像された画像Ｉ１～Ｉ４を補正する。
　より詳細に説明すると、この撮像装置は、下記式（２）のように、基準温度Ｔ０に対する温度変化量（Ｔ－Ｔ０）を演算し、レンズアレイの熱線膨張率ａＬと撮像ユニット９０７の線膨張率ａＳとの差（ａＬ－ａＳ）に基づき、温度変化による各レンズの光軸の間隔Ｂの変化量ｚを求める。そして、下記式（３）のように、撮像ブロック９０７－１により撮像された画像Ｉ１を基準として、下記式（４）、（５）及び（６）のように、撮像ブロック９０７－２、９０７－３、９０７－４により撮像された画像Ｉ２、Ｉ３、Ｉ４を、各レンズの光軸の間隔の変化分だけ補正する。ここで、レンズ９０３－１及び９０３－２、並びにレンズ９０３－３及び９０３－４がそれぞれ互いにｘ軸方向に離れて配置され、レンズ９０３－１及び９０３－３、並びにレンズ９０３－２及び９０３－４がそれぞれ互いにｙ軸方向に離れて配置されている。そして、ｐは撮像ユニット９０７画素間隔であり、ｘ軸方向とｙ軸方向とで同一である。Ｉ１（ｘ，ｙ）、Ｉ２（ｘ，ｙ）、Ｉ３（ｘ，ｙ）、Ｉ４（ｘ，ｙ）は座標（ｘ、ｙ）における各画像の輝度を示す。温度変化により、レンズ９０３－１と比較し、レンズ９０３－２はｘ軸方向にｚ／ｐ画素だけ移動するため、式（４）のように、Ｉ２（ｘ，ｙ）をｘ軸方向にｚ／ｐだけ移動するように補正する。また、温度変化により、レンズ９０３－３は、レンズ９０３－１と比較してｙ軸方向にｚ／ｐ画素だけ移動するため、式（５）のように、Ｉ３（ｘ，ｙ）をｙ軸方向にｚ／ｐだけ移動するように補正する。さらに、温度変化により、レンズ９０３－４は、レンズ９０３－１と比較してｘ軸方向にｚ／ｐ画素、ｙ軸方向にｚ／ｐ画素だけ移動するため、式（６）のように、Ｉ４（ｘ，ｙ）をｘ軸方向にｚ／ｐ画素、ｙ軸方向にｚ／ｐ画素だけ移動するように補正する。
　z = B (aL - aS) (T - T0) …(2)
　I1(x, y) = I1(x, y) …(3)
　I2(x, y) = I2(x+z/p, y) …(4)
　I3(x, y) = I3(y, x+z/p) …(5)
　I4(x, y) = I4(x+z/p, y+z/p) …(6)
特開２００３－１４３４５９号公報 特開２００２－２０４４６２号公報
　前述のように、特許文献２に記載された従来の撮像装置は、撮像ブロック９０７－１により撮像された画像Ｉ１を基準として、式（４）、（５）及び（６）のように、撮像ブロック９０７－２、９０７－３、９０７－４により撮像された画像Ｉ２、Ｉ３、Ｉ４を、レンズの光軸の間隔の変化分だけ補正する。
　しかしながら、特許文献２に記載された従来の撮像装置は、光軸は補正されるが、撮像された画像の倍率の変化は考慮されない。すなわち、レンズアレイの温度変化により、屈折率が変化し、レンズの焦点距離ｆが変化する。また、鏡筒の温度変化により、レンズアレイから撮像領域までの距離が変化する。これらの場合、いずれも、撮像された画像の倍率が変化する。そのため、その倍率の変化分だけ演算される視差及び被写体距離が変化するため、距離演算精度が悪化する。
　本発明は、上記問題に鑑みなされたもので、温度が変化し、撮像された画像の倍率が変化しても、高精度な距離計測を可能にする撮像装置及びその撮像装置に用いられる半導体回路素子を提供することを目的とする。
　上記課題を解決するために、本発明の撮像装置は、複数のレンズを含むレンズアレイと、前記複数のレンズと一対一に対応して設けられ、対応する前記レンズの光軸方向に対して略垂直な受光面をそれぞれ有する複数の撮像領域と、前記レンズアレイの近傍に配置され温度を検知する温度センサと、前記温度センサにより検知された温度に基づいて、前記撮像領域で撮像された画像の倍率に相関する補正係数（以下、倍率相関補正係数という）を含む補正係数を作成する補正係数作成部と、前記補正係数に基づいて、前記撮像領域において生成された撮像信号を補正するとともに該補正後の撮像信号を用いて視差を演算する補正演算部と、を備える。ここで、「撮像領域で撮像された画像の倍率に相関する補正
係数」とは、撮像領域で撮像された画像の倍率と相関関係を有する物理量を補正する補正係数を意味し、典型的には、撮像領域で撮像された画像の倍率自体、及び複数のレンズの各々の焦点距離が該当する。また、これらと相関関係を有する、レンズアレイを収容する鏡筒の伸び又は縮み、複数のレンズの各々の屈折率等も該当する。
　この構成によれば、温度センサにより検知された温度に基づいて作成された、撮像領域で撮像された画像の倍率に相関する補正係数に基づいて、撮像領域において生成された撮像信号を補正し及び／又はその補正後の撮像信号を用いて視差を演算するので、温度が変化し、撮像された画像の倍率が変化しても、その温度変化による倍率の変化を補償することができる。その結果、高精度な距離計測が可能になる。
　前記補正係数作成部は、前記温度センサにより検知された温度に基づいて、前記倍率相関補正係数として、前記レンズアレイ及び前記複数の撮像領域を収容する鏡筒の伸び又は縮みを補正する倍率を作成するよう構成されており、前記補正演算部は、前記倍率に基づいて、前記撮像領域において生成された撮像信号を補正するよう構成されていてもよい。
　この構成によれば、温度が変化し、鏡筒が伸びても、その鏡筒の伸び又は縮みによって生じる、撮像領域で撮像される画像の倍率変化を補償することができる。
　前記補正係数作成部は、前記温度センサにより検知された温度に基づいて、前記倍率相関補正係数として、前記レンズアレイの屈折率または焦点距離の変化を補正する倍率を作成するよう構成されており、前記補正演算部は、前記倍率に基づいて、前記撮像領域において生成された撮像信号を補正するよう構成されていてもよい。
　この構成によれば、温度が変化し、レンズアレイの屈折率または焦点距離が変化しても、その変化によって生じる、撮像領域で撮像された画像の倍率変化を補償することができる。
　また、前記補正係数作成部は、前記複数の撮像領域のそれぞれに対する前記倍率相関補正係数を前記温度の変化に対して同一の割合だけ変化させるように作成してもよい。
　１つの鏡筒と複数のレンズを含む１つのレンズアレイとを用いて構成される撮像装置において、複数の撮像領域に対して１つの倍率相関補正係数が作成されるため、その分だけ、演算時間を削減でき、低コストで高精度に距離演算する撮像装置を実現することができる。
　また、本発明の半導体回路素子は、複数のレンズを含むレンズアレイと、前記複数のレンズと一対一に対応して設けられ、対応する前記レンズの光軸方向に対して略垂直な受光面をそれぞれ有する複数の撮像領域とを有する撮像装置に用いられる半導体回路素子であって、前記レンズアレイの近傍に配置された温度センサによって検知された温度に基づいて、前記撮像領域で撮像された画像の倍率に相関する補正係数（以下、倍率相関補正係数という）を含む補正係数を作成する補正係数作成部と、前記補正係数に基づいて、前記撮像領域において生成された撮像信号を補正するとともに該補正後の撮像信号を用いて視差を演算する補正演算部と、を備える。
　この構成によれば、温度センサにより検知された温度に基づいて作成された、撮像領域で撮像された画像の倍率に相関する補正係数に基づいて、撮像領域において生成された撮像信号を補正し及び／又はその補正後の撮像信号を用いて視差を演算するので、温度が変化し、撮像された画像の倍率が変化しても、その温度変化による倍率の変化を補償することができる。その結果、高精度な距離計測が可能になる。
　本発明の上記目的、他の目的、特徴、及び利点は、添付図面参照の下、以下の好適な実施態様の詳細な説明から明らかにされる。
　本発明によれば、温度変化が変化し、撮像された画像の倍率が変化しても、それを補償するため、高精度な距離計測が可能となる。
図１は本発明の実施の形態１に係る撮像装置の構成を示す断面図である。 図２は本発明の実施の形態１に係る撮像装置のレンズアレイの構成を示す平面図である。 図３は本発明の実施の形態１に係る撮像装置の回路部の構成を示す平面図である。 図４は本発明の実施の形態１に係る撮像装置の撮像素子の構成を示す平面図である。 図５は本発明の実施の形態１に係る撮像装置の温度センサの回路図である。 図６は本発明の実施の形態１に係る撮像装置において、無限遠にある物体像の位置を説明するための図である。 図７は本発明の実施の形態１に係る撮像装置において、有限距離の位置にある物体像の位置を説明するための図である。 図８は本発明の実施の形態１に係る鏡筒伸びによる倍率変化を説明する図である。 図９は本発明の実施の形態１に係る鏡筒伸びの温度補正の原理を説明する図である。 図１０は本発明の実施の形態１に係る鏡筒伸びの温度補正の効果を説明する図である。 図１１は本発明の実施の形態１に係る温度に対する屈折率と焦点距離の変化を説明する図である。 図１２は本発明の実施の形態１に係る焦点距離変化による倍率変化を説明する図である。 図１３は本発明の実施の形態１に係る撮像装置の構成を示すブロック図である。 図１４は本発明の実施の形態１に係る撮像装置の動作を示すフローチャートである。 図１５は本発明の実施の形態１に係る係数保存部を説明するための図である。 図１６は本発明の実施の形態１に係る撮像装置の撮像信号の切り出し位置を説明するための図である。 図１７は本発明の実施の形態１に係る撮像装置の距離演算部の動作を示すフローチャートである。 図１８は本発明の実施の形態１に係る撮像装置において、ブロック分割を説明する図である。 図１９は本発明の実施の形態１に係る撮像装置において、第１の撮像信号と第２の撮像信号を利用したときの視差演算における視差評価値の演算領域を説明する図である。 図２０は本発明の実施の形態１に係る撮像装置の第１の撮像信号と第２の撮像信号を利用したときの視差演算におけるずらし量と視差評価値との関係を説明する図である。 図２１は実施の形態１の変形例２に係る撮像装置のレンズアレイの構成を示す平面図である。 図２２は実施の形態１の変形例３に係る撮像装置のレンズアレイの構成を示す平面図である。 図２３は本発明の実施の形態２に係る撮像装置のレンズアレイの構成を示す平面図である。 図２４は従来の撮像装置の分解斜視図である。 図２５は従来の撮像装置の撮像ブロックを説明するための図である。
　以下、本発明の好ましい実施の形態を、図面を参照しながら説明する。
　（実施の形態１）
　本発明の実施の形態１に係る撮像装置は、温度センサにより検知された温度に基づき複数のレンズの光軸の間隔の変化量を求め、複数のレンズの光軸原点を変化量の半分だけ移動し、光軸原点周りの歪みをなくすように画像を補正する。これにより、歪みの影響を適切に低減できるため、高精度な視差を検知でき、高精度に距離測定できる。また、温度センサにより検知された温度に基づいて画像の倍率を補正するので、より高精度に距離測定できる。
　［構成及び動作］
　図１は、本発明の実施の形態１に係る撮像装置の構成を示す断面図である。図１に示すように、撮像装置１０１は、回路部１２０と、その回路部１２０の上方に設けられたレンズモジュール部１１０とを備えている。
　レンズモジュール部１１０は、円筒状の鏡筒１１１と、その鏡筒１１１の開口を覆う上部カバーガラス１１２と、その上部カバーガラス１１２の下方であって鏡筒１１１の内部に設けられたレンズアレイ１１３とを有している。また、回路部１２０は、基板１２１と、その基板１２１上に設けられたパッケージ１２２、撮像素子１２３、パッケージカバーガラス１２４、半導体回路素子であるシステムＬＳＩ（以下、ＳＬＳＩと記す）１２５、及びレンズアレイ１１３近傍の温度を検出する温度センサ１２６とを有している。
　鏡筒１１１は、上述のとおり円筒状であって、その内壁面は光の乱反射を防止するためにつやが消された黒で着色されており、樹脂を射出成形し形成される。上部カバーガラス１１２は、円盤状であり、光学ガラス材あるいは透明樹脂などから形成され、鏡筒１１１の上部の内壁に接着剤などにより固着され、その表面には摩擦などによる損傷を防止する保護膜と、入射光の反射を防止する反射防止膜とが設けられている。
　図２は、本発明の実施の形態１に係る撮像装置のレンズアレイの構成を示す平面図である。レンズアレイ１１３は、略円盤状であり、光学ガラス材又は透明樹脂などから形成され、円形の第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄが２行２列で碁盤目状に配設されている。第１～第４のレンズ部１１３ａ～１１３ｄの配置方向に沿って、図２に示すようにｘ軸及びｙ軸を設定する。第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄにおいて、被写体側から入射した光は、撮像素子１２３側へ射出され、撮像素子１２３上に４つの像が結像される。なお、図２に示すように、第１のレンズ部１１３ａの光軸及び第２のレンズ部１１３ｂの光軸は、ｘ軸方向ではＤｘだけ離れており、ｙ軸方向では一致する。第１のレンズ部１１３ａの光軸及び第３のレンズ部１１３ｃの光軸は、ｘ軸方向では一致しており、ｙ軸方向ではＤｙだけ離れている。第３のレンズ部１１３ｃの光軸及び第４のレンズ部１１３ｄの光軸は、ｘ軸方向ではＤｘだけ離れており、ｙ軸方向は一致する。第４のレンズ部１１３ｄの光軸及び第１のレンズ部１１３ａの光軸は、ｘ軸方向ではＤｘだけ離れており、ｙ軸方向ではＤｙだけ離れている。
　基板１２１は、樹脂基板から構成され、上面に鏡筒１１１がその底面を接して接着剤などにより固着される。このようにして、レンズモジュール部１１０と回路部１２０とが固定され、撮像装置１０１を構成する。
　パッケージ１２２は、金属端子を有する樹脂からなり、鏡筒１１１の内側において、基板１２１の上面にその金属端子部が半田づけ等されて固着される。
　撮像素子１２３は、ＣＣＤセンサやＣＭＯＳセンサのような固体撮像素子であり、その受光面が第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄの光軸と略垂直になるようにして配置される。撮像素子１２３の各端子は、パッケージ１２２の内側の底部の金属端子にワイヤーボンディングにより金線１２７で接続され、基板１２１を介して、ＳＬＳＩ１２５と電気的に接続される。撮像素子１２３の受光面に、第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄから射出された光がそれぞれ結像し、その光の情報がフォトダイオードにより電気の情報へ変換され、その電気の情報がＳＬＳＩ１２５に転送される。
　図３は、本発明の実施の形態１に係る撮像装置の回路部１２０の構成を示す平面図である。パッケージカバーガラス１２４は、平板状であり、透明樹脂により形成され、パッケージ１２２の上面に接着などにより固着される。なお、図３においては、便宜上、パッケージカバーガラス１２４を透して見える撮像素子１２３などは省略する。
　ＳＬＳＩ１２５は、後述の方法で、撮像素子１２３を駆動し、撮像素子１２３からの電気情報を入力し、各種演算を行い、上位ＣＰＵと通信を行い、外部に画像情報や距離情報などを出力する。なお、ＳＬＳＩ１２５は、電源（例えば３．３Ｖ）とグランド（例えば、０Ｖ）に接続される。
　図４は、本発明の実施の形態１に係る撮像装置の撮像素子の構成を示す平面図である。図４に示すように、撮像素子１２３は、第１の撮像領域１２３ａ、第２の撮像領域１２３ｂ、第３の撮像領域１２３ｃ、及び第４の撮像領域１２３ｄを含んで構成されている。これらの第１～第４の撮像領域１２３ａ～１２３ｄは、それぞれの受光面が、第１～第４のレンズ部１１３ａ～１１３ｄの光軸と略垂直になるようにして２行２列で配置される。これらの各撮像領域１２３ａ～１２３ｄにて撮像信号が生成される。
　図５は、本発明の実施の形態１に係る撮像装置の温度センサの回路図である。図５に示すように、温度センサ１２６は、第１の固定抵抗１２６ａとサーミスタ１２６ｂと第２の固定抵抗１２６ｃとが直列に接続されて構成されている。ここで、第１の固定抵抗１２６ａの他端（サーミスタ１２６ｂに接続されない端）は電源１２６ｄ（例えば３．３Ｖ）に接続され、第２の固定抵抗１２６ｃの他端（サーミスタ１２６ｂに接続されない端）はグランド１２６ｅ（例えば、０Ｖ。ＳＬＳＩ１２５のグランドと同一電位）に接続される。また、第１の固定抵抗１２６ａとサーミスタ１２６ｂとの接続点１２６ｆがＳＬＳＩ１２５に接続されている。
　次に、被写体距離と視差との関係を説明する。本発明の実施の形態１に係る撮像装置は、４つのレンズ部（第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄ）を有するため、４つのレンズ部がそれぞれ形成する４つの物体像の相対的位置が、被写体距離に応じて変化する。
　図６は、本発明の実施の形態１に係る撮像装置において、無限遠にある物体像の位置を説明するための図である。図６においては、簡単のため、レンズアレイ１１３において、第１のレンズ部１１３ａ、及び第２のレンズ部１１３ｂのみを記す。無限遠の物体１０からの光の第１のレンズ部１１３ａへの代表的な入射光Ｌ１と、第２のレンズ部１１３ｂへの代表的な入射光Ｌ２とは平行である（ここで、物体１０は２つ描画されているが、単一である。無限遠の物体１０を有限な紙面上に描画できない。そのため、入射光Ｌ１と入射光Ｌ２とが平行であることを明示するために、２つの位置の無限遠の物体１０を描画している）。このため、第１のレンズ部１１３ａの光軸と第２のレンズ部１１３ｂの光軸との間の距離と、撮像素子１２３上の物体像１１ａが結像される位置と物体像１１ｂが結像される位置との間の距離は等しい。すなわち、視差はない。
　図７は、本発明の実施の形態１に係る撮像装置において、有限距離の位置にある物体の位置を説明するための図である。図７において、簡単のため、レンズアレイ１１３において、第１のレンズ部１１３ａ、及び第２のレンズ部１１３ｂのみを記す。有限距離の物体１２からの光の第１のレンズ部１１３ａへの代表的な入射光Ｌ１と第２のレンズ部１１３ｂへの代表的な入射光Ｌ２とは平行ではない。従って、第１のレンズ部１１３ａの光軸と第２のレンズ部１１３ｂの光軸との間の距離に比べて、撮像素子１２３上の物体像１３ａが結像される位置と物体像１３ｂが結像される位置との間の距離は長い。すなわち、視差がある。
　第１のレンズ部１１３ａの主点から物体（被写体）１２までの距離（被写体距離）をＡ、第１のレンズ部１１３ａと第２のレンズ部１１３ｂとの光軸間距離をＤ、レンズ部１１３ａ，１１３ｂの焦点距離をｆとすると、図７の直角を挟む２辺の長さがＡ、Ｄの直角三角形と、直角を挟む２辺の長さがｆ、Δの直角三角形とが相似であることより、視差値Δは、下記式（７）のように表される。
　Δ＝ｆ＊Ｄ／Ａ ・・・(7)
　その他のレンズ部についても同様の関係が成立する。このように、被写体距離に応じて４つのレンズ部１１３ａ，１１３ｂ，１１３ｃ，１１３ｄがそれぞれ形成する４つの物体像の相対的位置が変化する。例えば、被写体距離Ａが小さくなると、視差値Δが大きくなる。そこで、下記式（８）のように、式（７）を被写体距離Ａについて解くことにより、視差値Δから被写体距離Ａを求めることができる。
　Ａ＝ｆ＊Ｄ／Δ ・・・(8)
　次に、光軸中心の温度補償の原理を説明する。図２の矢印のように、温度上昇に伴いレンズアレイ１１３が膨張し光軸中心がレンズ外側に移動する。レンズアレイが温度上昇に比例し等方的に膨張すると仮定すると、光軸中心の間隔は、下記式（９）、（１０）で表される。ここで、ddxは温度上昇に伴う光軸間の間隔のｘ方向の変化量であり、単位は撮像素子１２３の受光素子の間隔である。また、ddyは温度上昇に伴う光軸間の間隔のｙ方向の変化量であり、単位は撮像素子１２２の受光素子の間隔である。また、Dxは基準温度Th0におけるｘ方向のレンズ間の光軸の間隔であり、Dyは基準温度Th0におけるｙ方向のレンズ間の光軸の間隔であり、aLはレンズアレイ１１３の熱線膨張率であり、aSは撮像素子１２３の熱線膨張率であり、Tは温度であり、Th0は基準温度であり、pは撮像素子１２３の受光素子の間隔である。
　ddx = Dx * (aL - aS) * (T - Th0) / p ・・・(9)
　ddy = Dy * (aL - aS) * (T - Th0) / p ・・・(10)
　そして、温度上昇に伴い各レンズ部の光軸中心は等方的に膨張するため、図２のように、温度上昇に伴うレンズ間の光軸間の間隔の変化の半分（ｘ方向にp*ddx/2、ｙ方向にp*ddy/2）だけ移動する。すなわち、第１のレンズ部１１３ａの光軸中心は、ｘ方向に-p*ddx/2、ｙ方向に-p*ddy/2だけ移動する。また、第２のレンズ部１１３ｂの光軸中心は、ｘ方向に+p*ddx/2、ｙ方向に-p*ddy/2だけ移動する。また、第３のレンズ部１１３ｃの光軸中心は、ｘ方向に-p*ddx/2、ｙ方向に+p*ddy/2だけ移動する。また、第４のレンズ部１１３ｄの光軸中心は、ｘ方向に+p*ddx/2、ｙ方向に+p*ddy/2だけ移動する。
　したがって、温度Tを検知し、その温度Tからレンズアレイ１１３の各レンズ間の光軸の間隔の変化ddx,ddyを求め、その変化ddx,ddyの半分だけレンズアレイ１１３の各レンズの光軸が移動すると推定し補償することにより、温度変化に伴うレンズアレイ１１３の膨張の影響を低減し、正確な視差を求めることができ、それゆえ、正確な距離を求めることができる。
　次に、温度変化による鏡筒伸びの影響を低減するための温度補正の原理を説明する。図８は、本発明の実施の形態１に係る鏡筒伸びによる倍率変化を説明する図である。図８において、説明を簡単にするため、第１のレンズ部１１３ａに関する部分のみを示す。図８（ａ）は、基準温度Ｔｈ０における倍率の説明を示し、図８（ｂ）は、基準温度よりも高い温度Ｔｈにおける倍率の説明を示す。基準温度Ｔｈ０において、図８（ａ）のように、第１のレンズ部１１３ａの主点Ｈから被写体１４までの距離はＡであり、第１のレンズ部１１３ａの主点Ｈから第１の撮像領域１２３ａ上の被写体像１５ａまでの距離はＢである。被写体１４の下端からの主光線Ｌ１１は、被写体１４の下端を発し、第１のレンズ部１１３ａの主点Ｈを通り、被写体像１５ａの上端に達する。一方、被写体１４の上端からの主光線は、被写体１４の上端を発し、第１のレンズ部１１３ａの主点Ｈを通り、被写体像１５ａの下端に達する。ここで、被写体１４の下端、上端、主点Ｈを結ぶ三角形と、被写体像１５ａの上端、下端、主点Ｈを結ぶ三角形は相似であるため、下記式（１１０）のように、被写体１４の長さＸに対する被写体像１５ａの長さＹａの比で示される基準温度Ｔｈ０における倍率β（Ｔｈ０）は、被写体１４から主点Ｈまでの距離Ａに対する主点Ｈから被写体像１５ａまでの距離Ｂとの比となる。
　β(Th0) = Ya/X = B/A ・・・(110)
　一方、温度Ｔｈにおいて、図８（ｂ）のように、第１のレンズ部１１３ａの主点Ｈから被写体１４までの距離はＡであり、第１のレンズ部１１３ａの主点Ｈから第１の撮像領域１２３ａ上の被写体像１５ｂまでの距離はＢ・（１＋α）である。温度上昇により、鏡筒１１１が伸びるため、基準温度Ｔｈ０に対して、温度Ｔｈではα倍分だけ第１のレンズ部１１３ａの主点Ｈから第１の撮像領域１２３ａ上の被写体像１５ｂまでの距離が増加する。被写体１４の下端からの主光線Ｌ１１は、被写体１４の下端を発し、第１のレンズ部１１３ａの主点Ｈを通り、被写体像１５ｂの上端に達する。一方、被写体１４の上端からの主光線は、被写体１４の上端を発し、第１のレンズ部１１３ａの主点Ｈを通り、被写体像１５ｂの下端に達する。ここで、被写体１４の下端、上端、主点Ｈを結ぶ三角形と、被写体像１５ｂの上端、下端、主点Ｈを結ぶ三角形は相似であるため、下記式（１１１）のように、被写体１４の長さＸに対する被写体像１５ｂの長さＹｂとの比で示される温度Ｔｈにおける倍率β（Ｔｈ）は、被写体１４から主点Ｈまでの距離Ａに対する主点Ｈから被写体像１５ｂまでの距離Ｂ・（１＋α）の比となる。式（１１０）と式（１１１）の比較から明瞭に、温度が基準温度Ｔｈ０から温度Ｔｈに上昇すると、鏡筒が元の長さのα倍分だけ伸び又は縮み、それに伴い主点Ｈと第１の撮像領域１２３ａまでの距離Ｂが鏡筒の膨張によって伸び又は縮んだ分だけ鏡筒長が変化し（すなわち、ＢからＢ・（１＋α）に増加又は減少し）、倍率は１＋α倍に増加又は減少する（すなわち、Ｂ／ＡからＢ・（１＋α）／Ａに増加又は減少する）。以下、本実施の形態においては鏡筒長が伸びた場合（すなわち、α＞０の場合）を例にとって説明する。
　β(Th) = Yb/X = B・(1+α)/A ・・・(111)
　図９は、本発明の実施の形態１に係る鏡筒伸びの温度補正の原理を説明する図である。図９において、説明を簡単にするため、第１のレンズ部１１３ａ、および第２のレンズ部１１３ｂに対応する第１の撮像信号Ｉ１、および第２の撮像信号Ｉ２のみを示す。また、図９において、適宜、レンズ間の光軸の移動に対する補正がなされているものとする。図９（ａ）は、基準温度Ｔｈ０における画像と視差とを示し、図９（ｂ）は、基準温度よりも高い温度Ｔｈにおける鏡筒伸びの補正前の画像と視差とを示し、図９（ｃ）は、基準温度よりも高い温度Ｔｈにおける鏡筒伸びの補正後の画像と視差とを示す。基準温度Ｔｈ０において、図９（ａ）のように、第１の撮像信号Ｉ１に被写体像１６ａａが撮像され、第２の撮像信号Ｉ２に被写体像１６ｂａが撮像され、それぞれの視差がΔとなるものとする。ここで、温度が基準温度Ｔｈ０から温度Ｔｈまで上昇すると、式（１１１）のように倍率が１＋α倍に増加するため、同一の被写体を撮像したとき、図９（ｂ）のように、第１の撮像信号Ｉ１に撮像される被写体像１６ａｂの大きさ、および第２の撮像信号Ｉ２に撮像される被写体像１６ｂｂの大きさが、それぞれ１＋α倍に増加する。そのため、それぞれの視差が１＋α倍に増加する（すなわち、Δ・（１＋α）となる）。そこで、図９（ｃ）のように、この１＋α倍に大きくなった被写体像１６ａｂ、１６ｂｂが基準温度Ｔｈ０のときの被写体像１６ａａ、１６ｂａと同一の大きさになるように、第１の撮像信号Ｉ１、および第２の撮像信号Ｉ２を補正し（画像の大きさが１／（１＋α）倍になるのように補正し、）被写体像１６ａｃ、１６ｂｃとする。すると、補正された被写体像１６ａｃ、１６ｂｃの大きさは、基準温度Ｔｈ０のときの被写体像１６ａａ、１６ｂａの大きさと同一となり、それゆえ、視差がΔとなり、基準温度Ｔｈ０のときの視差Δに一致する。
　図１０は、本発明の実施の形態１に係る鏡筒伸びの温度補正の効果を説明する図である。上述のように、温度Ｔｈが変化すると膨張による鏡筒の伸び又は縮みに伴って各撮像領域に撮像される画像の倍率が変化する。図１０（ａ）は、基準温度Ｔｈ０（図１０において、基準温度Ｔｈ０を２０℃とする）のときの倍率β（Ｔｈ０）に対する温度Ｔｈのときの倍率β（Ｔｈ）の比（１＋α）を示したものであり、基準温度Ｔｈ０のとき１（α＝０）であったものが、基準温度Ｔｈ０以上のときは１以上（αが０以上）となり、基準温度Ｔｈ０以下のときは１以下（αが０以下）となる。そして、温度Ｔｈが基準温度Ｔｈ０から離れるほど、基準温度Ｔｈ０のときの倍率β（Ｔｈ０）に対するＴｈ０のときの倍率β（Ｔｈ）の比（１＋α）は１から離れる。そして、上述のように視差Δも、同様に変化する。ここで、被写体距離Ａは、式（８）において視差Δに反比例し、視差Δに基づき式（８）に従って演算される。そのため、鏡筒伸びに伴う撮像画像の倍率変化に関する補正なしに測距演算を行うと、図１０（ｂ）のように、温度Ｔｈが基準温度Ｔｈ０以外のとき測距誤差が発生する。そこで、上述のように、鏡筒伸びに伴う撮像画像の倍率変化に関する補正を行い、基準温度Ｔｈ０のときと同一の倍率とし、同一の視差とすることにより、図１０（ｃ）のように、温度変化に対する測距誤差をなくすことができる。
　このように、基準温度から温度が変化すると、鏡筒伸びにより画像の倍率が変化するため、画像の倍率の変化分を打ち消すように画像の大きさを補正する倍率補正を行うことにより、温度が変化しても常に正しい視差を求めることができ、それゆえ、温度が変化しても常に正しい距離測定ができる。
　なお、測距誤差αは、鏡筒に用いられる材料の線熱膨張係数と許容温度変化幅とを掛け合わせることにより求められる。従って、図１０における測距誤差αは、例えば、樹脂製の鏡筒に用いられる一般的な樹脂の線熱膨張係数の値として、０．００００７[／℃]を用い、車載用途などに用いた場合の許容温度変化幅を１００℃とする(－２０℃から８０℃まで変化すると仮定する)と、α＝０．００００７×１００＝０．００７、すなわち、０．７％（中心値に対して±０．３５％）程度となることがわかる。ここで、測距装置の必要精度としては、±１％以下が求められることがある。従って、鏡筒の長さ変化による測距誤差が上述のように中心値に対して±０．３５％とすると、鏡筒の長さ変化による測距誤差が必要精度の１／３を占めることになる。測距誤差は、鏡筒の長さ変化以外の様々な要因によっても発生するため、必要精度の１／３を占める鏡筒の長さ変化よる誤差の影響を除去することは、測距精度±１％以下の実現のために重要である。
　そこで、本実施の形態のように、温度変化による鏡筒の長さ変化を補正することにより、この測距誤差を大きく低減することが可能となる。これにより、成形により安価に量産が可能な樹脂を用いて鏡筒を形成しても、高精度な測距装置を実現することができる。
　次に、焦点距離の温度補正の原理を説明する。図１１は、本発明の実施の形態１に係る温度に対する屈折率と焦点距離の変化を説明する図である。図４（ａ）のように、温度が上昇すると、レンズアレイ１１３の屈折率が減少する。すると、第１のレンズアレイ１１３ａの焦点距離ｆが変化する。図４（ｂ）は、基準温度Ｔｈ０（図１１において、基準温度Ｔｈ０を２０℃とする）における焦点距離ｆに対する温度Ｔｈにおける焦点距離ｆの比を示し、基準温度Ｔｈ０のとき１であったものが、基準温度Ｔｈ０以上のときは１以上となり、基準温度Ｔｈ０以下のときは１以下となり、基準温度Ｔｈ０から離れるほど１から離れる。
　図１２は、本発明の実施の形態１に係る焦点距離変化による倍率変化を説明する図である。図１２において、説明を簡単にするため、第１のレンズ部１１３ａに関する部分のみを示す。図１２において、被写体距離がＡ、第１のレンズ部１１３ａの焦点距離がｆａのとき、第１の撮像領域１２３ａに合焦するように各部品が配置されているものとする。そのため、理想的には、被写体１７の１点から発せられたあらゆる光は、第１のレンズ部１１３ａを通過した後、撮像領域１２３ａ上の１点に集光する。すなわち、被写体１７の上端からの主光線Ｌ２０は、被写体１７の上端から発し、第１のレンズ部１１３ａの主点Ｈを通過し、屈折せずに第１の撮像領域１２３ａ上の被写体像１８ａの下端（第１のレンズ部１１３ａの光軸１９からＹだけ離れた位置）に達する。また、被写体１７の上端から光軸１９に平行な光線Ｌ２１ａは、点Ｐで屈折され、後側焦点Ｎａを通過し、被写体像１８ａの下端（光軸１９からＹだけ離れた位置）に達する。また、被写体１７の上端から前側焦点Ｍａを通過する光線Ｌ２２ａは、点Ｑａで屈折され、光軸１９と平行になり、被写体像１８ａの下端（光軸１９からＹだけ離れた位置）に達する。
　次に、温度が上昇し、焦点距離がｆａからｆｂ（＞ｆａ）に変化したときを考える。このとき、前側焦点がＭａからＭｂにレンズから遠ざかる向きに変化し、後側焦点がＮａからＮｂにレンズから遠ざかる向きに変化する。被写体１７の上端からの主光線Ｌ２０は、被写体１７の上端から発し、第１のレンズ部１１３ａの主点Ｈを通過し、屈折せずに第１の撮像領域１２３ａ上の被写体像１８ａ（焦点距離がｆａのときの被写体像）の下端（第１のレンズ部１１３ａの光軸１９からＹだけ離れた位置）に達する。一方、被写体１７の上端から光軸１９に平行な光線Ｌ２１ｂは、点Ｐで屈折され、後側焦点Ｎｂを通過し、被写体像１８ａ（焦点距離がｆａのときの被写体像）の下端よりも光軸１９に近い側（光軸１９からＹｕだけ離れた位置）に達する。また、被写体１７の上端から前側焦点Ｍｂを通過する光線Ｌ２２ｂは、点Ｑｂで屈折され、光軸１９と平行になり、被写体像１８ａ（焦点距離がｆａのときの被写体像）の下端よりも光軸１９から遠い側（光軸１９からＹｄだけ離れた位置）に達する。すなわち、被写体１７の１点から発せられたあらゆる光は、第１のレンズ部１１３ａを通過した後、撮像領域１２３ａ上の１点に集光せずにぼける。また、Ｙに対するＹｕのずれの大きさとＹに対するＹｄのずれの大きさとが異なるため、倍率が変化する。
　このように、温度が変化すると、焦点距離が変化し、倍率が変化する。そして、図９および図１０を用いて説明したとおり、倍率変化により測距誤差が発生する。そこで、光学解析などにより焦点距離変化による倍率変化、すなわち、基準温度Ｔｈ０における倍率に対する温度Ｔｈにおける倍率変化を求め、基準温度Ｔｈ０のときの倍率になるように倍率を補正する。
　このように、基準温度から温度が変化すると、焦点距離変化により画像の倍率が変化するため、画像の倍率の変化分を打ち消すように画像の大きさを補正する倍率補正を行うことにより、温度が変化しても常に正しい視差を求めることができ、それゆえ、温度が変化しても常に正しい距離測定ができる。
　次に、本発明の実施の形態１に係る撮像装置の動作を説明する。
　図１３は、本発明の実施の形態１に係る撮像装置の構成を示すブロック図である。ＳＬＳＩ１２５は、システム制御部１３１、撮像素子駆動部１３２、撮像信号入力部１３３、温度センサ信号入力部１３４、入出力部１３５、係数保存部１４１、温度補償演算部（補正係数作成部）１４２、撮像信号補正部１４３、及び距離演算部１４４を有する。そして、撮像信号補正部１４３及び距離演算部１４４が補正演算部を構成する。
　システム制御部１３１は、ＣＰＵ（中央演算処理装置：Central Processing Unit）、ロジック回路などから構成され、ＳＬＳＩ１２５の全体を制御する。なお、図１３においては、図を見やすくするため、システム制御部１３１と各ブロックとの間で授受される信号の図示を省略している。
　図１４は、本発明の実施の形態１に係る撮像装置の動作を示すフローチャートである。ＳＬＳＩ１２５のシステム制御部１３１により、撮像装置１０１は、このフローチャートのとおりに動作される。
　ステップＳ１０１０において、撮像装置１０１は動作を開始する。例えば、上位ＣＰＵ（図示せず）が、入出力部１３５を介し、撮像装置１０１（正確にはシステム制御部１３１）に動作の開始を命令することにより、撮像装置１０１は、動作を開始する。
　次に、ステップＳ１０２０において、撮像装置１０１は撮像信号を入力する。具体的には、撮像素子駆動部１３２は、ロジック回路などから構成され、システム制御部１３１の命令により電子シャッターや転送を行うための信号撮像素子１２３を駆動する信号を発生し、この信号に応じた電圧を撮像素子１２２に印加する。撮像信号入力部１３３は、ＣＤＳ回路（相関二重サンプリング回路：Correlated Double Sampling Circuit）、ＡＧＣ（自動利得制御器：Automatic Gain Controller）、ＡＤＣ（アナログ／ディジタル変換器：Analog Digital Converter）が直列に接続されて構成され、撮像素子１２３からの電気信号が入力される。撮像信号入力部１３３は、入力される電気信号を、ＣＤＳ回路により固定ノイズを除去し、ＡＧＣによりゲインを調整し、ＡＤＣによりアナログ信号からディジタル値に変換しするようにして、撮像信号I0を出力する。ここで、撮像信号入力部１３３は、撮像信号I0(x,y)を、ｘ方向にH0画素、ｙ方向にV0画素だけ、I0(0,0)（(x,y)=(0,0)）、I0(1,0)、I0(2,0)、・・・、I0(H0-1,V0-1)の順に出力する。
　次に、ステップＳ１０３０において、撮像装置１０１は温度センサ信号を入力する。具体的には、温度センサ信号入力部１３４は、ＡＤＣ（Analog Digital Converter：アナログ・デジタル変換器）などから構成され、温度センサ１２６からアナログ電圧信号である温度センサ信号を入力される。そして、この温度センサ信号を、アナログ信号からディジタル値に変換し、温度センサ信号Tsとして出力する。例えば12bitのADCを用いると、温度センサ信号Tsは、0～4095までの値を取る。以下、温度センサ信号Tsは、12bitのADCを用いて作成されたものとして説明する。
　次に、ステップＳ１１１０において、撮像装置１０１は各種の係数を温度補償する。具体的には、温度補償演算部１４２は、温度センサ信号Tsを入力され、この温度センサ信号Tsと係数保存部１４１に保存されたデータとを用いて、歪曲係数kd2,kd4、倍率(rx,ry)、第１のレンズ部１１３ａの光軸中心(xc1,yc1)、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)、第４のレンズ部１１３ｄの光軸中心(xc4,yc4)、焦点距離f、及び各レンズ部のｘ方向の光軸間距離Dxを出力する。
　図１５は、本発明の実施の形態１に係る係数保存部を説明するための図である。図１５において、簡単のため、第１のレンズ部１１３ａの光軸中心ｘ座標xc1のみが記述されている。図１５に示すように、温度センサ信号Tsの値が０、２５６、５１２、７６８、１０２４、・・・、３８４０、４０９６のときの光軸中心ｘ座標xc1の値がそれぞれxc1_0、xc1_256、xc1_512、xc1_768、xc1_1024、・・・、xc1_3040、xc1_4096として、温度センサ信号Tsの当該各値に対応させて係数保存部１４１に保存されている。そして、温度補償演算部１４２は、温度センサ信号Tsの値に対応する光軸中心ｘ座標xc1を補間演算し作成する。例えば、温度センサ信号Tsの値が512以上768未満のときには、温度センサ信号Ts=512、768のときの光軸中心ｘ座標xc1_512、xc1_768を用いて、下記式（１１）のように補間演算を行い、xc1を作成する。他の係数も同様に作成する。すなわち、第１のレンズ部１１３ａの光軸中心ｙ座標yc1、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)、第４のレンズ部１１３ｄの光軸中心(xc4,yc4)、歪曲係数k2,k4、倍率(rx,ry)、焦点距離f、及び各レンズ部のｘ方向の光軸間距離Dxは、それぞれ係数保存部１４１に各温度での値が保存され、温度センサ信号Tsに関して補間演算を行い作成される。
　xc1 = xc1_512 + (Ts-512)/(768-512)*(xc_768-xc1_512) ・・・(11)
　なお、係数保存部１４１に保存される係数は以下のように作成され保存される。各レンズ部の光軸中心は、式（９）、（１０）に基づき、下記式（１２）、（１３）のように、温度上昇に伴う光軸間の間隔のｘ方向の変化量ddx、ｙ方向の変化量ddyを演算し、その半分（ｘ方向にp*ddx/2、ｙ方向にp*ddy/2）だけ光軸中心が移動するとして作成する。ここで、T(Ts)はADCによりディジタル値に変換された温度センサ信号Tsの値によって表される物理的な温度を示す。具体的には、下記式（１４）、（１５）のように、第１のレンズ部１１３ａの光軸中心(xc1,yc1)は、基準温度Th0における光軸中心(xc10,yc10)からｘ方向に-ddx/2、ｙ方向に-ddy/2だけ移動するように作成する。また、下記式（１６）（１７）のように、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)は、基準温度Th0における光軸中心(xc20,yc20)からｘ方向に+ddx/2、ｙ方向に-ddy/2だけ移動するように作成する。また、下記式（１８）（１９）のように、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)は、基準温度Th0における光軸中心(xc30,yc30)からｘ方向に-ddx/2、ｙ方向に+ddy/2だけ移動するように作成する。また、第４のレンズ部１１３ｄの光軸中心(xc4,yc4)は、基準温度Th0における光軸中心(xc40,yc40)からｘ方向に+ddx/2、ｙ方向に+ddy/2だけ移動するように作成する。
　ddx = Dx * (aL - aS) * (T(Ts) - Th0) / p ・・・(12)
　ddy = Dy * (aL - aS) * (T(Ts) - Th0) / p ・・・(13)
　xc1 = xc10 - ddx/2 ・・・(14)
　yc1 = yc10 - ddy/2 ・・・(15)
　xc2 = xc20 + ddx/2 ・・・(16)
　yc2 = yc20 - ddy/2 ・・・(17)
　xc3 = xc30 - ddx/2 ・・・(18)
　yc3 = yc30 + ddy/2 ・・・(19)
　xc4 = xc40 + ddx/2 ・・・(20)
　yc4 = yc40 + ddy/2 ・・・(21)
　歪曲係数k2,k4は、光学解析や実験などで各温度における値を求めることにより、作成される。
　鏡筒の長さlkは下記式（２２）のように推定される。ここで、Th0は基準温度であり、lk0は基準温度Th0における鏡筒の長さであり、kkは鏡筒の熱線膨張率、T(Ts)は温度センサ信号Tsが示す温度センサの物理的な温度である。ここで、レンズ主点と撮像領域の撮像面の距離は、鏡筒の長さに比例する。そして、前述の式（１１１）のように、倍率はレンズ主点と撮像領域の撮像面の距離に比例する。したがって、倍率は、鏡筒の長さの変化に比例する。そこで、鏡筒の長さの変化の前後における比率を倍率比とする。具体的には、下記式（２３）、（２４）のように、鏡筒長変化によるｘ方向の倍率比rkx、鏡筒長変化によるｙ方向の倍率比rkyとして作成する。
　lk = lk0*{1+kk*(T(Ts)-Th0)} ・・・(22)
　rkx = {1+kk*(T(Ts)-Th0)} ・・・(23)
　rky = {1+kk*(T(Ts)-Th0)} ・・・(24)
　焦点距離変化による倍率変化を光学解析などで各温度における値を求め、下記式（１１２）、（１１３）のように、温度センサの値Tsに応じ、焦点距離変化によるｘ方向の倍率比rfx、焦点距離変化によるｙ方向の倍率比rfyを作成する。なお、焦点距離は主に屈折率変化によって変化するため、光学解析によって焦点距離変化によるｘ方向の倍率比rfx、焦点距離変化によるｙ方向の倍率比rfyを求めるにあたり、焦点距離の代わりに、屈折率を変化させてもよい。
　rfx = rfx(Ts) ・・・(112)
　rfy = rfy(Ts) ・・・(113)
　そして、下記式（１１４）、（１１５）のように、両者の乗算結果を、ｘ方向の倍率rx、ｙ方向の倍率ryとし、倍率補正に利用する。
　rx = rkx * rfx ・・・(114)
　ry = rky * rfy ・・・(115)
　なお、温度による焦点距離変化に伴う倍率変化と比較し、温度による鏡筒長変化に伴う倍率変化が大きいとき、焦点距離変化によるｘ方向の倍率比rfx、焦点距離変化によるｙ方向の倍率比rfyをそれぞれ１として、温度による鏡筒長変化に伴う倍率変化の補正のみを行ってもよい。
　一方、温度による鏡筒長変化に伴う倍率変化と比較し、温度による焦点距離変化に伴う倍率変化が大きいとき、鏡筒長変化によるｘ方向の倍率比rkx、鏡筒長変化によるｙ方向の倍率比rkyをそれぞれ１として、温度による焦点距離変化に伴う倍率変化の補正のみを行ってもよい。
　また、光学解析において、温度に応じ焦点距離（あるいは屈折率）と鏡筒伸びとを同時に変化させ、各温度における倍率を求め、基準温度に対する比をｘ方向の倍率rx、ｙ方向の倍率ryとしてもよい。
　なお、鏡筒長変化に伴う倍率変化を補正する場合及び焦点距離変化に伴う倍率変化を補正する場合のいずれにおいても、焦点距離ｆは、基準温度における焦点距離を用いる。
　ｘ方向の光軸間距離Dxは、ｘ方向の光軸間距離の変化量が式（１２）のddxで示されることより、このddxを用いて下記式（２５）のように作成する。
　Dx = Dx0 + ddx * p ・・・(25)
　なお、各温度において各種方法により測定された係数を保存してもよい。
　次に、ステップＳ１１２０において、撮像装置１０１は画像を補正し切り出す。具体的には、撮像信号補正部１４３は、撮像信号I0、歪曲係数kd2,kd4、倍率(rx,ry)、第１のレンズ部１１３ａの光軸中心(xc1,yc1)、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)、及び第４のレンズ部１１３ｄの光軸中心(xc4,yc4)を入力され、撮像信号I0から各レンズ部により結像された被写体像を撮像した画像を切り出し、この切り出した画像に歪曲補正などの補正処理を行い、これらを、それぞれ、第１のレンズ部１１３ａに対応する第１の撮像信号I1(x,y)、第２のレンズ部１１３ｂに対応する第２の撮像信号I2(x,y)、第３のレンズ部１１３ｃに対応する第３の撮像信号I3(x,y)、及び第４のレンズ部１１３ｄに対応する第４の撮像信号I4(x,y)として出力する。
　図１６は、本発明の実施の形態１に係る撮像装置の撮像信号の切り出し位置を説明するための図である。歪みがなく、温度によるレンズの膨張がない場合、図１６に示すように、第１の撮像信号I1(x,y)は、撮像信号I0を、原点(x01,y01)から、ｘ方向にH1画素、ｙ方向にV1画素だけ切り出した領域の画像であり、第２の撮像信号I2(x,y)は、撮像信号I0を、原点(x02,y02)から、ｘ方向にH1画素、ｙ方向にV1画素だけ切り出した領域の画像であり、第３の撮像信号I3(x,y)は、撮像信号I0を、原点(x03,y03)から、ｘ方向にH1画素、ｙ方向にV1画素だけ切り出した領域の画像であり、第４の撮像信号I4(x,y)は、撮像信号I0を、原点(x04,y04)から、ｘ方向にH1画素、ｙ方向にV1画素だけ切り出した領域の画像である。実施の形態１の撮像装置は、熱膨張による光軸中心の移動、歪み補正、倍率補正を加味し、以下のような処理を行う。
　下記式（２６）、（２７）、（２８）のように、歪曲係数kd2,kd4、倍率(rx,ry)、第１のレンズ部１１３ａの光軸中心(xc1,yc1)を用いて、第１の撮像信号用の参照先座標(tx1,ty1)を演算し、下記式（２９）のように、第１の撮像信号用の参照先座標(tx1,ty1)を用いて撮像信号I0から第１の撮像信号I1(x,y)を演算する。なお、第１の撮像信号用の参照先座標(tx1, ty1)は、小数点を持ってもよい。その場合、第１の撮像信号用の参照先座標(tx1,ty1)の整数部分を(tx1i,ty1i)とし、小数部分を(tx1f,ty1f)とし、下記式（３０）のように４画素を利用し演算する。ここで、式（２６）、(２７）、（２８）、（２９）、（３０）において、ｘに関して０からH1-1まで、ｙに関して０からV1-1までの演算を行う。同様に、下記式（３１）、（３２）、（３３）のように、歪曲係数kd2,kd4、倍率(rx,ry)、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)を用いて、第２の撮像信号用の参照先座標(tx2,ty2)を演算し、下記式（３４）のように、第２の撮像信号用の参照先座標(tx2,ty2)を用いて撮像信号I0から第２の撮像信号I2(x,y)を演算する。また、下記式（３５）、（３６）、（３７）のように、歪曲係数kd2,kd4、倍率(rx,ry)、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)を用いて、第３の撮像信号用の参照先座標(tx3,ty3)を演算し、下記式（３８）のように、第３の撮像信号用の参照先座標(tx3,ty3)を用いて撮像信号I0から第３の撮像信号I3(x,y)を演算する。また、下記式（３９）（４０）（４１）のように、歪曲係数kd2,kd4、倍率(rx,ry)、第４のレンズ部１１３ｄの光軸中心(xc4,yc4)を用いて、第４の撮像信号用の参照先座標(tx4,ty4)を演算し、下記式（４２）のように、第１の撮像信号用の参照先座標(tx4,ty4)を用いて撮像信号I0から第４の撮像信号I4(x,y)を演算する。下記式において、^2は２乗演算を表し、^4は４乗演算を表す。
　tx1 = x01 + xc1 + (x - xc1) * (1 + kd2 * r1^2 + kd4 * r1^4) * rx ・・・(26)
　ty1 = y01 + yc1 + (y - yc1] * (1 + kd2 * r1^2 + kd4 * r1^4) * ry ・・・(27)
　r1^2 = (x - xc1)^2 + (y - yc1)^2、r1^4 = (r1^2)^2 ・・・(28)
　I1(x,y) = I0(tx1,ty1) ・・・(29)
　I1(x,y) = (1 - tx1f) * (1 - ty1f) * I0(tx1i,ty1i)
+ tx1f * (1 - ty1f) * I0(tx1i+1,ty1i)
+ (1 - tx1f) * ty1f * I0(tx1i,ty1i+1)
+ tx1f * ty1f * I0(tx1i+1,ty1i+1) ・・・(30)
　tx2 = x02 + xc2 + (x - xc2) * (1 + kd2 * r2^2 + kd4 * r2^4) * rx ・・・(31)
　ty2 = y02 + yc2 + (y - yc2) * (1 + kd2 * r2^2 + kd4 * r2^4) * ry ・・・(32)
　r2^2 = (x - xc2)^2 + (y - yc2)^2、r2^4 = (r2^2)^2 ・・・(33)
　I2(x,y) = I0(tx2,ty2) ・・・(34)
　tx3 = x03 + xc3 + (x - xc3) * (1 + kd2 * r3^2 + kd4 * r3^4) * rx ・・・(35)
　ty3 = y03 + yc3 + (y - yc3) * (1 + kd2 * r3^2 + kd4 * r3^4) * ry ・・・(36)
　r3^2 = (x - xc3)^2 + (y - yc3)^2、r3^4 = (r3^2)^2 ・・・(37)
　I3(x,y) = I0(tx3,ty3) ・・・(38)
　tx4 = x04 + xc4 + (x - xc4) * (1 + kd2 * r4^2 + kd4 * r4^4) * rx ・・・(39)
　ty4 = y04 + yc4 + (y - yc4) * (1 + kd2 * r4^2 + kd4 * r4^4) * ry ・・・(40)
　r4^2 = (x - xc4)^2 + (y - yc4)^2、r4^4 = (r4^2)^2 ・・・(41)
　I4(x,y) = I0(tx4,ty4) ・・・(42)
　なお、上記の変換において、歪みがなく、倍率を補正しないときは、下記式（４３）、（４４）、（４５）、（４６）のように、撮像信号I0(x,y)から画像を切り出し、その後、下記式（４７）、（４８）、（４９）、（５０）のように、平行移動することを意味する。
　I1(x, y) = I0(x + x01, y + y01) ・・・(43)
　I2(x, y) = I0(x + x02, y + y02) ・・・(44)
　I3(x, y) = I0(x + x03, y + y03) ・・・(45)
　I4(x, y) = I0(x + x04, y + y04) ・・・(46)
　I1(x, y) = I1(x-ddx/2, y-ddy/2) ・・・(47)
　I2(x, y) = I2(x+ddx/2, y-ddy/2) ・・・(48)
　I3(x, y) = I3(y-ddx/2, x+ddy/2) ・・・(49)
　I4(x, y) = I4(x+ddx/2, y+ddy/2) ・・・(50)
　次に、ステップＳ１２００において、撮像装置１０１は距離を演算する。具体的には、距離演算部１４４は、第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、第４の撮像信号I4、焦点距離ｆ、ｘ方向の光軸間距離Dxを入力され、距離を演算し、距離データDISを出力する。
　図１７は、本発明の実施の形態１に係る撮像装置の距離演算部の動作を示すフローチャートである。図１７のフローチャートは、ステップＳ１２００の動作の詳細を示す。ステップＳ１２００の演算では、まず、ステップＳ１２１０を実行する。
　ステップＳ１２１０において、距離演算部は演算の動作を開始する。
　次に、ステップＳ１２３０において、距離演算部はブロックを分割する。
　図１８は、本発明の実施の形態１に係る撮像装置において、ブロック分割を説明する図である。図１８において、第１の撮像信号Ｉ１は、ｘ方向にＨＢ画素、ｙ方向にＶＢ画素を有する長方形状のブロックに分割され、ｘ方向にＮｈ個、ｙ方向にＮｖ個のブロックを持つ。
　次に、ステップＳ１２４０において、距離演算部はブロックを選択する。ステップＳ１２１０（図１７）を実行後、初めてこのステップＳ１２４０を実行するときは(0,0)で示されるブロックを選択し、以後、ステップＳ１２４０が実行されるときは、右側（＋ｘ方向）に順にずらしたブロックを選択する。なお、図１８において右端のブロック（(Nh-1,0)、(Nh-1,1)、・・・で示されるブロック）を選択した次は、１つ下の行の左端の（ｙ方向に＋１かつｘ＝０となる）ブロック（(0,1)、(0,2)、・・・で示されるブロック）を選択する。すなわち、ステップＳ１２１０を実行後、初めてこのステップＳ１２４０を実行するときを０番目としたとき、ｉ番目において(i%Nh, int(i/Nh))で示されるブロックを選択する。ここで、i%NhはｉをNhで除算したときの剰余、int(i/Nh)はｉをNhで除算したときの商の整数部である。以後このブロックを選択ブロックB(ih,iv)と呼ぶ。
　次に、ステップＳ１２５０において、距離演算部は視差演算する。まず、第１のレンズ撮像信号I1と第２のレンズ撮像信号I2との視差と視差信頼度とを演算する。最初に、第１のレンズ撮像信号I1と第２のレンズ撮像信号I2との視差評価値R12(kx)を演算する。ここで、kxは画像をどれだけずらすかを示すずらし量であり、kx=0、1、2、・・・、SBのように変化させる。
　図１９は、本発明の実施の形態１に係る撮像装置において、第１の撮像信号と第２の撮像信号を利用したときの視差演算における視差評価値の演算領域を説明する図である。図１９において、I１で示される領域は、第１のレンズ撮像信号I1の選択ブロックB(ih,iv)で選択された領域を示し、I2で示される領域は、選択ブロックの座標からｘ方向にkxだけずれた領域の第２のレンズ撮像信号I2である。ずらし量kx=0からSBについて、下記式（５１）に示される絶対値差分総和(SAD：Sum of Absolute Differences)を演算し、視差評価値R12(kx)とする。すなわち、第１のレンズ撮像信号I1を基準として、視差評価値R12(kx)を演算する。
　R12(kx) = ΣΣ|I1(x,y)-I2(x+kx,y)| ・・・ (51)
　この視差評価値R12(kx)は、選択ブロックB(ih,iv)の第１のレンズ撮像信号I1と選択ブロックからｘ方向にkxだけずれた領域における第２のレンズ撮像信号I2とがどれだけ相関があるかを示し、値が小さいほど相関が大きい（よく似ている）ことを示す。
　図２０は、本発明の実施の形態１に係る撮像装置の第１の撮像信号と第２の撮像信号を利用したときの視差演算におけるずらし量と視差評価値との関係を説明する図である。図２０に示すように、視差評価値R12(kx)はずらし量kxの値によって変化し、ずらし量kx=Δのとき極小値を持つ。そのため、選択ブロックB(ih,iv)の第１のレンズ撮像信号I1と選択ブロックからｘ方向にΔだけずれた領域における第２のレンズ撮像信号I2とが最も相関が高い、すなわち、最も似ていることを示す。従って、選択ブロックB(ih,iv)における第１のレンズ撮像信号I1と第２のレンズ撮像信号I2との視差がΔであることが分かる。そこで、下記式（５２）のように、この視差Δを選択ブロックB(ih,iv)における第１のレンズ撮像信号I1と第２のレンズ撮像信号I2との視差値Δ12(ih,iv)とし、下記式（５３）のように、視差評価値R12(Δ)を選択ブロックB(ih,iv)における第１のレンズ撮像信号I1と第２のレンズ撮像信号I2との視差信頼度C12(ih,iv)とする。
　Δ12(ih,iv) = Δ ・・・ (52)
　C12(ih,iv) = R12(Δ) ・・・ (53)
　次に、第１のレンズ撮像信号I1と第３のレンズ撮像信号I3との視差と視差信頼度も同様に求める。ただし、ずらす方向をｙ方向に変更し、ずらし量をkyとする。下記式（５４）のように、選択ブロックB(ih,iv)における第１のレンズ撮像信号I1と第３のレンズ撮像信号I3の視差評価値R13(ky)を求める。すなわち、第１のレンズ撮像信号I1を基準として、視差評価値R13(ky)を演算する。そして、最小値を与えるずらし量、すなわち視差Δを、下記式（５５）のように、選択ブロックB(ih,iv)における第１のレンズ撮像信号I1と第３のレンズ撮像信号I3との視差値Δ13(ih,iv)とし、下記式（５６）のように、視差評価値R13(Δ)を選択ブロックB(ih,iv)における第１のレンズ撮像信号I1と第３のレンズ撮像信号I3との信頼度C13(ih,iv)とする。
　R13(ky) = ΣΣ|I1(x,y)-I3(x,y+ky)| ・・・ (54)
　Δ13(ih,iv) = Δ ・・・ (55)
　C13(ih,iv) = R13(Δ) ・・・ (56)
　次に、第１のレンズ撮像信号I1と第４のレンズ撮像信号I4との視差と視差信頼度も同様に求める。ただし、ずらす方向を斜め方向（第１のレンズ部１１３ａの光軸と第４のレンズ部１１３ｄの光軸とを結ぶ方向）に変更し、ずらし量はｘ方向にkx、ｙ方向にkx*Dy/Dxとする。下記式（５７）のように、選択ブロックB(ih,iv)における第１のレンズ撮像信号I1と第４のレンズ撮像信号I4の視差評価値R14(kx)を求める。すなわち、第１のレンズ撮像信号I1を基準として、視差評価値R14(kx)を演算する。そして、最小値を与えるずらし量、すなわち視差Δを、下記式（５８）のように、選択ブロックB(ih,iv)における第１のレンズ撮像信号I1と第４のレンズ撮像信号I4との視差値Δ14(ih,iv)とし、下記式（５９）のように、視差評価値R14(Δ)を選択ブロックB(ih,iv)における第１のレンズ撮像信号I1と第４のレンズ撮像信号I4との信頼度C14(ih,iv)とする。なお、式（５７）において座標(x+kx,y+kx*Dy/Dx)が小数となるとき、レンズ撮像信号I4は周辺画素から線形補間などにより求める。なお、図２のように、Dx、及びDyは、第１のレンズ部１１３ａと第４のレンズ部１１３ｄにおけるｘ方向のレンズ部の間隔、及びｙ方向のレンズ部の間隔である。
　R14(ky) = ΣΣ|I1(x,y)-I4(x+kx,y+kx*Dy/Dx)| ・・・ (57)
　Δ14(ih,iv) = Δ ・・・ (58)
　C14(ih,iv) = R14(Δ) ・・・ (59)
　そして、上記３つの視差信頼度を比較し最も信頼できる視差値をこのブロックにおける視差値とする。すなわち、下記式（６０）のように、３つの視差信頼度C12(ih,iv)、C13(ih,iv)、C14(ih,iv)を比較し、C12(ih,iv)が最も小さいときΔ12(ih,iv)をブロックB(ih,iv)における視差値Δ(ih,iv)とし、C13(ih,iv)が最も小さいときΔ13(ih,iv)をブロックB(ih,iv)における視差値Δ(ih,iv)とし、C14(ih,iv)が最も小さいときΔ14(ih,iv)をブロックB(ih,iv)における視差値Δ(ih,iv)とする。なお、信頼度（C12、C13、C14）として絶対値差分総和（式(53)、(56)、(59)）を用いたが正規化相関係数を用いてもよい。この場合、最も大きい信頼度を与える視差値を選択する。ここで、視差値をｘ方向に統一するため、Δ13(ih,iv)を採用するとき、レンズ部の間隔の比であるDx/Dyを乗ずる。
　Δ(ih,iv) = Δ12(ih,iv) 　（C12(ih,iv)が最も小さいとき） ・・・ (60)
= Δ13(ih,iv)＊Dx/Dy （C13(ih,iv)が最も小さいとき）
= Δ14(ih,iv) 　（C14(ih,iv)が最も小さいとき）
　次に、ステップＳ１２６０において、距離演算部は視差から距離を演算する。式（７）を距離Ａについて解くと式（８）のように表されるため、ブロックB(ih,iv)に含まれる領域の距離DIS(x,y)は、下記式（６１）にように示される。ここで、ｆは焦点距離、Dxはｘ方向の光軸間距離、ｐは撮像素子１２３の受光素子の間隔である。視差値Δが画素単位であるため、視差値Δにｐを乗ずることにより、焦点距離ｆなどと同一の単位系に変換する。
　DIS(x,y) = [f＊Dx]/[p*Δ(ih,iv)] （(x,y)はB(ih,iv)の範囲） ・・・ (61)
　次に、ステップＳ１２７０において、距離演算部は距離演算を終了するかどうかを判断する。距離演算部は、全てのブロックが選択されたとき（選択ブロックがB(Nh-1,Nv-1)のとき）、距離演算を終了すると決定し、次に、ステップＳ１２８０を実行する。一方、全てのブロックが選択されていないとき（選択ブロックがB(Nh-1,Nv-1)でないとき）、距離演算を継続すると決定し、次に、ステップＳ１２４０を実行する。
　ステップＳ１２８０において、距離演算部は距離演算を終了し、上位ルーチンへ戻る。このようにして、切出し後の座標(x,y)における距離DIS(x,y)が求められる。
　次に、ステップＳ１９１０（図１４）において、撮像装置１０１は、データ出力を行う。具体的には、入出力部１３５は、画像データ、距離データ、及び温度データを撮像装置１０１の外部に出力する。画像データとして、撮像信号I0、あるいは第１の撮像信号I1を出力する。距離データとして、距離DISを出力する。温度データとして、温度センサ信号Tsを出力する。
　次に、ステップＳ１９２０において、撮像装置１０１は動作を終了するかどうかを判断する。例えば、システム制御部１３１は、入出力部１３５を介し、上位ＣＰＵ（図示せず）と通信し、動作を終了するかどうかの命令を要求する。そして、上位ＣＰＵが終了を命令すれば動作を終了し、次に、ステップＳ１９３０を実行する。一方、上位ＣＰＵが終了を命令しなければ動作を継続し、次に、ステップＳ１０２０を実行する。すなわち、上位ＣＰＵが終了を命令しない限り、ステップＳ１０２０、ステップＳ１０３０、ステップＳ１１１０、ステップＳ１１２０、ステップＳ１２００、及びステップＳ１９１０のループの実行を継続する。
　ステップＳ１９３０において、撮像装置１０１は動作を終了する。
　［作用効果］
　本実施の形態の撮像装置が以上のように構成されて動作することにより、以下の効果が奏される。
　以上のとおり、実施の形態１の撮像装置は、温度センサ１２６によりレンズアレイ１１３の周囲温度を計測し、温度センサ信号Tsとして入力する。そして、レンズアレイ１１３が略円形であるために等方的に膨張することを利用し、式（１２）及び（１３）によって、レンズアレイ１１３の温度上昇に伴う光軸間の間隔のｘ方向の変化量ddx、ｙ方向の変化量ddyを求め、その間隔の半分だけ光軸が変化するものとして、式（１４）から（２１）によって、第１のレンズ部１１３ａの光軸中心(xc1,yc1)、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)、及び第４のレンズ部１１３ｄの光軸中心(xc4,yc4)を作成し、これらに基づき座標変換する。このことにより、温度が変化しレンズアレイ１１３が変形しても、光軸の位置を正しく補償することができるため、温度の影響を低減した視差を得て、この視差に基づき正しい距離計測ができる。また、温度センサ１２６により検知された温度に基づき複数のレンズ部の間隔の変化量を求め、複数のレンズの光軸原点をその変化量の半分だけ移動させて、光軸原点周りの歪みをなくすように画像を補正することにより、正しく歪みの影響を低減できるため、視差の検知及び距離測定を高精度に行うことができる。
　温度によりレンズ部の光軸の位置が変化すると、撮影される画像が移動することになる。例えば、自動車の前方監視に撮像装置を利用する場合、その撮像装置により得られた画像中心を運転者が見た画像の中心に合わせても、温度が変化すると画像中心がずれる。そのため、運転者は違和感を覚える。これに対し、実施の形態１の撮像装置の場合、温度が変化しても、画像中心の変化を抑制することができる。そのため、自動車の前方監視にも適した撮像装置を実現することができる。
　なお、光軸中心から離れるほど歪曲が大きくなり、測距精度が悪くなる。本実施の形態の撮像装置によれば、光軸を上記のように補償することにより、歪曲が大きい領域の利用を避けるという効果を奏する。
　また、本発明の第１の実施の形態の撮像装置は、例えば、第１のレンズ部１１３ａの光軸中心ｘ座標xc1であれば、温度センサ信号Tsに応じた複数組の補正係数（センサ温度信号Tsが０、２５６、５１２、７６８、１０２４、・・・、３８４０、４０９６のときの値であるxc1_0、xc1_256、xc1_512、xc1_768、xc1_1024、・・・、xc1_3040、xc1_4096）を係数保存部１４１に保存し、温度センサ信号Tsに関して式（１１）のように補間処理を行い、作成する。同様に、第１のレンズ部１１３ａの光軸中心ｙ座標yc1、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)、第４のレンズ部１１３ｄの光軸中心(xc4,yc4)、歪曲係数k2,k4、倍率(rx,ry)、及び各レンズ部のｘ方向の光軸間距離Dxは、それぞれ係数保存部１４１に各温度での値を保存し、温度センサ信号Tsを用いて補間演算を行い作成する。
　このことより、補正式から補正係数を演算すること（例えば、式（１２）から（２１）のような演算をすること）が不要になるため、その分だけ演算時間や演算回路が不要となり、低コストな撮像装置を実現する。また、温度に応じて複雑な非線形な変化をする補正係数について、光学解析や実験で求めた値を保存し用いることにより、補正式で表現される変化と実際の変化との誤差を防止し、正しく歪みの影響を低減できるため、視差の検知及び距離測定を高精度に行うことができる。
　また、本発明の実施の形態１の撮像装置は、予め各温度センサ信号Tsに応じた補正係数を保存するにあたり、全ての温度センサ信号Ts（０から４０９５までのディジタル値を取る）に対応した補正係数を保存せずに２５６おきに間引いた補正係数を保存し、温度に対して補間した補正係数を作成する。例えば、第１のレンズ部１１３ａの光軸中心ｘ座標xc1ならば、温度センサ信号Tsに対し２５６おきに間引いた補正係数（センサ温度信号Tsが０、２５６、５１２、７６８、１０２４、・・・、３８４０、４０９６のときの値であるxc1_0、xc1_256、xc1_512、xc1_768、xc1_1024、・・・、xc1_3040、xc1_4096）を保存し、温度センサ信号Tsに関して補間して用いる。このことにより、間引いた分だけ記憶領域を省略することができる（使用される記憶領域が１／２５６倍になる）ため、その分だけ回路規模を縮小した低コストな撮像装置を実現することができる。
　また、本発明の第１の実施の形態の撮像装置は、撮像信号補正部１４３において、第１のレンズ部１１３ａの光軸中心(xc1,yc1)、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)、第４のレンズ部１１３ｄの光軸中心(xc4,yc4)、歪曲係数k2,k4、及び倍率(rx,ry)に基づき、式（２６）、（２７）、（２８）を用いて第１の撮像信号用の参照先座標(tx1,ty1)を求め、式（３１）、（３２）、（３３）を用いて第２の撮像信号用の参照先座標(tx2,ty2)を求め、式（３５）、（３６）、（３７）を用いて第３の撮像信号用の参照先座標(tx3,ty3)を求め、式（３９）、（４０）、（４１）を用いて第４の撮像信号用の参照先座標(tx4,ty4)を求め、参照先座標が示す複数の撮像信号を参照し式（２９）、（３０）、（３４）、（３８）、（４２）のように補間処理を施し補正後撮像信号である第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、及び第４の撮像信号I4を作成する。
　予め参照先座標を演算し保持する場合、補正後撮像信号（第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、及び第４の撮像信号I4）の全ての画素（全て合わせて画素数が4*H1*V1）に関し参照先座標（第１の撮像信号用の参照先座標(tx1,ty1)、第２の撮像信号用の参照先座標(tx2,ty2)、第３の撮像信号用の参照先座標(tx3,ty3)、及び第４の撮像信号用の参照先座標(tx4,ty4)）が必要となるため、膨大な記憶容量が必要となり、その分だけ高コストとなる。特に、温度により参照先座標を変化させる必要がある場合、温度毎の参照先座標が必要であり、さらに膨大な記憶容量が必要となる。本発明の構成により、逐次、補正係数（第１のレンズ部１１３ａの光軸中心(xc1,yc1)、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)、第４のレンズ部１１３ｄの光軸中心(xc4,yc4)、歪曲係数k2,k4、及び倍率(rx,ry)）から参照先座標（第１の撮像信号用の参照先座標(tx1,ty1)、第２の撮像信号用の参照先座標(tx2,ty2)、第３の撮像信号用の参照先座標(tx3,ty3)、及び第４の撮像信号用の参照先座標(tx4,ty4)）を求め、補正後撮像信号（第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、及び第４の撮像信号I4）を作成する。このことにより、補正係数のみに記憶領域を割り当てればよく、大きな容量の記憶領域は不要であるため、低コストな撮像装置を実現する。特に、温度により参照先座標を変化させる必要がある場合、その効果は顕著となる。
　また、本発明の第１の実施の形態の撮像装置は、温度補償演算部１４２において温度センサ信号Tsに基づき倍率(rx,ry)を作成し、撮像信号補正部１４３において倍率(rx,ry)などに基づき撮像信号I0を補正し、補正後撮像信号（第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、及び第４の撮像信号I4）を作成する。温度変化に伴い鏡筒１１１の長さ（レンズアレイ１１３の各レンズ部（第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄ）の主点と撮像素子１２３の受光面との距離）が変化し、その分だけ倍率が変化するため、倍率変化を考慮しなければ鏡筒の長さが温度変化する分だけ距離精度が悪化する。本発明の構成により、鏡筒１１１の長さの温度変化に対応した倍率比(rkx,rky)を作成し、この倍率比(rkx,rky)に基づき倍率(rx,ry)を作成し、倍率(rx,ry)だけ撮像信号を補正することにより、鏡筒の長さの温度変化の影響を低減することができるため、高精度な視差演算を実現し、それゆえ高精度な距離演算を実現することができる。
　同様に、焦点距離変化に対応した倍率比(rfx,rfy)を作成し、倍率比(rfx,rfy)に基づき倍率(rx,ry)を作成し、倍率(rx,ry)だけ撮像信号を補正することにより、焦点距離の温度変化の影響を低減することができるため、高精度な視差演算を実現し、それゆえ高精度な距離演算を実現することができる。
　また、本発明の第１の実施の形態の撮像装置は、温度補償演算部１４２において温度センサ信号Tsに基づき倍率(rx,ry)を作成し、撮像信号補正部１４３において倍率(rx,ry)などに基づき撮像信号I0を補正し、補正後撮像信号（第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、及び第４の撮像信号I4）を作成する。すなわち、各撮像信号において、温度に対して同一の倍率補正を行う。鏡筒が１つであるため、鏡筒長変化に伴う倍率変化は全ての撮像信号において等しい。また、各撮像信号（第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、及び第４の撮像信号）に対応するレンズ部（第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄ）は１つのレンズアレイ１１３に一体形成されたものであり、全てのレンズ部の屈折率の温度変化、それゆえ全てのレンズ部の焦点距離の温度変化が等しい。このように、１つの鏡筒１１３と複数のレンズ部を含む１つのレンズアレイ１１３を用いて撮像装置が構成されるため、各レンズ部において温度に関して同一の倍率変化とみなすことができる。従って、複数の撮像領域に対して１つの倍率相関補正係数を作成するだけでよく、その分だけ、演算時間を削減でき、低コストで高精度に距離演算する撮像装置を実現することができる。
　一組のレンズ部に対応した撮像信号において、それぞれのレンズ部の光軸中心を結ぶ直線に平行な形状をなす撮像対象に対しては、それぞれのレンズ部により得られる撮像信号において同一形状となるため、視差を求めることができない。実施の形態１の撮像装置によれば、３つの撮像信号の組（第１の撮像信号I1及び第２の撮像信号I2、第１の撮像信号I1及び第３の撮像信号I3、並びに第１の撮像信号I1及び第４の撮像信号I4）を選択し、それぞれの組に対しそれぞれの視差Δ12(ibx,iby)、Δ13(ibx,iby)、及びΔ14(ibx,iby)を得る。このことにより、１つの組で正しく視差を求められない撮像対象であっても、他の組で正しく視差を求めることができるため、その視差に基づき距離を計測できる。例えば、水平な線状の撮像対象は、水平方向に並べられた組（第１の撮像信号I1及び第２の撮像信号I2）からは距離を計測することができないが、鉛直方向に並べられた組（第１の撮像信号I1及び第３の撮像信号I3、並びに第２の撮像信号I2及び第４の撮像信号I4）、及び斜めに並べられた組（第１の撮像信号I1及び第４の撮像信号I4）を用いることにより、距離を計測することができる。そのため、多様な形状の撮像対象に対応することができる。
　また、実施の形態１の撮像装置によれば、複数の前記視差の信頼度(C12(ih,iv)、C13(ih,iv)、及びC14(ih,iv))をそれぞれ演算し、ブロックB(ih,iv)毎に、視差(Δ12(ih,iv)、Δ13(ih,iv)、及びΔ14(ih,iv))のうち信頼度が最も大きい視差Δ(ih,iv)を特定し、その視差Δ(ih,iv)に基づいて距離を演算する。このように、信頼性が高い視差Δ(ih,iv)に基づき視差演算するため、信頼性が高い距離計測が可能となる。また、全ての組の視差(Δ12(ih,iv)、Δ13(ih,iv)、及びΔ14(ih,iv))において距離演算を行わず、信頼性が高い視差(Δ(ih,iv))のみの距離演算を行うため、高速な距離計測が可能となる。
　また、本発明の第１の実施の形態の撮像装置は、温度補償演算部１４２において温度センサ信号Tsに基づき倍率(rx,ry)を作成し、撮像信号補正部１４３において倍率(rx,ry)などに基づき撮像信号I0を補正し、補正後撮像信号（第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、及び第４の撮像信号I4）を作成する。そのため、温度が変化しても補正後撮像信号上の被写体像の大きさが変化しない。そのため、撮像装置から距離情報のみならず、補正後撮像信号を画像情報として出力し、後段のコントローラで、例えば、顔認識の画像処理を行う場合、温度が変化しても被写体像の大きさが変化しないため、正しい顔の大きさを求めることができる。
　［変形例］
　本発明の実施の形態１の撮像装置には種々の変形例が考えられる。以下、これを説明する。
　＜変形例１＞
　実施の形態１に係る撮像装置において、レンズアレイ１１３は略円形に成型されているが、これに限定されない。図２１は、実施の形態１の変形例２に係る撮像装置のレンズアレイの構成を示す平面図である。図２１（ａ）に示すレンズアレイ１１３Ａのように、矩形状に成型されてもよい。さらに、図２１（ｂ）に示すレンズアレイ１１３Ｂのように、その端面等に平面方向に伸びる突起等が設けられていてもよい。このようにレンズアレイが略円形でない構成においても、レンズ部はほぼ等方に膨張するため、実施の形態１と同様に動作させることにより、実施の形態１の場合と同様の効果を得ることができる。
　＜変形例２＞
　実施の形態１に係る撮像装置において、レンズアレイ１１３は４つのレンズ部を持ったがレンズ部の数はこれに限定されない。図２２は、実施の形態１の変形例３に係る撮像装置のレンズアレイの構成を示す平面図である。図２２（ａ）に示すレンズアレイ１１３Ｃのように、ｘ方向にDxだけ離れた２つのレンズ部（第１のレンズ部１１３Ｃａ、及び第２のレンズ部１１３Ｃｂ）を持つものでもよい。なお、係数保存部１４１にぞれぞれのレンズ部の光軸中心を以下のように決定し保存する。式（１２）、（１３）のように、温度上昇に伴う光軸間の間隔のｘ方向の変化量ddx、ｙ方向の変化量ddyを演算し、その半分（ｘ方向にp*ddx/2、ｙ方向にp*ddy/2）だけ光軸中心が移動するとして作成する。具体的には、下記式（６４）、（６５）のように、第１のレンズ部１１３Ｃａの光軸中心(xc1,yc1)は、基準温度Th0における光軸中心(xc10,yc10)からｘ方向に-ddx/2だけ移動するように作成する。また、下記式（６６）、（６７）のように、第２のレンズ部１１３Ｃｂの光軸中心(xc2,yc2)は、基準温度Th0における光軸中心(xc20,yc20)からｘ方向に+ddx/2だけ移動するように作成する。
　xc1 = xc10 - ddx/2 ・・・(64)
　yc1 = yc10 ・・・(65)
　xc2 = xc20 + ddx/2 ・・・(66)
　yc2 = yc20 ・・・(67)
　また、図２２（ｂ）に示すレンズアレイ１１３Ｄのように、最外周部のレンズ部同士がｘ方向にDxだけ、ｙ方向にDyだけ離れた９つのレンズ部（第１のレンズ部１１３Ｄａ、第２のレンズ部１１３Ｄｂ、第３のレンズ部１１３Ｄｃ、第４のレンズ部１１３Ｄｄ、第５のレンズ部１１３Ｄｅ、第６のレンズ部１１３Ｄｆ、第７のレンズ部１１３Ｄｇ、第８のレンズ部１１３Ｄｈ、及び第９のレンズ部１１３Ｄｉ。ｘ方向、ｙ方向に関してそれぞれ等間隔に配置されたもの）を持つものでもよい。なお、係数保存部１４１にぞれぞれのレンズ部の光軸中心を以下のように決定し保存する。式（１２）、（１３）のように、温度上昇に伴う光軸間の間隔のｘ方向の変化量ddx、ｙ方向の変化量ddyを演算し、その半分（ｘ方向にp*ddx/2、ｙ方向にp*ddy/2）だけ光軸中心が移動するとして作成する。具体的には、下記式（６８）、（６９）のように、第１のレンズ部１１３Ｄａの光軸中心(xc1,yc1)は、基準温度Th0における光軸中心(xc10,yc10)からｘ方向に-ddx/2、ｙ方向に-ddy/2だけ移動するように作成する。また、下記式（７０）、（７１）のように、第２のレンズ部１１３Ｄｂの光軸中心(xc2,yc2)は、基準温度Th0における光軸中心(xc20,yc20)からｙ方向に-ddy/2だけ移動するように作成する。また、下記式（７２）、（７３）のように、第３のレンズ部１１３Ｄｃの光軸中心(xc3,yc3)は、基準温度Th0における光軸中心(xc30,yc30)からｘ方向に+ddx/2、ｙ方向に-ddy/2だけ移動するように作成する。また、下記式（７４）、（７５）のように、第４のレンズ部１１３Ｄｄの光軸中心(xc4,yc4)は、基準温度Th0における光軸中心(xc40,yc40)からｘ方向に-ddx/2だけ移動するように作成する。また、下記式（７６）、（７７）のように、第５のレンズ部１１３Ｄｅの光軸中心(xc5,yc5)は、基準温度Th0における光軸中心(xc10,yc10)から移動しないように作成する。また、下記式（７８）、（７９）のように、第６のレンズ部１１３Ｄｆの光軸中心(xc6,yc6)は、基準温度Th0における光軸中心(xc60,yc60)からｘ方向に+ddx/2だけ移動するように作成する。また、下記式（８０）、（８１）のように、第７のレンズ部１１３Ｄｇの光軸中心(xc7,yc7)は、基準温度Th0における光軸中心(xc70,yc70)からｘ方向に-ddx/2、ｙ方向に+ddy/2だけ移動するように作成する。また、下記式（８２）、（８３）のように、第８のレンズ部１１３Ｄｈの光軸中心(xc8,yc8)は、基準温度Th0における光軸中心(xc80,yc80)からｙ方向に+ddy/2だけ移動するように作成する。また、下記式（８４）、（８５）のように、第９のレンズ部１１３Ｄｉの光軸中心(xc9,yc9)は、基準温度Th0における光軸中心(xc90,yc90)からｘ方向に+ddx/2、ｙ方向に+ddy/2だけ移動するように作成する。
　xc1 = xc10 - ddx/2 ・・・(68)
　yc1 = yc10 - ddy/2 ・・・(69)
　xc2 = xc20 ・・・(70)
　yc2 = yc20 - ddy/2 ・・・(71)
　xc3 = xc30 + ddx/2 ・・・(72)
　yc3 = yc30 - ddy/2 ・・・(73)
　xc4 = xc40 - ddx/2 ・・・(74)
　yc4 = yc40 ・・・(75)
　xc5 = xc50 ・・・(76)
　yc5 = yc50 ・・・(77)
　xc6 = xc60 + ddx/2 ・・・(78)
　yc6 = yc60 ・・・(79)
　xc7 = xc70 - ddx/2 ・・・(80)
　yc7 = yc70 + ddy/2 ・・・(81)
　xc8 = xc80 ・・・(82)
　yc8 = yc80 + ddy/2 ・・・(83)
　xc9 = xc90 + ddx/2 ・・・(84)
　yc9 = yc90 + ddy/2 ・・・(85)
　これ以外の点は、上述の実施の形態１と同様である。これにより、実施の形態１と同様の効果が得られる。
　＜その他の変形例＞
　なお、実施の形態１に係る撮像装置において、温度センサ１２６は、基板１２１上に配設されている。このように、温度センサ１２６を基板１２１上に配設する場合、基板１２１上の配線を用いて温度センサ１２６と温度センサ信号入力部１３４とを接続すればよいため、実装が容易であるという利点がある。しかし、このような構成に限定されるわけではない。温度センサ１２６は、レンズアレイ１１３近傍の基板１２１の温度を検出しているが、その目的は、レンズアレイ１１３の温度を検出することにある。レンズアレイ１１３の温度は直接又は間接的に検出することができる。レンズアレイ１１３の温度を間接的に検出するには、レンズアレイ１１３の温度と相関関係を有する温度あるいは温度以外の物理量を検出すればよい。そして、それらをレンズアレイ１１３の温度に補正し、あるいはレンズアレイ１１３の温度との差異を見込むことによって、それらを、直接検出するレンズアレイ１１３の温度の代わりに用いることができる。本実施の形態では、この観点から、レンズアレイ１１３近傍の基板１２１の温度を検出している。従って、これ以外に、例えば、温度センサ１２６をパッケージ１２２内部の撮像素子１２３に並列して配設するようにしてもよい。この場合、撮像素子１２３の近傍に温度センサ１２６が配置されるため、温度センサ１２６の実装時にゴミ等が撮像素子１２３に付着しないようにする配慮が必要となるものの、レンズアレイ１１３により近くなることにより、温度検出の精度が増す。その結果、光軸の変化をより正しく補正し、歪曲をより正しく補正することができるので、距離測定精度を向上させることができる。
　また、ＳＬＳＩ１２５の一部が温度センサ１２６となるような製造プロセスを用いてＳＬＳＩ１２５を作成してもよい。この場合、温度センサ１２６を実装する必要がないため、その分だけ実装コストを低減できる。
　また、温度センサ１２６が、鏡筒１１１の外壁又は内壁に貼設されていてもよい。この場合、温度センサ１２６の配線に考慮が必要だが、レンズアレイ１１３に近い鏡筒１１１に温度センサ１２６を配置することができるため、温度検出の精度が増す。よって、光軸の変化をより正しく補正し、歪曲をより正しく補正することができ、距離測定精度を向上させることができる。また、鏡筒１１１の内部に埋設されていてもよい。この場合、温度センサ１２６の配線及び鏡筒１１１の製造方法に考慮が必要だが、レンズアレイ１１３に近い鏡筒１１１の内部に温度センサ１２６を配置することができるため、同様にして距離測定精度を向上させることができる。
　また、温度センサ１２６をレンズアレイ１１３の適宜の位置に配設し、適宜配線により接続してもよい。この場合、温度センサ１２６の配線に考慮が必要だが、レンズアレイ１１３に温度センサ１２６を直接配設するため、さらに温度検出の精度が増し、その結果距離測定精度を向上させることができる。また、レンズ部の内部に埋設されていてもよい。この場合、温度センサ１２６の配線及びレンズアレイ１１３の製造方法に考慮が必要だが、レンズアレイ１１３の内部に温度センサ１２６を配置するため、さらに温度検出の精度が増し、距離測定精度を向上させることができる。
　また、実施の形態１の撮像装置は、すべてのレンズ部において、同一の倍率を用いているが、レンズ部毎に倍率が異なっていてもよい。この場合、測定などによりぞれぞれの倍率を求める。
　また、実施の形態１の撮像装置は、歪曲係数kd2,kd4、倍率(rx,ry)、第１のレンズ部１１３ａの光軸中心(xc1,yc1)、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)、第４のレンズ部１１３ｄの光軸中心(xc4,yc4)、焦点距離f、及び各レンズ部のｘ方向の光軸間距離Dxを温度補償し、撮像信号を補正したが、これに限定されない。例えば、高次歪曲係数や、各レンズ部の倍率や、各レンズ部の回転などを補正してもよい。
（実施の形態２）
　本発明の実施の形態１に係る撮像装置は、レンズアレイ１１３が略円形に成型され、各レンズ部（第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄ）がレンズアレイ１１３の中心から同一距離に配置されている。そして、温度センサ１２６によって検知された温度に基づきレンズアレイ１１３の各レンズ部の光軸の間隔の変化量を求め、各レンズ部の光軸原点を変化量の半分だけ移動し、光軸原点周りの歪みをなくすように画像を補正する。これにより、温度が変化しても正しく歪みの影響を低減できるため、高精度な視差を検知し、それゆえ高精度に距離測定する撮像装置を実現した。また、温度が変化しても、画像中心が変化しない撮像装置を実現した。
　これに対し、本発明の実施の形態２に係る撮像装置は、レンズアレイの中心から同一距離に配置されない各レンズ部を備えている。このように、各レンズ部がレンズアレイの中心から同一距離に配置されない場合においても、温度変化に影響されることなく高精度な視差を検知し、それゆえ高精度に距離測定し、かつ、画像中心の変化を抑制することができる。
　実施の形態２の撮像装置は、実施の形態１のレンズアレイ１１３をレンズアレイ２１３に置換え、さらに、実施の形態１の係数保存部１４１にレンズアレイ２１３に対応する補正係数を保存するよう構成したものである。その他の構成は実施の形態１と同様である。従って、図２３において、図２と同一又は相当する要素には、同一の符号を付与し、その説明を省略する。また、以下では、実施の形態１の図面を用いて説明する場合がある。
　図２３は、本発明の実施の形態２に係る撮像装置のレンズアレイの構成を示す平面図である。レンズアレイ２１３は、略円盤状であり、光学ガラス材や透明樹脂などから形成され、第１のレンズ部２１３ａ、第２のレンズ部２１３ｂ、第３のレンズ部２１３ｃ、及び第４のレンズ部２１３ｄが碁盤目状に配置される。第１～第４のレンズ部２１３ａ～２１３ｄの配置方向に沿って、図２３に示すようにｘ軸及びｙ軸を設定する。第１のレンズ部２１３ａ、第２のレンズ部２１３ｂ、第３のレンズ部２１３ｃ、及び第４のレンズ部２１３ｄにおいて、被写体側から入射した光は、撮像素子１２３側へ射出し、撮像素子１２３上に４つの像を結像する（図１参照）。なお、図２３に示すように、第１のレンズ部２１３ａの光軸と第２のレンズ部２１３ｂの光軸とは、水平方向（ｘ軸方向）ではＤｘだけ離れ、垂直方向（ｙ軸方向）では一致しており、レンズアレイ２１３の中心２１３ｏを通るｙ軸方向の軸に対して対称な位置に配置される。そして、第１のレンズ部２１３ａの光軸と第２のレンズ部２１３ｂの光軸とは、レンズアレイ２１３の中心２１３ｏからｙ軸方向にＤｙ１だけ離れて配置される。また、第３のレンズ部２１３ｃの光軸と第４のレンズ部２１３ｄの光軸とは、水平方向（ｘ軸方向）ではＤｘだけ離れ、垂直方向（ｙ軸方向）では一致しており、レンズアレイの中心２１３ｏを通るｙ軸方向の軸に対して対称な位置に配置される。そして、第３のレンズ部２１３ｃの光軸と第４のレンズ部２１３ｄの光軸とは、レンズアレイ２１３の中心２１３ｏからｙ軸方向にＤｙ２だけ離れて配置される。
　なお、係数保存部１４１（図１３参照）に保存される各レンズ部の光軸中心を以下のように決定する。レンズアレイ２１３の温度が上昇した場合、各レンズ部２１３ａ～２１３ｄが膨張する。この場合、レンズアレイ２１３は略円形であるため、図２３において矢印で示すように、各レンズ部２１３ａ～２１３ｄの光軸中心がレンズアレイ２１３の中心２１３ｏに対して各レンズ部がレンズ外側に移動する。この移動量は、レンズアレイ２１３の中心２１３ｏから各レンズ部２１３ａ～２１３ｄの光軸までの距離に略比例する。すなわち、温度上昇によるレンズアレイ２１３の膨張に伴う第１のレンズ部２１３ａのｘ軸方向の移動量dbx1及びｙ軸方向の移動量dby1は、撮像素子１２３の画素間隔を単位として、下記式（８６）及び（８７）のように表される。ここで、Dx/2は基準温度Th0におけるレンズアレイ２１３の中心２１３ｏを通るｘ軸方向の軸と第１のレンズ部２１３ａの光軸との距離であり、Dy1は同じくｙ軸方向の軸と第１のレンズ部２１３ａの光軸との距離である。また、aLはレンズアレイ２１３の熱線膨張率であり、aSは撮像素子１２３の熱線膨張率であり、T(Ts)は温度センサ信号がTsのときの温度センサの物理的な温度であり、Th0は基準温度であり、pは撮像素子１２３の画素間隔である。また、温度上昇によるレンズアレイ膨張に伴う第２のレンズ部２１３ｂのｘ軸方向の移動量dbx2及びｙ軸方向の移動量dby2は、撮像素子１２３の画素間隔を単位として、下記式（８８）及び（８９）のように表される。ここで、Dx/2は基準温度Th0におけるレンズアレイ２１３の中心２１３ｏを通るｘ軸方向の軸と第２のレンズ部２１３ｂの光軸との距離であり、Dy1は同じくｙ軸方向の軸と第２のレンズ部２１３ｂの光軸との距離である。また、温度上昇によるレンズアレイ膨張に伴う第３のレンズ部２１３ｃのｘ軸方向の移動量dbx3及びｙ軸方向の移動量dby3は、撮像素子１２３の画素間隔を単位として、下記式（９０）及び（９１）のように表される。ここで、Dx/2は基準温度Th0におけるレンズアレイの中心２１３ｏを通るｘ軸方向の軸と第３のレンズ部２１３ｃの光軸との距離であり、Dy2は同じくｙ軸方向の軸と第３のレンズ部２１３ｃの光軸との距離である。さらに、温度上昇によるレンズアレイ膨張に伴う第４のレンズ部２１３ｄのｘ軸方向の移動量dbx4及びｙ軸方向の移動量dby4は、撮像素子１２３の画素間隔を単位として、下記式（９２）及び（９３）のように表される。ここで、Dx/2は基準温度Th0におけるレンズアレイの中心２１３ｏを通る軸と第４のレンズ部２１３ｄの光軸との距離であり、Dy2は同じくｙ軸方向の軸と第４のレンズ部２１３ｄの光軸との距離である。
　ddx1 = (Dx/2) * (aL - aS) * (T(Ts) - Th0) / p ・・・(86)
　ddy1 = Dy1 * (aL - aS) * (T(Ts) - Th0) / p ・・・(87)
　ddx2 = (Dx/2) * (aL - aS) * (T(Ts) - Th0) / p ・・・(88)
　ddy2 = Dy1 * (aL - aS) * (T(Ts) - Th0) / p ・・・(89)
　ddx3 = (Dx/2) * (aL - aS) * (T(Ts) - Th0) / p ・・・(90)
　ddy3 = Dy2 * (aL - aS) * (T(Ts) - Th0) / p ・・・(91)
　ddx4 = (Dx/2) * (aL - aS) * (T(Ts) - Th0) / p ・・・(92)
　ddy4 = Dy2 * (aL - aS) * (T(Ts) - Th0) / p ・・・(93)
　そして、各レンズ部の光軸中心は、上述の移動量だけ光軸が移動するとして作成する。具体的には、下記式（９４）、（９５）のように、第１のレンズ部２１３ａの光軸中心(xc1,yc1)は、基準温度Th0における光軸中心(xc10,yc10)からｘ方向に-ddx1、ｙ方向に+ddy1だけ移動するように作成する。また、下記式（９６）、（９７）のように、第２のレンズ部２１３ｂの光軸中心(xc2,yc2)は、基準温度Th0における光軸中心(xc20,yc20)からｘ方向に+ddx2、ｙ方向に+ddy2だけ移動するように作成する。また、下記式（９８）、（９９）のように、第３のレンズ部２１３ｃの光軸中心(xc3,yc3)は、基準温度Th0における光軸中心(xc30,yc30)からｘ方向に-ddx3、ｙ方向に+ddy3だけ移動するように作成する。また、下記式（１００）、（１０１）のように、第４のレンズ部２１３ｄの光軸中心(xc4,yc4)は、基準温度Th0における光軸中心(xc40,yc40)からｘ方向に+ddx4、ｙ方向に+ddy4だけ移動するように作成する。
　xc1 = xc10 - ddx1 ・・・(94) 
　yc1 = yc10 + ddy1 ・・・(95)
　xc2 = xc20 + ddx2 ・・・(96) 
　yc2 = yc20 + ddy2 ・・・(97)
　xc3 = xc30 - ddx3 ・・・(98) 
　yc3 = yc30 + ddy3 ・・・(99)
　xc4 = xc40 + ddx4 ・・・(100)
　yc4 = yc40 + ddy4 ・・・(101)
　なお、歪曲係数k2、k4、倍率(rx,ry)、焦点距離ｆ、及びｘ方向の光軸間距離Dxは、実施の形態１の撮像装置と同様の方法で作成し保存すればよい。
　なお、歪みが生じない場合、上記の座標変換テーブルを用いてなされる座標変換は、下記式（１０２）から（１０５）のように、撮像信号I0(x,y)から画像を切り出し、その後、下記式（１０６）から（１０９）のように、平行移動することを意味する。
　I1(x, y) = I0(x + x01, y + y01) ・・・(102)
　I2(x, y) = I0(x + x02, y + y02) ・・・(103)
　I3(x, y) = I0(x + x03, y + y03) ・・・(104)
　I4(x, y) = I0(x + x04, y + y04) ・・・(105)
　I1(x, y) = I1(x-ddx1, y+ddy1) ・・・(106)
　I2(x, y) = I2(x+ddx2, y+ddy2) ・・・(107)
　I3(x, y) = I3(y-ddx3, x+ddy3) ・・・(108)
　I4(x, y) = I4(x+ddx4, y+ddy4) ・・・(109)
　本実施の形態の撮像装置が以上のように構成されて動作することにより、実施の形態１と同様の効果が奏される。
　なお、実施の形態２を、実施の形態１の変形例と同様に変形することが可能であることは言うまでもない。
　上記説明から、当業者にとっては、本発明の多くの改良や他の実施形態が明らかである。従って、上記説明は、例示としてのみ解釈されるべきであり、本発明を実行する最良の態様を当業者に教示する目的で提供されたものである。本発明の精神を逸脱することなく、その構造及び／又は機能の詳細を実質的に変更できる。
　本発明の撮像装置は、距離計測可能な小型の撮像装置であるため、カメラ機能を備えた携帯型電話機、デジタルスチルカメラ、車載用カメラ、監視用カメラ、三次元計測器、及び立体画像入力カメラ等に有用である。
　１０１　カメラモジュール
　１１０　レンズモジュール
　１１１　鏡筒
　１１２　カバーガラス
　１１３、２１３　レンズアレイ
　１２０　回路部
　１２１　基板
　１２２　パッケージ
　１２３　撮像素子
　１２４　パッケージカバーガラス
　１２５　ＳＬＳＩ
　１２６　温度センサ
　１２７　金線
　１３１　システム制御部
　１３２　撮像素子駆動部
　１３３　撮像信号入力部
　１３４　温度センサ信号入力部
　１３５　入出力部
　１４１　係数保存部
　１４２　温度補償演算部
　１４３　撮像信号補正部
　１４４　距離演算部
 

Claims (8)

  1. 　複数のレンズを含むレンズアレイと、
    　前記複数のレンズと一対一に対応して設けられ、対応する前記レンズの光軸方向に対して略垂直な受光面をそれぞれ有する複数の撮像領域と、
    　前記レンズアレイの近傍に配置され温度を検知する温度センサと、
    　前記温度センサにより検知された温度に基づいて、前記撮像領域で撮像された画像の倍率に相関する補正係数（以下、倍率相関補正係数という）を含む補正係数を作成する補正係数作成部と、
    　前記補正係数に基づいて、前記撮像領域において生成された撮像信号を補正するとともに該補正後の撮像信号を用いて視差を演算する補正演算部と、を備える、撮像装置。
  2. 　前記補正係数作成部は、前記温度センサにより検知された温度に基づいて、前記倍率相関補正係数として、前記レンズアレイ及び前記複数の撮像領域を収容する鏡筒の伸び又は縮みを補正する倍率を作成するよう構成されており、
    　前記補正演算部は、前記倍率に基づいて、前記撮像領域において生成された撮像信号を補正するよう構成されている、請求項１に記載の撮像装置。
  3. 　前記補正係数作成部は、前記温度センサにより検知された温度に基づいて、前記倍率相関補正係数として、前記レンズアレイの屈折率または焦点距離の変化を補正する倍率を作成するよう構成されており、
    　前記補正演算部は、前記倍率に基づいて、前記撮像領域において生成された撮像信号を補正するよう構成されている、請求項１に記載の撮像装置。
  4. 　前記補正係数作成部は、前記複数の撮像領域のそれぞれに対する前記倍率相関補正係数を前記温度の変化に対して同一の割合だけ変化させるように作成する、請求項１～３のいずれかに記載の撮像装置。
  5. 　複数のレンズを含むレンズアレイと、前記複数のレンズと一対一に対応して設けられ、対応する前記レンズの光軸方向に対して略垂直な受光面をそれぞれ有する複数の撮像領域とを有する撮像装置に用いられる半導体回路素子であって、
    　前記レンズアレイの近傍に配置された温度センサによって検知された温度に基づいて、前記撮像領域で撮像された画像の倍率に相関する補正係数（以下、倍率相関補正係数という）を含む補正係数を作成する補正係数作成部と、
    　前記補正係数に基づいて、前記撮像領域において生成された撮像信号を補正するとともに該補正後の撮像信号を用いて視差を演算する補正演算部と、を備える、半導体回路素子。
  6. 　前記補正係数作成部は、前記温度センサにより検知された温度に基づいて、前記倍率相関補正係数として鏡筒の伸び又は縮みを補正する倍率を作成するよう構成されており、
    　前記補正演算部は、前記倍率に基づいて、前記撮像領域において生成された撮像信号を補正するよう構成されている、請求項５に記載の半導体回路素子。
  7. 　前記補正係数作成部は、前記温度センサにより検知された温度に基づいて、前記倍率相関補正係数として、前記レンズアレイの屈折率または焦点距離の変化を補正する倍率を作成するよう構成されており、
    　前記補正演算部は、前記倍率に基づいて、前記撮像領域において生成された撮像信号を補正するよう構成されている、請求項５に記載の半導体回路素子。
  8. 　前記補正係数作成部は、前記複数の撮像領域のそれぞれに対する前記倍率相関補正係数を前記温度の変化に対して同一の割合だけ変化させるように作成する、請求項５～７のいずれかに記載の半導体回路素子。
     
PCT/JP2009/003464 2008-07-23 2009-07-23 撮像装置及び半導体回路素子 WO2010010707A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009550183A JP4510930B2 (ja) 2008-07-23 2009-07-23 撮像装置及び半導体回路素子
US12/678,881 US8390703B2 (en) 2008-07-23 2009-07-23 Image pickup apparatus and semiconductor circuit element

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-189562 2008-07-23
JP2008189562 2008-07-23

Publications (1)

Publication Number Publication Date
WO2010010707A1 true WO2010010707A1 (ja) 2010-01-28

Family

ID=41570176

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/003464 WO2010010707A1 (ja) 2008-07-23 2009-07-23 撮像装置及び半導体回路素子

Country Status (3)

Country Link
US (1) US8390703B2 (ja)
JP (1) JP4510930B2 (ja)
WO (1) WO2010010707A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013127416A (ja) * 2011-12-19 2013-06-27 Ricoh Co Ltd 測距装置、測距システム、測距プログラムおよび視差補正方法
JP2014052335A (ja) * 2012-09-10 2014-03-20 Ricoh Co Ltd 画像処理装置及びステレオカメラ装置
JP2015228576A (ja) * 2014-05-30 2015-12-17 株式会社富士通ゼネラル 車載カメラ装置
JP2016132384A (ja) * 2015-01-20 2016-07-25 株式会社富士通ゼネラル 車載カメラ装置
US11002538B2 (en) 2017-10-27 2021-05-11 Canon Kabushiki Kaisha Device, method, and medium for measuring distance information using a parallax calculated from multi-viewpoint images
EP4067813A1 (en) 2021-03-30 2022-10-05 Canon Kabushiki Kaisha Distance measurement device, moving device, distance measurement method, control method for moving device, and storage medium
US11682131B2 (en) 2017-10-27 2023-06-20 Canon Kabushiki Kaisha Image capturing apparatus and method of controlling image capturing apparatus

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5178266B2 (ja) * 2008-03-19 2013-04-10 キヤノン株式会社 固体撮像装置
JP5387856B2 (ja) * 2010-02-16 2014-01-15 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
TWI448666B (zh) * 2010-06-15 2014-08-11 Pixart Imaging Inc 依據環境溫度以校正測距裝置所量測之待測物之待測距離之校正方法與其相關裝置
FR2969819A1 (fr) 2010-12-22 2012-06-29 St Microelectronics Grenoble 2 Capteur d'image tridimensionnel
FR2969822A1 (fr) * 2010-12-24 2012-06-29 St Microelectronics Grenoble 2 Capteur d'image tridimensionnel
WO2013133225A1 (ja) * 2012-03-07 2013-09-12 旭硝子株式会社 マイクロレンズアレイおよび撮像素子パッケージ
US20150281601A1 (en) * 2014-03-25 2015-10-01 INVIS Technologies Corporation Modular Packaging and Optical System for Multi-Aperture and Multi-Spectral Camera Core
EP2942938B1 (en) * 2014-05-07 2021-01-27 Veoneer Sweden AB Camera module for a motor vehicle and method of pre-focusing a lens objective in a lens holder
CN105323454B (zh) * 2014-07-30 2019-04-05 光宝电子(广州)有限公司 多相机图像撷取系统与图像重组补偿方法
KR102316448B1 (ko) 2015-10-15 2021-10-25 삼성전자주식회사 이미지 장치 및 그것의 뎁쓰 계산 방법
EP3576401B1 (en) * 2017-01-24 2024-03-06 LG Innotek Co., Ltd. Camera module including a liquid lens
US20220148138A1 (en) * 2019-03-26 2022-05-12 Sony Semiconductor Solutions Corporation Vehicle-mounted camera apparatus and image distortion correction method
US20230140390A1 (en) * 2020-04-13 2023-05-04 T-Smart Systems Llc Structure and Method of Manufacturing for a Hermetic Housing Enclosure for a Thermal Shock Proof, Zero Thermal Gradient Imaging or Sensing Core

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04350613A (ja) * 1991-05-28 1992-12-04 Hitachi Ltd 画像認識装置
WO2004106858A1 (ja) * 2003-05-29 2004-12-09 Olympus Corporation ステレオカメラシステム及びステレオ光学モジュール
JP2007081806A (ja) * 2005-09-14 2007-03-29 Konica Minolta Holdings Inc 撮像システム
JP4264464B2 (ja) * 2007-06-28 2009-05-20 パナソニック株式会社 撮像装置及び半導体回路素子

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04264464A (ja) 1991-02-19 1992-09-21 Ricoh Co Ltd 複写制御装置
JPH0787385A (ja) 1993-09-10 1995-03-31 Canon Inc 撮像装置
JPH10281761A (ja) 1997-04-02 1998-10-23 Fuji Electric Co Ltd 測距装置
JP3976887B2 (ja) * 1998-04-17 2007-09-19 キヤノン株式会社 カメラ
JP2001099643A (ja) * 1999-07-23 2001-04-13 Fuji Electric Co Ltd 測距装置
US6785028B1 (en) * 1999-11-24 2004-08-31 Ricoh Company, Ltd. Optical scanning device having a temperature compensation unit
CN1454310A (zh) * 2000-09-04 2003-11-05 早川昇 温度显示装置及温度监视系统
JP3703424B2 (ja) 2000-10-25 2005-10-05 キヤノン株式会社 撮像装置及びその制御方法及び制御プログラム及び記憶媒体
US7262799B2 (en) * 2000-10-25 2007-08-28 Canon Kabushiki Kaisha Image sensing apparatus and its control method, control program, and storage medium
JP2003143459A (ja) * 2001-11-02 2003-05-16 Canon Inc 複眼撮像系およびこれを備えた装置
DE10324044B4 (de) 2003-05-27 2006-01-12 Siemens Ag Dilatometer mit einer Interferometeranordnung und Verwendung des Dilatometers mit der Interferometeranordnung
WO2004106857A1 (ja) * 2003-05-29 2004-12-09 Olympus Corporation ステレオ光学モジュール及びステレオカメラ
JP2007263563A (ja) * 2004-06-03 2007-10-11 Matsushita Electric Ind Co Ltd カメラモジュール
JP2006122338A (ja) * 2004-10-28 2006-05-18 Aruze Corp 遊技機及びプログラム
JP2007033315A (ja) 2005-07-28 2007-02-08 Pentax Corp ３次元物体測量装置および測量写真解析装置
US7999873B2 (en) * 2005-11-22 2011-08-16 Panasonic Corporation Imaging device with plural lenses and imaging regions
JP2007271301A (ja) 2006-03-30 2007-10-18 Matsushita Electric Ind Co Ltd 撮像装置
JP2007322128A (ja) 2006-05-30 2007-12-13 Matsushita Electric Ind Co Ltd カメラモジュール
US7826736B2 (en) * 2007-07-06 2010-11-02 Flir Systems Ab Camera and method for use with camera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04350613A (ja) * 1991-05-28 1992-12-04 Hitachi Ltd 画像認識装置
WO2004106858A1 (ja) * 2003-05-29 2004-12-09 Olympus Corporation ステレオカメラシステム及びステレオ光学モジュール
JP2007081806A (ja) * 2005-09-14 2007-03-29 Konica Minolta Holdings Inc 撮像システム
JP4264464B2 (ja) * 2007-06-28 2009-05-20 パナソニック株式会社 撮像装置及び半導体回路素子

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013127416A (ja) * 2011-12-19 2013-06-27 Ricoh Co Ltd 測距装置、測距システム、測距プログラムおよび視差補正方法
JP2014052335A (ja) * 2012-09-10 2014-03-20 Ricoh Co Ltd 画像処理装置及びステレオカメラ装置
JP2015228576A (ja) * 2014-05-30 2015-12-17 株式会社富士通ゼネラル 車載カメラ装置
JP2016132384A (ja) * 2015-01-20 2016-07-25 株式会社富士通ゼネラル 車載カメラ装置
US11002538B2 (en) 2017-10-27 2021-05-11 Canon Kabushiki Kaisha Device, method, and medium for measuring distance information using a parallax calculated from multi-viewpoint images
US11682131B2 (en) 2017-10-27 2023-06-20 Canon Kabushiki Kaisha Image capturing apparatus and method of controlling image capturing apparatus
EP4067813A1 (en) 2021-03-30 2022-10-05 Canon Kabushiki Kaisha Distance measurement device, moving device, distance measurement method, control method for moving device, and storage medium
US12069234B2 (en) 2021-03-30 2024-08-20 Canon Kabushiki Kaisha Distance measurement device, moving device, distance measurement method, control method for moving device, and storage medium

Also Published As

Publication number Publication date
JP4510930B2 (ja) 2010-07-28
JPWO2010010707A1 (ja) 2012-01-05
US8390703B2 (en) 2013-03-05
US20100259648A1 (en) 2010-10-14

Similar Documents

Publication Publication Date Title
JP4510930B2 (ja) 撮像装置及び半導体回路素子
JP4264464B2 (ja) 撮像装置及び半導体回路素子
US8405820B2 (en) Ranging device and ranging module and image-capturing device using the ranging device or the ranging module
US10491799B2 (en) Focus detection apparatus, focus control apparatus, image capturing apparatus, focus detection method, and storage medium
US8619183B2 (en) Image pickup apparatus and optical-axis control method
KR102017416B1 (ko) 액추에이터 드라이버, 촬상 장치, 캘리브레이션 방법
US7490019B2 (en) Method and apparatus for three-dimensional measurement
US8212912B2 (en) Imaging device, imaging system, and imaging method
JPWO2006035778A1 (ja) カメラモジュールおよびそれを備えた電子機器
JP7205486B2 (ja) 撮像装置
JP2009250785A (ja) 撮像装置
US11233961B2 (en) Image processing system for measuring depth and operating method of the same
KR102597470B1 (ko) 뎁스 맵 결정 방법 및 그 방법을 적용한 전자 장치
JP2006308496A (ja) 測距装置及び撮像装置
JP2021177245A (ja) 撮像装置およびアクチュエータドライバ
WO2021044746A1 (ja) 画像処理装置
JP2010002280A (ja) 撮像装置、測距装置及び視差算出方法
JP5434816B2 (ja) 測距装置及び撮像装置
KR20090116024A (ko) 이미지센서 및 이를 이용한 광축 시프트 보정 방법
JP6060482B2 (ja) 測距装置、測距システム、測距プログラムおよび視差補正方法
JP7109386B2 (ja) 画像処理装置
JP2024063309A (ja) 測距カメラシステム、それを備える移動装置、校正方法、およびプログラム
JP3745056B2 (ja) 測距位置調節装置
JP2019168609A (ja) 光学部品保持装置及び、その撮像装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2009550183

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 12678881

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09800223

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09800223

Country of ref document: EP

Kind code of ref document: A1