WO2018042954A1 - 車載カメラ、車載カメラの調整方法、車載カメラシステム - Google Patents

車載カメラ、車載カメラの調整方法、車載カメラシステム Download PDF

Info

Publication number
WO2018042954A1
WO2018042954A1 PCT/JP2017/026977 JP2017026977W WO2018042954A1 WO 2018042954 A1 WO2018042954 A1 WO 2018042954A1 JP 2017026977 W JP2017026977 W JP 2017026977W WO 2018042954 A1 WO2018042954 A1 WO 2018042954A1
Authority
WO
WIPO (PCT)
Prior art keywords
error
vehicle camera
image
vehicle
imaging
Prior art date
Application number
PCT/JP2017/026977
Other languages
English (en)
French (fr)
Inventor
永崎　健
拓紀 茂泉
青木　利幸
直也 多田
春樹 的野
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to EP17845963.2A priority Critical patent/EP3505865B1/en
Priority to JP2018537029A priority patent/JP6602982B2/ja
Publication of WO2018042954A1 publication Critical patent/WO2018042954A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/08—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/955—Computational photography systems, e.g. light-field imaging systems for lensless imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to an in-vehicle camera, an adjustment method thereof, and an in-vehicle camera system.
  • Patent Document 1 an invention related to a calibration method, a calibration device, and a program for an in-vehicle camera is known (for example, see Patent Document 1 below).
  • the calibration method described in Patent Document 1 captures a subject by capturing a subject without passing through a transparent body, and acquires a second captured image by capturing the subject through a transparent body. Then, based on the coordinates of the subject image of the first photographed image and the coordinates of the subject image of the second photographed image, an absolute positional deviation indicating a deviation of the coordinates of the subject image caused by the transparent body is calculated. And a step of calculating a correction parameter for calibrating the absolute positional deviation, and a step of storing the correction parameter in the photographing apparatus (refer to the same document, claim 1, etc.).
  • Patent Document 2 Another invention related to a calibration method, a calibration device, a measurement tool, and a program for an in-vehicle camera is also known (see, for example, Patent Document 2 below).
  • a step of measuring a relative position between a stereo camera and a subject installed so as to fall within a photographing range of the stereo camera, and a photographed image including the subject photographed by the stereo camera are acquired.
  • a step of determining calibration parameters for calibrating the stereo camera based on the relative position and the captured image see the same document, claim 1 and the like.
  • Patent Document 1 has a problem that a subject needs to be photographed by removing a transparent body such as a shield glass of a vehicle, for example. Further, the invention described in Patent Document 2 has a problem that a laser rangefinder is required in the step of measuring the relative position between the subject and the stereo camera.
  • the present invention has been made in view of the above problems, and the object of the present invention is to eliminate the measurement error caused by the shield glass without requiring the removal of the shield glass and without using another distance measuring device. It is an object to provide an in-vehicle camera that can be reduced, an adjustment method thereof, and an in-vehicle camera system.
  • an in-vehicle camera of the present invention is an in-vehicle camera that captures an image of an object through a shield glass of a vehicle, and includes a pair of image sensors and connection of the object at pixel positions of the pair of image sensors. And an error information storage unit that stores, for each pixel position, error information related to an error caused by the shield glass included in the difference in image position.
  • the present invention by photographing a known object through a shield glass of a vehicle, error information related to an error caused by the shield glass based on information on the imaging position of the known object at the pixel position of the image sensor. Can be detected for each pixel position and stored in the error information storage unit. Then, using this error information, it is possible to correct the difference in the imaging position of the object at the pixel position of the pair of image sensors. Therefore, according to the present invention, it is possible to reduce distance measurement errors due to the shield glass without requiring removal of the shield glass and without using another distance measuring device.
  • the block diagram which shows the structure of the vehicle-mounted camera which concerns on one Embodiment of this invention.
  • the graph which shows the difference in the image formation position of a target object.
  • the graph which shows an example of the error information memorize
  • the graph which shows an example of the parallax information memorize
  • the flowchart which shows an example of a process of the vehicle-mounted camera shown in FIG.
  • the flowchart which shows the detail of the imaging process shown in FIG.
  • the figure which shows an example of the pattern of a calibration chart.
  • the top view which shows an example of the installation error of a calibration chart.
  • the block diagram which shows the structure of the vehicle-mounted camera system which concerns on one Embodiment of this invention.
  • FIG. 1 is a block diagram showing a configuration of an in-vehicle camera 10 according to an embodiment of the present invention.
  • the in-vehicle camera 10 of the present embodiment includes, for example, visual image information and distance information of various objects around a car including three-dimensional objects such as pedestrians, surrounding vehicles, road white lines and road surfaces, signs, buildings, and the like. It is a stereo camera device that acquires That is, the in-vehicle camera 10 according to the present embodiment is a device that is mounted on a vehicle and recognizes an environment outside the vehicle based on image information of a shooting target area in front of the vehicle. The in-vehicle camera 10 captures the measurement object in detail by photographing the measurement object through the vehicle shield glass SG (see FIG. 7A), and contributes to, for example, improving safety during driving support.
  • the in-vehicle camera 10 includes, for example, a stereo camera 11, an image input interface 12, an image processing unit 13, a storage unit 14, an arithmetic processing unit 15, a CAN (Controller Area Network) interface 16, and a control processing unit 17. .
  • the stereo camera 11 has a pair of cameras of a left camera 11L and a right camera 11R. Although illustration is omitted here, each of the left camera 11L and the right camera 11R includes a lens and an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the image input interface 12, the image processing unit 13, the storage unit 14, the arithmetic processing unit 15, the CAN interface 16, and the control processing unit 17 are, for example, a CPU (Central Processing Unit). Unit), a storage device such as a memory, and a program unit or the like. These units are connected to each other via a bus 18, for example.
  • a CPU Central Processing Unit
  • Storage device such as a memory
  • program unit or the like.
  • the image input interface 12 is an interface for controlling the stereo camera 11 and capturing captured images.
  • the image input interface 12 is connected to the image processing unit 13, the arithmetic processing unit 15, the storage unit 14, the CAN interface 16, the control processing unit 17, and the like via the bus 18, and also functions as an input / output unit of the stereo camera 11. To do.
  • the image processing unit 13 processes the image of the stereo camera 11 captured via the image input interface 12 and the bus 18.
  • the image processing unit 13 compares the left image obtained from the image sensor IE of the left camera 11L and the right image obtained from the image sensor IE of the right camera 11R, and each image is caused by the image sensor IE.
  • Device-specific deviation correction and image correction such as noise interpolation are performed (see FIGS. 8 to 10).
  • the image processing unit 13 compares the left image obtained from the image sensor IE of the left camera 11L with the right image obtained from the image sensor IE of the right camera 11R, and at the pixel positions of the pair of image sensors IE. The difference in the imaging position of the object is obtained.
  • Data being processed by the image processing unit 13 and data after the completion of processing are stored in the storage unit 14 via, for example, the bus 18.
  • the difference in the imaging position of the object at the pixel position of the pair of image sensors IE includes not only the parallax caused by the distance between the pair of image sensors IE, that is, the relative position, but also the shield glass SG.
  • the error of the imaging position of the object due to the shape of the object is included.
  • the image processing unit 13 calculates error information related to an error in the imaging position caused by the shield glass SG.
  • the error information is stored in an error information storage unit 14A (see FIG. 4) described later for each pixel position of the image sensor IE.
  • the arithmetic processing unit 15 uses, for example, the parallax information related to the parallax caused by the distance between the pair of imaging elements IE of the left camera 11L and the right camera 11R stored in the storage unit 14, and uses the parallax information of the target object to be measured.
  • the environment around the vehicle is perceived by measuring the distance and recognizing the measurement object.
  • a recognition dictionary stored in advance can be used as necessary.
  • the arithmetic processing unit 15 can also calculate the control amount of the vehicle using these after recognizing the object with respect to the images photographed by the pair of imaging elements IE.
  • the object that is, the measurement object includes, for example, a pedestrian, a surrounding vehicle, a taillight of a preceding vehicle, a headlight of an oncoming vehicle, a traffic light, a sign, and other obstacles.
  • the storage unit 14 includes an error information storage unit 14A that stores error information for each pixel position of the pair of imaging elements IE, and a parallax information storage unit 14B that stores parallax information of the pair of imaging elements IE (see FIG. 4). In addition, the storage unit 14 stores the recognition result of the object by the arithmetic processing unit 15.
  • FIG. 2A is a graph showing the difference in the imaging position of the object at the pixel position of the pair of imaging elements IE of the stereo camera 11.
  • FIG. 2B is a graph illustrating an example of error information stored in the error information storage unit 14A.
  • FIG. 2C is a graph illustrating an example of parallax information stored in the parallax information storage unit 14B.
  • 2A to 2C show the difference in image formation position, the parallax error ⁇ D, and the parallax D for each pixel position of the imaging element IE in the horizontal direction (x-axis direction) parallel to the base line length of the stereo camera 11. ing.
  • the error information can include a parallax error ⁇ D shown in FIG. 2B as a correction amount.
  • the parallax error ⁇ D is a difference in the imaging position of the object that occurs due to the shield glass SG, such as refraction, at the pixel positions of the pair of imaging elements IE.
  • the parallax error ⁇ D shown in FIG. 2B is included in the difference between the imaging positions of the objects at the pixel positions of the pair of imaging elements IE shown in FIG. 2A.
  • Parallax error ⁇ D shown in Figure 2B the shift amount [delta] L due to shielding glass SG of the imaging position of the object at the pixel position of the image pickup element IE of the left camera 11L, at the pixel position of the image pickup element IE of the right camera 11R A difference ⁇ L ⁇ R from a deviation amount ⁇ R caused by the shield glass SG at the imaging position of the object.
  • the error information including the parallax error ⁇ D can be obtained, for example, by an on-vehicle camera adjustment method S100 described later, and is stored in the error information storage unit 14A for each pixel position of the image sensor IE.
  • the error information can include error information B relating to a plurality of correction amounts according to the distance between the imaging element IE and the object. More specifically, the parallax error ⁇ D caused by the shield glass SG changes according to the distance of the object in the optical axis direction (z-axis direction) of the stereo camera 11. Therefore, the error information can include, as error information B, a plurality of correction amounts corresponding to the parallax errors ⁇ D corresponding to a plurality of different distances between the image sensor IE and the object. Further, the error information can include error information A caused by the shield glass SG at a specific distance obtained by an aiming process described later.
  • the parallax information stored in the parallax information storage unit 14B can include the parallax D illustrated in FIG. 2C.
  • the parallax D is obtained, for example, by subtracting the parallax error ⁇ D shown in FIG. 2B as the correction amount from the difference between the imaging positions at the pixel positions of the pair of imaging elements IE affected by the shield glass SG shown in FIG. 2A. be able to.
  • the difference between the imaging positions of the objects at the pixel positions of the pair of imaging elements IE shown in FIG. 2A is the parallax error ⁇ D caused by the shield glass SG shown in FIG. 2B and the pair of imaging elements IE shown in FIG. Including the parallax D resulting from the distance between.
  • the parallax D shown in FIG. 2C is obtained by subtracting the parallax error ⁇ D shown in FIG. 2B caused by the shield glass SG from the difference in the imaging position shown in FIG. 2A, which is the parallax affected by the shield glass SG. The influence of SG is reduced.
  • the CAN interface 16 transmits the calculation results of the image processing unit 13, the arithmetic processing unit 15, and the control processing unit 17 to the vehicle control device 30 via the CAN 20 of the vehicle (see FIG. 14). More specifically, for example, the distance of the object calculated by the image processing unit 13 and corrected for the error due to the shield glass SG, the recognition result of the object by the arithmetic processing unit 15, etc. are obtained via the CAN interface 16. It is transmitted to the vehicle control device 30.
  • the control processing unit 17 monitors abnormal operations of the image processing unit 13 and the arithmetic processing unit 15 and the occurrence of errors during data transfer, and prevents abnormal operations.
  • FIG. 3 is a flowchart showing an example of processing of the in-vehicle camera 10 shown in FIG.
  • the in-vehicle camera 10 acquires an image captured by the pair of imaging elements IE of the stereo camera 11 via the image input interface 12 in step S1.
  • the acquired image is subjected to image processing by the image processing unit 13, and a difference between the imaging positions of the objects at the pixel positions of the pair of imaging elements IE is obtained.
  • the difference between the obtained imaging positions can be corrected by the error information A stored in the error information storage unit 14A.
  • the result of the image processing of the image processing unit 13 is used for extraction and recognition of the object by the arithmetic processing unit 15 in step S3.
  • the position of the object that is, the position in the image and the horizontal position along the baseline length in the real space, and the distance in the optical axis direction are obtained.
  • the error information A is a correction amount for correcting an error caused by the shield glass SG at a predetermined short distance obtained in a normal aiming process and an inherent wrinkle of the image sensor IE. Therefore, for example, the position and distance obtained from the image of the object existing at a long distance still include an error due to the shield glass SG.
  • step S4 the error information B stored in the error information storage unit 14A by the image processing unit 13 is used, and a correction process suitable for the target object is performed according to the horizontal position and rough distance of the target object.
  • the error information B is a plurality of correction amounts corresponding to the parallax errors ⁇ D corresponding to a plurality of different distances between the image sensor IE and the object.
  • step S5 the CAN interface 16 outputs the recognition result of the object by the arithmetic processing unit 15 and the corrected distance by the image processing unit 13.
  • the in-vehicle camera 10 of the present embodiment images an object outside the vehicle through the shield glass SG of the vehicle. Therefore, the difference in the imaging position of the target object at the pixel position of the pair of imaging elements IE includes not only the parallax but also an error due to the shape such as the swell of the shield glass SG. In order to deal with this error, the in-vehicle camera 10 of the present embodiment includes the error information storage unit 14A that stores error information regarding errors caused by the shield glass SG for each pixel position as described above.
  • the difference between the imaging positions of the objects at the pixel positions of the pair of imaging elements IE is calculated for each pixel position using the error information stored in the error information storage unit 14A. Can be corrected. Therefore, according to the vehicle-mounted camera 10 of this embodiment, the measurement error resulting from the shield glass SG can be reduced, and the distance and recognition of the object can be performed more accurately.
  • the in-vehicle camera 10 of the present embodiment includes a parallax information storage unit 14B that stores parallax information related to parallax included in the difference between the imaging positions of the objects at the pixel positions of the pair of imaging elements IE.
  • a parallax information storage unit 14B that stores parallax information related to parallax included in the difference between the imaging positions of the objects at the pixel positions of the pair of imaging elements IE.
  • the error information stored in the error information storage unit 14A includes error information B that is a plurality of correction amounts according to the distance between the image sensor IE and the target.
  • FIG. 4 is a flowchart showing an example of a method for adjusting the in-vehicle camera 10 shown in FIG.
  • the in-vehicle camera adjustment method S100 of the present embodiment is an adjustment method of the in-vehicle camera 10 that photographs an object through the shield glass SG of the vehicle, for example, as described above.
  • the in-vehicle camera adjustment method S100 of the present embodiment is performed using, for example, the stereo camera 11, the image input interface 12, the image processing unit 13, the arithmetic processing unit 15, and the storage unit 14 of the in-vehicle camera 10 illustrated in FIG. Can do.
  • the in-vehicle camera adjustment method S100 of the present embodiment can include, for example, an imaging step S10, an error detection step S20, and a correction amount calculation step S30.
  • the imaging step S10 is a step of photographing an object through the shield glass SG by at least one imaging element IE of the stereo camera 11.
  • the error detection step S20 is a step of detecting, for each pixel position, error information related to an error caused by the shield glass SG included in the difference in the imaging position of the object at the pixel position of the pair of imaging elements IE.
  • the correction amount calculation step S30 is a step of calculating a correction amount for obtaining parallax information included in the difference in the imaging position of the object using the error information.
  • each step will be described in more detail.
  • FIG. 5 is a flowchart showing details of the imaging step S10 shown in FIG.
  • the on-vehicle camera adjustment method S100 of the present embodiment can include an aiming process S11 similar to the conventional one in the imaging process S10.
  • the imaging step S10 includes, for example, an image acquisition step S12, a monocular image processing step S13, a chart installation error calculation step S14, and an aiming processing step S11.
  • the imaging step S10 includes a monocular image processing step S13 using one of the pair of images taken by the pair of imaging elements IE of the left camera 11L and the right camera 11R, and both image data. And a stereo image processing step S11a to be used.
  • image data is acquired from the pair of imaging elements IE for use in the stereo image processing step S11a of the aiming processing step S11.
  • the image data may be acquired from only one of the pair of imaging elements IE of the stereo camera 11 in the image acquisition process S12.
  • a calibration chart C shown in FIG. 6 can be used as an object to be photographed in the image acquisition step S12.
  • FIG. 6 is a diagram showing an example of the pattern of the calibration chart C.
  • the calibration chart C is a chart having a plane pattern used for calibration of the stereo camera 11.
  • the pattern of the calibration chart C includes, for example, a vertical stripe pattern composed of a plurality of vertical lines VL arranged at equal intervals, and a rectangular frame line FB.
  • the pattern of the calibration chart C may have a random pattern RP composed of a plurality of points randomly arranged inside the rectangular frame FB.
  • the pattern of the calibration chart C may have a cross pattern for aligning the optical axis of the stereo camera 11.
  • the plurality of vertical lines VL are, for example, arranged at equal intervals in a direction substantially parallel to the base line length of the stereo camera 11 and arranged so as to be substantially parallel to the vertical direction. In addition, it is also possible to use another pattern arranged at equal intervals instead of the vertical line VL.
  • the frame line FB is a rectangle whose longitudinal direction is a direction parallel to the base line length of the stereo camera 11.
  • the plurality of vertical lines VL extend in parallel to the direction of the short side of the frame line FB, and are arranged at equal intervals along the long side of the frame line FB.
  • the calibration chart C is arranged at a predetermined distance in the optical axis direction of the stereo camera 11 so as to be substantially perpendicular to the optical axis of the stereo camera 11.
  • the distance from the stereo camera 11 to the calibration chart C is, for example, about 3 m to 5 m.
  • the monocular image processing step S13 image processing using one of the pair of images of the pair of imaging elements IE of the left camera 11L and the right camera 11R is performed.
  • image processing can be performed on each of the image acquired from the imaging element IE of the left camera 11L and the image acquired from the imaging element IE of the right camera 11R.
  • the positions of the plurality of vertical lines VL of the calibration chart C and the vertical and horizontal dimensions of the frame line FB are calculated at several locations on the image.
  • the position of the vertical line VL and the dimension of the frame line FB of the pattern of the calibration chart C on the image calculated in the monocular image processing step S13 are stored in advance in the storage unit 14 or the like. It is compared with the position of the vertical line VL of the pattern of the calibration chart C and the vertical and horizontal dimensions of the frame line FB. Thereby, the installation error of the calibration chart C is calculated.
  • FIG. 7A is a plan view showing an example of an installation error of the calibration chart C.
  • FIG. 7B and 7C are image diagrams illustrating an example of a monocular image of the stereo camera 11 affected by the installation error.
  • the installation error of the calibration chart C is a deviation between the reference position C0 where the calibration chart C should be originally arranged and the position where the calibration chart C is actually arranged.
  • the installation error includes, for example, an error in the position in the horizontal direction (x-axis direction) parallel to the base line length of the stereo camera 11, an error ⁇ Z in the installation distance Z in the optical axis direction (z-axis direction) of the stereo camera 11, and the stereo camera 11. And the positional error in the vertical direction (y-axis direction) perpendicular to the optical axis direction.
  • the installation error includes installation errors of roll angle, pitch angle, and yaw angle around the x, y, and z axes.
  • the pattern of the frame line FB of the calibration chart C in the monocular image is distorted from the original rectangle to the trapezoid as shown in FIG. 7B.
  • the monocular image processing step S13 the dimensions in the height direction (y-axis direction) of the frame line FB are calculated at both ends in the longitudinal direction (x-axis direction) of the frame line FB in the monocular image. More specifically, where the boundary between the black frame FB and the white background portion of the calibration chart C is on the image is calculated. Thereby, the dimension of the frame line FB in the monocular image can be calculated, and the installation error of the yaw angle ⁇ can be calculated in the chart installation error calculation step S14.
  • the installation error can be calculated in the same manner when both the installation error of the yaw angle ⁇ and the installation error of the installation distance Z are included, or when the installation error of the roll angle and the pitch angle is included.
  • FIG. 8 is a conceptual diagram showing the calculation principle of the installation distance Z based on the size of the frame line FB of the calibration chart C. From the dimension h in the height direction (y-axis direction) of the image on the imaging surface of the imaging element IE, the focal length f of the stereo camera 11, and the dimension H in the height direction measured in advance of the frame line FB of the calibration chart C.
  • an error detection step S20 described later is performed.
  • the aiming processing step S11 can include a stereo image processing step S11a, a chart ranging step S11b, and a ranging error calculating step S11c.
  • the stereo image processing step S11a an image of the calibration chart C photographed through the shield glass SG of the vehicle by the pair of imaging elements IE of the left camera 11L and the right camera 11R of the stereo camera 11 in the image acquisition step S12 is used.
  • the stereo image processing step S11a for example, correction for absorbing wrinkles inherent to the image sensor IE for each of the pair of image data of the random pattern RP of the calibration chart C photographed by the pair of image sensors IE. Perform image processing.
  • a parallax image that is information related to the parallax of the stereo camera 11 is calculated from data of a pair of images of the calibration chart C captured by the pair of imaging elements IE of the stereo camera 11.
  • the difference in the image formation position of the pattern of the calibration chart C at the pixel position of the pair of imaging elements IE is obtained as a parallax image.
  • the parallax image as the difference between the imaging positions includes a parallax error caused by the shield glass SG such as refraction.
  • a predetermined portion of the stereo image obtained in the stereo image processing step S11a is cut out, and a distance Z to the calibration chart C is calculated from parallax information such as a parallax image that is a distribution of parallax values.
  • the parallax information including the calculated parallax image and the installation distance Z are stored and stored in the storage unit 14.
  • the installation distance Z of the calibration chart C calculated in the chart distance measurement step S11b and the actual position and dimensions of the pattern of the calibration chart C that is input and stored in the storage unit 14 in advance are stored.
  • a distance measurement error is calculated using the design information.
  • the calculated ranging error is calculated based on the pattern of the calibration chart C arranged at a predetermined distance.
  • the calculated distance measurement error can be stored as error information A in the error information storage unit 14A of the storage unit 14 (see FIGS. 4 and 5). Thus, the imaging process S10 illustrated in FIG. 4 is completed.
  • the monocular image processing step S13 and the chart installation error calculation step are compared to the conventional aiming processing step S11.
  • S14 is added. Therefore, for example, the calculation result of the calibration chart C calculated in the chart installation error calculation step S14 and stored in the storage unit 14 is referred to in the chart ranging step S11b, and the calibration chart C installation position is corrected.
  • the design information can be corrected.
  • the error detection step S20 is a step of detecting, for each pixel position of the image sensor IE, error information B relating to an error caused by the shield glass SG included in the difference in the imaging position of the object at the pixel position of the pair of image sensor IE. It is.
  • error detection process S20 the process which detects the error resulting from shield glass SG, such as the process with respect to the wave
  • the swell of the shield glass SG is a local distortion of the shield glass SG.
  • a streaky unevenness extending from the upper end to the lower end of the shield glass SG, or a local recess or protrusion of the shield glass SG. It is.
  • the difference in the imaging position of the object at the pixel position of the pair of imaging elements IE of the in-vehicle camera 10 that images the object through the shield glass SG having such undulations is caused by the shield glass SG. Error information about the error to be performed.
  • the shield glass SG having the swell as described above refracts light from the object and causes a parallax error in the stereo camera 11 to cause a distance measurement error. Therefore, in error detection process S20, the process which detects errors, such as a parallax error resulting from shield glass SG, is performed.
  • the calibration chart C shown in FIG. 6 is set at a predetermined distance from the in-vehicle camera 10 and photographed through the shield glass SG.
  • the installation distance Z of the calibration chart C can be set to about 5 m, for example.
  • a vertical stripe pattern (equally spaced pattern) by a plurality of equally spaced vertical lines VL indicates that the parallax error due to local distortion of the shield glass SG is parallel to the base line length of the stereo camera 11. It plays an important role in calculating for different positions in the direction.
  • FIG. 9 is a schematic diagram showing a left image and a right image as an image formed by the pair of imaging elements IE of the stereo camera 11 that has captured the vertical stripe pattern of the calibration chart C.
  • FIG. 10 is a conceptual diagram showing the principle of correcting the distance error caused by the undulation of the shield glass SG in the error detection step S20.
  • FIG. 11 is an example of a parallax graph obtained in the error detection step S20.
  • the pattern of the calibration chart C arranged at a short distance is photographed through the shield glass SG by the stereo camera 11. Then, as shown in FIG. 9, when the parallax between the left image and the right image of the pattern of the calibration chart C obtained by the pair of imaging elements IE is calculated, the swell of the shield glass SG is reflected as shown in FIG. A parallax graph Sx is obtained.
  • the parallax values Sa and Sb for the points a and b on the calibration chart C shown in FIG. 10 are the projection points Ra and Rb of the points a and b at the pixel position on the right imaging element IE and the left imaging.
  • the following relational expressions (1) and (2) are established between the projection points La and Lb of the points a and b at the pixel position on the element IE.
  • the parallax value Sd of the point d at a long distance of 50 m can be calculated from the points a and b on the calibration chart C at a short distance of 5 m, for example. More specifically, the parallax value Sd (distance) of the point d at a long distance is the projection point La for the left image pickup element IE of the point a at a short distance and the right image pickup element IE of the point b at a short distance. Can be calculated from the projection point Rb.
  • the projection point La for the left image sensor IE and the projection point Rb for the right image sensor IE can be derived by another calculation means in addition to the parallax graph Sx.
  • the parallax value Sd of the point d at a long distance shown in FIG. Using the point Rb and the above equation (1), it can be obtained by the following equation (3).
  • the parallax value Se of the point e at a long distance shown in FIG. 10 is the projection point Lb of the point b on the calibration chart C at a short distance to the left image sensor IE and the calibration chart C at a short distance.
  • the projection point Rc of the point c to the right image sensor IE and the above equation (2) it can be obtained by the following equation (4).
  • the distance between the points a and b at a short distance and the distance between the points b and c shown in FIG. 10 can be calculated by the following equation (5) according to the distance of the object T at a long distance. . Therefore, parallax conversion according to the distance and size of the object T is possible.
  • FIG. 12 is a conceptual diagram illustrating a correction principle in consideration of an installation error of the calibration chart C.
  • Oa is the position of the vertical line VL of the pattern of the calibration chart C as a reference or the optical axis on the image sensor IE.
  • Va is a vector indicating the inclination of the imaging surface of the imaging element IE.
  • Ob is a point on the optical axis on the calibration chart C or the position of the vertical line VL of the pattern of the calibration chart C serving as a reference.
  • Vb is a vector indicating the inclination of the calibration chart C.
  • Oc is a reference point (a point overlapping Oa and Ob in the optical axis direction) as a reference for the lateral position of the distant object T.
  • Vc is a vector indicating the measurement surface of the distant object T.
  • Va, Vb, and Vc are unit vectors having a length of 1.
  • the point Pb on the calibration chart C and the point Pa on the image sensor IE shall satisfy the following expressions (6) and (7), respectively.
  • the distance correction amount can be calculated by the following procedure. That is, each of the following procedures can be included in the correction amount calculation step S30 for calculating the correction amount for obtaining the parallax information included in the difference in the imaging position of the object using the error information.
  • the vertical line VL on the calibration chart C in front of the right image sensor IE is set as a reference vertical line VL.
  • the position of the reference vertical line VL is R 0, and the positions of a plurality of vertical lines VL arranged at equal intervals on the left side of the reference vertical line VL are sequentially R ⁇ 1 from the reference vertical line VL to the left. , R ⁇ 2 , R ⁇ 3 ,...
  • the positions of a plurality of vertical lines VL arranged at equal intervals on the right side of the reference vertical line VL are set to R + 1 , R + 2 , R + 3 ,... Sequentially from the reference vertical line VL to the right.
  • the position of the vertical line VL of the right image and the left image is calculated with subpixels by pattern matching.
  • a plurality of pairs of the position [pix] of the vertical line VL on the left image and the position [pix] of the vertical line VL on the right image are obtained.
  • K bx is known as a design value of the position of the vertical line VL on the calibration chart C, and the position of the vertical line VL on the right image corresponding to the position of each vertical line VL on the calibration chart C is represented by K ax .
  • a plurality of pairs of positions as shown below are obtained.
  • relational expressions (9) to (11) that express the relation between the design value Kb at the position of the vertical line VL on the calibration chart C and various measured values are particularly important.
  • the solution ( ⁇ 1 , ⁇ 2 , ⁇ 4 ) ka, k a k b , ⁇ k b ) means a vector orthogonal to the plane formed by.
  • the plot point group (k a, k a k b , -k b) may form a single row of parabolic-like subspace make the it can be seen that a plane.
  • ⁇ 1 is an installation position of the calibration chart C, more precisely, an amount representing a value obtained by dividing the installation distance Z of the calibration chart C by the focal length f
  • ⁇ 4 is It can be seen that this is an amount representing the installation angle of the calibration chart C. Therefore, in another means, if the installation distance Z or the installation angle of the calibration chart C is known, the other can be guided from one side.
  • the installation error of the calibration chart C is calculated in the monocular image processing step S13 and the chart installation error calculation step S14 included in the imaging step S10 as described above, and stored in the storage unit 14. Therefore, when sin ⁇ is obtained using the installation error of the yaw angle ⁇ of the calibration chart C stored in the storage unit 14, this is an approximate value of ⁇ 4 . This makes it possible to guide the installation position beta 1 of the calibration chart C.
  • the error ⁇ Z of the installation distance Z of the calibration chart C calculated in the monocular image processing step S13 and the chart installation error calculation step S14 included in the imaging step S10 described above may be affected by the shield glass SG. Specifically, since the shield glass SG of an automobile is curved with a constant curvature in the vertical direction, an image photographed by the pair of imaging elements IE of the stereo camera 11 with respect to the true value by the lens effect. May zoom in or out.
  • a pinhole PH ideal in the right of the image pickup element IE when the right pin hole origin O R, beta 3 is constantly 0, beta 1 is on the calibration chart C the distance to the point O b, that is, the right pin hole origin O and the distance to the point O b from R, the distance to the point O a on the virtual imaging surface of the right of the image pickup element iE ratio.
  • This solution is established as long as the straight line the point O a is connecting the point O b and right pinhole origin O R.
  • the following equation (19) can be derived from the nature of the outer product in planar geometry.
  • the vectors Va and Vb are unit vectors. If, if sin [theta Va is 1 (O a and V a vertical), beta 4 will represent sin angle with respect to the optical axis of the camera (straight line connecting the right pin hole origin O R and the point O b).
  • the error detection step S20 includes error information related to errors caused by the shield glass SG included in the difference between the imaging positions of the objects at the pixel positions of the pair of imaging elements IE. This is a step of detecting for each pixel position of the image sensor IE.
  • undulation of the shield glass SG which is the process which detects the error resulting from the shield glass SG performed in error detection process S20 is demonstrated.
  • the effect of the swell of the shield glass SG is calculated.
  • the relationship between the far light spot and the light spot on the calibration chart C is obtained by theory, that is, a pinhole model that is not subjected to glass distortion.
  • the relationship between the light spot on the calibration chart C and the projection plane of the image sensor IE is taken into account from the actual observation value, that is, the displacement of the position of the vertical line VL of the calibration chart C affected by the distortion of the shield glass SG.
  • the calculation process of the effect of glass swell comprises the following processes.
  • FIG. 13 is a graph showing an example of the distance correction amount based on the above-described calculation process of the swell of the shield glass SG.
  • the graph plotted with ⁇ (circle) is a left and right component at a short distance of 3.5 m, for example, and the graph plotted with ⁇ (triangle mark) is estimated from a left and right component at a short distance, for example, 35 m ahead The left and right components at a long distance.
  • the adjustment method S100 for the in-vehicle camera is a method for adjusting the in-vehicle camera 10 by photographing an object through the shield glass SG of the vehicle. It has a detection step S20 and a correction amount calculation step S30. Thereby, in imaging process S10, a target object can be image
  • the adjustment method S100 of the in-vehicle camera of the present embodiment it is not necessary to remove the shield glass SG as in the conventional adjustment method of the in-vehicle camera.
  • a ranging error caused by the shield glass SG can be reduced without using another ranging device.
  • the calibration chart C is photographed by the pair of imaging elements IE through the shield glass SG in the imaging step S10 for photographing an object.
  • Error information is obtained using the pattern and the image forming position of the pattern at the pixel position of the pair of imaging elements IE. That is, it is possible to calculate a distance correction amount for a long-distance object by using the calibration chart C arranged at a short distance without photographing a long-distance object, thereby reducing a ranging error. Therefore, the on-vehicle camera adjustment method S100 of the present embodiment can be performed not only in a vehicle factory but also in a limited space such as a car dealer.
  • the on-vehicle camera adjustment method S100 of the present embodiment includes a plurality of vertical lines VL in which the pattern of the calibration chart C is arranged at equal intervals. Accordingly, as described above, the correction amount of the distance with respect to the object at a long distance can be calculated using the calibration chart C arranged at a short distance, and the distance measurement error can be reduced.
  • the pattern of the calibration chart C includes a rectangular frame FB.
  • FIG. 14 is a block diagram showing a schematic configuration of the in-vehicle camera system 100 according to one embodiment of the present invention.
  • the in-vehicle camera system 100 according to the present embodiment is a system mounted on a vehicle, for example, and includes the above-described in-vehicle camera 10 and the vehicle control device 30.
  • the vehicle control device 30 is a warning device 60 such as a vehicle brake 40, an accelerator 50, a buzzer, an engine 70, a steering 80, The suspension 90 and the like are controlled.
  • the in-vehicle camera system 100 includes the above-described in-vehicle camera 10. Therefore, the measurement error resulting from the shield glass SG can be reduced by the in-vehicle camera 10, and the distance and measurement of the object can be performed more accurately, and the accuracy and reliability of control by the vehicle control device 30 are improved. be able to.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Computing Systems (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本発明は、シールドガラスの取り外しを要せず、別の測距装置を用いることなく、シールドガラスに起因する測距誤差を低減することができる車載カメラおよびその調整方法ならびに車載カメラシステムを提供する。本発明は、車両のシールドガラスを通して車外の対象物を撮影する車載カメラ１０。車載カメラ１０は、一対の撮像素子と、誤差情報記憶部（記憶部１４）と、を備える。誤差情報記憶部は、一対の撮像素子の画素位置における対象物の結像位置の差に含まれるシールドガラスに起因する誤差に関する誤差情報を画素位置ごとに記憶する。

Description

車載カメラ、車載カメラの調整方法、車載カメラシステム
　本発明は、車載カメラおよびその調整方法ならびに車載カメラシステムに関する。
　従来から車載カメラの校正方法、校正装置及びプログラムに関する発明が知られている（たとえば下記特許文献１を参照）。特許文献１に記載された校正方法は、透明体を介さずに被写体を撮影して第１撮影画像を取得するステップと、透明体を介して被写体を撮影して第２撮影画像を取得するステップと、第１撮影画像の被写体の像の座標と、第２撮影画像の被写体の像の座標と、に基づいて、透明体に起因する被写体の像の座標のずれを示す絶対位置ずれを算出するステップと、前記絶対位置ずれを校正する補正パラメータを算出するステップと、前記補正パラメータを前記撮影装置に記憶するステップと、を含む（同文献、請求項１等を参照）。
　また、車載カメラの校正方法、校正装置、計測用具及びプログラムに関する別の発明も知られている（たとえば下記特許文献２を参照）。特許文献２に記載された校正方法は、ステレオカメラの撮影範囲に入るように設置された被写体とステレオカメラとの相対位置を計測するステップと、ステレオカメラにより撮影された被写体を含む撮影画像を取得するステップと、前記相対位置と前記撮影画像とに基づいてステレオカメラを校正する校正パラメータを決定するステップと、を含む（同文献、請求項１等を参照）。
特開２０１５－１６９５８３号公報 特開２０１６－００６４０６号公報
　前記特許文献１に記載された発明は、たとえば車両のシールドガラス等の透明体を取り外して被写体を撮影する必要があるという課題がある。また、前記特許文献２に記載された発明は、被写体とステレオカメラとの相対位置を計測するステップにおいて、レーザ測距計が必要になるという課題がある。
　本発明は、前記課題に鑑みてなされたものであり、その目的とするところは、シールドガラスの取り外しを要せず、別の測距装置を用いることなく、シールドガラスに起因する測距誤差を低減することができる車載カメラおよびその調整方法ならびに車載カメラシステムを提供することにある。
　前記目的を達成すべく、本発明の車載カメラは、車両のシールドガラスを通して対象物を撮影する車載カメラであって、一対の撮像素子と、該一対の撮像素子の画素位置における前記対象物の結像位置の差に含まれる前記シールドガラスに起因する誤差に関する誤差情報を前記画素位置ごとに記憶する誤差情報記憶部と、を有することを特徴とする。
　本発明によれば、車両のシールドガラスを通して既知の対象物を撮影することで、撮像素子の画素位置における既知の対象物の結像位置の情報に基づいて、シールドガラスに起因する誤差に関する誤差情報を画素位置ごとに検出して誤差情報記憶部に記憶することができる。そして、この誤差情報を用いて、一対の撮像素子の画素位置における対象物の結像位置の差を補正することができる。したがって、本発明によれば、シールドガラスの取り外しを要せず、別の測距装置を用いることなく、シールドガラスに起因する測距誤差を低減することができる。
本発明の一実施形態に係る車載カメラの構成を示すブロック図。 対象物の結像位置の差を示すグラフ。 誤差情報記憶部に記憶される誤差情報の一例を示すグラフ。 視差情報記憶部に記憶される視差情報の一例を示すグラフ。 図１に示す車載カメラの処理の一例を示すフロー図。 本発明の一実施形態に係る車載カメラの調整方法のフロー図。 図４に示す撮像工程の詳細を示すフロー図。 校正チャートのパターンの一例を示す図。 校正チャートの設置誤差の一例を示す平面図。 設置誤差の影響を受けたステレオカメラの単眼画像の一例を示す画像図。 設置誤差の影響を受けたステレオカメラの単眼画像の一例を示す画像図。 校正チャートの枠線の寸法に基づく設置距離の算出原理を示す概念図。 校正チャートを撮影した一対の撮像素子の結像イメージを示す模式図。 シールドガラスに起因する誤差の補正原理を示す概念図。 誤差検出工程で得られる視差グラフの一例。 校正チャートの設置誤差を考慮した補正原理を示す概念図。 補正量算出工程で算出される距離の補正量の一例を示すグラフ。 本発明の一実施形態に係る車載カメラシステムの構成を示すブロック図。
　以下、図面を参照して本発明の車載カメラ、車載カメラの調整方法、および車載カメラシステムの実施形態を説明する。
　［車載カメラ］
  図１は、本発明の一実施形態に係る車載カメラ１０の構成を示すブロック図である。
　本実施形態の車載カメラ１０は、たとえば、歩行者、周辺の車両、道路の白線や路面、標識や建物などの立体物を含む自動車周辺の様々な対象物の視覚的な画像情報と距離情報とを取得するステレオカメラ装置である。すなわち、本実施形態の車載カメラ１０は、車両に搭載され、車両前方の撮影対象領域の画像情報に基づいて車外環境を認識する装置である。車載カメラ１０は、車両のシールドガラスＳＧ（図７Ａ参照）を通して測定対象物を撮影することで、測定対象物を詳細に把握し、たとえば運転支援時の安全性の向上に寄与する。
　車載カメラ１０は、たとえば、ステレオカメラ１１と、画像入力インタフェース１２と、画像処理部１３と、記憶部１４と、演算処理部１５と、ＣＡＮ（Controller Area Network）インタフェース１６と、制御処理部１７と、を備える。ステレオカメラ１１は、左カメラ１１Ｌと右カメラ１１Ｒの一対のカメラを有している。ここでは図示を省略するが、左カメラ１１Ｌおよび右カメラ１１Ｒは、それぞれ、レンズと、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子と備えている。
　画像入力インタフェース１２、画像処理部１３、記憶部１４、演算処理部１５、ＣＡＮインタフェース１６、および制御処理部１７は、たとえば、ＣＰＵ（Central Processing
 Unit）等の演算装置、メモリ等の記憶装置、およびプログラム等を備えた、単数または複数のコンピュータユニットによって構成することができる。これらの各部は、たとえばバス１８を介して相互に接続されている。
　画像入力インタフェース１２は、ステレオカメラ１１を制御し、撮影した画像を取り込むためのインタフェースである。画像入力インタフェース１２は、バス１８を介して、画像処理部１３、演算処理部１５、記憶部１４、ＣＡＮインタフェース１６、および制御処理部１７等に接続され、ステレオカメラ１１の入出力部としても機能する。
　画像処理部１３は、画像入力インタフェース１２およびバス１８を介して取り込んだステレオカメラ１１の画像を処理する。画像処理部１３は、左カメラ１１Ｌの撮像素子ＩＥから得られる左画像と、右カメラ１１Ｒの撮像素子ＩＥから得られる右画像とを比較し、それぞれの画像に対して、撮像素子ＩＥに起因するデバイス固有の偏差の補正や、ノイズ補間などの画像補正を行う（図８から図１０参照）。
　また、画像処理部１３は、左カメラ１１Ｌの撮像素子ＩＥから得られる左画像と、右カメラ１１Ｒの撮像素子ＩＥから得られる右画像とを比較して、これら一対の撮像素子ＩＥの画素位置における対象物の結像位置の差を求める。画像処理部１３による処理中のデータや処理完了後のデータは、たとえばバス１８を介して記憶部１４に保存される。
　詳細については後述するが、一対の撮像素子ＩＥの画素位置における対象物の結像位置の差には、一対の撮像素子ＩＥの間の距離すなわち相対位置に起因する視差だけでなく、シールドガラスＳＧの形状に起因する対象物の結像位置の誤差が含まれている。画像処理部１３は、このシールドガラスＳＧに起因する結像位置の誤差に関する誤差情報を算出する。誤差情報は、撮像素子ＩＥの画素位置ごとに、後述する誤差情報記憶部１４Ａ（図４参照）に保存される。
　演算処理部１５は、たとえば、記憶部１４に保存された左カメラ１１Ｌと右カメラ１１Ｒの一対の撮像素子ＩＥの間の距離に起因する視差に関する視差情報を用い、測定対象物である対象物の距離を測定し、測定対象物を認識することで、車両周辺の環境を知覚する。演算処理部１５による対象物の認識には、必要に応じて、予め記憶された認識辞書を利用することができる。
　演算処理部１５による処理中のデータや処理後のデータは、たとえばバス１８を介して記憶部１４に保存される。演算処理部１５は、一対の撮像素子ＩＥによって撮影された画像に対して対象物の認識を行った後に、これらを用いて車両の制御量を計算することもできる。対象物、すなわち測定対象物には、たとえば、歩行者、周辺の車両、先行車のテールランプや対向車のヘッドライド、信号機、標識、その他の障害物などが含まれる。
　記憶部１４は、一対の撮像素子ＩＥの画素位置ごとに誤差情報を記憶する誤差情報記憶部１４Ａと、一対の撮像素子ＩＥの視差情報を記憶する視差情報記憶部１４Ｂとを備えている（図４参照）。また、記憶部１４は、演算処理部１５による対象物の認識結果等を記憶する。
　図２Ａは、ステレオカメラ１１の一対の撮像素子ＩＥの画素位置における対象物の結像位置の差を示すグラフである。図２Ｂは、誤差情報記憶部１４Ａに記憶される誤差情報の一例を示すグラフである。図２Ｃは、視差情報記憶部１４Ｂに記憶される視差情報の一例を示すグラフである。図２Ａから図２Ｃでは、ステレオカメラ１１の基線長に平行な横方向（ｘ軸方向）における撮像素子ＩＥの画素位置ごとに、それぞれ、結像位置の差、視差誤差δＤ、および視差Ｄを示している。
　誤差情報は、補正量として、図２Ｂに示す視差誤差δＤを含むことができる。視差誤差δＤは、一対の撮像素子ＩＥの画素位置において、屈折等、シールドガラスＳＧに起因して発生する対象物の結像位置の差である。図２Ｂに示す視差誤差δＤは、図２Ａに示す一対の撮像素子ＩＥの画素位置における対象物の結像位置の差に含まれている。
　図２Ｂに示す視差誤差δＤは、左カメラ１１Ｌの撮像素子ＩＥの画素位置における対象物の結像位置のシールドガラスＳＧに起因するずれ量δＬと、右カメラ１１Ｒの撮像素子ＩＥの画素位置における対象物の結像位置のシールドガラスＳＧに起因するずれ量δＲとの差δＬ－δＲである。視差誤差δＤを含む誤差情報は、たとえば、後述する車載カメラの調整方法Ｓ１００によって得ることができ、撮像素子ＩＥの画素位置ごとに誤差情報記憶部１４Ａに記憶される。
　誤差情報は、撮像素子ＩＥと対象物との距離に応じた複数の補正量に関する誤差情報Ｂを含むことができる。より具体的には、シールドガラスＳＧに起因する視差誤差δＤは、ステレオカメラ１１の光軸方向（ｚ軸方向）における対象物の距離に応じて変化する。そのため、誤差情報は、撮像素子ＩＥと対象物との複数の異なる距離に応じた視差誤差δＤに対応する複数の補正量を、誤差情報Ｂとして含むことができる。また、誤差情報は、後述するエーミング処理工程によって得られた特定の距離におけるシールドガラスＳＧに起因する誤差情報Ａを含むことができる。
　視差情報記憶部１４Ｂに記憶される視差情報は、図２Ｃに示す視差Ｄを含むことができる。視差Ｄは、たとえば、図２Ａに示すシールドガラスＳＧの影響を受けた一対の撮像素子ＩＥの画素位置における結像位置の差から、補正量として、図２Ｂに示す視差誤差δＤを差し引くことによって得ることができる。
　換言すると、図２Ａに示す一対の撮像素子ＩＥの画素位置における対象物の結像位置の差は、図２Ｂに示すシールドガラスＳＧに起因する視差誤差δＤと、図２Ｃに示す一対の撮像素子ＩＥの間の距離に起因する視差Ｄを含む。図２Ｃに示す視差Ｄは、シールドガラスＳＧの影響を受けた視差である図２Ａに示す結像位置の差から、シールドガラスＳＧに起因する図２Ｂに示す視差誤差δＤを差し引くことで、シールドガラスＳＧの影響が低減されている。
　ＣＡＮインタフェース１６は、画像処理部１３、演算処理部１５、および制御処理部１７の計算結果等を車両のＣＡＮ２０を介して車両制御装置３０に伝送する（図１４参照）。より具体的には、たとえば、画像処理部１３によって算出されシールドガラスＳＧに起因する誤差が補正された対象物の距離、演算処理部１５による対象物の認識結果等が、ＣＡＮインタフェース１６を介して車両制御装置３０に伝送される。
　制御処理部１７は、画像処理部１３や演算処理部１５等の異常動作やデータ転送時のエラーの発生などを監視し、異常動作を防止する。
　図３は、図１に示す車載カメラ１０の処理の一例を示すフロー図である。
　たとえば車両の走行時において、車載カメラ１０は、ステップＳ１において、ステレオカメラ１１の一対の撮像素子ＩＥによって撮影した画像を、画像入力インタフェース１２を介して取得する。取得された画像は、ステップＳ２において、画像処理部１３によって画像処理され、一対の撮像素子ＩＥの画素位置における対象物の結像位置の差が得られる。
　このとき、得られた結像位置の差を、誤差情報記憶部１４Ａに記憶された誤差情報Ａによって補正することができる。画像処理部１３の画像処理の結果は、ステップＳ３において、演算処理部１５による対象物の抽出および認識に用いられる。この演算処理部１５による対象物の抽出および認識の結果、対象物の位置、すなわち画像上の位置と実空間での基線長に沿う横方向の位置や、光軸方向の距離が得られる。
　しかし、誤差情報Ａは、通常のエーミング処理工程で得られた所定の近距離におけるシールドガラスＳＧに起因する誤差や撮像素子ＩＥの固有の癖を補正するための補正量である。そのため、たとえば、遠距離に存在する対象物の画像から得られた位置や距離は、依然としてシールドガラスＳＧに起因する誤差を含んでいる。
　そこで、ステップＳ４において、画像処理部１３によって誤差情報記憶部１４Ａに記憶された誤差情報Ｂを用い、対象物の横方向の位置や大まかな距離に応じて、当該対象物に適した補正処理を行う。誤差情報Ｂは、撮像素子ＩＥと対象物との複数の異なる距離に応じた視差誤差δＤに対応する複数の補正量である。これにより、遠距離に存在する対象物の画像から得られた位置や距離を、誤差情報Ｂを用いて補正し、シールドガラスＳＧに起因する測距誤差を低減することができる。
　最後に、ステップＳ５において、ＣＡＮインタフェース１６によって、演算処理部１５による対象物の認識結果や画像処理部１３による補正後の距離を出力する。
　このように、本実施形態の車載カメラ１０は、車両のシールドガラスＳＧを通して車外の対象物を撮影する。そのため、一対の撮像素子ＩＥの画素位置における対象物の結像位置の差には、視差だけでなく、シールドガラスＳＧのうねり等の形状に起因する誤差が含まれる。この誤差に対処するために、本実施形態の車載カメラ１０は、前述のように、シールドガラスＳＧに起因する誤差に関する誤差情報を画素位置ごとに記憶する誤差情報記憶部１４Ａを備えている。
　したがって、本実施形態の車載カメラ１０によれば、誤差情報記憶部１４Ａに記憶された誤差情報を用いて、一対の撮像素子ＩＥの画素位置における対象物の結像位置の差を、画素位置ごとに補正することができる。よって、本実施形態の車載カメラ１０によれば、シールドガラスＳＧに起因する測定誤差を低減し、対象物の距離の測定や認識をより正確に行うことができる。
　また、本実施形態の車載カメラ１０は、一対の撮像素子ＩＥの画素位置における対象物の結像位置の差に含まれる視差に関する視差情報を記憶する視差情報記憶部１４Ｂを備えている。これにより、視差情報記憶部１４Ｂに記憶された視差情報に基づいて、対象物の距離の測定や認識をより正確に行うことができる。
　また、本実施形態の車載カメラ１０は、誤差情報記憶部１４Ａに記憶された誤差情報が、撮像素子ＩＥと対象物との距離に応じた複数の補正量である誤差情報Ｂを含んでいる。
これにより、対象物との距離に応じて変化するシールドガラスＳＧに起因する測距誤差をより正確に補正することが可能になる。
　［車載カメラの調整方法］
  図４は、図１に示す車載カメラ１０の調整方法の一例を示すフロー図である。本実施形態の車載カメラの調整方法Ｓ１００は、たとえば前述のように、車両のシールドガラスＳＧを通して対象物を撮影する車載カメラ１０の調整方法である。本実施形態の車載カメラの調整方法Ｓ１００は、たとえば、図１に示す車載カメラ１０のステレオカメラ１１、画像入力インタフェース１２、画像処理部１３、演算処理部１５、記憶部１４を用いて実施することができる。
　本実施形態の車載カメラの調整方法Ｓ１００は、たとえば、撮像工程Ｓ１０と、誤差検出工程Ｓ２０と、補正量算出工程Ｓ３０とを含むことができる。撮像工程Ｓ１０は、ステレオカメラ１１の少なくとも一方の撮像素子ＩＥによってシールドガラスＳＧを通して対象物を撮影する工程である。誤差検出工程Ｓ２０は、一対の撮像素子ＩＥの画素位置における対象物の結像位置の差に含まれるシールドガラスＳＧに起因する誤差に関する誤差情報を画素位置ごとに検出する工程である。補正量算出工程Ｓ３０は、誤差情報を用いて対象物の結像位置の差に含まれる視差情報を得るための補正量を算出する工程である。以下、各工程について、より詳細に説明する。
　（撮像工程）
  図５は、図４に示す撮像工程Ｓ１０の詳細を示すフロー図である。従来から、たとえば車両工場において車載カメラが車両に搭載された後、光軸や測距誤差の補正量等を計算するエーミング（Aiming）処理工程が行われている。本実施形態の車載カメラの調整方法Ｓ１００は、撮像工程Ｓ１０に、従来と同様のエーミング処理工程Ｓ１１を含むことができる。撮像工程Ｓ１０は、たとえば、画像取得工程Ｓ１２と、単眼画像処理工程Ｓ１３と、チャート設置誤差算出工程Ｓ１４と、エーミング処理工程Ｓ１１と、を含む。
　画像取得工程Ｓ１２では、まず、ステレオカメラ１１によって車両のシールドガラスＳＧを通して対象物を撮影し、画像入力インタフェース１２によって、左カメラ１１Ｌと右カメラ１１Ｒの一対の撮像素子ＩＥの少なくとも一方から画像データを取得する。本実施形態において、撮像工程Ｓ１０は、左カメラ１１Ｌと右カメラ１１Ｒの一対の撮像素子ＩＥによって撮影された一対の画像のうち、一方の画像を用いる単眼画像処理工程Ｓ１３と、双方の画像データを用いるステレオ画像処理工程Ｓ１１ａとを有している。
　本実施形態の画像取得工程Ｓ１２では、エーミング処理工程Ｓ１１のステレオ画像処理工程Ｓ１１ａに用いるために、一対の撮像素子ＩＥから画像データを取得する。しかし、撮像工程Ｓ１０とは別にエーミング処理工程Ｓ１１を行う場合には、画像取得工程Ｓ１２において、ステレオカメラ１１の一対の撮像素子ＩＥのうち、一方のみから画像データを取得してもよい。画像取得工程Ｓ１２において撮影する対象物としては、図６に示す校正チャートＣを用いることができる。
　図６は、校正チャートＣのパターンの一例を示す図である。校正チャートＣは、ステレオカメラ１１の校正に用いられる平面のパターンを有するチャートである。校正チャートＣのパターンは、たとえば、等間隔に配置された複数の縦線ＶＬからなる縦縞パターンと、矩形の枠線ＦＢを含んでいる。また、校正チャートＣのパターンは、矩形の枠線ＦＢの内側にランダムに配置された複数の点からなるランダムパターンＲＰを有してもよい。また、図示は省略するが、校正チャートＣのパターンは、ステレオカメラ１１の光軸を合わせるための十字パターンを有してもよい。
　複数の縦線ＶＬは、たとえば、ステレオカメラ１１の基線長に概ね平行な方向に等間隔に配置され、鉛直方向に概ね平行になるように配置される。なお、縦線ＶＬに替えて、等間隔に並ぶ別のパターンを用いることも可能である。枠線ＦＢは、ステレオカメラ１１の基線長に平行な方向を長手方向とする長方形である。複数の縦線ＶＬは、枠線ＦＢの短辺の方向に平行に延び、枠線ＦＢの長辺に沿って等間隔に並んでいる。
　校正チャートＣは、ステレオカメラ１１の光軸方向の前方の所定の距離に、ステレオカメラ１１の光軸に対して概ね垂直になるように配置される。ステレオカメラ１１から校正チャートＣまでの距離は、たとえば３ｍから５ｍ程度である。
　単眼画像処理工程Ｓ１３では、左カメラ１１Ｌと右カメラ１１Ｒの一対の撮像素子ＩＥの一対の画像のうち、一方の画像データを用いた画像処理を行う。なお、単眼画像処理工程Ｓ１３では、左カメラ１１Ｌの撮像素子ＩＥから取得した画像と、右カメラ１１Ｒの撮像素子ＩＥから取得した画像のそれぞれに、画像処理を行うこともできる。単眼画像処理工程Ｓ１３では、校正チャートＣの複数の縦線ＶＬの位置や、枠線ＦＢの縦横の寸法が画像上の数カ所で算出される。
　チャート設置誤差算出工程Ｓ１４では、単眼画像処理工程Ｓ１３において算出された画像上の校正チャートＣのパターンの縦線ＶＬの位置や枠線ＦＢの寸法が、予め記憶部１４等に保存された実際の校正チャートＣのパターンの縦線ＶＬの位置や枠線ＦＢの縦横の寸法と比較される。これにより、校正チャートＣの設置誤差が算出される。
　図７Ａは、校正チャートＣの設置誤差の一例を示す平面図である。図７Ｂおよび図７Ｃは、設置誤差の影響を受けたステレオカメラ１１の単眼画像の一例を示す画像図である。
　図７Ａに示すように、校正チャートＣの設置誤差は、校正チャートＣが本来配置されるべき基準位置Ｃ０と実際に校正チャートＣが配置された位置とのずれである。設置誤差は、たとえば、ステレオカメラ１１の基線長に平行な横方向（ｘ軸方向）の位置の誤差、ステレオカメラ１１の光軸方向（ｚ軸方向）の設置距離Ｚの誤差ΔＺ、ステレオカメラ１１の基線長および光軸方向に垂直な縦方向（ｙ軸方向）の位置の誤差を含む。また、設置誤差は、ｘ、ｙ、ｚ軸周りのロール角、ピッチ角、ヨー角の設置誤差を含む。
　図７Ａに示すように、ヨー角θ（あおり）の設置誤差を有する場合には、図７Ｂに示すように、単眼画像における校正チャートＣの枠線ＦＢのパターンは、本来の長方形から台形に歪む。この場合、単眼画像処理工程Ｓ１３では、単眼画像における枠線ＦＢの長手方向（ｘ軸方向）両端で、枠線ＦＢの高さ方向（ｙ軸方向）の寸法を算出する。より具体的には、黒色の枠線ＦＢと、校正チャートＣの白地部分との境界が画像上のどこにあるかを算出する。これにより、単眼画像における枠線ＦＢの寸法を算出し、チャート設置誤差算出工程Ｓ１４においてヨー角θの設置誤差を算出することができる。
　また、図７Ａに示すヨー角θの設置誤差を有さず、基準位置Ｃ０よりも実際の設置位置が遠くなる設置距離Ｚの誤差ΔＺを有する場合には、図７Ｃに示すように、単眼画像における校正チャートＣの枠線ＦＢのパターンは、本来の寸法よりも縮小される。一方、基準位置Ｃ０よりも実際の設置位置が近くなる設置距離Ｚの誤差を有する場合には、単眼画像における校正チャートＣの枠線ＦＢのパターンは、本来の寸法よりも拡大される。このように、縮小または拡大された単眼画像の枠線ＦＢの寸法を、前述のように算出することで、チャート設置誤差算出工程Ｓ１４において設置距離の誤差を算出することができる。
　また、ヨー角θの設置誤差と設置距離Ｚの設置誤差の双方を有する場合や、ロール角、ピッチ角の設置誤差を有する場合にも、同様に設置誤差を算出することができる。
　図８は、校正チャートＣの枠線ＦＢの寸法に基づく設置距離Ｚの算出原理を示す概念図である。撮像素子ＩＥの撮像面における画像の高さ方向（ｙ軸方向）の寸法ｈと、ステレオカメラ１１の焦点距離ｆと、校正チャートＣの枠線ＦＢの予め測定された高さ方向の寸法Ｈから、ステレオカメラ１１の光軸方向（ｚ軸方向）における校正チャートＣの設置距離Ｚは、Ｚ＝ｆＨ／ｈとなる。しかし、実際には、ステレオカメラ１１と校正チャートＣとの間に配置されたシールドガラスＳＧのうねりの影響を受けるため、後述する誤差検出工程Ｓ２０が行われる。
　次に、撮像工程Ｓ１０に含まれるエーミング処理工程Ｓ１１について説明する。エーミング処理工程Ｓ１１は、図５に示すように、ステレオ画像処理工程Ｓ１１ａと、チャート測距工程Ｓ１１ｂと、測距誤差算出工程Ｓ１１ｃとを有することができる。ステレオ画像処理工程Ｓ１１ａは、画像取得工程Ｓ１２においてステレオカメラ１１の左カメラ１１Ｌおよび右カメラ１１Ｒの一対の撮像素子ＩＥによって車両のシールドガラスＳＧを通して撮影された校正チャートＣの画像を用いる。
　ステレオ画像処理工程Ｓ１１ａでは、たとえば、一対の撮像素子ＩＥによって撮影された校正チャートＣのランダムパターンＲＰの一対の画像のデータのそれぞれについて、撮像素子ＩＥの固有の癖を吸収するための補正などの画像処理を行う。また、ステレオカメラ１１の一対の撮像素子ＩＥによって撮影された校正チャートＣの一対の画像のデータから、ステレオカメラ１１の視差に関する情報である視差画像を計算する。
　すなわち、ステレオ画像処理工程Ｓ１１ａでは、一対の撮像素子ＩＥの画素位置における校正チャートＣのパターンの結像位置の差が、視差画像として得られる。しかし、この結像位置の差としての視差画像は、屈折等、シールドガラスＳＧに起因する視差誤差を含んでいる。
　チャート測距工程Ｓ１１ｂでは、ステレオ画像処理工程Ｓ１１ａで得られたステレオ画像の所定部分を切り出し、視差値の分布である視差画像などの視差情報から、校正チャートＣまでの距離Ｚを算出する。算出された視差画像を含む視差情報や設置距離Ｚは、記憶部１４に記憶され保存される。
　測距誤差算出工程Ｓ１１ｃでは、チャート測距工程Ｓ１１ｂにおいて算出された校正チャートＣの設置距離Ｚと、予め記憶部１４に入力されて保存された校正チャートＣのパターンの実際の位置および寸法などの設計情報とを用いて、測距誤差が算出される。算出された測距誤差は、所定の距離に配置された校正チャートＣのパターンに基づいて算出される。
　そのため、校正チャートＣが配置された当該所定の距離においては、シールドガラスＳＧに起因する誤差や、撮像素子ＩＥの固有の癖を補正することが可能である。算出された測距誤差は、記憶部１４の誤差情報記憶部１４Ａに、誤差情報Ａとして記憶することができる（図４、図５参照）。以上により、図４に示す撮像工程Ｓ１０が終了する。
　従来のエーミング処理工程Ｓ１１では、校正チャートＣの設置誤差がなく、測距誤差がシールドガラスＳＧの影響によるものと仮定し、所定の近距離に配置された校正チャートＣのパターンの測定誤差に基づいて、異なる距離の対象物に対する測距誤差を一律に補正するための補正量を求めていた。
　これに対し、本実施形態の車載カメラの調整方法Ｓ１００では、図４および図５に示す撮像工程Ｓ１０において、従来と同様のエーミング処理工程Ｓ１１に対し、単眼画像処理工程Ｓ１３とチャート設置誤差算出工程Ｓ１４が付加されている。そのため、たとえば、チャート設置誤差算出工程Ｓ１４で算出され、記憶部１４に保存された校正チャートＣの設置誤差の算出結果を、チャート測距工程Ｓ１１ｂにおいて参照し、校正チャートＣの設置位置の補正などの設計情報の補正等を行うことが可能になる。
　（誤差検出工程）
  撮像工程Ｓ１０の終了後は、図４に示すように、誤差検出工程Ｓ２０が行われる。誤差検出工程Ｓ２０は、一対の撮像素子ＩＥの画素位置における対象物の結像位置の差に含まれるシールドガラスＳＧに起因する誤差に関する誤差情報Ｂを、撮像素子ＩＥの画素位置ごとに検出する工程である。誤差検出工程Ｓ２０では、たとえば、シールドガラスＳＧのうねりに対する処理等、シールドガラスＳＧに起因する誤差を検出する処理が行われる。
　ここで、シールドガラスＳＧのうねりとは、シールドガラスＳＧの局所的な歪であり、たとえば、シールドガラスＳＧの上端から下端へ延びる筋状の凹凸や、シールドガラスＳＧの局所的な凹部や凸部である。前述の撮像工程Ｓ１０において、このようなうねりを有するシールドガラスＳＧを通して対象物を撮影する車載カメラ１０の一対の撮像素子ＩＥの画素位置における対象物の結像位置の差は、シールドガラスＳＧに起因する誤差に関する誤差情報を含んでいる。
　より具体的には、前述のようなうねりを有するシールドガラスＳＧは、対象物からの光を屈折させ、ステレオカメラ１１に視差誤差を生じさせて距離の測定誤差を生じさせる。
そのため、誤差検出工程Ｓ２０では、シールドガラスＳＧに起因する視差誤差等の誤差を検出する処理が行われる。
　誤差検出工程Ｓ２０では、まず、図６に示す校正チャートＣを、車載カメラ１０から所定の距離に設置してシールドガラスＳＧを通して撮影する。校正チャートＣの設置距離Ｚは、たとえば５ｍ程度にすることができる。校正チャートＣのパターンのうち、等間隔の複数の縦線ＶＬによる縦縞パターン（等間隔パターン）は、シールドガラスＳＧの局所的な歪みによる視差誤差を、ステレオカメラ１１の基線長に平行なＸ軸方向における異なる位置の部分ごとに計算するために重要な役割を果たす。
　図９は、校正チャートＣの縦縞パターンを撮影したステレオカメラ１１の一対の撮像素子ＩＥの結像イメージとして左画像および右画像を示す模式図である。図１０は、誤差検出工程Ｓ２０におけるシールドガラスＳＧのうねりに起因する距離誤差の補正原理を示す概念図である。図１１は、誤差検出工程Ｓ２０で得られる視差グラフの一例である。
　図１０に示すように、誤差検出工程Ｓ２０では、近距離に配置された校正チャートＣのパターンをステレオカメラ１１によってシールドガラスＳＧを通して撮影する。そして、図９に示すように、一対の撮像素子ＩＥによって得られた校正チャートＣのパターンの左画像と右画像の視差を計算すると、図１１に示すように、シールドガラスＳＧのうねりを反映した視差グラフＳｘが得られる。このとき、図１０に示す校正チャートＣ上の点ａ、ｂに対する視差値Ｓａ、Ｓｂは、右の撮像素子ＩＥ上の画素位置における点ａ、ｂの投影点Ｒａ、Ｒｂ、および、左の撮像素子ＩＥ上の画素位置における点ａ、ｂの投影点Ｌａ、Ｌｂとの間に、以下の関係式（１）および（２）が成立する。
　Ｓａ＝Ｌａ－Ｒａ　　　（１）
  Ｓｂ＝Ｌｂ－Ｒｂ　　　（２）
　さらに、たとえば５０ｍ先の遠距離にある点ｄの視差値Ｓｄは、たとえば５ｍ先の近距離にある校正チャートＣ上の点ａ、ｂから計算することができる。より詳細には、遠距離にある点ｄの視差値Ｓｄ（距離）は、近距離にある点ａの左の撮像素子ＩＥに対する投影点Ｌａと、近距離にある点ｂの右の撮像素子ＩＥに対する投影点Ｒｂから計算することができる。
　左の撮像素子ＩＥに対する投影点Ｌａと右の撮像素子ＩＥに対する投影点Ｒｂは、視差グラフＳｘに加えて、別の計算手段によって導くことができる。このように、左の撮像素子ＩＥに対する投影点Ｌａと右の撮像素子ＩＥに対する投影点Ｒｂが求められた場合、図１０に示す遠距離にある点ｄの視差値Ｓｄは、投影点Ｌａ、投影点Ｒｂ、および前記式（１）を用いて、以下の式（３）によって求めることができる。
　Ｓｄ＝Ｌａ－Ｒｂ＝Ｓａ＋Ｒａ－Ｒｂ　　　（３）
　また、図１０に示す遠距離にある点ｅの視差値Ｓｅは、近距離にある校正チャートＣ上の点ｂの左の撮像素子ＩＥに対する投影点Ｌｂと、近距離にある校正チャートＣ上の点ｃの右の撮像素子ＩＥに対する投影点Ｒｃと、前記式（２）を用い、以下の式（４）によって求めることができる。
　Ｓｅ＝Ｌｂ－Ｒｃ＝Ｓｂ＋Ｒｂ－Ｒｃ　　　（４）
　図１０に示す近距離にある点ａと点ｂの間隔と、点ｂと点ｃの間隔は、遠距離にある対象物Ｔの距離に応じて以下の式（５）によって計算することができる。したがって、対象物Ｔの距離やサイズに応じた視差変換が可能になる。
　（基線長）－（基線長）×（校正チャートＣ設置距離／対象物Ｔの距離）　（５）
　以上の計算は、校正チャートＣの設置位置の誤差がないと仮定した場合の計算である。
次に、校正チャートＣの設置誤差を考慮した視差の誤差の求め方について説明する。図１２は、校正チャートＣの設置誤差を考慮した補正原理を示す概念図である。
　図１２において、Ｏａは、撮像素子ＩＥ上の光軸または基準となる校正チャートＣのパターンの縦線ＶＬの位置である。Ｖａは、撮像素子ＩＥの撮像面の傾きを示すベクトルである。Ｏｂは、校正チャートＣ上の光軸上の点または、基準となる校正チャートＣのパターンの縦線ＶＬの位置である。Ｖｂは、校正チャートＣの傾きを示すベクトルである。Ｏｃは、遠方の対象物Ｔの横位置の基準となる点（Ｏａ、Ｏｂと光軸方向に重なる点）である。Ｖｃは、遠方の対象物Ｔの測定面を示すベクトルである。ここで、Ｖａ、Ｖｂ、Ｖｃは長さが１の単位ベクトルとする。また、校正チャートＣ上の点Ｐｂや、撮像素子ＩＥ上の点Ｐａは、それぞれ以下の式（６）および（７）を満たすものとする。
　Ｐｂ＝Ｏｂ＋ｋｂ×Ｖｂ　　　（６）
  Ｐａ＝Ｏａ＋ｋａ×Ｖａ　　　（７）
　この場合、距離の補正量は以下の手順によって算出することができる。すなわち、以下の各手順は、誤差情報を用いて対象物の結像位置の差に含まれる視差情報を得るための補正量を算出する補正量算出工程Ｓ３０に含むことができる。
　（補正量算出工程）
  １）縦線の撮像位置の抽出
  まず、図９に示すように、ステレオカメラ１１の一対の撮像素子ＩＥによって撮像した右画像と左画像のそれぞれについて、校正チャートＣの縦線ＶＬの位置を測定する。このとき、図１２に示す左の撮像素子ＩＥの正面の校正チャートＣ上の縦線ＶＬを基準の縦線ＶＬとする。そして基準の縦線ＶＬの位置をＬ０とし、基準の縦線ＶＬの左側に等間隔に並んだ複数の縦線ＶＬの位置を、基準の縦線ＶＬから左方向へ、順次、Ｌ－１、Ｌ－２、Ｌ－３、…とする。また、基準の縦線ＶＬの右側に等間隔に並んだ複数の縦線ＶＬの位置を、基準の縦線ＶＬから右方向へ、順次、Ｌ＋１、Ｌ＋２、Ｌ＋３、…とする。
　また、右の撮像素子ＩＥの正面の校正チャートＣ上の縦線ＶＬを基準の縦線ＶＬとする。そして基準の縦線ＶＬの位置をＲ０とし、基準の縦線ＶＬの左側に等間隔に並んだ複数の縦線ＶＬの位置を、基準の縦線ＶＬから左方向へ、順次、Ｒ－１、Ｒ－２、Ｒ－３、…とする。また、基準の縦線ＶＬの右側に等間隔に並んだ複数の縦線ＶＬの位置を、基準の縦線ＶＬから右方向へ、順番にＲ＋１、Ｒ＋２、Ｒ＋３、…とする。
　そして、パタンマッチングにより、右画像と左画像の縦線ＶＬの位置をサブピクセルで計算する。その結果として、以下の（８）に示すように、左画像上の縦線ＶＬの位置［ｐｉｘ］と、右画像上の縦線ＶＬの位置［ｐｉｘ］の複数のペアが得られる。
Figure JPOXMLDOC01-appb-M000001
　さらに、校正チャートＣ上の縦線ＶＬの位置の設計値としてＫｂｘが既知であり、校正チャートＣ上の各縦線ＶＬの位置に対応する右画像上の縦線ＶＬの位置をＫａｘで表した、以下に示すような複数の位置のペアが得られる。
Figure JPOXMLDOC01-appb-M000002
　同様に、以下の関係が得られる。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　これらの関係式で、特に重要なのが、校正チャートＣ上の縦線ＶＬの位置の設計値Ｋｂと各種測定値との関係を表した、（９）から（１１）の関係式である。
　２）行列パラメータ計算
  この点をＫｂの基準点（０番目）とし、その右隣りｂの縦線ＶＬが、右画面上のａの位置に投影されたとする。これを、（Ｋｂ１，Ｋａ１）とする。このような値のペアが、以下の（１２）に示すように、縦線ＶＬの数だけ得られる。
Figure JPOXMLDOC01-appb-M000005
　ここで、以下の式（１３）は、以下の式（１４）のように展開できる。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
　これが、任意のＫｂ、Ｋａのペア（Ｋｂ，ｘ，Ｋａ，ｘ）に対して成り立つ必要がある。すなわち、解は、求めたいβ１からβ４に対して線形式である。そこで、以下のデータ（１５）を入力として、最小二乗法によって以下の式（１６）を解いて、β１からβ４を解く。
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
　したがって、問題は、以下の式（１７）となる。
Figure JPOXMLDOC01-appb-M000010
　ただし、上記の式（１７）は、β１からβ４に対して不定解を持つ。すなわち、ある解を持つ場合、その定数倍もまた解となる。従って、別の手段を用いてβ１からβ４のいずれかの値を決める必要がある。
　なお、上記の式（１７）からβ３＝０であることが導かれる。残りのβ１、β２、β４の係数である、ｋａ、ｋａｋｂ、－ｋｂを３次元空間にプロットすると、解（β１、β２、β４）は、プロット点（ｋａ、ｋａｋｂ、－ｋｂ）が構成する平面に対して直交するベクトルという意味を持つ。このプロット点群（ｋａ、ｋａｋｂ、－ｋｂ）は、放物線様の一列を成し、その作る部分空間は平面であることが分かる。
　３）チャート設置位置の算出
  以上により，β１からβ４の値が導かれた。更に、このβ１からβ４の値を行列とした場合、図１０の校正チャートＣ上の点の関係は、以下の（１８）のような関係式が成り立つ。
Figure JPOXMLDOC01-appb-M000011
　前述のように、単眼画像処理によって求めた縦線ＶＬの位置から、β１からβ４を不定解として求めることができる。すなわち、あるβ１からβ４が解とすると、その定数倍：（β１，β２，β３，β４）＝ｃ・（β１，β２，β３，β４）もまた、解となる。
　ここで、上記の関係式（１８）から、β１が校正チャートＣの設置位置、正確には、校正チャートＣの設置距離Ｚを焦点距離ｆで割った値を表す量であり、β４が校正チャートＣの設置角度を表す量であることが分かる。したがって、別の手段において、校正チャートＣの設置距離Ｚまたは設置角度が分かれば、片方からもう一方が導けることになる。
　校正チャートＣの設置誤差は、前述のように撮像工程Ｓ１０に含まれる単眼画像処理工程Ｓ１３およびチャート設置誤差算出工程Ｓ１４において算出され、記憶部１４に記憶されている。そのため、記憶部１４に記憶された校正チャートＣのヨー角θの設置誤差を用い、ｓｉｎθを求めると、これはβ４の近似値となる。これにより、校正チャートＣの設置位置β１を導くことができる。
　なお、前述の撮像工程Ｓ１０に含まれる単眼画像処理工程Ｓ１３およびチャート設置誤差算出工程Ｓ１４において算出された校正チャートＣの設置距離Ｚの誤差ΔＺは、シールドガラスＳＧによる影響を受けるおそれがある。具体的には、自動車のシールドガラスＳＧは、縦方向にも一定の曲率で湾曲しているため、そのレンズ効果によって、ステレオカメラ１１の一対の撮像素子ＩＥで撮影した画像が真値に対して拡大または縮小することがある。
　前述の単眼画像処理工程Ｓ１３およびチャート設置誤差算出工程Ｓ１４において、シールドガラスＳＧの影響を抑制するためには、角度を用いることが好ましい。角度を用いることで、β行列の展開式から、正確な距離を求めることができるためである。すなわち、校正チャートＣの縦線ＶＬのパターンから求めたβ行列が得られ、このうちβ４のパラメータが校正チャートＣの傾きを表すため、これを元に校正チャートＣの設置誤差をβ１から逆算することができる。これは、シールドガラスＳＧの縦方向のレンズ効果を打ち消すために効果的である。一方で、シールドガラスＳＧの湾曲による影響が少ない場合には、図８に示すように、設置距離Ｚは、Ｚ＝ｆＨ／ｈによって求めてもよい。
　以下、β行列と校正チャートＣの設置位置の関係について、より詳細に説明する。
　まず、図１２に示すように、右の撮像素子ＩＥにおける理想のピンホールＰＨを、右ピンホール原点ＯＲとすると、β３は恒常的に０であり、β１は、校正チャートＣ上の点Ｏｂまでの距離、すなわち、右ピンホール原点ＯＲから点Ｏｂまでの距離と、右の撮像素子ＩＥの仮想の撮像面上の点Ｏａまでの距離の比となる。この解は、点Ｏａが点Ｏｂと右ピンホール原点ＯＲを結ぶ直線上にある限り成立する。また、平面幾何における外積の性質から、以下の式（１９）を導くことができる。
Figure JPOXMLDOC01-appb-M000012
　上記式（１９）を導くために、ベクトルＶａ、Ｖｂは単位ベクトルであることを利用している。もしも、ｓｉｎθＶａが１（ＯａとＶａが垂直）ならば、β４は、カメラ光軸（右ピンホール原点ＯＲと点Ｏｂを結ぶ直線）に対するｓｉｎ角を表すことになる。
４）ガラスうねり効果の計算１　前述のように、誤差検出工程Ｓ２０は、一対の撮像素子ＩＥの画素位置における対象物の結像位置の差に含まれるシールドガラスＳＧに起因する誤差に関する誤差情報を、撮像素子ＩＥの画素位置ごとに検出する工程である。ここで、誤差検出工程Ｓ２０において行われるシールドガラスＳＧに起因する誤差を検出する処理であるシールドガラスＳＧのうねりに対する処理について説明する。
　まず、シールドガラスＳＧのうねりの効果を計算する。この計算処理では、遠方光点と校正チャートＣ上の光点の関係は、理論、すなわち、ガラスの歪みを受けないピンホールモデルで求める。そして、校正チャートＣ上の光点と、撮像素子ＩＥの投影面の関係を実際の観測値、すなわちシールドガラスＳＧの歪みの影響を受けた校正チャートＣの縦線ＶＬの位置の変位から勘案し、遠方光点による視差歪みを計算する。具体的には、ガラスのうねりの効果の計算処理は、以下の処理から成る。
　まず、遠方光点ｋｃに対して、チャート上のｋｂ１、ｋｂ２の関係式：ｋｂ１＝ｆ１（ｋｂ２）、ｋｂ２＝ｆ２（ｋｂ１）を求める。これらの関係式は、前述のβ行列に基づいて導かれる。次に、チャート上の点ｋｂが、左の撮像素子ＩＥの撮像面、右の撮像素子ＩＥの撮像面に投影される位置は、校正チャートＣの縦線ＶＬの位置の解析により、Ｌ(ｋｂ)とＲ(ｋｂ)のグラフとして求められている。次に、遠方光点ｋｃの視差のずれ量を、この光点の校正チャートＣ上の交差点ｋｂ１、ｋｂ２に対して、視差＝Ｌ（ｋｂ１）－Ｒ（ｋｂ２）により求める。
５）ガラスうねり効果の計算２　以上により、たとえば３５ｍ先の遠距離に光点ｃがあるとき、ステレオカメラ１１の右の撮像素子ＩＥによって撮影された右画像上での左右換算投影点の関係式：ａ２=ａ２（ｃ)、ａ１＝ａ１（ｃ）を求めることが出来る。このようにたとえば３．５ｍ先の近距離の校正チャートＣ上の等間隔点、すなわち等間隔に配置された複数の縦線ＶＬを解析する事で、以下の（２０）に示すように、ステレオカメラ１１と校正チャートＣとの相対的な位置関係を表すβ行列の具体的な値を得ることができる。
Figure JPOXMLDOC01-appb-M000013
　このとき、光点ｃの右の撮像素子ＩＥへの投影点ｂ２は、Ｐｂ２＝Ｏｂ＋ｋｂ２×Ｖｂとして、この係数ｋｂ２を、ｋｂ２＝関数１（ｋｃ）によって求めることができる。同様に、光点ｃの左の撮像素子ＩＥへの投影点ｂ１は、Ｐｂ１＝Ｏｂ＋ｋｂ１×Ｖｂとして、この係数ｋｂ１を、ｋｂ１＝関数２（ｋｃ）によって求めることができる。さらに、投影点ｂ２は、撮像面上の投影点ａ２（＝Ｏａ＋ｋａ２×Ｖａ）と、ｋａ２＝関数３（ｋｂ２）という関係にある。
　同様に、投影点ｂ１の、撮像面上の投影点ａ１（＝Ｏａ＋ｋａ１×Ｖａ）の関係は、ｋａ１＝関数４（ｋｂ１）である。したがって、たとえば３５ｍ先の遠距離に光点ｃがあるとき、その右画像上での左右換算投影点：ａ２＝ａ２（ｃ）、ａ１＝ａ１（ｃ）の関係式は、ｋａ２＝関数３（関数１（ｋｃ）)、ｋａ１＝関数４（関数２（ｋｃ））と求めることができる。
　図１３は、以上のシールドガラスＳＧのうねりの計算処理に基づく距離の補正量の一例を示すグラフである。○（丸印）でプロットされたグラフは、たとえば３．５ｍ先の近距離における左右成分であり、△（三角印）でプロットされたグラフは、近距離における左右成分から推定した、たとえば３５ｍ先の遠距離における左右成分である。
　このように、たとえば３．５ｍ先の近距離の校正チャートＣ上の等間隔点である縦線ＶＬを解析する事で、ステレオカメラ１１と校正チャートＣとの相対的な位置関係を表すβ行列の具体的な値を得ることができる。これにより、図１３に示すように、ＲとΔＲの関係式を明示的に求めることができる。すなわち、近距離の校正チャートＣ上の等間隔点である縦線ＶＬを解析する事で、誤差情報を用いて対象物の結像位置の差に含まれる視差情報を得るための補正量を算出することができる。
　以上のように、本実施形態の車載カメラの調整方法Ｓ１００は、車両のシールドガラスＳＧを通して対象物を撮影し、車載カメラ１０を調整する方法であり、前述のように、撮像工程Ｓ１０と、誤差検出工程Ｓ２０と、補正量算出工程Ｓ３０とを有している。これにより、撮像工程Ｓ１０において、撮像素子ＩＥによってシールドガラスＳＧを通して対象物を撮影することができる。また、誤差検出工程Ｓ２０において、一対の撮像素子ＩＥの画素位置における対象物の結像位置の差に含まれるシールドガラスＳＧに起因する誤差に関する誤差情報を画素位置ごとに検出することができる。そして、誤差検出工程Ｓ２０において得られた誤差情報を用いて対象物の結像位置の差に含まれる視差情報を得るための補正量を算出することができる。
　したがって、本実施形態の車載カメラの調整方法Ｓ１００によれば、従来の車載カメラの調整方法のように、シールドガラスＳＧの取り外しを要しない。加えて、別の測距装置を用いることなく、シールドガラスＳＧに起因する測距誤差を低減することができる。
　また、本実施形態の車載カメラの調整方法Ｓ１００は、前述のように、対象物を撮影する撮像工程Ｓ１０において、シールドガラスＳＧを通して一対の撮像素子ＩＥによって校正チャートＣを撮影し、該校正チャートＣのパターンと一対の撮像素子ＩＥの画素位置における該パターンの結像位置とを用いて誤差情報を得る。すなわち、遠距離の対象物を撮影することなく、近距離に配置した校正チャートＣを用いて、遠距離の対象物に対する距離の補正量を算出し、測距誤差を低減することができる。したがって、本実施形態の車載カメラの調整方法Ｓ１００は、車両工場だけでなく、カーディーラーなどの限られたスペースにおいても行うことができる。
　また、本実施形態の車載カメラの調整方法Ｓ１００は、校正チャートＣのパターンが、等間隔に配置された複数の縦線ＶＬを含む。これにより、前述のように、近距離に配置した校正チャートＣを用いて、遠距離の対象物に対する距離の補正量を算出し、測距誤差を低減することができる。
　また、本実施形態の車載カメラの調整方法Ｓ１００は、校正チャートＣのパターンが、矩形の枠線ＦＢを含む。これにより、前述のように、校正チャートＣの設置誤差を容易かつ正確に算出することが可能になる。
　［車載カメラシステム］
  図１４は、本発明の一実施形態に係る車載カメラシステム１００の概略構成を示すブロック図である。本実施形態の車載カメラシステム１００は、たとえば、車両に搭載されるシステムであり、前述の車載カメラ１０と、車両制御装置３０とを備えている。車両制御装置３０は、車載カメラ１０による対象物の距離や速度の算出結果および対象物の認識結果に基づいて、車両のブレーキ４０、アクセル５０、ブザー等の警報装置６０、エンジン７０、ステアリング８０、サスペンション９０等を制御する。
　本実施形態の車載カメラシステム１００は、前述の車載カメラ１０を含んでいる。そのため、車載カメラ１０によって、シールドガラスＳＧに起因する測定誤差を低減し、対象物の距離の測定や認識をより正確に行うことができ、車両制御装置３０による制御の精度や信頼性を向上させることができる。
　以上、図面を用いて本発明の実施の形態を詳述してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲における設計変更等があっても、それらは本発明に含まれるものである。
１０　車載カメラ、１４Ａ　誤差情報記憶部、１４Ｂ　視差情報記憶部、１００　車載カメラシステム、Ｃ　校正チャート、ＦＢ　枠線（パターン）、ＩＥ　撮像素子、Ｓ１０　撮像工程（対象物を撮影する工程）、Ｓ２０　誤差検出工程（誤差情報を画素位置ごとに検出する工程）、Ｓ３０　補正量算出工程（補正量を算出する工程）、Ｓ１００　車載カメラの調整方法、ＳＧ　シールドガラス、Ｔ　対象物、ＶＬ　縦線（パターン）

Claims (8)

  1. 　車両のシールドガラスを通して車外の対象物を撮影する車載カメラであって、
    　一対の撮像素子と、誤差情報記憶部と、を備え、
    　前記誤差情報記憶部は、前記一対の撮像素子の画素位置における前記対象物の結像位置の差に含まれる前記シールドガラスに起因する誤差に関する誤差情報を前記画素位置ごとに記憶することを特徴とする車載カメラ。
  2. 　前記結像位置の差に含まれる前記一対の撮像素子の視差に関する視差情報を記憶する視差情報記憶部を備えることを特徴とする請求項１に記載の車載カメラ。
  3. 　前記誤差情報は、前記撮像素子と前記対象物との距離に応じた複数の補正量を含むことを特徴とする請求項１に記載の車載カメラ。
  4. 　車両のシールドガラスを通して対象物を撮影する車載カメラの調整方法であって、
    　撮像素子によって前記シールドガラスを通して対象物を撮影する工程と、
    　一対の前記撮像素子の画素位置における前記対象物の結像位置の差に含まれる前記シールドガラスに起因する誤差に関する誤差情報を前記画素位置ごとに検出する工程と、
    　前記誤差情報を用いて前記対象物の結像位置の差に含まれる視差情報を得るための補正量を算出する工程と、
    　を有することを特徴とする車載カメラの調整方法。
  5. 　前記対象物を撮影する工程において、前記シールドガラスを通して前記一対の撮像素子によって校正チャートを撮影し、該校正チャートのパターンと前記一対の撮像素子の画素位置における該パターンの結像位置とを用いて前記誤差情報を得ることを特徴とする請求項４に記載の車載カメラの調整方法。
  6. 　前記パターンは、等間隔に配置された複数の縦線を含むことを特徴とする請求項５に記載の車載カメラの調整方法。
  7. 　前記パターンは、矩形の枠線を含むことを特徴とする請求項５または請求項６に記載の車載カメラの調整方法。
  8. 　請求項１から請求項３のいずれか一項に記載の車載カメラを含む車載カメラシステム。
PCT/JP2017/026977 2016-08-29 2017-07-26 車載カメラ、車載カメラの調整方法、車載カメラシステム WO2018042954A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP17845963.2A EP3505865B1 (en) 2016-08-29 2017-07-26 On-vehicle camera, method for adjusting on-vehicle camera, and on-vehicle camera system
JP2018537029A JP6602982B2 (ja) 2016-08-29 2017-07-26 車載カメラ、車載カメラの調整方法、車載カメラシステム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-167040 2016-08-29
JP2016167040 2016-08-29

Publications (1)

Publication Number Publication Date
WO2018042954A1 true WO2018042954A1 (ja) 2018-03-08

Family

ID=61301503

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/026977 WO2018042954A1 (ja) 2016-08-29 2017-07-26 車載カメラ、車載カメラの調整方法、車載カメラシステム

Country Status (3)

Country Link
EP (1) EP3505865B1 (ja)
JP (1) JP6602982B2 (ja)
WO (1) WO2018042954A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021148643A (ja) * 2020-03-19 2021-09-27 株式会社リコー 距離補正情報の算出方法、測距装置、移動体及びステレオカメラ装置
WO2022009534A1 (ja) * 2020-07-10 2022-01-13 日立Astemo株式会社 カメラシステムの製造方法及びカメラシステム
WO2023058348A1 (ja) * 2021-10-05 2023-04-13 日立Astemo株式会社 撮像装置及び視差ずれ補正方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108759667B (zh) * 2018-05-29 2019-11-12 福州大学 车载摄像头下基于单目视觉与图像分割的前车测距方法
WO2021004642A1 (en) * 2019-07-11 2021-01-14 Toyota Motor Europe A camera calibration method, a computer program, a computer-readable recording medium and a camera calibration system
DE102020211154A1 (de) 2020-09-04 2022-03-10 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Kalibrieren einer in einem Fahrzeug montierten Kamera
DE102021005335B4 (de) * 2021-10-26 2023-11-09 Mercedes-Benz Group AG Verfahren zur Kompensation von Messfehlern

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004132870A (ja) * 2002-10-11 2004-04-30 Keiji Saneyoshi ステレオカメラの調整装置およびステレオカメラの調整方法
JP2010160051A (ja) * 2009-01-08 2010-07-22 Mitsutoyo Corp 画像機器の校正用パターン
JP2015163866A (ja) * 2014-01-31 2015-09-10 株式会社リコー ステレオカメラ校正方法、視差算出装置及びステレオカメラ
JP2015169583A (ja) 2014-03-07 2015-09-28 株式会社リコー 校正方法、校正装置及びプログラム
JP2016006406A (ja) 2014-01-28 2016-01-14 株式会社リコー 校正方法、校正装置、計測用具及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6156724B2 (ja) * 2013-03-14 2017-07-05 株式会社リコー ステレオカメラ
DE102014219423B4 (de) * 2014-09-25 2023-09-21 Continental Autonomous Mobility Germany GmbH Dynamisches Modell zur Kompensation von Verzeichnungen einer Windschutzscheibe

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004132870A (ja) * 2002-10-11 2004-04-30 Keiji Saneyoshi ステレオカメラの調整装置およびステレオカメラの調整方法
JP2010160051A (ja) * 2009-01-08 2010-07-22 Mitsutoyo Corp 画像機器の校正用パターン
JP2016006406A (ja) 2014-01-28 2016-01-14 株式会社リコー 校正方法、校正装置、計測用具及びプログラム
JP2015163866A (ja) * 2014-01-31 2015-09-10 株式会社リコー ステレオカメラ校正方法、視差算出装置及びステレオカメラ
JP2015169583A (ja) 2014-03-07 2015-09-28 株式会社リコー 校正方法、校正装置及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3505865A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021148643A (ja) * 2020-03-19 2021-09-27 株式会社リコー 距離補正情報の算出方法、測距装置、移動体及びステレオカメラ装置
JP7417859B2 (ja) 2020-03-19 2024-01-19 株式会社リコー 距離補正情報の算出方法、測距装置、移動体及びステレオカメラ装置
WO2022009534A1 (ja) * 2020-07-10 2022-01-13 日立Astemo株式会社 カメラシステムの製造方法及びカメラシステム
WO2023058348A1 (ja) * 2021-10-05 2023-04-13 日立Astemo株式会社 撮像装置及び視差ずれ補正方法

Also Published As

Publication number Publication date
JP6602982B2 (ja) 2019-11-06
EP3505865A4 (en) 2020-04-29
EP3505865A1 (en) 2019-07-03
EP3505865B1 (en) 2022-03-09
JPWO2018042954A1 (ja) 2019-04-18

Similar Documents

Publication Publication Date Title
JP6602982B2 (ja) 車載カメラ、車載カメラの調整方法、車載カメラシステム
JP5906272B2 (ja) 車両用ステレオ画像処理装置
KR101787304B1 (ko) 교정 방법, 교정 장치 및 컴퓨터 프로그램 제품
JP5229451B2 (ja) 自動車用車線離脱防止方法
WO2018196391A1 (zh) 一种车载摄像机的外部参数标定方法及装置
US10852516B2 (en) Imaging device
EP3032818B1 (en) Image processing device
JP5811327B2 (ja) カメラキャリブレーション装置
EP3070675B1 (en) Image processor for correcting deviation of a coordinate in a photographed image at appropriate timing
JP2017188738A (ja) 車載カメラの取付角度検出装置、取付角度較正装置、取付角度検出方法、取付角度較正方法、およびコンピュータープログラム
WO2017209015A1 (ja) ステレオカメラの設置パラメータ校正方法
JP2021025868A (ja) ステレオカメラ
JP2006011570A (ja) カメラキャリブレーション方法及びカメラキャリブレーション装置
JP2018084503A (ja) 距離測定装置
JP6768554B2 (ja) キャリブレーション装置
WO2019203001A1 (ja) ステレオカメラ装置
JP7380443B2 (ja) 部分画像生成装置及び部分画像生成用コンピュータプログラム
JP7303064B2 (ja) 画像処理装置、および、画像処理方法
JP7232005B2 (ja) 車両の走行環境検出装置及び走行制御システム
JP2020020657A (ja) ステレオカメラ装置、ステレオカメラシステム、及び移動体
KR20230084556A (ko) 이미지 및/또는 이미지 지점의 보정 방법, 카메라 기반 시스템 및 차량
JP6890293B2 (ja) カメラ校正装置、カメラ校正システム、カメラ校正方法及びプログラム
JP7519275B2 (ja) 画像処理装置および画像処理方法
WO2023067867A1 (ja) 車載制御装置、および、３次元情報取得方法
JP2020042716A (ja) 異常検出装置および異常検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17845963

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018537029

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017845963

Country of ref document: EP