WO2018074302A1 - 車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法 - Google Patents

車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法 Download PDF

Info

Publication number
WO2018074302A1
WO2018074302A1 PCT/JP2017/036827 JP2017036827W WO2018074302A1 WO 2018074302 A1 WO2018074302 A1 WO 2018074302A1 JP 2017036827 W JP2017036827 W JP 2017036827W WO 2018074302 A1 WO2018074302 A1 WO 2018074302A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
camera
marker
acquired
Prior art date
Application number
PCT/JP2017/036827
Other languages
English (en)
French (fr)
Inventor
田中 仁
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to US16/342,123 priority Critical patent/US10672146B2/en
Publication of WO2018074302A1 publication Critical patent/WO2018074302A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Definitions

  • the present disclosure relates to an on-vehicle camera calibration device and an on-vehicle camera calibration method.
  • a vehicle-mounted camera calibration device and a vehicle-mounted camera calibration method that can suppress the number of markers provided on the floor surface.
  • One aspect of the present disclosure is an on-vehicle camera calibration device, an image acquisition unit that acquires an image using an in-vehicle camera mounted on a vehicle, and a floor surface in the image acquired by the image acquisition unit.
  • the first characteristic portion in the marker is the second feature in the marker as the vehicle moves in a certain direction.
  • the moving distance calculating unit that calculates the moving distance of the vehicle and the specific image including the marker among the images acquired by the image acquiring unit are stored.
  • the vehicle storage camera using the image storage unit to be used and the specific image stored by the image storage unit. Comprising a calibration unit for tio down, the.
  • the image storage unit is calculated by the movement distance calculation unit from (a) an image in which the marker recognition unit recognizes the marker, and (b) a position of the vehicle when the specific image is acquired in the past.
  • the image acquired when the moving distance reaches a preset distance is stored as the specific image.
  • the in-vehicle camera calibration device also stores an image acquired when the vehicle has moved a preset distance from the position of the vehicle when the specific image was acquired in the past as the specific image.
  • a plurality of specific images with different relative positions of the markers as viewed from the vehicle can be stored for one marker.
  • a vehicle-mounted camera can be calibrated using the some specific image. As a result, the number of markers provided in advance on the floor can be suppressed.
  • the first feature portion of the marker overlaps the second feature portion of the marker in the acquired image as the vehicle moves in a certain direction.
  • the moving distance of the vehicle is calculated based on the number of times the process of moving to the position is repeated. Therefore, it is possible to accurately measure the moving distance of the vehicle from the acquisition of one specific image to the acquisition of the next specific image. Thereby, the distance between the same markers photographed at different times in the specific image can be accurately calculated. As a result, calibration based on the specific image can be performed more accurately.
  • Another aspect of the present disclosure is a method for calibrating an in-vehicle camera, which acquires an image using an in-vehicle camera mounted on a vehicle, recognizes a marker provided on the floor surface in the acquired image, In the acquired image, based on the number of times the process of moving the first feature of the marker to a position overlapping the second feature of the marker is repeated as the vehicle moves in a certain direction, A moving distance of the vehicle is calculated, a specific image including the marker among the acquired images is stored, and the in-vehicle camera is calibrated using the stored specific image.
  • the specific image includes (a) an image in which the marker is recognized, and (b) when the moving distance from the position of the vehicle when the specific image is acquired in the past reaches a preset distance. And the acquired image.
  • An in-vehicle camera calibration method stores an image acquired when the vehicle is moved by a preset distance from the position of the vehicle when the specific image was acquired in the past as the specific image. .
  • a plurality of specific images with different relative positions of the markers as viewed from the vehicle can be stored for one marker.
  • a vehicle-mounted camera can be calibrated using the some specific image. As a result, the number of markers provided in advance on the floor can be suppressed.
  • the 1st characteristic part in a marker becomes a 2nd characteristic part in a marker with the movement to a fixed direction of a vehicle.
  • the moving distance of the vehicle is calculated based on the number of times that the process of moving to the overlapping position is repeated. Therefore, it is possible to accurately measure the moving distance of the vehicle from the acquisition of one specific image to the acquisition of the next specific image. Thereby, the distance between the same markers photographed at different times in the specific image can be accurately calculated. As a result, calibration based on the specific image can be performed more accurately.
  • the calibration device 1 is a device that calibrates an in-vehicle camera.
  • a vehicle equipped with an in-vehicle camera is referred to as the own vehicle.
  • the calibration device 1 may be mounted on the host vehicle or may be installed in a place other than the host vehicle.
  • the calibration apparatus 1 is mainly composed of a known microcomputer having a CPU 3 and a semiconductor memory (hereinafter referred to as a memory 5) such as a RAM, a ROM, and a flash memory.
  • a memory 5 such as a RAM, a ROM, and a flash memory.
  • the CPU 3 executing a program stored in a non-transitional tangible recording medium.
  • the memory 5 corresponds to a non-transitional tangible recording medium that stores a program. Also, by executing this program, a method corresponding to the program is executed.
  • the number of microcomputers constituting the calibration apparatus 1 may be one or plural.
  • the calibration apparatus 1 has a function configuration realized by the CPU 3 executing a program. As illustrated in FIG. 2, the image acquisition unit 7, the marker recognition unit 9, the movement distance calculation unit 11, A unit 13 and a calibration unit 15 are provided.
  • the method for realizing these elements constituting the calibration apparatus 1 is not limited to software, and some or all of the elements may be realized using one or a plurality of hardware.
  • the electronic circuit may be realized by a digital circuit including a large number of logic circuits, an analog circuit, or a combination thereof.
  • the host vehicle includes a front camera 17, a right camera 19, a left camera 21, a rear camera 23, and a display device 25.
  • the front camera 17, the right camera 19, the left camera 21, and the rear camera 23 correspond to in-vehicle cameras.
  • the image obtained by the front camera 17 is an image obtained by photographing a photographing range in front of the host vehicle 27 (hereinafter referred to as a forward range 29).
  • the image obtained by the right camera 19 is an image obtained by shooting the right shooting range (hereinafter, referred to as the right range 31) of the host vehicle 27.
  • the image obtained by the left camera 21 is an image obtained by photographing a left photographing range (hereinafter, referred to as a left range 33) of the host vehicle 27.
  • the image obtained by the rear camera 23 is an image obtained by photographing a photographing range behind the host vehicle 27 (hereinafter referred to as a rear range 35).
  • a part of the front range 29 overlaps with the right range 31 and the left range 33, respectively.
  • a part of the rear range 35 overlaps with the right range 31 and the left range 33.
  • the front camera 17 and the rear camera 23 correspond to the first vehicle-mounted camera, and the right camera 19 and the left camera 21 correspond to the second vehicle-mounted camera.
  • the display device 25 displays an image based on a signal sent from the calibration device 1.
  • the movement of the host vehicle 27 and markers 39 and 41 The movement of the host vehicle 27 and the markers 39 and 41 when processing described later will be described with reference to FIG.
  • the host vehicle 27 moves in a certain direction A along the movement path 37.
  • the movement path 37 is a straight path.
  • the front-rear axis of the host vehicle 27 may be parallel to the movement path 37 or non-parallel.
  • the own vehicle 27 may move along the movement path 37 by traveling on its own, or may be conveyed along the movement path 37 by a conveyance unit such as a belt conveyor.
  • the mode of movement of the host vehicle 27 may be a mode in which the vehicle 27 continues to move, or a mode in which movement and stop are alternately repeated. Further, the moving speed of the host vehicle 27 may be constant or may change.
  • a pair of markers 39 and 41 are provided on the floor surface.
  • the markers 39 and 41 can be formed, for example, by applying paint to the floor surface.
  • the shape and size of the markers 39 and 41 are known values for the calibration apparatus 1.
  • the shape of the markers 39 and 41 is a rectangle.
  • the shape of the markers 39 and 41 may be a shape other than a rectangle.
  • the marker 39, 41 is any one of the front range 29, the right range 31, the left range 33, and the rear range 35 at least at any time. include.
  • the marker 39 and 41 the front range 29, right range 31, the left range 33, and is not included in any of the rear range 35
  • the marker 39 At time t 1, the marker 39 , Included in the front range 29 and the portion closer to the front in the right range 31.
  • the marker 41 is included in the front range 29 and the forward portion of the left range 33.
  • the state at time t 1 is a state in which the marker 39 is included in a range where the front range 29 and the right range 31 overlap, and the marker 41 is included in a range where the front range 29 and the left range 33 overlap.
  • the marker 39 is included in the center portion in the right range 31. Further, at time t 2 , the marker 41 is included in the central portion in the left range 33.
  • the center means the center in the direction of the movement path 37.
  • the marker 39 is included in the rearward portion of the right range 31 and the rear range 35. Further, at time t 3 , the marker 41 is included in the rearward portion of the left range 33 and the rear range 35.
  • State at time t 3 is a right side range 31 and the rear range 35 includes marker 39 in overlapping ranges, a condition that includes a marker 41 in the range where the left range 33 and the rear range 35 overlap.
  • step 1 of FIG. 4 the image acquisition unit 7 acquires images simultaneously using the front camera 17, the right camera 19, and the left camera 21.
  • step 2 the marker recognition unit 9 executes processing for recognizing the markers 39 and 41 in the image of the front camera 17 acquired in step 1 above. This process will be described with reference to FIG.
  • the marker recognition unit 9 sets a part of the image of the front camera 17 as the target detection range 43.
  • the target detection range 43 has a size in which the markers 39 and 41 can be accommodated.
  • the marker recognition unit 9 performs pattern matching while scanning in the target detection range 43. That is, a pattern peculiar to the markers 39 and 41 is searched along the scanning direction 45.
  • the scanning direction 45 is parallel to the vehicle width direction.
  • the pattern peculiar to the markers 39 and 41 is, for example, a pattern in which the luminance change “black ⁇ white ⁇ black” is repeated twice along the scanning direction 45.
  • markers 39 and 41 do not exist in the target detection range 43 as in the situation at time t 0 shown in FIG. 5, there is no pattern specific to the markers 39 and 41, and the markers 39 and 41 cannot be recognized.
  • the markers 39 and 41 are present in the target detection range 43 as in the situation at time t 1 illustrated in FIG. 5, there are patterns unique to the markers 39 and 41, and the markers 39 and 41 can be recognized.
  • step 3 the marker recognition unit 9 determines whether or not the markers 39 and 41 have been recognized in step 2. If the markers 39 and 41 can be recognized, the process proceeds to step 4. If the markers 39 and 41 cannot be recognized, the process returns to step 1.
  • the image storage unit 13 stores the image acquired in step 1 and having recognized the markers 39 and 41 in the memory 5.
  • the image stored in this step is hereinafter referred to as a first specific image.
  • the first specific image corresponds to the specific image.
  • the first specific image is an image including markers 39 and 41 therein.
  • the first specific image includes an image of the front camera 17, an image of the right camera 19, and an image of the left camera 21.
  • the first specific image is a photographed image in the form of a time t 1 shown in FIG.
  • the image acquisition unit 7 acquires images simultaneously using the front camera 17, the right camera 19, the left camera 21, and the rear camera 23.
  • the movement distance calculation unit 11 calculates the movement distance L of the host vehicle 27.
  • the moving distance L is a moving distance from the position of the own vehicle 27 when the latest specific image is acquired to the current position of the own vehicle 27. That is, when the first specific image has been acquired and the second specific image described later has not yet been acquired, the movement distance L is determined from the position of the host vehicle 27 when the first specific image is acquired. The travel distance to the current position of the vehicle 27. Further, when the second specific image has been acquired and the third specific image described later has not yet been acquired, the movement distance L is determined from the position of the host vehicle 27 when the second specific image is acquired. The travel distance to the current position of the vehicle 27.
  • Steps 5 to 7 are repeatedly executed until an affirmative determination is made in step 7.
  • Each image 47 is obtained in repeated step 5.
  • the image 47 is an image of the right camera 19.
  • the position of the marker 39 in the image 47 is opposite to the direction A as the image 47 is acquired later as shown in FIG. Moving in the direction.
  • the movement distance calculation unit 11 recognizes the marker 39, the front side 49, and the rear side 51 in the image 47 acquired in each step 5.
  • the front side 49 is a portion on the direction A side in the outline of the marker 39.
  • the rear side 51 is a portion on the side opposite to the direction A in the contour line of the marker 39.
  • the distance in the direction A from the front side 49 to the rear side 51 is ⁇ L, which is a known value.
  • the front side 49 corresponds to the first feature and the back side 51 corresponds to the second feature.
  • the position of the marker 39 is the front side in the image 47 acquired in the jth step 5
  • the process of moving 49 to a position overlapping the rear side 51 in the image 47 acquired in the i-th step 5 (hereinafter referred to as a unit distance moving process) is repeated X times.
  • the front side 49 in the image 47 acquired in the j-th step 5 is moved to a position overlapping the rear side 51 in the image 47 acquired in the first step 5.
  • the first step 5 is step 5 executed immediately after execution of step 4 or immediately after a negative determination is made in step 9 described later.
  • the timing at which the first step 5 is executed corresponds to the timing at which the specific image is acquired in the past.
  • the i-th and j-th step 5 is the step 5 executed after the i-th and j-th times after the execution of step 4 or after a negative determination is made in step 9 described later.
  • the marker 39 is opposite to the direction A by the value obtained by multiplying ⁇ L by X in the image 47. Moving in the direction. This means that the position of the own vehicle 27 when the image 47 is acquired in the latest step 5 is multiplied by X to ⁇ L, compared to the position of the own vehicle 27 when the image 47 is acquired in the first step 5. This means that the value is moved in the direction A. That is, the value obtained by multiplying ⁇ L by X corresponds to the movement distance L.
  • the movement distance calculation unit 11 calculates the movement distance L by obtaining the X using the image 47 acquired in each step 5 and multiplying it by ⁇ L.
  • the image storage unit 13 determines whether or not the movement distance L calculated in step 6 has reached a preset distance.
  • the first specific image is already stored, when the second specific image is not saved yet, a preset distance is L 12 as described above.
  • the second specific image is already stored, if the third specific image is not stored yet, a preset distance is L 23 as described above. If the moving distance L has reached the preset distance, the process proceeds to step 8, and if not, the process returns to step 5.
  • the image storage unit 13 stores the image acquired in the latest step 5 in the memory 5 as a specific image.
  • the specific image to be stored is the one stored next to the first specific image
  • the specific image is set as the second specific image.
  • the second specific image is the image photographed in a state of time t 2 shown in FIG. 3.
  • the second specific image includes an image of the right camera 19 and an image of the left camera 21.
  • the specific image to be stored is stored next to the second specific image
  • the specific image is set as the third specific image.
  • the third specific image is a photographed image in a state of the time t 3 when shown in Fig.
  • the third specific image includes an image of the right camera 19, an image of the left camera 21, and an image of the rear camera 23.
  • the second specific image and the third specific image correspond to images acquired when the vehicle has moved a preset distance from the position of the host vehicle when the specific image was acquired in the past.
  • step 9 the image storage unit 13 determines whether or not all of the first to third specific images have been stored. If all the images have been saved, the process proceeds to step 10, and if there is a specific image that has not yet been saved, the process returns to step 5.
  • FIG. 7 shows an image 53 of the front camera 17, an image 55 of the right camera 19, an image 57 of the left camera 21, and an image 59 of the rear camera 23 obtained from the first to third specific images.
  • the image 53 includes the markers 39 and 41 in the first specific image.
  • Images 55 and 57 include markers 39 and 41 in the first to third specific images, respectively.
  • the image 59 includes the markers 39 and 41 in the third specific image.
  • step 10 the front camera 17, the right camera 19, the left camera 21, and the rear camera 23 are calibrated using the images 53, 55, 57, and 59.
  • the calibration method is the same as the method disclosed in Japanese Patent No. 4555876. The outline will be described below.
  • step 11 of FIG. 8 the two-dimensional coordinates of the markers 39 and 41 are detected from the image 53. That is, the coordinates (x 0 , y 0 ) of the four vertices in the markers 39 and 41 that are distorted quadrangles shown in FIG. 9 are detected.
  • step 12 roll correction is performed using the following formula 1, and the corrected coordinates (x 1 , y 1 ) are obtained from the two-dimensional coordinates (x 0 , y 0 ) of the vertices.
  • the roll correction is correction of the rotation direction on the optical axis of the front camera 17.
  • a predetermined overhead angle ⁇ pitch is used to perform the overhead view conversion according to Equation 2, and the corrected coordinates (x 2 , y 2 ) are obtained from the corrected coordinates (x 1 , y 1 ).
  • f represents the camera focal length
  • H represents the camera height.
  • the overhead view conversion is a conversion from a bird's eye view of the floor surface on which the markers 39 and 41 are provided as seen from above.
  • the coordinates after the bird's-eye view conversion are the positions of the analysis patterns obtained with the position of the front camera 17 as the origin, as shown in FIG.
  • matching evaluation with the markers 39 and 41 is performed using Expression 3.
  • each of the vertexes (x 2 , y 2 ) of the markers 39 and 41 after the overhead conversion and the coordinates of the vertices of the original rectangular markers 39 and 41 are shown.
  • the errors e1 to e4 are obtained and the sum Err of the squares of the errors e1 to e4 is obtained using the above equation 3.
  • the orientation of the front camera 17 can be known from the determined roll angle ⁇ roll and depression angle ⁇ pitch, and the determined roll angle ⁇ roll and depression angle ⁇ pitch are applied to the expression 2 to obtain the front of the recorded markers 39, 41.
  • the position of the camera 17 is determined.
  • step 15 the depression angle ⁇ pitch and roll angle ⁇ roll of each camera obtained by the processing in steps 12 to 14 are output.
  • step 16 the rotation angle ⁇ yawp for matching the analysis pattern obtained with the camera position as the origin to the corresponding markers 39 and 41 on the floor surface is obtained.
  • the rotation angle ⁇ yawp shown in FIG. 11 is an angle at which, for example, the extension line of the outer side of the original marker 39 intersects with the extension line of the outer side of the marker 39 at the analysis pattern position.
  • step 17 as shown in FIG. 12, when the analysis pattern is rotated by the rotation angle ⁇ yawp with the camera position as the origin using Equation 4, the direction is aligned with the markers 39 and 41 on the original floor surface. Coordinates (x 3 , y 3 ) are obtained.
  • step 18 camera coordinates ( ⁇ x 3 , ⁇ y 3 ) when one vertex of the analysis pattern after rotation is set as the origin are obtained.
  • step 19 using equation 5, camera coordinates (c xp , c yp ) in a known installation pattern coordinate system are obtained from the camera coordinates ( ⁇ x 3 , ⁇ y 3 ). That is, the camera coordinates are translated as shown in FIG. 12 to obtain the camera coordinates (c xp , c yp ) in the installation pattern coordinate system.
  • This installation pattern coordinate system is a coordinate system based on the floor surface. Note that (x p , y p ) in Equation 5 is measured and acquired as coordinates in the installation pattern coordinate system when the markers 39 and 41 are formed on the floor surface.
  • step 20 the camera coordinates (cx p , cy p ) of the camera and the camera direction ⁇ yawp are output.
  • the camera direction ⁇ yawp is the same as the rotation angle ⁇ yawp in FIGS.
  • steps 21 to 23 shown below how to determine the direction of each camera with respect to the host vehicle 27 will be described by taking the front camera 17 as an example.
  • the direction of each camera is a direction in a plane parallel to the floor surface.
  • the axis connecting the front camera 17 and the rear camera 23 is inclined with respect to the Y axis of the installation pattern system.
  • a case where ⁇ yawc is large is taken as an example.
  • step 21 in the installation pattern coordinate system, for example, the direction of a line connecting the calculated camera positions before and after (hereinafter referred to as the first deviation angle ⁇ yawc) is calculated.
  • the origin of the installation pattern coordinate system is moved upward by a predetermined distance.
  • step 22 in the vehicle coordinate system, the direction of the front and rear camera positions with respect to the midline of the host vehicle 27 (hereinafter referred to as the second deviation angle ⁇ yawc2) is obtained.
  • the second deviation angle ⁇ yawc2 is zero.
  • the vehicle coordinate system is a coordinate system having the origin at the center of the rear end of the host vehicle 27.
  • the midline of the host vehicle 27 is a line that divides the host vehicle 27 symmetrically.
  • the direction ⁇ yaw in the horizontal plane of the front camera 17 with respect to the host vehicle 27 is calculated using the equation (6). Specifically, the direction ⁇ yaw of the front camera 17 relative to the host vehicle 27 is calculated by adding the first shift angle ⁇ yawc and the second shift angle ⁇ yawc2 to the rotation angle ⁇ yawp. Then, the direction ⁇ yaw is output, and this process is temporarily terminated.
  • the directions of the right camera 19, the left camera 21, and the rear camera 23 can be obtained similarly using, for example, a displacement of the installation pattern coordinate system with respect to the Y axis, the description thereof is omitted.
  • the posture of each camera with respect to the host vehicle 27, that is, the depression angle ⁇ pitch, the roll angle ⁇ roll, and the direction ⁇ yaw can be obtained by the above-described processing, and these values are compared with the camera mounting design values.
  • a camera driving device (not shown) can be driven and adjusted so as to be a camera mounting design value.
  • the image 55 of the right camera 19 and the image 57 of the left camera 21 virtually include a plurality of markers. Therefore, the accuracy of calibration can be increased compared to the case where a single marker is included.
  • the movement distances L 12 and L 23 of the vehicle 27 can be accurately calculated.
  • the movement distances L 12 and L 23 are intervals in the direction A of the markers 39 and 41 in the images 55 and 57 shown in FIG. Therefore, the calibration apparatus 1 can accurately calculate the interval in the direction A of the markers 39 and 41 in the images 55 and 57. As a result, calibration based on the images 55 and 57 can be performed more accurately.
  • the calibration device 1 can store a specific image and perform calibration for each of the front camera 17, the right camera 19, the left camera 21, and the rear camera 23.
  • the calibration device 1 includes the marker 39 in a range where the front range 29 and the right range 31 overlap at time t 1 , and the front range 29 and the left range 33 In the state where the marker 41 is included in the range where the two overlap, the front camera 17, the right camera 19, and the left camera 21 are used for shooting. Therefore, the direction ⁇ yaw can be obtained for the front camera 17, the right camera 19, and the left camera 21.
  • the calibration device 1 includes the marker 39 in a range where the right range 31 and the rear range 35 overlap, and the marker 41 exists in a range where the left range 33 and the rear range 35 overlap.
  • shooting is performed using the right camera 19, the left camera 21, and the rear camera 23. Therefore, the direction ⁇ yaw can be obtained for the right camera 19, the left camera 21, and the rear camera 23.
  • the method for calculating the movement distance L may be another method. For example, as shown in FIG. 15, in the image 47, as the own vehicle 27 moves in the direction A, the vertex 61 of the marker 139 moves to a position where it overlaps the vertex 67, and the vertex 63 moves to a position where it overlaps the vertex 65.
  • the movement distance L may be calculated based on the number of times the process is repeated.
  • the vertices 61 and 63 are vertices on the direction A side of the marker 139, and the vertices 65 and 67 are vertices on the opposite side to the direction A in the marker 139.
  • the distance between the vertex 61 and the vertex 67 in the direction A is a known value ⁇ L.
  • the distance between the vertex 63 and the vertex 65 in the direction A is also ⁇ L.
  • the vertices 61 and 63 correspond to the first feature
  • the vertices 65 and 67 correspond to the second feature.
  • the method for calculating the movement distance L may be another method.
  • the marker 239 has a checkered pattern shape in which square areas 69 and 71 having high luminance and square areas 73 and 75 having low luminance are combined.
  • the sizes of the sides of the regions 69, 71, 73, and 75 are the same and are a known value ⁇ L.
  • the moving distance L is calculated based on the number of times that the process of moving the area 73 to the position overlapping the area 71 and the area 69 moving to the position overlapping the area 75 is repeated. Also good.
  • the movement of the region 73 to the position overlapping the region 71 and the movement of the region 69 to the position overlapping the region 75 can be detected as follows, for example.
  • a luminance difference between pixels at the same position is calculated between the image 47 before movement and the image 47 after movement.
  • the sum of the absolute value of the luminance difference in each pixel is calculated.
  • the sum of absolute values is maximized when the region 73 moves to a position overlapping the region 71 and the region 69 moves to a position overlapping the region 75. Therefore, it can be detected that the region 73 has moved to a position overlapping the region 71 and the region 69 has moved to a position overlapping the region 75 based on the sum of absolute values of luminance differences.
  • Regions 69 and 73 correspond to the first feature
  • regions 71 and 75 correspond to the second feature.
  • the host vehicle 27 may not include one to three of the front camera 17, the right camera 19, the left camera 21, and the rear camera 23.
  • the host vehicle 27 may include three cameras. As three cameras, a combination of the front camera 17, the right camera 19, and the left camera 21, a combination of the right camera 19, the left camera 21, and the rear camera 23, and a combination of the front camera 17, the left camera 21, and the rear camera 23 , A combination of the front camera 17, the right camera 19, and the rear camera 23.
  • the host vehicle 27 may be provided with two cameras.
  • the two cameras include a combination of the front camera 17 and the right camera 19, a combination of the front camera 17 and the left camera 21, a combination of the right camera 19 and the rear camera 23, and a combination of the left camera 21 and the rear camera 23.
  • the host vehicle 27 may include only one of the front camera 17, the right camera 19, the left camera 21, and the rear camera 23.
  • the host vehicle 27 may further include other cameras. Other cameras can be calibrated in the same manner as the front camera 17, the right camera 19, the left camera 21, and the rear camera 23.
  • the front range 29 includes markers 39 and 41 not only when acquiring the first specific image but also when acquiring the second specific image. Also good.
  • the image 53 obtained by the front camera 17 virtually includes the markers 39 and 41 in the first specific image and the markers 39 and 41 in the second specific image. .
  • the front camera 17 can be calibrated more accurately.
  • the rear range 35 may include the markers 39 and 41 not only when acquiring the third specific image but also when acquiring the second specific image.
  • the image 59 obtained by the rear camera 23 virtually includes the markers 39 and 41 in the second specific image and the markers 39 and 41 in the third specific image. In this case, since the number of markers included in the image 59 increases, the rear camera 23 can be calibrated more accurately.
  • a plurality of functions of one constituent element in the above embodiment may be realized by a plurality of constituent elements, or a single function of one constituent element may be realized by a plurality of constituent elements. . Further, a plurality of functions possessed by a plurality of constituent elements may be realized by one constituent element, or one function realized by a plurality of constituent elements may be realized by one constituent element. Moreover, you may abbreviate
  • at least a part of the configuration of the above embodiment may be added to or replaced with the configuration of the other embodiment.
  • all the aspects included in the technical idea specified from the wording described in the claims are embodiments of the present disclosure.
  • a system including the calibration device 1 as a component, a program for causing a computer to function as the calibration device 1, a non-transitive semiconductor memory or the like in which the program is recorded The present disclosure can also be realized in various forms such as an actual recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Mechanical Engineering (AREA)

Abstract

車載カメラのキャリブレーション装置(1)は、画像取得ユニット(7)と、マーカ認識ユニット(9)と、移動距離算出ユニット(11)と、画像保存ユニット(13)と、キャリブレーションユニット(15)と、を備える。移動距離算出ユニットは、画像において、マーカにおける第1の特徴部が第2の特徴部に重なる位置に移動する過程が繰り返される回数に基づき、車両の移動距離を算出する。画像保存ユニットは、マーカを含む特定画像を保存する。キャリブレーションユニットは、特定画像を用いて車載カメラをキャリブレーションする。画像保存ユニットは、(a)マーカを認識した画像と、(b)過去に特定画像を取得したときの車両の位置からの移動距離が予め設定された距離に達したときに取得した画像とを特定画像として保存する。

Description

車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法 関連出願の相互参照
 本国際出願は、2016年10月17日に日本国特許庁に出願された日本国特許出願第2016-203640号に基づく優先権を主張するものであり、日本国特許出願第2016-203640号の全内容を本国際出願に参照により援用する。
 本開示は車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法に関する。
 従来、車載カメラを用いて床面上に設けられたマーカを撮影し、得られた画像を用いて車載カメラの姿勢等をキャリブレーションする方法が知られている。このようなキャリブレーション方法として、特許文献1に開示された方法がある。
特許第4555876号公報
 発明者の詳細な検討の結果、以下の課題が見出された。特許文献1に開示された車載カメラのキャリブレーション方法では、各カメラの撮影範囲にそれぞれマーカを設けておく必要がある。そのため、キャリブレーションを行うためには広いスペースが必要になる。また、多数のマーカを設けるために多大な労力を要する。
 本開示の一局面では、床面に設けるマーカの数を抑制できる車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法を提供することが好ましい。
 本開示の一態様は、車載カメラのキャリブレーション装置であって、車両に搭載された車載カメラを用いて画像を取得する画像取得ユニットと、前記画像取得ユニットが取得した前記画像において床面上に設けられたマーカを認識するマーカ認識ユニットと、前記画像取得ユニットが取得した前記画像において、前記車両の一定方向への移動にともない、前記マーカにおける第1の特徴部が、前記マーカにおける第2の特徴部に重なる位置に移動する過程が繰り返される回数に基づき、前記車両の移動距離を算出する移動距離算出ユニットと、前記画像取得ユニットが取得した前記画像のうち、前記マーカを含む特定画像を保存する画像保存ユニットと、前記画像保存ユニットが保存した前記特定画像を用いて前記車載カメラをキャリブレーションするキャリブレーションユニットと、を備える。
 前記画像保存ユニットは、(a)前記マーカ認識ユニットが前記マーカを認識した画像と、(b)過去に前記特定画像を取得したときの前記車両の位置からの、前記移動距離算出ユニットで算出した前記移動距離が、予め設定された距離に達したときに取得した前記画像とを、前記特定画像として保存するように構成される。
 本開示の一態様である車載カメラのキャリブレーション装置は、過去に特定画像を取得したときの車両の位置から、予め設定された距離だけ移動したときに取得した画像も、特定画像として保存する。
 そのため、1つのマーカについて、車両から見たマーカの相対位置がそれぞれ異なる複数の特定画像を保存することができる。そして、その複数の特定画像を用いて車載カメラのキャリブレーションを行うことができる。その結果、床面に予め設けておくマーカの数を抑制することができる。
 また、本開示の一態様である車載カメラのキャリブレーション装置は、取得した画像において、車両の一定方向への移動にともない、マーカにおける第1の特徴部が、マーカにおける第2の特徴部に重なる位置に移動する過程が繰り返される回数に基づき、車両の移動距離を算出する。そのため、1つの特定画像を取得してから、次の特定画像を取得するまでの車両の移動距離を正確に測定することができる。そのことにより、特定画像における、異なる時刻に撮影された同一のマーカ間の距離を正確に算出することができる。その結果、特定画像に基づくキャリブレーションを一層正確に行うことができる。
 本開示の別の態様は、車載カメラのキャリブレーション方法であって、車両に搭載された車載カメラを用いて画像を取得し、取得した前記画像において床面上に設けられたマーカを認識し、取得した前記画像において、前記車両の一定方向への移動にともない、前記マーカにおける第1の特徴部が、前記マーカにおける第2の特徴部に重なる位置に移動する過程が繰り返される回数に基づき、前記車両の移動距離を算出し、取得した前記画像のうち、前記マーカを含む特定画像を保存し、保存した前記特定画像を用いて前記車載カメラをキャリブレーションする。前記特定画像は、(a)前記マーカを認識した画像と、(b)過去に前記特定画像を取得したときの前記車両の位置からの前記移動距離が、予め設定された距離に達したときに取得した前記画像とを含む。
 本開示の別の態様である車載カメラのキャリブレーション方法は、過去に特定画像を取得したときの車両の位置から、予め設定された距離だけ移動したときに取得した画像も、特定画像として保存する。
 そのため、1つのマーカについて、車両から見たマーカの相対位置がそれぞれ異なる複数の特定画像を保存することができる。そして、その複数の特定画像を用いて車載カメラのキャリブレーションを行うことができる。その結果、床面に予め設けておくマーカの数を抑制することができる。
 また、本開示の別の態様である車載カメラのキャリブレーション方法では、取得した画像において、車両の一定方向への移動にともない、マーカにおける第1の特徴部が、マーカにおける第2の特徴部に重なる位置に移動する過程が繰り返される回数に基づき、車両の移動距離を算出する。そのため、1つの特定画像を取得してから、次の特定画像を取得するまでの車両の移動距離を正確に測定することができる。そのことにより、特定画像における、異なる時刻に撮影された同一のマーカ間の距離を正確に算出することができる。その結果、特定画像に基づくキャリブレーションを一層正確に行うことができる。
 なお、請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
キャリブレーション装置の構成を表すブロック図である。 キャリブレーション装置の機能的構成を表すブロック図である。 マーカ、前方範囲、右方範囲、左方範囲、及び後方範囲の位置関係を表す説明図である。 キャリブレーション装置が実行する処理を表すフローチャートである。 マーカを認識する処理を表す説明図である。 移動距離の算出方法を表す説明図である。 画像を表す説明図である。 キャリブレーション方法を表すフローチャートである。 前カメラで撮影された画像と、解析パターンの座標とを表す説明図である。 マーカのマッチング方法を表す説明図である。 解析パターンとマーカとの回転角を表す説明図である。 解析パターンを設置パターン座標系に移動させる方法を表す説明図である。 自車両とマーカとの位置関係を表す説明図である。 カメラの方向を求める方法を表す説明図である。 移動距離の算出方法を表す説明図である。 移動距離の算出方法を表す説明図である。 第1の特定画像及び第2の特定画像を取得するときのマーカと、前方範囲との位置関係を表す説明図である。 画像に含まれるマーカを表す説明図である。
 本開示の実施形態を図面に基づき説明する。
<第1実施形態>
 1.キャリブレーション装置1の構成
 キャリブレーション装置1の構成を図1~図3に基づき説明する。キャリブレーション装置1は、車載カメラのキャリブレーションを行う装置である。以下では、車載カメラを搭載している車両を自車両とする。キャリブレーション装置1は自車両に搭載されていてもよいし、自車両以外の場所に設置されていてもよい。
 図1に示すように、キャリブレーション装置1は、CPU3と、RAM、ROM、フラッシュメモリ等の半導体メモリ(以下、メモリ5とする)と、を有する周知のマイクロコンピュータを中心に構成される。キャリブレーション装置1の各種機能は、CPU3が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ5が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、キャリブレーション装置1を構成するマイクロコンピュータの数は1つでも複数でもよい。
 キャリブレーション装置1は、CPU3がプログラムを実行することで実現される機能の構成として、図2に示すように、画像取得ユニット7と、マーカ認識ユニット9と、移動距離算出ユニット11と、画像保存ユニット13と、キャリブレーションユニット15と、を備える。キャリブレーション装置1を構成するこれらの要素を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素について、一つあるいは複数のハードウェアを用いて実現してもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は多数の論理回路を含むデジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現してもよい。
 図1に示すように、自車両は、キャリブレーション装置1に加えて、前カメラ17、右カメラ19、左カメラ21、後カメラ23、及び表示装置25を備える。前カメラ17、右カメラ19、左カメラ21、及び後カメラ23は車載カメラに対応する。
 前カメラ17により得られる画像は、図3に示すように、自車両27の前方の撮影範囲(以下では前方範囲29とする)を撮影した画像である。右カメラ19により得られる画像は、図3に示すように、自車両27の右方の撮影範囲(以下では右方範囲31とする)を撮影した画像である。左カメラ21により得られる画像は、図3に示すように、自車両27の左方の撮影範囲(以下では左方範囲33とする)を撮影した画像である。後カメラ23により得られる画像は、図3に示すように、自車両27の後方の撮影範囲(以下では後方範囲35とする)を撮影した画像である。
 前方範囲29の一部は、右方範囲31及び左方範囲33とそれぞれ重複している。また、後方範囲35の一部は、右方範囲31及び左方範囲33とそれぞれ重複している。前カメラ17及び後カメラ23は第1の車載カメラに対応し、右カメラ19及び左カメラ21は第2の車載カメラに対応する。表示装置25は、キャリブレーション装置1から送られる信号に基づき画像を表示する。
 2.自車両27の移動及びマーカ39、41について
 後述する処理を実行するときの自車両27の動き、及びマーカ39、41について図3に基づき説明する。後述する処理を実行するとき、自車両27は移動経路37に沿って、一定の方向Aに移動する。移動経路37は直線の経路である。自車両27の前後軸は、移動経路37と平行であってもよいし、非平行であってもよい。
 自車両27が移動経路37に沿って移動するとき、自車両27の前後軸の方向は常に一定である。自車両27は自走することで移動経路37に沿って移動してもよいし、ベルトコンベア等の搬送ユニットによって移動経路37に沿って搬送されてもよい。
 自車両27の移動の態様は、常に移動し続ける態様であってもよいし、移動と停止とを交互に繰り返す態様であってもよい。また、自車両27の移動速度は一定であってもよいし、変化してもよい。
 床面上には一対のマーカ39、41が設けられている。マーカ39、41は、例えば、塗料を床面に塗布して形成できる。マーカ39、41の形状及び大きさは、キャリブレーション装置1にとって既知の値である。マーカ39、41の形状は矩形である。なお、マーカ39、41の形状は、矩形以外の形状であってもよい。
 自車両27が移動経路37に沿って移動するとき、少なくともいずれかの時期において、マーカ39、41は、前方範囲29、右方範囲31、左方範囲33、及び後方範囲35のうちのいずれかに含まれる。
 例えば、時刻tでは、マーカ39、41は、前方範囲29、右方範囲31、左方範囲33、及び後方範囲35のいずれにも含まれないが、その後、時刻tにおいて、マーカ39は、前方範囲29と、右方範囲31における前方寄りの部分とに含まれる。また、時刻tにおいて、マーカ41は、前方範囲29と、左方範囲33における前方寄りの部分とに含まれる。
 時刻tにおける状態は、前方範囲29と右方範囲31とが重複する範囲にマーカ39が含まれ、前方範囲29と左方範囲33とが重複する範囲にマーカ41が含まれる状態である。
 その後、時刻tにおいて、マーカ39は、右方範囲31における中央の部分に含まれる。また、時刻tにおいて、マーカ41は、左方範囲33における中央の部分に含まれる。中央とは、移動経路37の方向における中央を意味する。
 時刻tにおける自車両27の位置は、時刻tにおける位置に比べて、移動距離L12だけ、方向Aに進んでいる。よって、時刻tにおける、右方範囲31及び左方範囲33を基準としたマーカ39、41の位置は、時刻tにおける位置に比べて、移動距離L12だけ、方向Aとは反対方向に移動している。
 その後、時刻tにおいて、マーカ39は、右方範囲31における後方寄りの部分と、後方範囲35とに含まれる。また、時刻tにおいて、マーカ41は、左方範囲33における後方寄りの部分と、後方範囲35とに含まれる。
 時刻tにおける状態は、右方範囲31と後方範囲35とが重複する範囲にマーカ39が含まれ、左方範囲33と後方範囲35とが重複する範囲にマーカ41が含まれる状態である。
 時刻tにおける自車両27の位置は、時刻tにおける位置に比べて、移動距離L23だけ、方向Aに進んでいる。よって、時刻tにおける、右方範囲31及び左方範囲33を基準としたマーカ39、41の位置は、時刻tにおける位置に比べて、移動距離L23だけ、方向Aとは反対方向に移動している。
 2.キャリブレーション装置1が実行する処理
 キャリブレーション装置1が実行する処理を図3~図14に基づき説明する。図4のステップ1では、画像取得ユニット7が、前カメラ17、右カメラ19、及び左カメラ21を用いて、同時に画像を取得する。
 ステップ2では、マーカ認識ユニット9が、前記ステップ1で取得した前カメラ17の画像において、マーカ39、41を認識する処理を実行する。この処理を図5に基づき説明する。マーカ認識ユニット9は、前カメラ17の画像における一部をターゲット検出範囲43とする。ターゲット検出範囲43は、マーカ39、41が収まる広さを有する。
 マーカ認識ユニット9は、ターゲット検出範囲43において走査しながらパターンマッチングを行う。すなわち、走査方向45に沿って、マーカ39、41に特有のパターンを探す。走査方向45は車幅方向と平行である。マーカ39、41に特有のパターンとは、例えば、走査方向45に沿って、「黒→白→黒」という輝度変化が2回繰り返されるパターンである。
 図5に示す時刻tの状況のように、ターゲット検出範囲43にマーカ39、41が存在しない場合、マーカ39、41に特有のパターンが存在せず、マーカ39、41を認識できない。図5に示す時刻tの状況のように、ターゲット検出範囲43にマーカ39、41が存在する場合、マーカ39、41に特有のパターンが存在し、マーカ39、41を認識できる。
 図4に戻り、ステップ3では、前記ステップ2においてマーカ39、41を認識できたか否かをマーカ認識ユニット9が判断する。マーカ39、41を認識できた場合はステップ4に進み、マーカ39、41を認識できなかった場合はステップ1に戻る。
 ステップ4では、前記ステップ1で取得した画像であって、マーカ39、41を認識できた画像を、画像保存ユニット13がメモリ5に保存する。本ステップで保存する画像を以下では第1の特定画像とする。第1の特定画像は特定画像に対応する。第1の特定画像は、その中にマーカ39、41を含む画像である。第1の特定画像には、前カメラ17の画像と、右カメラ19の画像と、左カメラ21の画像とが含まれる。第1の特定画像は、図3に示す時刻tの状態で撮影された画像である。
 ステップ5では、画像取得ユニット7が、前カメラ17、右カメラ19、左カメラ21、及び後カメラ23を用いて、同時に画像を取得する。
 ステップ6では、移動距離算出ユニット11が自車両27の移動距離Lを算出する。移動距離Lとは、最も新しい特定画像を取得したときの自車両27の位置から、現時点の自車両27の位置までの移動距離である。すなわち、第1の特定画像は取得済みであって、後述する第2の特定画像は未だ取得していない場合、移動距離Lは、第1の特定画像を取得したときの自車両27の位置から、現時点の自車両27の位置までの移動距離である。また、第2の特定画像は取得済みであって、後述する第3の特定画像は未だ取得していない場合、移動距離Lは、第2の特定画像を取得したときの自車両27の位置から、現時点の自車両27の位置までの移動距離である。
 移動距離Lの算出方法を図6に基づき説明する。ステップ5~7は、ステップ7で肯定判断されるまで繰り返し実行される。繰り返されるステップ5においてそれぞれ画像47が得られる。画像47は、右カメラ19の画像である。
 自車両27は方向Aに移動しているので、その移動にともない、図6に示すように、後で取得された画像47であるほど、画像47におけるマーカ39の位置は、方向Aとは反対方向に移動している。
 図6に示すように、移動距離算出ユニット11は、それぞれのステップ5で取得した画像47において、マーカ39、前辺49、及び後辺51を認識する。前辺49は、マーカ39の輪郭線のうち、方向A側にある部分である。後辺51は、マーカ39の輪郭線のうち、方向Aとは反対側にある部分である。前辺49から後辺51までの、方向Aにおける距離はΔLであり、既知の値である。前辺49は第1の特徴部に対応し、後辺51は第2の特徴部に対応する。
 マーカ39の位置が、1回目のステップ5で取得した画像47における位置から、直近のステップ5で取得した画像47における位置に至るまでには、j回目のステップ5で取得した画像47における前辺49が、i回目のステップ5で取得した画像47における後辺51に重なる位置に移動するという過程(以下では単位距離移動過程とする)がX回繰り返されている。図6に示す例では、j回目のステップ5で取得した画像47における前辺49が、1回目のステップ5で取得した画像47における後辺51に重なる位置に移動している。
 ここで、j、iはそれぞれ自然数であり、jはiより大きい。また、Xは自然数である。1回目のステップ5とは、ステップ4の実行直後、又は、後述するステップ9で否定判断された直後に実行されるステップ5である。1回目のステップ5を実行するタイミングは、過去に特定画像を取得したタイミングに対応する。i、j回目のステップ5とは、ステップ4の実行後、又は、後述するステップ9で否定判断された後において、i、j回目に実行されるステップ5である。
 1回目のステップ5で画像47を取得したときから、直近のステップ5で画像47を取得したときまでに、マーカ39は、画像47において、ΔLにXを乗算した値だけ、方向Aとは反対方向に移動している。このことは、直近のステップ5で画像47を取得したときの自車両27の位置が、1回目のステップ5で画像47を取得したときの自車両27の位置に比べて、ΔLにXを乗算した値だけ、方向Aに移動していることを意味する。すなわち、ΔLにXを乗算した値は、移動距離Lに該当する。
 移動距離算出ユニット11は、それぞれのステップ5で取得した画像47を用いて、前記のXを求め、それをΔLに乗算することで、移動距離Lを算出する。
 図4に戻り、ステップ7では、前記ステップ6で算出した移動距離Lが、予め設定された距離に達したか否かを画像保存ユニット13が判断する。第1の特定画像は保存済みであり、第2の特定画像は未だ保存していない場合、予め設定された距離は、上述したL12である。また、第2の特定画像は保存済みであり、第3の特定画像は未だ保存していない場合、予め設定された距離は、上述したL23である。移動距離Lが予め設定された距離に達している場合はステップ8に進み、達していない場合はステップ5に戻る。
 ステップ8では、画像保存ユニット13が、直近の前記ステップ5で取得した画像を特定画像としてメモリ5に保存する。保存する特定画像が、第1の特定画像の次に保存されるものである場合は、その特定画像を第2の特定画像とする。第2の特定画像は、図3に示す時刻tの状態で撮影された画像である。第2の特定画像には、右カメラ19の画像、及び左カメラ21の画像が含まれる。
 また、保存する特定画像が、第2の特定画像の次に保存されるものである場合は、その特定画像を第3の特定画像とする。第3の特定画像は、図3に示す時刻tの状態で撮影された画像である。第3の特定画像には、右カメラ19の画像、左カメラ21の画像、及び後カメラ23の画像が含まれる。第2の特定画像及び第3の特定画像は、過去に特定画像を取得したときの自車両の位置から、予め設定された距離だけ移動したときに取得した画像に対応する。
 ステップ9では、第1~第3の特定画像を全て保存済みであるか否かを画像保存ユニット13判断する。全て保存済みである場合はステップ10に進み、未だ保存していない特定画像がある場合はステップ5に戻る。
 第1~第3の特定画像により得られる、前カメラ17の画像53、右カメラ19の画像55、左カメラ21の画像57、及び後カメラ23の画像59を図7に示す。画像53には、第1の特定画像におけるマーカ39、41が含まれる。画像55及び画像57には、第1~第3の特定画像におけるマーカ39、41がそれぞれ含まれる。画像59には、第3の特定画像におけるマーカ39、41が含まれる。
 図4に戻り、ステップ10では、画像53、55、57、59を用いて、前カメラ17、右カメラ19、左カメラ21、及び後カメラ23のキャリブレーションを行う。キャリブレーションの方法は、特許第4555876号公報に開示されている方法と同様である。以下ではその概要を説明する。
 図8のステップ11では、画像53からマーカ39、41の二次元座標を検出する。つまり、図9に示すゆがんだ四角形であるマーカ39、41における4箇所の頂点の座標(x0、y0)を検出する。
 次に、下記ステップ12~14の処理を繰り返すことにより、後述する様に、ゆがんだ四角形の頂点の座標から、本来の長方形の頂点に対応する座標(以下では解析パターンの座標とする)を求めるとともに、その解析パターンに対する前カメラ17の向き、すなわち、前カメラ17の俯角θpitch及びロール角θrollを求める。
 具体的には、ステップ12では、以下の式1を用いて、ロール補正を行って、頂点の2次元座標(x0、y0)から補正後の座標(x1、y1)を求める。ロール補正とは、前カメラ17の光軸における回転方向の補正である。
Figure JPOXMLDOC01-appb-M000001
 ステップ13では、所定の俯角θpitchを用い、式2にて俯瞰変換を行って、前記補正後の座標(x1、y1)から俯瞰変換後の座標(x2、y2)を求める。なお、前記式2におけるfはカメラ焦点距離を示し、Hはカメラ高さを示す。俯瞰変換とは、マーカ39、41が設けられた床面を上方から見た鳥瞰図にする変換である。
 この俯瞰変換後の座標とは、図9に示すように、前カメラ17の位置を原点として求めた解析パターンの位置である。
 ステップ14では、式3を用いて、マーカ39、41とのマッチング評価を行う。具体的には、例えば図10に示すように、前記俯瞰変換後のマーカ39、41の頂点(x2、y2)と、本来の長方形形状のマーカ39、41の各頂点の座標との各誤差e1~e4を求めるとともに、前記式3を用いて、その誤差e1~e4の二乗の和Errを求める。
 つまり、上述したステップ12~14では、逐次、ロール角θroll、俯角θpitchを少しずつ変化させる処理を繰り返し、その際に、前記Errが最小となるロール角θroll及び俯角θpitchを決定するのである。
 従って、決定されたロール角θroll及び俯角θpitchにより、前カメラ17の向きが分かり、また、決定されたロール角θroll及び俯角θpitchを前記式2に適用することにより、撮影したマーカ39、41に対する前カメラ17の位置が定まる。
 右カメラ19、左カメラ21、及び後カメラ23についても、同様に、ロール角θroll及び俯角θpitchを求める。
 ステップ15では、前記ステップ12~14の処理によって求めた各カメラの俯角θpitch及びロール角θrollを出力する。
 ステップ16では、図11に示すように、前記カメラ位置を原点として求めた解析パターンを、対応する床面上のマーカ39、41に一致させるための回転角θyawpを求める。なお、図11で示す回転角θyawpは、例えば本来のマーカ39の外側の辺の延長線と解析パターン位置におけるマーカ39の外側の辺の延長線とが交差する角度である。
 ステップ17では、図12に示すように、式4を用いて、カメラ位置を原点として、解析パターンを前記回転角θyawp分回転させ、本来の床面上のマーカ39、41と方向を揃えたときの座標(x3、y3)を求める。
 ステップ18では、回転後の解析パターンの1頂点を原点とした時のカメラ座標(-x3、-y3)を求める。
 ステップ19では、式5を用いて、前記カメラ座標(-x3、-y3)から、既知の設置パターン座標系におけるカメラ座標(cxp、cyp)を求める。つまり、カメラ座標を図12に示す様に平行移動して、設置パターン座標系におけるカメラ座標(cxp、cyp)を求める。
 この設置パターン座標系とは、床面を基準とする座標系である。なお、前記式5の(xp、yp)は、床面にマーカ39、41を形成した際に、設置パターン座標系における座標として計測して取得しておく。
 そして、各カメラにおいて、前記ステップ16~19と同様な処理を行うことにより、各カメラとマーカ39、41との位置関係が定まることになる。
 ステップ20にて、カメラのカメラ座標(cxp、cyp)と、カメラ方向θyawpを出力する。なお、このカメラ方向θyawpは、図11、図12における回転角θyawpと同一である。 
 従って、図13に示す様に、検出したカメラ位置と実際に自車両27に搭載されたカメラ位置とを一致させるように、マーカ39、41の画像を移動させて画像合成を行うことにより、自車両27とマーカ39、41との位置関係が明瞭になる。すなわち、マーカ39、41に対して、自車両27がどのような位置及び方向に存在しているのかが分かる。
 以下に示すステップ21~23では、自車両27に対する各カメラの方向の求め方を、前カメラ17を例に挙げて説明する。各カメラの方向とは、床面と平行な平面における方向である。
 なお、以下では、説明を分かりやすくするために、図14に示すように、前カメラ17及び後カメラ23を結ぶ軸が、設置パターン系のY軸に対して傾いている場合であって、換言すれば、θyawcが大きい場合を例に挙げる。
 ステップ21では、設置パターン座標系において、例えば算出した前後のカメラ位置を結ぶ線の方向(以下では第1ずれ角θyawcとする)を算出する。なお、ここでは、設置パターン座標系の原点を同図上方に所定距離だけ移動してある。
 ステップ22では、車両座標系において、自車両27の正中線に対する前後のカメラ位置の方向(以下では、第2ずれ角θyawc2とする)を求める。なお、前後のカメラが正中線上にある場合には、この第2ずれ角θyawc2は0である。なお、車両座標系とは、自車両27の後端の中央を原点とする座標系である。また、自車両27の正中線とは、自車両27を左右対称に分割する線である。
 続くステップ23では、前記式6を用いて、自車両27に対する前カメラ17の水平面における方向θyawを算出する。具体的には、前記回転角θyawpに第1ずれ角θyawcと第2ずれ角θyawc2を加算する演算により、自車両27に対する前カメラ17の方向θyawを算出する。そして、その方向θyawを出力し、一旦本処理を終了する。
 なお、右カメラ19、左カメラ21、及び後カメラ23の方向も、同様に、例えば設置パターン座標系のY軸に対するずれ等を用いて求めることができるので、その説明は省略する。
 従って、本実施形態では、上述した処理によって、自車両27に対する各カメラの姿勢、すなわち、俯角θpitch、ロール角θroll、方向θyawを求めることができるので、これらの値とカメラ搭載設計値とを比較し、カメラ搭載設計値となるように例えば、図示しないカメラの駆動装置を駆動して調整することができる。
 4.キャリブレーション装置1が奏する効果
 (1A)キャリブレーション装置1によれば、前カメラ17、右カメラ19、左カメラ21、及び後カメラ23のそれぞれについて、マーカ39、41を含む画像を得ることができる。そのため、全てのカメラの撮影範囲ごとに、予め床面にマーカを形成しておく必要がない。
 (1B)図7に示すように、右カメラ19の画像55、及び左カメラ21の画像57は、仮想的に、複数のマーカを含む。そのため、単一のマーカを含む場合に比べて、キャリブレーションの精度を高めることができる。
 (1C)キャリブレーション装置1は、画像47において、自車両27の方向Aへの移動にともない、マーカ39における前辺49が後辺51に重なる位置に移動する過程が繰り返される回数に基づき、自車両27の移動距離L12、L23を正確に算出することができる。移動距離L12、L23は、図7に示す画像55、57におけるマーカ39、41の方向Aにおける間隔である。よって、キャリブレーション装置1は、画像55、57におけるマーカ39、41の方向Aにおける間隔を正確に算出することができる。その結果、画像55、57に基づくキャリブレーションを一層正確に行うことができる。
 (1D)キャリブレーション装置1は、前カメラ17、右カメラ19、左カメラ21、及び後カメラ23のそれぞれについて、特定画像を保存し、キャリブレーションを行うことができる。
 (1E)図3に示すように、キャリブレーション装置1は、時刻tにおいて、前方範囲29と右方範囲31とが重複する範囲にマーカ39が含まれ、前方範囲29と左方範囲33とが重複する範囲にマーカ41が含まれる状態で、前カメラ17、右カメラ19、及び左カメラ21を用いて撮影を行う。そのため、前カメラ17、右カメラ19、及び左カメラ21について、方向θyawを求めることができる。
 また、キャリブレーション装置1は、時刻tにおいて、右方範囲31と後方範囲35とが重複する範囲にマーカ39が含まれ、左方範囲33と後方範囲35とが重複する範囲にマーカ41が含まれる状態で、右カメラ19、左カメラ21、及び後カメラ23を用いて撮影を行う。そのため、右カメラ19、左カメラ21、及び後カメラ23について、方向θyawを求めることができる。
<他の実施形態>
 以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
 (1)移動距離Lを算出する方法は他の方法であってもよい。例えば、図15に示すように、画像47において、自車両27の方向Aへの移動にともない、マーカ139における頂点61が頂点67に重なる位置まで移動し、頂点63が頂点65に重なる位置まで移動する過程が繰り返される回数に基づき、移動距離Lを算出してもよい。頂点61、63は、マーカ139のうち、方向A側にある頂点であり、頂点65、67は、マーカ139のうち、方向Aとは反対側にある頂点である。頂点61と頂点67との方向Aにおける距離は既知の値ΔLである。また、頂点63と頂点65との方向Aにおける距離もΔLである。頂点61、63は第1の特徴部に対応し、頂点65、67は第2の特徴部に対応する。
 (2)移動距離Lを算出する方法は他の方法であってもよい。例えば、図16に示すように、マーカ239は、輝度が高い正方形の領域69、71と、輝度が低い正方形の領域73、75とが組み合わされ、市松模様状の形態を有する。領域69、71、73、75の各辺の大きさは同一であり、既知の値ΔLである。自車両27の方向Aへの移動にともない、領域73が領域71に重なる位置まで移動し、領域69が領域75に重なる位置まで移動する過程が繰り返される回数に基づき、移動距離Lを算出してもよい。
 領域73が領域71に重なる位置まで移動し、領域69が領域75に重なる位置まで移動することは、例えば、以下のように検出することができる。移動前の画像47と、移動後の画像47とで、同じ位置にある画素間の輝度差を算出する。そして、その輝度差の絶対値の、各画素における総和を算出する。絶対値の総和は、領域73が領域71に重なる位置まで移動し、領域69が領域75に重なる位置まで移動したときに最大となる。よって、輝度差の絶対値の総和に基づき、領域73が領域71に重なる位置まで移動し、領域69が領域75に重なる位置まで移動したことを検出できる。領域69、73は第1の特徴部に対応し、領域71、75は第2の特徴部に対応する。
 (3)自車両27は、前カメラ17、右カメラ19、左カメラ21、及び後カメラ23のうちの1~3個のカメラを備えていなくてもよい。例えば、自車両27は、3個のカメラを備えるものであってもよい。3個のカメラとして、前カメラ17、右カメラ19、及び左カメラ21の組み合わせ、右カメラ19、左カメラ21、及び後カメラ23の組み合わせ、前カメラ17、左カメラ21、及び後カメラ23の組み合わせ、前カメラ17、右カメラ19、及び後カメラ23の組み合わせが挙げられる。
 また、自車両27は、2個のカメラを備えるものであってもよい。2個のカメラとして、前カメラ17及び右カメラ19の組み合わせ、前カメラ17及び左カメラ21の組み合わせ、右カメラ19及び後カメラ23の組み合わせ、左カメラ21及び後カメラ23の組み合わせが挙げられる。
 また、自車両27は、前カメラ17、右カメラ19、左カメラ21、及び後カメラ23のうちの1個のみを備えるものであってもよい。また、自車両27は、前カメラ17、右カメラ19、左カメラ21、及び後カメラ23に加えてさらに他のカメラを備えていてもよい。他のカメラについても、前カメラ17、右カメラ19、左カメラ21、及び後カメラ23と同様にキャリブレーションを行うことができる。
 (4)図17に示すように、前方範囲29には、第1の特定画像を取得するときだけでなく、第2の特定画像を取得するときにも、マーカ39、41が含まれていてもよい。この場合、図18に示すように、前カメラ17において得られる画像53には、第1の特定画像におけるマーカ39、41と、第2の特定画像におけるマーカ39、41とが仮想的に含まれる。この場合、画像53に含まれるマーカの数が増加するので、前カメラ17のキャリブレーションを一層正確に行うことができる。
 同様に、後方範囲35には、第3の特定画像を取得するときだけでなく、第2の特定画像を取得するときにも、マーカ39、41が含まれていてもよい。この場合、後カメラ23において得られる画像59には、第2の特定画像におけるマーカ39、41と、第3の特定画像におけるマーカ39、41とが仮想的に含まれる。この場合、画像59に含まれるマーカの数が増加するので、後カメラ23のキャリブレーションを一層正確に行うことができる。
 (5)上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
 (6)上述したキャリブレーション装置1の他、当該キャリブレーション装置1を構成要素とするシステム、当該キャリブレーション装置1としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体等、種々の形態で本開示を実現することもできる。

Claims (6)

  1.  車載カメラ(17、19、21、23)のキャリブレーション装置(1)であって、
     車両(27)に搭載された車載カメラを用いて画像を取得する画像取得ユニット(7)と、
     前記画像取得ユニットが取得した前記画像において床面上に設けられたマーカ(39、41、139、239)を認識するマーカ認識ユニット(9)と、
     前記画像取得ユニットが取得した前記画像において、前記車両の一定方向への移動にともない、前記マーカにおける第1の特徴部(49、61、63、69、73)が、前記マーカにおける第2の特徴部(51、65、67、71、75)に重なる位置に移動する過程が繰り返される回数に基づき、前記車両の移動距離を算出する移動距離算出ユニット(11)と、
     前記画像取得ユニットが取得した前記画像のうち、前記マーカを含む特定画像を保存する画像保存ユニット(13)と、
     前記画像保存ユニットが保存した前記特定画像を用いて前記車載カメラをキャリブレーションするキャリブレーションユニット(15)と、
     を備え、
     前記画像保存ユニットは、(a)前記マーカ認識ユニットが前記マーカを認識した画像と、(b)過去に前記特定画像を取得したときの前記車両の位置からの、前記移動距離算出ユニットで算出した前記移動距離が、予め設定された距離に達したときに取得した前記画像とを、前記特定画像として保存するように構成された車載カメラのキャリブレーション装置。
  2.  請求項1に記載の車載カメラのキャリブレーション装置であって、
     前記画像取得ユニットは、複数の前記車載カメラからそれぞれ前記画像を取得するように構成され、
     前記画像保存ユニットは、複数の前記車載カメラのそれぞれについて、前記特定画像を保存するように構成され、
     前記キャリブレーションユニットは、複数の前記車載カメラのそれぞれについてキャリブレーションを行うように構成された車載カメラのキャリブレーション装置。
  3.  請求項2に記載の車載カメラのキャリブレーション装置であって、
     複数の前記車載カメラに含まれる第1の車載カメラ(17、23)及び第2の車載カメラ(19、21)は、重複する撮影範囲を有し、
     前記画像保存ユニットは、前記重複する撮影範囲に前記マーカが含まれる状況において同時に取得された前記第1の車載カメラの画像、及び前記第2の車載カメラの画像を、それぞれ、前記特定画像として保存するように構成された車載カメラのキャリブレーション装置。
  4.  車載カメラ(17、19、21、23)のキャリブレーション方法であって、
     車両(27)に搭載された車載カメラを用いて画像を取得し(S1、S5)、
     取得した前記画像において床面上に設けられたマーカ(39、41、139、239)を認識し(S2)、
     取得した前記画像において、前記車両の一定方向への移動にともない、前記マーカにおける第1の特徴部が、前記マーカにおける第2の特徴部に重なる位置に移動する過程が繰り返される回数に基づき、前記車両の移動距離を算出し(S6)、
     取得した前記画像のうち、前記マーカを含む特定画像を保存し(S4、S8)、
     保存した前記特定画像を用いて前記車載カメラをキャリブレーションし(S10)、
     前記特定画像は、(a)前記マーカを認識した画像と、(b)過去に前記特定画像を取得したときの前記車両の位置からの前記移動距離が、予め設定された距離に達したときに取得した前記画像とを含む車載カメラのキャリブレーション方法。
  5.  請求項4に記載の車載カメラのキャリブレーション方法であって、
     複数の前記車載カメラからそれぞれ前記画像を取得し、
     複数の前記車載カメラのそれぞれについて、前記特定画像を保存し、
     複数の前記車載カメラのそれぞれについてキャリブレーションを行う車載カメラのキャリブレーション方法。
  6.  請求項5に記載の車載カメラのキャリブレーション方法であって、
     複数の前記車載カメラに含まれる第1の車載カメラ及び第2の車載カメラは、重複する撮影範囲を有し、
     前記特定画像には、前記重複する撮影範囲に前記マーカが含まれる状況において同時に取得された前記第1の車載カメラの画像、及び前記第2の車載カメラの画像が含まれる車載カメラのキャリブレーション方法。
PCT/JP2017/036827 2016-10-17 2017-10-11 車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法 WO2018074302A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/342,123 US10672146B2 (en) 2016-10-17 2017-10-11 Calibration apparatus for onboard camera and calibration method for onboard camera

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016203640A JP6536529B2 (ja) 2016-10-17 2016-10-17 車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法
JP2016-203640 2016-10-17

Publications (1)

Publication Number Publication Date
WO2018074302A1 true WO2018074302A1 (ja) 2018-04-26

Family

ID=62018479

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/036827 WO2018074302A1 (ja) 2016-10-17 2017-10-11 車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法

Country Status (3)

Country Link
US (1) US10672146B2 (ja)
JP (1) JP6536529B2 (ja)
WO (1) WO2018074302A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921902A (zh) * 2018-06-06 2018-11-30 链家网(北京)科技有限公司 一种修正结构光相机偏差的方法及装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3435333B1 (en) * 2017-07-26 2020-01-29 Aptiv Technologies Limited Method of determining the roll angle of a vehicle mounted camera
JP7314486B2 (ja) * 2018-09-06 2023-07-26 株式会社アイシン カメラキャリブレーション装置
GB2625262A (en) * 2022-12-08 2024-06-19 Continental Autonomous Mobility Germany GmbH Vehicle, control device, and method for evaluating a calibration of one or more cameras mounted to a vehicle

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004125795A (ja) * 2002-10-02 2004-04-22 Robert Bosch Gmbh 画像センサシステムのキャリブレーション方法および装置
US20090290032A1 (en) * 2008-05-22 2009-11-26 Gm Global Technology Operations, Inc. Self calibration of extrinsic camera parameters for a vehicle camera
JP2011217233A (ja) * 2010-04-01 2011-10-27 Alpine Electronics Inc 車載カメラ校正システム及びコンピュータプログラム
JP2013187564A (ja) * 2012-03-05 2013-09-19 Fujitsu Ltd パラメータ算出方法、情報処理装置及びプログラム
JP2015122547A (ja) * 2013-12-20 2015-07-02 パナソニックIpマネジメント株式会社 キャリブレーション装置、キャリブレーション方法、キャリブレーション機能を備えた移動体搭載用カメラ及びプログラム
WO2017022452A1 (ja) * 2015-08-05 2017-02-09 株式会社デンソー キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4555876B2 (ja) 2008-05-30 2010-10-06 株式会社日本自動車部品総合研究所 車載カメラのキャリブレーション方法
US9357208B2 (en) * 2011-04-25 2016-05-31 Magna Electronics Inc. Method and system for dynamically calibrating vehicular cameras
WO2012145822A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
JP5898475B2 (ja) * 2011-11-28 2016-04-06 クラリオン株式会社 車載カメラシステム及びその較正方法、及びその較正プログラム
JP6141601B2 (ja) * 2012-05-15 2017-06-07 東芝アルパイン・オートモティブテクノロジー株式会社 車載カメラ自動キャリブレーション装置
JP6009894B2 (ja) * 2012-10-02 2016-10-19 株式会社デンソー キャリブレーション方法、及びキャリブレーション装置
JP6277652B2 (ja) * 2013-09-30 2018-02-14 株式会社デンソー 車両周辺画像表示装置及びカメラの調整方法
JP6458439B2 (ja) * 2014-10-09 2019-01-30 株式会社デンソー 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004125795A (ja) * 2002-10-02 2004-04-22 Robert Bosch Gmbh 画像センサシステムのキャリブレーション方法および装置
US20090290032A1 (en) * 2008-05-22 2009-11-26 Gm Global Technology Operations, Inc. Self calibration of extrinsic camera parameters for a vehicle camera
JP2011217233A (ja) * 2010-04-01 2011-10-27 Alpine Electronics Inc 車載カメラ校正システム及びコンピュータプログラム
JP2013187564A (ja) * 2012-03-05 2013-09-19 Fujitsu Ltd パラメータ算出方法、情報処理装置及びプログラム
JP2015122547A (ja) * 2013-12-20 2015-07-02 パナソニックIpマネジメント株式会社 キャリブレーション装置、キャリブレーション方法、キャリブレーション機能を備えた移動体搭載用カメラ及びプログラム
WO2017022452A1 (ja) * 2015-08-05 2017-02-09 株式会社デンソー キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921902A (zh) * 2018-06-06 2018-11-30 链家网(北京)科技有限公司 一种修正结构光相机偏差的方法及装置

Also Published As

Publication number Publication date
US20190259180A1 (en) 2019-08-22
US10672146B2 (en) 2020-06-02
JP6536529B2 (ja) 2019-07-03
JP2018066579A (ja) 2018-04-26

Similar Documents

Publication Publication Date Title
CN108805934B (zh) 一种车载摄像机的外部参数标定方法及装置
JP4109077B2 (ja) ステレオカメラの調整装置およびステレオカメラの調整方法
KR101787304B1 (ko) 교정 방법, 교정 장치 및 컴퓨터 프로그램 제품
US8605156B2 (en) Calibration target detection apparatus, calibration target detecting method for detecting calibration target, and program for calibration target detection apparatus
WO2018074302A1 (ja) 車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法
US6381360B1 (en) Apparatus and method for stereoscopic image processing
JP4555876B2 (ja) 車載カメラのキャリブレーション方法
US8340896B2 (en) Road shape recognition device
US9148657B2 (en) Calibration device, range-finding system including the calibration device and stereo camera, and vehicle mounting the range-finding system
JP2018179911A (ja) 測距装置及び距離情報取得方法
KR101614338B1 (ko) 카메라 캘리브레이션 방법, 카메라 캘리브레이션 프로그램을 기록한 컴퓨터 판독가능한 기록매체 및 카메라 캘리브레이션 장치
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
JP5811327B2 (ja) カメラキャリブレーション装置
EP3505865B1 (en) On-vehicle camera, method for adjusting on-vehicle camera, and on-vehicle camera system
JP6515650B2 (ja) 校正装置、距離計測装置及び校正方法
US10235579B2 (en) Vanishing point correction apparatus and method
JP2012159469A (ja) 車両用画像認識装置
JP3666348B2 (ja) 距離認識装置
JP4397573B2 (ja) 画像処理装置
WO2019058729A1 (ja) ステレオカメラ
WO2020230390A1 (ja) 位置姿勢推定装置及び位置姿勢推定方法
US11477371B2 (en) Partial image generating device, storage medium storing computer program for partial image generation and partial image generating method
CN111738035A (zh) 车辆偏航角的计算方法、装置和设备
WO2022118513A1 (ja) 位置姿勢算出装置、位置姿勢算出方法及び測量装置
JP7405710B2 (ja) 処理装置及び車載カメラ装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17862657

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17862657

Country of ref document: EP

Kind code of ref document: A1