WO2020129286A1 - キャリブレーション装置、キャリブレーション方法 - Google Patents

キャリブレーション装置、キャリブレーション方法 Download PDF

Info

Publication number
WO2020129286A1
WO2020129286A1 PCT/JP2019/026506 JP2019026506W WO2020129286A1 WO 2020129286 A1 WO2020129286 A1 WO 2020129286A1 JP 2019026506 W JP2019026506 W JP 2019026506W WO 2020129286 A1 WO2020129286 A1 WO 2020129286A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
vehicle
feature point
lane
calibration
Prior art date
Application number
PCT/JP2019/026506
Other languages
English (en)
French (fr)
Inventor
盛彦 坂野
学 川辺
信之 松山
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Priority to US17/416,315 priority Critical patent/US11645783B2/en
Publication of WO2020129286A1 publication Critical patent/WO2020129286A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present invention relates to a calibration device and a calibration method.
  • In-vehicle cameras are becoming popular for the purpose of supporting drivers.
  • the vehicle-mounted camera is mounted on the vehicle in a position and orientation based on the design, but it is inevitable that mounting errors will occur.
  • this mounting error greatly affects the distance accuracy. Therefore, it is widely practiced to preliminarily estimate the mounting error of the vehicle-mounted camera as an external parameter and consider the external parameter of the camera when calculating the distance.
  • External parameters can be calculated before shipment from the factory by using a predetermined test pattern, but the posture of the vehicle changes due to increase/decrease in the number of passengers or movement of heavy objects in the vehicle. Strictly speaking, it is known that external parameters also change.
  • Patent Document 1 discloses an invention in which an external parameter is calculated using an image obtained by shooting with an in-vehicle camera.
  • a calibration device is mounted on a vehicle, and an image acquisition unit that acquires a captured image obtained by a camera mounted on the vehicle capturing the surroundings of the vehicle;
  • a feature point extracting unit that extracts a plurality of feature points and a plurality of the feature points extracted by the feature point extracting unit are tracked for the same feature point from the plurality of captured images captured at different times.
  • a tracking unit that records as a locus, a lane recognition unit that recognizes a vehicle lane that is a traveling lane in which the vehicle travels from the captured image, and a lane recognition among the feature point loci that the tracking unit tracks and records Selecting unit for selecting the feature point loci on the same plane as the plane included in the own vehicle lane recognized by the section, and estimating the external parameter of the camera using the feature point loci selected by the selecting unit External And a parameter estimation unit.
  • a calibration method is a calibration apparatus that is mounted on a vehicle and has an image acquisition unit that acquires a captured image obtained by a camera mounted on the vehicle capturing the surroundings of the vehicle.
  • a calibration method to be executed comprising extracting a plurality of feature points from the captured image, and extracting each of the plurality of feature points extracted from the captured image from the plurality of captured images captured at different times. Tracking the same characteristic point and recording it as a characteristic point locus, recognizing the own vehicle lane which is the traveling lane in which the vehicle travels from the captured image, the tracked and recorded Selecting the characteristic point loci from the characteristic point loci on the same plane as the road surface included in the vehicle lane, and estimating the external parameter of the camera using the selected characteristic point loci Including and
  • Functional block diagram of the running calibration program 103A The figure which shows a general roadway. 3A is a sectional view of the road, and FIG. 3B is a plan view of the road. Diagram showing road markings indicating off limits The figure which shows an example of tracking point information 102A.
  • Flowchart showing the operation of the feature point extraction unit 202 Flowchart showing the operation of the tracking unit 203
  • Flowchart showing the operation of the selection unit 204 Flowchart showing the operation of the external parameter estimation unit 208
  • FIG. 1 is a block diagram showing a configuration of a calibration device 100 according to the present invention and a vehicle P including the calibration device 100.
  • vehicle P may be referred to as "own vehicle” P to distinguish it from other vehicles.
  • the vehicle P includes a calibration device 100, a camera 111 that images the front of the vehicle P, a display device 104 that presents information to the driver based on the output of the calibration device 100, and a vehicle speed sensor that measures the speed of the vehicle P. 105 and a steering angle sensor 106 for measuring the steering angle of the vehicle P.
  • the information acquired by the camera 111, the vehicle speed sensor 105, and the steering angle sensor 106 is transmitted to the calibration device 100.
  • the camera 111 is attached to the front of the vehicle P, and the optical axis is fixed in front of the vehicle P and below the horizontal direction.
  • the mounting position and the mounting posture of the camera 111 shown here are examples, and the mounting position and the mounting posture of the camera 111 can take various values depending on the design.
  • the design value of the position/orientation relationship between the camera 111 and the vehicle P is stored in the flash memory 112 described later as the external parameter initial value 103C.
  • the external parameter initial value 103C it is inevitable that the mounting of the camera 111 on the vehicle P deviates from the design value, and the ideal external parameter corresponding to the actual mounting state does not match the external parameter initial value 103C which is the design value. ..
  • the camera 111 includes a lens and an image sensor, and these characteristics, for example, a lens distortion coefficient that is a parameter indicating lens distortion, an optical axis center, a focal length, the number of pixels of the image sensor, and dimensions are stored in the ROM 103 as internal parameter initial values. To be done. Further, the external parameter 112A calculated by the calibration program described later is stored in the flash memory 112.
  • the calibration device 100 includes a CPU 101 that is a central processing unit, a RAM 102 that is a readable/writable storage device, a ROM 103 that is a read-only storage device, and a flash memory 112.
  • the CPU 101 is connected to the RAM 102, the RAM 103, and the flash memory 112 by a signal line.
  • the CPU 101 expands a program stored in ROM 103 into RAM 102 and executes it.
  • the RAM 102 stores tracking point information 102A used by a program described below and external parameters 102B.
  • the structure of the tracking point information 102A will be described later.
  • the external parameter 102B is a value in the middle of the calibration process and is used while being rewritten until the end of the calibration.
  • the ROM 103 stores a running calibration program 103A, a lane recognition program 103B, an external parameter initial value 103C, and a camera use program 103D.
  • the traveling parameter calibration program 103A calibrates external parameters while the vehicle P is traveling. The operation of the running calibration program 103A will be described later.
  • the lane recognition program 103B recognizes the lane mark painted on the road surface, for example, the position of the white line and the type of the line, on the image captured by the camera 111.
  • Various known techniques can be used for the lane recognition program, for example, lane recognition using edge extraction by a Prewitt filter is used.
  • the external parameter initial value 103C is a design value of the external parameter as described above.
  • the camera use program 103D is a program that uses the camera 111. For example, the distance between the host vehicle P and the surrounding vehicles is calculated using an image obtained by the camera 111, and the distance is a predetermined distance. In the following cases, a warning is displayed on the display device 104.
  • the camera use program 103D requires external parameters and internal parameters of the camera 111 for execution, and reads these from the flash memory 112. When the external parameter 112A and the internal parameter are not stored in the flash memory 112, the camera use program 103D uses the internal parameter initial value and the external parameter initial value 103C stored in the ROM 103.
  • the flash memory 112 is a non-volatile storage medium, and the flash memory 112 stores external parameters 112A output by the running calibration program 103A. Although only the calibration of the external parameters will be described in the present embodiment, the calibration device 100 may also perform the calibration of the internal parameters.
  • FIG. 2 is a diagram showing the functions of the running calibration program 103A executed by the CPU 101 as functional blocks and showing the data flows between the functional blocks and between the functional blocks and the RAM 102.
  • the lane recognition program 103 is also called the lane recognition unit 103.
  • the running calibration program 103A has, as its functions, an image acquisition unit 201, a feature point extraction unit 202, a tracking unit 203, a selection unit 204, a load setting unit 205, a storage unit 206, and an execution determination unit 207.
  • the external parameter estimation unit 208, the adoption determination unit 209, and the vehicle motion acquisition unit 210 are provided.
  • the vehicle motion acquisition unit 210 is shown outside the running calibration program 103A in FIG. 2 for convenience of drawing.
  • the image acquisition unit 201, the feature point extraction unit 202, and the tracking unit 203 are executed each time the camera 111 captures an image.
  • the camera 111 shoots continuously and frequently, for example, 30 times per second.
  • An image obtained by the camera 111 (hereinafter, a captured image) is transmitted to the calibration device 100 each time the image is captured.
  • the image acquisition unit 201 receives a captured image from the camera 111 and outputs the received captured image to the feature point extraction unit 202, the tracking unit 203, and the lane recognition unit 103B.
  • the image acquisition unit 201 outputs the captured image to the feature point extraction unit 202, the tracking unit 203, and the lane recognition unit 103B each time the captured image is input from the camera 111, for example.
  • the image acquisition unit 201 may be configured to output every other time for the purpose of reducing the processing load.
  • the vehicle motion acquisition unit 210 outputs the speed and the steering angle of the host vehicle P transmitted from the vehicle speed sensor 105 and the steering angle sensor 106 to the running calibration program 103A as vehicle motion information. However, the vehicle motion acquisition unit 210 may output the obtained information as an instantaneous value, or may calculate the obtained information and, for example, integrate and output it.
  • the feature point extraction unit 202 performs image processing on the captured image input from the image acquisition unit 201 to extract feature points.
  • the feature points referred to here are, for example, intersection points of edges such as corners of walls, corners of curbs, corners of broken lines, corners of pedestrian crossings, or corner feature points in an image.
  • the corner feature points can be extracted by applying a Harris operator, which is a known technique.
  • the feature points extracted by the feature point extraction unit 202 can be specified by, for example, the coordinates in the captured image of the camera 111. In this embodiment, the upper left of the captured image is defined as the origin, the right is defined as the positive direction of the X axis, and the lower is defined as the positive direction of the Y axis.
  • Information on the feature points extracted by the feature point extraction unit 202 is stored in the RAM 102.
  • the tracking unit 203 performs a tracking process using the latest captured image input from the image acquisition unit 201, targeting the feature points obtained from the immediately previous captured image read from the RAM 102. That is, the tracking unit 203 tracks the characteristic points in the captured images captured at different times and calculates the trajectory of the characteristic points.
  • known tracking methods such as SAD (Sum of Absolute Difference), SSD (Sum of Squared Difference), and LK (Lucas-Kanade) method can be used. Then, the information regarding the traced feature points is output to the selection unit 204.
  • the selection unit 204 outputs the loci obtained by the tracking unit 203, that is, the characteristic points excluding the characteristic points unsuitable for use in calibration from the plurality of characteristic points.
  • the characteristic points unsuitable for use in calibration are classified into, for example, the following three types. Firstly, there are feature points that do not exist on the same plane as the road on which the vehicle is traveling, secondly, characteristic points obtained by mistracking, and thirdly, characteristic points that the vehicle P has acquired in an unstable posture. .. This will be described in detail below.
  • the characteristic points that do not exist on the same plane as the road surface on which the vehicle is traveling In order to realize highly accurate calibration of the external parameters, the feature points used for the calculation need to be on the same plane as the road surface on which the host vehicle P travels. That is, an object existing in the height direction from the road surface, for example, a feature point such as a road sign, another vehicle, a wall, a curb, or the like interferes with highly accurate calibration. Furthermore, even on the road surface of the road on which the host vehicle P travels, feature points on the road surface that are not on the same plane also hinder high-precision calibration. Characteristic points on the road surface that are not on the same plane even on the road surface will be described in detail with reference to FIG.
  • FIG. 3 is a diagram showing a general roadway
  • FIG. 3(a) is a sectional view of the road
  • FIG. 3(b) is a plan view of the road.
  • the angle of the gradient is emphasized.
  • the host vehicle is a vehicle indicated by reference sign P, and a white line L101, a center line L102, and a white line L103 are drawn on the roadway.
  • an oncoming vehicle Q is traveling.
  • the road surface on which the host vehicle P travels is called the first surface S11
  • the road surface on which the oncoming vehicle Q travels is called the second surface S12.
  • the first surface S11 and the second surface S12 are symmetrical with respect to a vertical surface passing through the center line L102.
  • the second surface S12 is a plane different from the virtual second surface S12A obtained by extending the first surface S11 from the center line L102. Therefore, tentatively, the calibration device 100 makes the characteristic points existing in the area beyond the center line L102, for example, the characteristic points of characters and symbols drawn on the road surface, the same as the first surface S11 which is the road surface on which the vehicle P travels. If it is misunderstood that it is on a plane and used for calibration, the calculated external parameters include a large error, which is not desirable.
  • the calibration device 100 can correct the position of the feature point according to the distance from the center line L102.
  • the relationship between the second surface S12 and the first surface S12 is unknown unless measured with a sensor or the like, and the addition of the sensor is not desirable because it causes a cost problem. Therefore, by limiting the feature points used for calibration within the range of the traveling lane in which the vehicle P is traveling, feature points that are not on the same plane are used for calibration without using an additional sensor. You can avoid that.
  • the selection unit 204 uses the lane position information output from the lane recognition unit 103B in order to exclude feature points that are not on the road plane.
  • the traveling lane in which the vehicle travels is referred to as the "vehicle lane”.
  • the selection unit 204 leaves only the feature point locus inside the own vehicle lane and discards the feature point locus outside the own vehicle lane. Since the lane recognition can be recognized with a low processing load and high accuracy by a known image recognition technique, the feature point locus outside the road plane can be accurately discarded.
  • the road crossing slope does not include the inflection point of the road crossing slope by limiting it within the range of the own vehicle lane because there is an inflection point at the boundary between the median strip and the adjacent lane of one-sided alternating traffic.
  • the feature point locus can be acquired only from the range that can be regarded as substantially on the road surface. In addition, it is possible to eliminate the trace of oncoming vehicles. The above is the description of the first classification.
  • the second category, feature points obtained by mistracking is, for example, feature points that are accidentally tracked due to the positional relationship between feature points.
  • the characteristic point acquired in the unstable posture of the host vehicle P which is the third classification, is a feature point obtained from a captured image when the host vehicle P is vibrating due to the unevenness of the road surface, for example.
  • the selection unit 204 uses the information acquired from the vehicle motion acquisition unit 210 in order to exclude the feature points according to the second and third classifications.
  • the selection unit 204 calculates the length of the characteristic point trajectory on the road surface plane that is assumed from the vehicle speed obtained by the vehicle motion acquisition unit 210 and the time interval for acquiring the image.
  • the selection unit 204 regards the feature points whose obtained feature point trajectories do not match the length as feature points including an error due to mistracking or vibration and excludes them.
  • the case where the length of the feature point locus does not match includes the case where the length of the feature point locus is less than a predetermined value.
  • the selecting unit 204 excludes feature points that are inappropriate for use in calibration during running by excluding the loci of the feature points that correspond to the first to third classifications described above. In other words, the selection unit 204 selects feature points that have not been excluded by excluding inappropriate feature points.
  • the load setting unit 205 which will be described below, handles the characteristic points that are considered to have a problem in the accuracy of image recognition.
  • the selection unit 204 outputs the selected characteristic point locus to the load setting unit 205.
  • the load setting unit 205 sets, for each of the characteristic point loci output from the selection unit 204, the degree of importance when used for calibration, that is, the load.
  • the load setting unit 205 sets a load according to the assumed accuracy of image recognition, in other words, sets a larger load as the assumed accuracy becomes higher, and sets a smaller load as the assumed accuracy becomes lower.
  • the load is set as follows using the line type of the white line and the shape of the white line as follows. Further, the load setting unit 205 may calculate the score of the corner shape and set the load as described later.
  • the selection unit 204 attaches a load to the feature point locus data, for example, in a format shown in FIG. 5 described later.
  • the feature points basically extract the corner feature points, but whether the white line, which is a solid line, has the corner feature points between the wheels of the vehicle P and the lane marker, due to the influence of subtle shadows. May be erroneously recognized. Therefore, the load setting unit 205 uses the line type information obtained by the lane recognition unit 103B to give a small load when the feature points are present on the solid line and a large load when the feature points are present on the broken line. Give. This is the case of using the white line type.
  • FIG. 4 is a diagram showing a road marking indicating a prohibition of entry, which is drawn on a roadway near a position where the number of lanes increases or decreases, such as before an intersection.
  • the load setting unit 205 calculates the score of the shape of the corner by a known image recognition technique, for example, the strength of the Harris operator, and applies the load according to the score.
  • the score of the shape of the corner can also be called “corner strength”. If the score is high, the corner-likeness is higher, so a large load is applied, and if the score is low, a small load is applied. This is the case where the shape of the white line is used.
  • the storage unit 206 records the feature point locus output from the load setting unit 205 in the RAM 102.
  • the execution determination unit 207 determines whether or not calibration can be performed. If the calibration is performed in a state where the total number of feature point trajectories is small, the calibration result will be largely incorrect when an error series is included. Therefore, the calibration is performed when the characteristic point loci have been accumulated in a predetermined number or more. Further, in order to perform the calibration, feature point loci are required in the left and right regions in the traveling direction when viewed from the center of the own vehicle. Therefore, when a predetermined number of characteristic point loci are obtained in the left and right regions of the vehicle center, an execution command is issued to the external parameter estimation unit 208.
  • the external parameter estimation unit 208 performs bird's-eye view conversion as if the position of the feature point locus obtained by the processing so far is looked down from above the host vehicle P using the current external parameter 102B. Then, the external parameter estimation unit 208 estimates the three-axis angle and the height of the camera using the angle and the length of the feature point locus from the overhead viewpoint.
  • the triaxial angles are the roll angle, pitch angle, and yaw angle of the camera. Since the acquired trajectory of the characteristic points is the trajectory of the characteristic points acquired from the road surface plane where the vehicle P contacts the ground when the vehicle P is traveling straight, the three-axis angle and height of the camera are the same as the external parameters 102B used for the calculation. If they match, a plurality of feature point trajectories from the overhead view flow in parallel and vertically in the vertical direction of the overhead view, and have a predetermined length. This characteristic point locus is an ideal locus.
  • the characteristic point locus from the overhead view is characteristic of the ideal locus. Differences occur. If there is an error in the pitch angle, the feature point locus from the overhead view opens in a V shape. When there is an error in the yaw angle, a difference in length occurs between the left and right feature point trajectories of the vehicle P in the overhead view. When there is an error in the roll angle, the entire feature point trajectory rotates diagonally. If there is an error in the camera height, the length of the feature point locus differs from the predetermined length.
  • the external parameter estimation unit 208 changes each parameter and corrects each parameter using a known optimization technique so as to approach an ideal trajectory, thereby realizing calibration. Details will be described later. After the estimation by the optimization process is completed, the external parameter 102B is output to the adoption determination unit 209.
  • the adoption determination unit 209 receives the output from the external parameter estimation unit 208 and determines whether the parameter may be adopted as the final parameter. When it is determined that the external parameter 102B may be adopted as the final parameter, the external parameter 102B is written in the flash memory 112 as the external parameter 112A. When it is determined that the final parameter is not adopted, it is written in the RAM 102 as an external parameter 102B in the process of estimation and used as an initial value when the next image is input.
  • the acceptance/rejection determination unit 209 determines whether or not the determination can be made as the final parameter from the three viewpoints of convergence determination, number determination, and image determination.
  • the convergence determination is a determination as to whether or not the fluctuation is sufficiently smaller than the past value.
  • the number-of-times determination is a determination of whether or not the same value is obtained within a predetermined range by performing verification multiple times.
  • the image determination is a determination as to whether or not the image can be regarded as a correct bird's-eye view by performing verification on the bird's-eye image.
  • the acceptance/rejection determination unit 209 determines that it may be adopted as the final parameter when all of the convergence determination, the number determination, and the image determination are satisfied, and writes it in the flash memory 112. When it is determined that only the convergence determination and the image determination are satisfied, the adoption determination unit 209 counts up the number of times that the number determination is satisfied, and clears the feature point sequence stored in the RAM 102 and the external parameter 102B in the process of calculation. , Restart from the initial state.
  • FIG. 5 is a diagram showing an example of the tracking point information 102A stored in the RAM 102.
  • the tracking point information 102A stores information on coordinates, states, and loads for each feature point. However, the coordinate information for each feature point is recorded at each time.
  • the rows in FIG. 5 represent individual characteristic points, and the columns represent the coordinates of the characteristic points on the captured image, the states of the characteristic point trajectories, and the weights at the capturing times t1 to t5.
  • the numbers attached to the feature points are identifiers for identifying the feature points, and here, for convenience, serial numbers are used in the order of extraction.
  • FIG. 5 shows that three feature points were extracted from the captured image captured at the time t1, and similarly, four feature points were captured from the captured images captured at the times t2, t3, and t4, and at the time t5.
  • One feature point was extracted from the captured image, indicating that the tracking was successful.
  • Three of the four feature points extracted from the captured images at the times t2 and t3, that is, the feature point 1001, the feature point 1002, and the feature point 1003 represent that tracking is continued from the time t1.
  • the feature points 1001, 1003, and 1004 were not extracted from the captured image captured at time t5, and thus the “x” mark is added in FIG. Although only the times t1 to t5 are displayed in the example shown in FIG. 5, the times are not limited to this.
  • the table size becomes infinitely large and the memory is compressed. Therefore, the table is cyclically utilized by a known ring buffer technique or the like.
  • the “state” column of the tracking point information 102A is referred to when determining whether to use the feature point for calibration.
  • the trajectory discarded by the selection unit 204 is recorded as “NG”, and the trajectory passing through the selection unit 204 is recorded as “OK”.
  • the “load” column of the tracking point information 102A indicates the degree of importance when using the calibration set by the load setting unit 205.
  • the locus having a higher value functions so that the characteristic point locus preferentially comes closer to the ideal locus. A load is applied to the one that has passed through the load setting unit 205.
  • FIG. 6 is a flowchart showing the operation of the feature point extraction unit 202.
  • the feature point extraction unit 202 executes the following operation each time the captured image is transmitted from the image acquisition unit 201.
  • the CPU 101 is the execution subject of each step described below.
  • the feature point extraction unit 202 determines the area in the captured image from which the feature point extraction unit 202 extracts the feature points based on the traveling direction of the vehicle P and the shooting direction of the camera 111 with respect to the traveling direction of the vehicle P. For example, when the vehicle P travels forward, the camera 111 is mounted in front of the vehicle P, so that even if a characteristic point is extracted at a position close to the vehicle P, the characteristic point is immediately out of the angle of view of the camera 111. The tracking time is short because it is lost. The larger the processing area, the longer the calculation process takes. Therefore, in order to perform the calculation in real time, it is necessary to reduce the calculation processing load of such a wasteful part.
  • the processing area is set so as to extract the feature points at a location away from the vehicle P.
  • the processing area is set on the side closer to the vehicle P when the vehicle P moves forward. Then, the process proceeds to step S302.
  • step S302 the feature point extraction unit 202 extracts feature points from the feature point extraction area set in step S301.
  • the feature point extraction unit 202 extracts a corner feature point by applying a Harris operator or the like to the area set in step S301, and proceeds to step S303.
  • step S303 the feature point extraction unit 202 outputs the coordinates of the feature points extracted in step S302 to the RAM 102, and the flowchart of FIG. 6 ends.
  • FIG. 7 is a flowchart showing the operation of the tracking unit 203.
  • the tracking unit 203 executes the following operation each time the captured image is transmitted from the image acquisition unit 201.
  • the CPU 101 is the execution subject of each step described below.
  • step S401 the tracking unit 203 sets a processing area as a target of the feature point tracking process. That is, in the captured image captured immediately before by the camera 111, using the coordinates of the characteristic points extracted by the characteristic point extraction unit 202 and the motion information of the vehicle P acquired by the vehicle motion acquisition unit 210, the immediately previous captured image. Estimate the moving direction and distance of the feature points extracted in. Then, the tracking unit 203 determines an area corresponding to the direction and distance estimated to move the feature point as an area in the captured image in which the feature point is tracked. Then, the process proceeds to step S402.
  • the captured image used to estimate the direction and the distance in which the feature point moves is not limited to the immediately preceding captured image, and may be estimated using a plurality of captured images, or using captured images other than immediately before. It may be estimated. That is, the moving direction and the distance of the feature point may be estimated by using a captured image captured earlier.
  • Steps S402 to S405 described below are repeatedly executed a number of times corresponding to the feature points extracted in the immediately preceding captured image.
  • the tracking unit 203 tracks the feature points in the captured image immediately before read from the RAM 102, which is the tracking target, by a known method such as the SAD or LK method described above, and proceeds to step S403.
  • the tracking unit 203 determines whether or not the tracking of the feature points in the immediately preceding captured image to be tracked can be continued.
  • the tracking unit 203 determines that the tracking cannot be performed due to the deviation from the angle of view of the camera. Further, the tracking unit 203 forcibly ends the tracking when the feature points pass through a predetermined fixed line in the image or when the feature points deviate from a predetermined region. The reason for forcibly ending the tracking is that it is assumed that the next captured image will deviate from the angle of view of the camera 111, or the distance to the subject becomes long and there is no need to perform tracking. The tracking unit 203 proceeds to step S404 when determining that the tracking can be continued, and proceeds to step S405 when determining that the tracking has ended.
  • step S404 the tracking unit 203 records the coordinates of the tracked feature points in the row of the feature points to be processed in the trace point information 102A and the column of the time when the captured image of the process target was captured.
  • step S405 the tracking unit 203 records a mark for which tracking has ended, for example, “x”, in the row of the feature points of the processing target in the tracking point information 102A, and in the column of the time when the captured image of the processing target was captured. To do.
  • step S404 or step S405 it is determined whether or not steps S402 to S405 have been executed for the feature points extracted in the immediately preceding captured image, and if there are unprocessed feature points, the process returns to step S402, When it is determined that the processing has been completed for all feature points, the flowchart of FIG. 7 ends.
  • FIG. 8 is a flowchart showing the operation of the selection unit 204.
  • the selection unit 204 executes the following operation each time the captured image is transmitted from the image acquisition unit 201.
  • the CPU 101 is the execution subject of each step described below.
  • the selection unit 204 executes S601 to S610 described below for all trajectories that have been tracked in the immediately preceding process.
  • the tracking point information 102A is as shown in FIG. 5, and in the process immediately after the time t5, the selection unit 204 sets each of the feature point 1001, the feature point 1003, and the feature point 1004 as the feature point trajectory of the processing target from S601 to. S610 is executed.
  • the selection unit 204 performs bird's-eye view conversion of the locus with the current external parameter 102B, and proceeds to step S602. If the external parameter 102B does not match the ideal external parameter, the locus converted from the bird's-eye view does not match the ideal locus, but the locus is close to the bird's-eye view point.
  • step S602 the selection unit 204 calculates the locus representative coordinates of the processing target characteristic point locus in order to determine the positional relationship between the processing target characteristic point locus and the own vehicle lane in the next step.
  • the locus representative coordinates are, for example, an average value of the coordinates of all the feature points forming the locus of the feature point to be processed, which are transformed from a bird's eye view.
  • the locus representative coordinates may be the coordinates of the feature point that is farthest from the host vehicle P in the width direction of the vehicle among the coordinates obtained by bird's-eye conversion of the coordinates of all the feature points that form the feature point locus to be processed. Good.
  • the selection unit 204 proceeds to step S603.
  • step S603 the selection unit 204 acquires the image coordinates of the lane in which the vehicle P is traveling, which is output from the lane recognition unit 103B, and calculates the lane position from the overhead view using the current external parameter 102B.
  • the selecting unit 204 compares the lane position from the overhead view point with the locus representative coordinates calculated in step S602. If the selection unit 204 determines that the trajectory representative coordinates are outside the lane, the process proceeds to step S209, and if it is determined that the trajectory representative coordinates are inside the lane, the process proceeds to step S604.
  • step S604 the selection unit 204 calculates the length of the feature point locus to be processed.
  • the length of the feature point locus is, for example, the length of the feature point locus is the Euclidean distance between the start point coordinate and the end point coordinate forming the locus in the feature point locus on the overhead view point.
  • the selection unit 204 proceeds to step S605.
  • step S605 the selection unit 204 calculates the ideal trajectory length by the product of the vehicle speed obtained by the vehicle motion acquisition unit 210 and the time interval for acquiring the image, and proceeds to step S606. For example, when the vehicle speed is 36 km/h and the time interval for acquiring an image is 0.1 seconds, the ideal trajectory length is 10 m. Note that steps S604 and S605 may be interchanged in order or may be executed in parallel.
  • step S606 the selection unit 204 compares the trajectory length calculated in step S604 with the ideal trajectory length calculated in step S605. If the selection unit 204 determines that the difference between the ideal trajectory length and the trajectory length is larger than the predetermined length, the process proceeds to step S609. When the selection unit 204 determines that the difference between the ideal trajectory length and the trajectory length is smaller than the predetermined length, the feature point trajectory is suitable for use in calibration, and thus the process proceeds to step S607.
  • step S607 the selection unit 204 obtains an approximate straight line by a known technique such as the least square method with respect to the feature point locus determined to match in step S606.
  • step S608 the selection unit 204 determines the linearity of the feature point locus.
  • the selection unit 204 determines the linearity of the feature point locus, for example, as follows. That is, the selecting unit 204 calculates the approximate straight line calculated in step S607 and the distance of each coordinate of the feature point locus, and compares the magnitude relationship between the average value of the distance and a predetermined amount. If the selecting unit 204 determines that the average value of the distances is larger than a predetermined amount, the selecting unit 204 determines that the linearity is unsuitable and proceeds to step S609. If the selection unit 204 determines that the average value of the distances is less than or equal to a predetermined amount, the selection unit 204 determines that the linearity is suitable, and proceeds to step S610.
  • step S609 the selection unit 204 discards the feature point locus to be processed because it is inappropriate to use for calibration, and writes “NG” in the status column of the tracking point information 102A.
  • step S610 the selection unit 204 writes "OK” in the status column of the tracking point information 102A because the feature point locus to be processed is suitable for use in calibration.
  • step S609 or step S610 the selection unit 204 determines whether or not the processing of step S601 and subsequent steps has been executed for all trajectories that have been tracked in the immediately preceding processing.
  • the selection unit 204 determines that there is an unprocessed regulation, it executes the processing of step S601 and the following with the trajectory as a processing target, and determines that the processing of step S601 and the following has been performed with respect to the entire trajectory as shown in FIG. The processing shown is ended.
  • FIG. 9 is a flowchart showing the operation of the external parameter estimation unit 208.
  • the external parameter estimation unit 208 executes the following operation each time it receives an execution command from the execution determination unit 207.
  • the CPU 101 is the execution subject of each step described below.
  • step S701 the external parameter estimation unit 208 estimates the pitch angle.
  • the external parameter estimation unit 208 uses the information of the characteristic point locus in which “OK” is entered in the status column in the tracking point information 102A and the external parameter 102B stored in the RAM 102 for the calculation.
  • the external parameter estimation unit 208 implements pitch angle estimation by designing an objective function for evaluating parallelism of feature point loci and minimizing the objective function with respect to the pitch angle by a known technique.
  • the objective function in step S701 is basically a function that evaluates the parallelism of two feature point loci.
  • the external parameter estimation unit 208 creates a plurality of pairs of two feature point loci and designs the sum of all the objective functions as the objective function for pitch angle estimation. Therefore, the pitch angle is corrected so that the entire feature point loci are as parallel as possible.
  • a pair of feature point loci is selected from the loci on the left side in the traveling direction, and the locus on the left side and the locus on the right side from the vehicle center, in other words, the locus on the left side in the traveling direction and the locus on the right side in the traveling direction are combined. ..
  • the pairs of feature point loci may be all conceivable combinations or only some selected from them.
  • the external parameter estimation unit 208 rewrites the read pitch angle of the external parameter 102B with the pitch angle estimated in step S701 and stores it in the RAM 102. In other words, the external parameter 102B stored in the RAM 102 is updated by the process of step S701.
  • step S702 the external parameter estimation unit 208 estimates the yaw angle.
  • the external parameter estimation unit 208 uses the information of the characteristic point locus in which “OK” is entered in the status column in the tracking point information 102A and the external parameter 102B updated by the process of step S701 for the calculation.
  • the external parameter estimation unit 208 designs an objective function that evaluates the verticality of the feature point locus, that is, the degree to which the locus follows the traveling direction in the overhead view. Then, the external parameter estimation unit 208 realizes the yaw angle estimation by minimizing the objective function with respect to the yaw angle by a known technique.
  • the objective function in step S702 is basically a function for evaluating the verticality of one feature point locus, and the sum of the objective functions for all feature point loci is designed as the objective function for pitch angle estimation. Therefore, the yaw angle is calculated so that the entire feature point locus faces the vertical direction as much as possible.
  • the external parameter estimation unit 208 rewrites the read yaw angle of the external parameter 102B with the yaw angle estimated in step S702 and stores it in the RAM 102.
  • step S703 the external parameter estimation unit 208 estimates the roll angle.
  • the external parameter estimation unit 208 uses the information of the characteristic point locus in which “OK” is entered in the status column in the tracking point information 102A and the external parameter 102B updated by the process of step S702 for calculation.
  • the external parameter estimation unit 208 designs an objective function that evaluates the difference in the lengths of the feature point trajectories of the trajectory on the left side and the trajectory on the right side from the center of the vehicle, and minimizes the objective function with respect to the roll angle by a known technique. By doing so, roll angle estimation is realized.
  • the objective function in step S703 is designed to minimize the difference between the average value of all feature point locus lengths on the left side of the own vehicle and the average value of all feature point locus lengths on the right side of the own vehicle.
  • the roll angle is corrected so that the difference in length between the entire characteristic point locus on the left side of the own vehicle and the entire characteristic point locus on the right side is as small as possible, that is, so as to approach the ideal bird's-eye view point.
  • the external parameter estimation unit 208 rewrites the roll angle of the read external parameter 102B with the roll angle estimated in step S703 and stores it in the RAM 102.
  • step S704 the external parameter estimation unit 208 estimates the height.
  • the external parameter estimation unit 208 uses the information of the feature point locus in which “OK” is entered in the status column in the tracking point information 102A and the external parameter 102B updated by the process of step S703 for the calculation.
  • the external parameter estimation unit 208 performs height estimation by minimizing a height of an objective function representing the difference between the length of the feature point locus and the length of the ideal locus predicted from the vehicle motion information with respect to the height by a known technique. Realize.
  • the objective function is designed to minimize the difference between the lengths of all feature point trajectories and the ideal trajectory. Therefore, the height is corrected so that the difference between the entire length of the characteristic point locus and the ideal locus is as small as possible, that is, the height is corrected so as to approach the ideal bird's-eye view point.
  • the external parameter estimation unit 208 rewrites the height of the read external parameter 102B with the height estimated in step S704 and stores it in the RAM 102.
  • the calibration device 100 is mounted on the vehicle P.
  • the calibration device 100 includes an image acquisition unit 201 that acquires a captured image obtained by the camera 111 mounted on the vehicle P capturing the surroundings of the vehicle P, and a feature point extraction unit that extracts a plurality of feature points from the captured image.
  • a tracking unit 203 for each of the plurality of feature points extracted by the feature point extraction unit 202, tracking the same feature point from the plurality of captured images captured at different times, and recording it as a feature point trajectory;
  • a lane recognition unit 103B that recognizes a vehicle lane that is a traveling lane on which the vehicle P travels, and a feature point locus traced by the tracking unit 203 that is the same as the plane included in the vehicle lane recognized by the lane recognition unit 103B.
  • a selection unit 204 that selects a feature point trajectory on a plane and an external parameter estimation unit 208 that estimates an external parameter of the camera 111 using the feature point trajectory selected by the selection unit 204.
  • the calibration device 100 selects feature points included in the vehicle lane and uses them for estimating the external parameters, it is possible to use feature points that are not on the same plane for calibration as shown in FIG. Can be avoided. That is, the calibration device 100 can realize highly accurate calibration even when the calibration is performed during traveling on an actual road. In addition, this method does not require an additional sensor and recognizes the traveling lane using the image captured by the camera 111, which is also excellent in cost.
  • the calibration device 100 includes the load setting unit 205 that weights the feature points tracked by the tracking unit 203 based on the recognition accuracy.
  • the external parameter estimating unit 208 estimates the external parameter such that the evaluation value becomes higher as the feature point is set to have a larger weighting by the load setting unit 205. Therefore, the accuracy of recognition of feature points can be reflected in the estimation of external parameters.
  • the load setting unit 205 determines weighting based on the corner strength of feature points. (4) In setting the weighting on the white line characteristic points, the load setting unit 205 sets the weighting on the dashed white line characteristic points higher than the weighting on the solid white line characteristic points. Therefore, the accuracy of image recognition can be reflected in the calculation of external parameters.
  • the selection unit 204 determines that the difference between the length of the trajectory tracked by the tracking unit 203 and the ideal trajectory length is smaller than a predetermined length (S606: NO in FIG. 8), and the tracking unit 203 determines The traced trajectory has linearity (S608: NO in FIG. 8) and is included in the vehicle lane (S603: NO in FIG. 8). Therefore, since the calibration device 100 uses appropriate feature points, the external parameters can be estimated with high accuracy.
  • the selection unit 204 selects the vehicle lane recognized by the lane recognition unit 103B based on the speed information acquired by the vehicle motion acquisition unit 210 and the acquisition time intervals of the plurality of captured images acquired by the image acquisition unit 201.
  • the length of the feature point locus on the same plane as the included plane is calculated, and if the length of the feature point locus is less than a predetermined value, it is excluded from the feature point loci used for estimation by the external parameter estimation unit 208. Therefore, inappropriate feature point loci can be excluded from the estimation of external parameters.
  • the vehicle motion acquisition unit 210 of the calibration device 100 receives the outputs from the vehicle speed sensor 105 and the steering angle sensor 106.
  • the vehicle motion acquisition unit 210 may accept position information of the host vehicle P as an input.
  • the host vehicle P includes a GPS receiver
  • the vehicle motion acquisition unit 210 receives position information of the vehicle P from the GPS receiver, and the vehicle motion acquisition unit 210 uses the input position information as it is as vehicle motion information. It may be output to the running calibration program 103A.
  • the GPS receiver receives radio waves from a plurality of satellites forming the satellite navigation system and analyzes the signals included in the radio waves to calculate the position of the host vehicle P, that is, the latitude and longitude.
  • the calibration device 100 may not include either the implementation determination unit 207 or the adoption determination unit 209, or may not include both. When each of them is not provided in the calibration device 100, the process is executed in the same manner as when the configuration not provided makes a positive determination. For example, when both the implementation determination unit 207 and the adoption determination unit 209 are not provided in the calibration device 100, when the storage unit 206 records the feature point loci in the RAM 102, the following processing is performed. That is, the external parameter estimation unit 208 estimates the external parameter 102B, and the external parameter 102B estimated by the external parameter estimation unit 208 is recorded as it is in the flash memory 112 as the external parameter 112A.
  • step 3 In the operation of the selection unit 204, all of steps S604 to S608 of FIG. 8 may be omitted, only steps S604 to S606 may be omitted, or only steps S607 to S608 may be omitted. That is, the selection unit 204 needs to make a determination based on the positional relationship between the feature points and the vehicle lane shown in steps S601 to S603, and the additional selection shown in steps S604 to S608 may not be performed.
  • the program is stored in the ROM 103, but the program may be stored in the flash memory 112.
  • the calibration device 100 may include an input/output interface (not shown), and the program may be read from another device via the input/output interface and a medium that can be used by the calibration device 100 when necessary.
  • the medium refers to, for example, a storage medium that can be attached to and detached from the input/output interface, or a communication medium, that is, a wired, wireless, optical, or other network, or a carrier wave or digital signal that propagates through the network.
  • some or all of the functions realized by the program may be realized by a hardware circuit or FPGA.

Abstract

実際の道路で走行中にキャリブレーションを実施する場合も、高精度なキャリブレーションが実現できる。具体的には、キャリブレーション装置は、車両に搭載され、車両に搭載されるカメラが車両の周囲を撮影して得られる撮影画像を取得する画像取得部と、撮影画像から複数の特徴点を抽出する特徴点抽出部と、特徴点抽出部が抽出した複数の特徴点それぞれについて、異なる時間に撮影された複数の撮影画像から同一の特徴点を追跡し特徴点軌跡として記録する追跡部と、撮影画像から車両が走行する走行レーンである自車レーンを認識するレーン認識部と、追跡部が追跡し、記録した特徴点軌跡のうち、レーン認識部で認識した自車レーンに含まれる平面と同一平面上の特徴点軌跡を選別する選別部と、選別部が選別した特徴点を用いてカメラの外部パラメータを推定する外部パラメータ推定部とを備える。

Description

キャリブレーション装置、キャリブレーション方法
　本発明は、キャリブレーション装置、およびキャリブレーション方法に関する。
　ドライバーを支援する目的で車載カメラの普及が進んでいる。車載カメラは設計に基づいた位置、姿勢で車両に取り付けられるが、取り付けに誤差が生じることが避けられない。車載カメラにより撮影して得られた画像を用いて距離計算などを行う際には、この取り付け誤差が距離精度に大きな影響を与える。そのため、車載カメラの取り付けの誤差を外部パラメータとしてあらかじめ推定し、距離計算などを行う際にカメラの外部パラメータを考慮することが広く行われている。外部パラメータは、工場出荷前に工場内にて所定のテストパターンなどを用いて算出することも可能であるが、乗車人員の増減や車両中の重量物の移動などにより車両の姿勢が変化するため、厳密には外部パラメータも変化することが知られている。そのため車両が道路を走行中に外部パラメータを推定すること、すなわち外部パラメータのキャリブレーションが求められている。なお走行中に外部パラメータをキャリブレーションができれば工場出荷前の外部パラメータの算出を省略でき、作業工程の削減にも資する。特許文献１には、車載カメラにより撮影して得られた画像を用いて外部パラメータを算出する発明が開示されている。
国際公開第２０１２／１４３０３６号パンフレット
　特許文献１に記載されている発明では、キャリブレーションが可能な状況が限定されている。
　本発明の第１の態様によるキャリブレーション装置は、車両に搭載され、前記車両に搭載されるカメラが前記車両の周囲を撮影して得られる撮影画像を取得する画像取得部と、前記撮影画像から複数の特徴点を抽出する特徴点抽出部と、前記特徴点抽出部が抽出した複数の前記特徴点それぞれについて、異なる時間に撮影された複数の前記撮影画像から同一の特徴点を追跡し特徴点軌跡として記録する追跡部と、前記撮影画像から前記車両が走行する走行レーンである自車レーンを認識するレーン認識部と、前記追跡部が追跡し、記録した特徴点軌跡のうち、前記レーン認識部で認識した前記自車レーンに含まれる平面と同一平面上の前記特徴点軌跡を選別する選別部と、前記選別部が選別した前記特徴点軌跡を用いて前記カメラの外部パラメータを推定する外部パラメータ推定部とを備える。
　本発明の第２の態様によるキャリブレーション方法は、車両に搭載され、前記車両に搭載されるカメラが前記車両の周囲を撮影して得られる撮影画像を取得する画像取得部を有するキャリブレーション装置が実行するキャリブレーション方法であって、前記撮影画像から複数の特徴点を抽出することと、前記撮影画像から抽出された複数の前記特徴点それぞれについて、異なる時間に撮影された複数の前記撮影画像から同一の特徴点を追跡し、特徴点軌跡として記録を行うことと、前記撮影画像から前記車両が走行する走行レーンである自車レーンを認識することと、前記追跡されて、前記記録された前記特徴点軌跡のうち、前記自車レーンに含まれる路面と同一平面上の前記特徴点軌跡の選別を行うことと、前記選別された前記特徴点軌跡を用いて前記カメラの外部パラメータを推定することとを含む。
　本発明によれば、実際の道路で走行中にキャリブレーションを実施する場合も、高精度なキャリブレーションが実現できる。
キャリブレーション装置１００を備える車両Ｐの構成を示すブロック図 走行中キャリブレーションプログラム１０３Ａの機能ブロック図 一般的な車道を示す図。図３（ａ）は道路の断面図、図３（ｂ）は道路の平面図。 立ち入り禁止を示す道路標示を示す図 追跡点情報１０２Ａの一例を示す図 特徴点抽出部２０２の動作を表すフローチャート 追跡部２０３の動作を表すフローチャート 選別部２０４の動作を表すフローチャート 外部パラメータ推定部２０８の動作を表すフローチャート
―第１の実施の形態―
　以下、図１～図９を参照して、本発明にかかるキャリブレーション装置の第１の実施の形態を説明する。
　図１は、本発明にかかるキャリブレーション装置１００、およびキャリブレーション装置１００を備える車両Ｐの構成を示すブロック図である。なお本実施の形態では、車両Ｐを他の車両と区別するために「自車両」Ｐと呼ぶこともある。
　車両Ｐは、キャリブレーション装置１００と、車両Ｐの前方を撮影するカメラ１１１と、キャリブレーション装置１００の出力に基づき運転者へ情報を提示する表示装置１０４と、車両Ｐの速度を測定する車速センサ１０５と、車両Ｐの舵角を測定する舵角センサ１０６とを備える。カメラ１１１、車速センサ１０５、および舵角センサ１０６が取得した情報は、キャリブレーション装置１００に送信される。
　カメラ１１１は、車両Ｐの前方に取り付けられ、光軸は車両Ｐの正面であって水平方向よりも下に向けて固定される。ただしここで示すカメラ１１１の取り付け位置および取り付け姿勢は一例であり、カメラ１１１の取り付け位置および取り付け姿勢は設計により様々な値をとりうる。カメラ１１１の車両Ｐとの位置・姿勢関係の設計値は、外部パラメータ初期値１０３Ｃとして後述するフラッシュメモリ１１２に格納される。ただし、カメラ１１１の車両Ｐへの取り付けが設計値からずれが生じることは避けられず、実際の取り付け状態に対応する理想的な外部パラメータと、設計値である外部パラメータ初期値１０３Ｃとは一致しない。
　カメラ１１１はレンズおよび撮像素子を備え、これらの特性、たとえばレンズの歪みを示すパラメータであるレンズ歪み係数、光軸中心、焦点距離、撮像素子の画素数および寸法が内部パラメータ初期値としてＲＯＭ１０３に格納される。また、後述するキャリブレーションプログラムにより算出された外部パラメータ１１２Ａがフラッシュメモリ１１２に保存される。
　キャリブレーション装置１００は、中央演算装置であるＣＰＵ１０１と、読み書き可能な記憶装置であるＲＡＭ１０２と、読み出し専用の記憶装置であるＲＯＭ１０３と、フラッシュメモリ１１２とを備える。ＣＰＵ１０１は、ＲＡＭ１０２、ＲＡＭ１０３、およびフラッシュメモリ１１２と信号線により接続される。
　ＣＰＵ１０１は、ＲＯＭ１０３に格納されるプログラムをＲＡＭ１０２に展開して実行する。ＲＡＭ１０２には、後述するプログラムが利用する追跡点情報１０２Ａ、および外部パラメータ１０２Ｂが格納される。追跡点情報１０２Ａの構造は後述する。外部パラメータ１０２Ｂは、キャリブレーション過程における途中の値であり、キャリブレーション終了まで書き換えられながら使用される。
　ＲＯＭ１０３には、走行中キャリブレーションプログラム１０３Ａと、レーン認識プログラム１０３Ｂと、外部パラメータ初期値１０３Ｃと、カメラ利用プログラム１０３Ｄとが格納される。走行中パラメータキャリブレーションプログラム１０３Ａは、車両Ｐの走行中に外部パラメータをキャリブレーションする。走行中キャリブレーションプログラム１０３Ａの動作は、後に説明する。レーン認識プログラム１０３Ｂは、カメラ１１１で撮影された画像上において、路面にペイントされているレーンマーク、たとえば白線の位置や線の種別を認識する。レーン認識プログラムには様々な公知技術を用いることができ、たとえばPrewittフィルタによるエッジ抽出を用いたレーン認識が用いられる。
　外部パラメータ初期値１０３Ｃは、前述のとおり外部パラメータの設計値である。カメラ利用プログラム１０３Ｄとは、カメラ１１１を利用するプログラムであり、たとえばカメラ１１１が撮影して得られた画像を用いて自車両Ｐと周囲の車両との距離を算出し、その距離が所定の距離以下の場合は表示装置１０４に警告を表示する。カメラ利用プログラム１０３Ｄは、実行のためにカメラ１１１の外部パラメータおよび内部パラメータを必要としており、これらをフラッシュメモリ１１２から読み込む。カメラ利用プログラム１０３Ｄは、フラッシュメモリ１１２に外部パラメータ１１２Ａおよび内部パラメータが保存されていない場合は、ＲＯＭ１０３に保存されている内部パラメータ初期値および外部パラメータ初期値１０３Ｃを用いる。
　フラッシュメモリ１１２は不揮発性記憶媒体であり、フラッシュメモリ１１２には走行中キャリブレーションプログラム１０３Ａが出力する外部パラメータ１１２Ａが格納される。なお本実施の形態では外部パラメータのキャリブレーションのみを説明するが、キャリブレーション装置１００は内部パラメータのキャリブレーションも行ってもよい。
　図２は、ＣＰＵ１０１が実行する走行中キャリブレーションプログラム１０３Ａが有する機能を機能ブロックとして表し、機能ブロック同士、および機能ブロックとＲＡＭ１０２とのデータの流れを示す図である。なお本実施の形態では、レーン認識プログラム１０３をレーン認識部１０３とも呼ぶ。
　走行中キャリブレーションプログラム１０３Ａは、その機能として画像取得部２０１と、特徴点抽出部２０２と、追跡部２０３と、選別部２０４と、荷重設定部２０５と、蓄積部２０６と、実施判定部２０７と、外部パラメータ推定部２０８と、採否判定部２０９と、車両運動取得部２１０とを備える。なお車両運動取得部２１０は、図２では作図の都合により走行中キャリブレーションプログラム１０３Ａの外部に示されている。画像取得部２０１、特徴点抽出部２０２、および追跡部２０３は、カメラ１１１が画像を撮影するたびに実行される。
　カメラ１１１は、連続して高い頻度、たとえば毎秒３０回撮影する。カメラ１１１が撮影して得られた画像（以下、撮影画像）は、撮影するたびにキャリブレーション装置１００に送信される。画像取得部２０１は、カメラ１１１から撮影画像を受信し、受信した撮影画像を特徴点抽出部２０２、追跡部２０３、およびレーン認識部１０３Ｂに出力する。画像取得部２０１は、たとえば、カメラ１１１から撮影画像が入力されるたびに特徴点抽出部２０２と追跡部２０３とレーン認識部１０３Ｂに撮影画像を出力する。ただし、処理負荷低減等を目的として、画像取得部２０１は１回おきに出力する構成としてもよい。
　車両運動取得部２１０は、車速センサ１０５および舵角センサ１０６から送信される自車両Ｐの速度および舵角を車両運動情報として走行中キャリブレーションプログラム１０３Ａに出力する。ただし車両運動取得部２１０は、得られた情報を瞬時値として出力してもよいし、得られた情報を演算して、たとえば積分して出力してもよい。
　特徴点抽出部２０２は、画像取得部２０１から入力される撮影画像に対して画像処理を施して特徴点を抽出する。ここでいう特徴点とは、たとえば画像中の壁の角、縁石の角、破線の角、横断歩道の角、などのエッジの交点、すなわちコーナー特徴点である。コーナー特徴点は、たとえば公知の技術であるハリスオペレータを適用することにより抽出できる。特徴点抽出部２０２により抽出された特徴点は、たとえばカメラ１１１の撮影画像における座標により特定することができる。本実施の形態では、撮影画像の左上を原点とし、右をＸ軸の正方向、下をＹ軸の正方向と定義する。特徴点抽出部２０２により抽出された特徴点の情報は、ＲＡＭ１０２に保存される。
　追跡部２０３は、ＲＡＭ１０２から読み込む、直前の撮影画像から得られた特徴点を対象として、画像取得部２０１から入力される最新の撮影画像を用いて追跡処理を行う。すなわち追跡部２０３は、異なる時刻に撮影された撮影画像中の特徴点を追跡して特徴点の軌跡を算出する。特徴点の追跡には、既知の追跡手法であるＳＡＤ（Sum　of　Absolute　Difference）やＳＳＤ（Sum　of　Squared　Difference）、ＬＫ（Lucas‐Kanade）法などを用いることができる。そして、追跡した特徴点に関する情報を選別部２０４に出力する。
　選別部２０４は、追跡部２０３で得られた軌跡、すなわち複数の特徴点のうち、キャリブレーションへの使用に不適当な特徴点を除いた特徴点を出力する。キャリブレーションへの使用に不適当な特徴点は、たとえば次の３つに分類される。第１に自車が走行する路面と同一平面上には存在しない特徴点、第２に誤追跡により得られた特徴点、第３に自車両Ｐが不安定な姿勢で取得した特徴点である。以下に詳しく説明する。
　第１の分類である、自車が走行する路面と同一平面上には存在しない特徴点について説明する。高精度な外部パラメータのキャリブレーションを実現するためには、演算に用いる特徴点は、自車両Ｐが走行する路面と同一平面に存在することが必要となる。すなわち、路面から高さ方向に離れて存在する物体、たとえば道路標識、他の車両、壁、縁石などの特徴点は高精度なキャリブレーションの妨げとなる。さらには、自車両Ｐが走行する道路の路面上であっても同一平面上にない路面上の特徴点も高精度なキャリブレーションの妨げとなる。道路の路面上であっても同一平面上にない路面上の特徴点について、図３を参照して詳しく説明する。
　車両Ｐが走行する車道は、雨水の排水などを目的として、法令により車道の幅方向に数％の勾配、すなわち横断勾配を有することが定められている。そのため図３に示すように、車道の中央部が高く、道路の幅方向に向かってなだらかに低くなる構成を有することが多い。図３は一般的な車道を示す図であり、図３（ａ）は道路の断面図、図３（ｂ）は道路の平面図である。ただし図３（ａ）では勾配の角度を強調している。図３において自車両は符号Ｐで示す車両であり、車道には白線Ｌ１０１と、中央線Ｌ１０２と、白線Ｌ１０３とが描画されている。中央線Ｌ１０２を挟んで自車両Ｐの逆側には、対向車両Ｑが走行している。
　ここでは、自車両Ｐが走行する路面を第１面Ｓ１１と呼び、対向車両Ｑが走行する路面を第２面Ｓ１２と呼ぶ。図３（ａ）に示すように、第１面Ｓ１１と第２面Ｓ１２は、中央線Ｌ１０２を通る鉛直な面を中心として対称である。換言すると第２面Ｓ１２は、第１面Ｓ１１を中央線Ｌ１０２から延伸させた仮想第２面Ｓ１２Ａとは異なる平面である。そのため仮にキャリブレーション装置１００が、中央線Ｌ１０２を超えた領域に存在する特徴点、たとえば路面に描画された文字や記号の特徴点を、自車両Ｐが走行する路面である第１面Ｓ１１と同一平面上にあると誤解してキャリブレーションに使用すると、算出された外部パラメータは大きな誤差を含むため望ましくない。
　第２平面Ｓ１２の傾きが図示したとおりであれば、キャリブレーション装置１００は中央線Ｌ１０２からの距離に応じて特徴点の位置を補正することは可能である。しかし実際にはセンサなどで計測しない限りは第２面Ｓ１２と第１面Ｓ１２との関係は不明であり、センサの追加はコストの問題となるため望ましくない。そのためキャリブレーションに用いる特徴点を自車両Ｐが走行している走行レーンの範囲内に限定することで、追加のセンサを用いることなく、同一平面上にない特徴点をキャリブレーションに使用してしまうことを避けることができる。
　選別部２０４は、路面平面上にない特徴点を除外するために、レーン認識部１０３Ｂから出力されるレーンの位置情報を利用する。本実施の形態では、自車が走行する走行レーンを「自車レーン」と呼ぶ。選別部２０４は、自車レーン内の特徴点軌跡のみ残し、自車レーン外の特徴点軌跡は破棄する。レーン認識は公知の画像認識技術により、低処理負荷かつ高確度で認識できるため、路面平面外の特徴点軌跡を正確に破棄できる。
　さらに、自車レーンのみの狭い平面範囲に限定することで、キャリブレーションに必要な特徴点軌跡を確保しつつ、道路横断勾配の影響を最小限に抑えることができる。道路横断勾配は、中央分離帯や、片側交互通行の隣接車線との境界に変曲点があるため、自車レーンの範囲内に制限することで、道路横断勾配の変曲点を含まず、ほぼ路面平面上とみなせる範囲のみから特徴点軌跡を取得できる。さらに、対向車などを追跡した軌跡も排除できる。以上が第１の分類の説明である。
　第２の分類である、誤追跡により得られた特徴点とは、たとえば特徴点同士の位置関係から偶然に追跡がされた特徴点である。第３の分類である、自車両Ｐが不安定な姿勢で取得した特徴点とは、たとえば自車両Ｐが路面の凹凸により振動している際の撮影画像から得られた特徴点である。選別部２０４は、第２および第３の分類による特徴点を除外するために、車両運動取得部２１０から取得した情報を用いる。選別部２０４は、車両運動取得部２１０で得られる車両速度と、画像を取得する時間間隔とから想定される路面平面上の特徴点軌跡の長さを算出する。そして選別部２０４は、得られた特徴点軌跡の長さが適合しない特徴点は、誤追跡や振動の影響で誤差を含む特徴点とみなして除外する。なお、特徴点軌跡の長さが適合しない場合とは、特徴点軌跡の長さが所定値に満たない場合を含む。
　選別部２０４は、以上説明した第１～第３の分類に該当する特徴点の軌跡を除外することで、走行中のキャリブレーションに使用するにあたり不適当な特徴点を除外する。換言すると選別部２０４は、不適当な特徴点を除外することで、除外しなかった特徴点を選別する。画像認識の精度に問題があると考えられる特徴点の対処は、次に説明する荷重設定部２０５により行われる。選別部２０４は、選別した特徴点軌跡を荷重設定部２０５に出力する。
　荷重設定部２０５は、選別部２０４から出力される特徴点軌跡のそれぞれに対して、キャリブレーションに使用する際に重視する度合い、すなわち荷重を設定する。荷重設定部２０５は、想定される画像認識の精度に応じて荷重を設定し、換言すると、想定される精度が高いほど大きい荷重を設定し、想定される精度が低いほど小さい荷重を設定する。たとえば以下のように白線の線種や白線の形状を利用して以下のように荷重を設定する。また荷重設定部２０５は後述するようにコーナー形状のスコアを算出して荷重を設定してもよい。選別部２０４はたとえば、後述する図５に示す形式で特徴点軌跡データに荷重を付す。
　前述のとおり、特徴点は基本的にコーナー特徴点を抽出するものではあるが、微妙な陰影の影響や、車両Ｐの車輪とレーンマーカの間で、実線である白線がコーナー特徴点を有するかのように誤認識される場合がある。そのため荷重設定部２０５は、レーン認識部１０３Ｂで得られる線種情報を用いて、特徴点が実線上に存在する場合は小さな荷重を付与し、特徴点が破線上に存在する場合は大きな荷重を付与する。これが白線の線種を利用する場合である。
　図４は、交差点の手前など車線数が増減する位置付近などに車道に描画される、立ち入り禁止を示す道路標示を示す図である。立ち入り禁止を示す道路標示において、図に破線の小さい丸で示す領域は、直角ではないコーナーが構成されている。このコーナーは、算出するコーナー特徴点の座標が真の位置からずれる傾向がある。そのため荷重設定部２０５は、公知の画像認識技術、たとえばハリスオペレータの強度により、コーナーの形状のスコアを算出し、スコアに応じて荷重を付与する。なおコーナーの形状のスコアは、「コーナー強度」と呼ぶこともできる。スコアが大きければ、よりコーナーらしさが高いので、大きな荷重を付与し、スコアが小さければ小さな荷重を付与する。これが白線の形状を利用する場合である。
　蓄積部２０６は、荷重設定部２０５から出力された特徴点軌跡をＲＡＭ１０２に記録する。
　実施判定部２０７は、キャリブレーション実施の可否を判断をする。特徴点軌跡の総数が少ない状態で実施すると、誤差系列が含まれていた場合に大きく誤ったキャリブレーション結果となる。そこで、特徴点軌跡があらかじめ定めた所定の数以上蓄積された段階でキャリブレーションを実施する。また、キャリブレーションを実施するには、自車中心から見て、進行方向の左側と右側の領域にそれぞれ特徴点軌跡が必要となる。したがって、自車中心から見て、左側と右側の領域にそれぞれあらかじめ定めた所定の数の特徴点軌跡が得られている場合に、外部パラメータ推定部２０８に実行指令を出す。
　外部パラメータ推定部２０８は、これまでの処理により得られた特徴点軌跡の位置を現在の外部パラメータ１０２Ｂを用いて自車両Ｐの上部から見下ろしたように俯瞰変換する。そして外部パラメータ推定部２０８は、俯瞰視点での特徴点軌跡の角度や長さを用いて、カメラの３軸角度および高さを推定する。３軸角度とは、カメラのロール角、ピッチ角、およびヨー角である。取得した特徴点の軌跡は、車両Ｐが直進している際に、車両Ｐが接地する路面平面から取得した特徴点軌跡なので、カメラの３軸角度と高さが演算に使用した外部パラメータ１０２Ｂと一致するならば、俯瞰視点での複数の特徴点軌跡は平行かつ俯瞰映像縦方向に垂直に流れ、所定の長さとなる。この特徴点軌跡が理想軌跡である。
　カメラの３軸角度と高さが、演算子に使用した外部パラメータ１０２Ｂと一致しない場合、すなわち外部パラメータ１０２Ｂに誤差があるは、俯瞰視点での特徴点軌跡が理想軌跡に対してそれぞれ特徴的な差異が生じる。ピッチ角に誤差がある場合は、俯瞰視点での特徴点軌跡がハの字状に開く。ヨー角に誤差がある場合は、俯瞰視点での自車両Ｐの左右の特徴点軌跡に、長さの差が生じる。ロール角に誤差がある場合は、特徴点軌跡全体が斜めに回転する。カメラ高さに誤差がある場合は、特徴点軌跡の長さが所定の長さから差異が生じる。
　外部パラメータ推定部２０８は各パラメータを変化させ、理想軌跡に近づくように公知の最適化技術を用いて各パラメータを補正することで、キャリブレーションを実現する。詳細は後述する。最適化処理による推定終了後、外部パラメータ１０２Ｂを採否判定部２０９に出力する。
　採否判定部２０９は、外部パラメータ推定部２０８から出力を受け取り、そのパラメータを最終パラメータとして採用してよいか判断する。最終パラメータとして採用してよいと判断された場合は、その外部パラメータ１０２Ｂは外部パラメータ１１２Ａとしてフラッシュメモリ１１２に書き込まれる。最終パラメータとして不採用と判断された場合は、推定途中の外部パラメータ１０２ＢとしてＲＡＭ１０２に書き込まれ、次の画像が入力される際に初期値として利用される。
　採否判定部２０９は、最終パラメータとして判断してよいか否かを、収束性判定、回数判定、および画像判定の３つの観点で判断する。収束性判定とは、過去値と比較して十分変動が小さくなっているか否かの判定である。回数判定とは、複数回検証して所定の範囲内で同じ値が得られている否かの判定である。画像判定とは、俯瞰画像上で検証して、正しい俯瞰図とみなせる映像になっている否かの判定である。
　採否判定部２０９は、収束性判定、回数判定、および画像判定の全てを満たす場合に、最終パラメータとして採用してよいと判断し、フラッシュメモリ１１２に書き込む。採否判定部２０９は、収束性判定および画像判定のみ満足すると判断する場合は、回数判定を満たした回数をカウントアップし、ＲＡＭ１０２に記憶されている特徴点列と演算途中の外部パラメータ１０２Ｂをクリアし、初期状態から再開始する。
（追跡点情報１０２Ａ）
　図５は、ＲＡＭ１０２に保存される追跡点情報１０２Ａの一例を示す図である。追跡点情報１０２Ａには、特徴点ごとに、座標、状態、および荷重の情報が格納される。ただし特徴点ごとの座標の情報は時刻ごとに記録される。図５の行は個別の特徴点を表し、列は撮影時刻ｔ１～ｔ５における特徴点の撮影画像上の座標、特徴点軌跡の状態、重みを表す。
　特徴点に付した番号、すなわち１００１、１００２などは、特徴点を識別する識別子であり、ここでは便宜的に抽出された順番に通し番号で付した番号を用いている。図５は、時刻ｔ１に撮影された撮影画像からは特徴点が３つ抽出されたことを示しており、同様に時刻ｔ２、ｔ３、ｔ４に撮影された撮影画像からは４つ、時刻ｔ５に撮影された撮影画像からは１つ特徴点が抽出され、追跡に成功したことが示されている。時刻ｔ２、ｔ３の撮影画像から抽出された４つの特徴点のうち３つ、すなわち特徴点１００１と特徴点１００２と特徴点１００３は、時刻ｔ１から追跡が継続されていることを表している。
　時刻ｔ５に撮影された撮影画像からは、特徴点１００１、１００３、１００４が抽出されなかったので図５では「ｘ」マークを付している。なお図５に示す例では時刻ｔ１～ｔ５のみを表示しているが、時刻はこれに限定されない。時刻を増やすと無限にテーブルサイズが無限に大きくなりメモリを圧迫するため、公知のリングバッファ技術等により、テーブルを循環的に活用する。
　追跡点情報１０２Ａの「状態」の列は、特徴点をキャリブレーションに使用するか否かを判断する際に参照される。この列には、特徴点の追跡が継続している場合には「未」、選別部２０４で破棄された軌跡は「ＮＧ」、選別部２０４を通過した軌跡は「ＯＫ」と記録される。追跡点情報１０２Ａの「荷重」の列は、荷重設定部２０５で付されるキャリブレーションに使用する際に重視する度合いを示すものである。高い値をもつ軌跡ほど、その特徴点軌跡が優先的に理想軌跡に近くなるように機能する。荷重設定部２０５を通過したものに荷重が付される。
（特徴点抽出部２０２の動作）
　図６は特徴点抽出部２０２の動作を表すフローチャートである。特徴点抽出部２０２は、画像取得部２０１から撮影画像が送信されるたびに以下の動作を実行する。以下に説明する各ステップの実行主体はＣＰＵ１０１である。
　ステップＳ３０１では特徴点抽出部２０２は、車両Ｐの進行方向、および車両Ｐの進行方向に対するカメラ１１１の撮影方向に基づき特徴点抽出部２０２が特徴点を抽出する撮影画像中の領域を決定する。たとえば車両Ｐが前方に進む場合は、カメラ１１１は車両Ｐの前方に取り付けられているので、車両Ｐに近い位置で特徴点を抽出してもすぐにカメラ１１１の画角から特徴点が外れてしまうため追跡できる時間が短い。処理領域は広ければ広いほど計算処理に時間がかかるため、リアルタイム処理で計算するためには、このような無駄な部分の計算処理負荷を低減する必要がある。そこで、車両Ｐから離れた場所の特徴点を抽出するように処理領域を設定する。なお、カメラ１１１が車両Ｐの後方を撮影するように取り付けられている場合は、車両Ｐが前方に進行する際に車両Ｐに近い側に処理領域を設定する。次にステップＳ３０２に進む。
　ステップＳ３０２では特徴点抽出部２０２は、ステップＳ３０１において設定した特徴点抽出領域を対象として特徴点を抽出する。特にエッジの交点であるコーナー特徴点を抽出することが好ましい。特徴点抽出部２０２は、ステップＳ３０１において設定された領域に対して、ハリスオペレータなどを適用してコーナー特徴点を抽出し、ステップＳ３０３に進む。ステップＳ３０３では特徴点抽出部２０２は、ステップＳ３０２において抽出された特徴点の座標をＲＡＭ１０２に出力し、図６のフローチャートを終了する。
（追跡部２０３の動作）
　図７は、追跡部２０３の動作を表すフローチャートである。追跡部２０３は、画像取得部２０１から撮影画像が送信されるたびに以下の動作を実行する。以下に説明する各ステップの実行主体はＣＰＵ１０１である。
　ステップＳ４０１では追跡部２０３は、特徴点の追跡処理の対象とする処理領域を設定する。すなわち、カメラ１１１により直前に撮影された撮影画像において、特徴点抽出部２０２により特徴点が抽出された座標、および車両運動取得部２１０が取得する車両Ｐの運動情報を用いて、直前の撮影画像において抽出された特徴点が移動する方向および距離を推定する。そして特徴点が移動すると推定した方向および距離に対応する領域を、追跡部２０３が特徴点を追跡する撮影画像中の領域として決定する。次にステップＳ４０２に進む。
　ただし、特徴点が移動する方向および距離を推定するために用いる撮影画像は直前の撮影画像に限定されず、複数の撮影画像を用いて推定してもよいし、直前以外の撮影画像を用いて推定してもよい。すなわち、より早い時間に撮影された撮影画像を用いて特徴点が移動する方向および距離を推定してもよい。
　次に説明するステップＳ４０２～Ｓ４０５は、直前の撮影画像において抽出された特徴点に対応する回数だけ繰り返し実行される。ステップＳ４０２では追跡部２０３は、前述のＳＡＤやＬＫ法などの公知の手法により、追跡対象であるＲＡＭ１０２から読み込んだ直前の撮影画像における特徴点の追跡を行い、ステップＳ４０３に進む。ステップＳ４０３では追跡部２０３は、追跡対象である直前の撮影画像における特徴点の追跡が継続できたか否かを判断する。
　たとえば追跡部２０３は、ＳＡＤなどによる照合度があらかじめ定めた閾値以下であれば、カメラの画角から外れたなどの理由で追跡ができないと判断する。また追跡部２０３は、特徴点が画像中のあらかじめ定めた一定のラインを通過した場合や所定の領域から外れた場合は、強制的に追跡終了とする。強制的に追跡を終了する理由は、次の撮影画像ではカメラ１１１の画角から外れることが想定されるから、または被写体との距離が遠くなり追跡する必要性がないからである。追跡部２０３は、追跡が継続できたと判断する場合はステップＳ４０４に進み、追跡終了と判断する場合はステップＳ４０５に進む。
　ステップＳ４０４では追跡部２０３は、追跡点情報１０２Ａにおける処理対象の特徴点の行であって、処理対象の撮影画像が撮影された時刻の列に、追跡した特徴点の座標を記録する。ステップＳ４０５では追跡部２０３は、追跡点情報１０２Ａにおける処理対象の特徴点の行であって、処理対象の撮影画像が撮影された時刻の列に、追跡が終了したマーク、たとえば「ｘ」を記録する。ステップＳ４０４またはステップＳ４０５の実行が完了すると、直前の撮影画像において抽出された特徴点についてステップＳ４０２～Ｓ４０５が実行されたか否かを判断し、未処理の特徴点がある場合はステップＳ４０２に戻り、全ての特徴点について処理が完了したと判断する場合は図７のフローチャートを終了する。
（選別部２０４の動作）
　図８は、選別部２０４の動作を表すフローチャートである。選別部２０４は、画像取得部２０１から撮影画像が送信されるたびに、以下の動作を実行する。以下に説明する各ステップの実行主体はＣＰＵ１０１である。
　選別部２０４は、直前の処理で追跡終了した全軌跡を対象として以下に説明するＳ６０１～Ｓ６１０を実行する。たとえば追跡点情報１０２Ａが図５に示すものであり、時刻ｔ５の直後の処理では選別部２０４は、特徴点１００１、特徴点１００３、および特徴点１００４のそれぞれを処理対象の特徴点軌跡としてＳ６０１～Ｓ６１０を実行する。ステップＳ６０１では選別部２０４は、軌跡を現在の外部パラメータ１０２Ｂで俯瞰変換してステップＳ６０２に進む。なお外部パラメータ１０２Ｂが理想的な外部パラメータと一致しない場合は、俯瞰変換した軌跡は理想軌跡とは一致しないが、概ね俯瞰視点に近い軌跡となる。
　ステップＳ６０２では選別部２０４は、次ステップで処理対象の特徴点軌跡と自車レーンとの位置関係を判定するために、処理対象の特徴点軌跡について軌跡代表座標を算出する。軌跡代表座標は、たとえば処理対象の特徴点軌跡を構成する全ての特徴点の座標を俯瞰変換し、その座標の平均値である。軌跡代表座標は、処理対象の特徴点軌跡を構成する全ての特徴点の座標を俯瞰変換して得られる座標のうち、自車両Ｐから車両の幅方向に距離が最も遠い特徴点の座標としてもよい。選別部２０４は、軌跡代表座標を算出するとステップＳ６０３に進む。
　ステップＳ６０３では選別部２０４は、レーン認識部１０３Ｂから出力される自車両Ｐが走行中のレーンの画像座標を取得し、現在の外部パラメータ１０２Ｂを用いて俯瞰視点でのレーン位置を算出する。選別部２０４は、俯瞰視点でのレーン位置と、ステップＳ６０２で算出した軌跡代表座標とを比較する。選別部２０４は、軌跡代表座標がレーン外にあると判断する場合はステップＳ２０９に進み、軌跡代表座標がレーン内にあると判断する場合はステップＳ６０４に進む。
　ステップＳ６０４では選別部２０４は、処理対象の特徴点軌跡の長さを算出する。特徴点軌跡の長さはたとえば、特徴点軌跡の長さは俯瞰視点上の特徴点軌跡において、軌跡を構成する始点座標と終点座標のユークリッド距離である。選別部２０４は特徴点軌跡の長さを算出するとステップＳ６０５に進む。ステップＳ６０５では選別部２０４は、車両運動取得部２１０で得られる車両速度と、画像を取得する時間間隔との積により理想軌跡長を算出してステップＳ６０６に進む。たとえば車両速度が時速３６ｋｍで画像を取得する時間間隔が０．１秒の場合は理想軌跡長は１０ｍである。なおステップＳ６０４とステップＳ６０５は順番を入れ替えてもよいし、並列に実行してもよい。
　ステップＳ６０６では選別部２０４は、ステップＳ６０４で算出された軌跡長と、ステップＳ６０５において算出された理想軌跡長とを比較する。選別部２０４は、理想軌跡長と軌跡長さの差があらかじめ定めた所定の長さよりも大きい場合と判断する場合はステップＳ６０９に進む。選別部２０４は、理想軌跡長と軌跡長さの差があらかじめ定めた所定の長さよりも小さいと判断する場合は、その特徴点軌跡はキャリブレーションへの利用に適合するのでステップＳ６０７に進む。
　ステップＳ６０７では選別部２０４は、ステップＳ６０６で適合すると判断された特徴点軌跡に関して、最小自乗法などの公知技術により近似直線を求める。ステップＳ６０８では選別部２０４は、特徴点軌跡の直線性を判定する。選別部２０４は特徴点軌跡の直線性をたとえば次のように判定する。すなわち選別部２０４は、ステップＳ６０７で算出した近似直線と、特徴点軌跡の各座標の距離を算出し、その距離の平均値とあらかじめ定めた所定の量との大小関係を比較する。選別部２０４は、距離の平均値があらかじめ定めた所定の量よりも大きいと判断する場合は直線性が不適合としてステップＳ６０９に進む。選別部２０４は、距離の平均値があらかじめ定めた所定の量以下と判断する場合は直線性適合と判断してステップＳ６１０に進む。
　ステップＳ６０９では選別部２０４は、処理対象の特徴点軌跡はキャリブレーションに利用するには不適当なので破棄し、追跡点情報１０２Ａの状態の欄に「ＮＧ」と書き込む。ステップＳ６１０では選別部２０４は、処理対象の特徴点軌跡はキャリブレーションに利用するのに適当なので、追跡点情報１０２Ａの状態の欄に「ＯＫ」と書き込む。選別部２０４は、ステップＳ６０９またはステップＳ６１０が完了すると、直前の処理で追跡終了した全軌跡を対象としてステップＳ６０１以下の処理を実行したか否かを判断する。選別部２０４は、未処理の規制が存在すると判断する場合はその軌跡を処理対象としてステップＳ６０１以下の処理を実行し、全軌跡を対象としてステップＳ６０１以下の処理を実行したと判断すると図８に示す処理を終了する。
（外部パラメータ推定部２０８の動作）
　図９は、外部パラメータ推定部２０８の動作を表すフローチャートである。外部パラメータ推定部２０８は、実施判定部２０７から実行指令を受けるたびに、以下の動作を実行する。以下に説明する各ステップの実行主体はＣＰＵ１０１である。
　ステップＳ７０１では外部パラメータ推定部２０８は、ピッチ角推定を行う。外部パラメータ推定部２０８は、追跡点情報１０２Ａにおいて状態の欄に「ＯＫ」が記入されている特徴点軌跡の情報と、ＲＡＭ１０２に格納されている外部パラメータ１０２Ｂとを演算に用いる。外部パラメータ推定部２０８は、特徴点軌跡の平行性を評価する目的関数を設計し、その目的関数を公知の技術によりピッチ角に関して最小化することでピッチ角推定を実現する。
　ステップＳ７０１における目的関数は、２本の特徴点軌跡の平行性を評価する関数を基本とする。外部パラメータ推定部２０８は２本の特徴点軌跡のペアを複数作成し、その全ての目的関数の総和をピッチ角推定の目的関数として設計する。したがって、特徴点軌跡全体が、できるだけ平行になるようにピッチ角が補正される。
　なお特徴点軌跡のペアは、進行方向の左側の軌跡から１つを選択し、自車中心から左側の軌跡と右側の軌跡、換言すると進行方向の左側の軌跡と進行方向の右側の軌跡を組み合わせる。特徴点軌跡のペアは、考えられる全ての組み合わせでもよいし、その中から幾つか選択したもののみでもよい。外部パラメータ推定部２０８は、読み込んだ外部パラメータ１０２Ｂのピッチ角をステップＳ７０１で推定したピッチ角で書き換えて、ＲＡＭ１０２に格納する。換言するとステップＳ７０１の処理によりＲＡＭ１０２に格納されている外部パラメータ１０２Ｂは更新される。
　ステップＳ７０２では外部パラメータ推定部２０８は、ヨー角推定を行う。外部パラメータ推定部２０８は、追跡点情報１０２Ａにおいて状態の欄に「ＯＫ」が記入されている特徴点軌跡の情報と、ステップＳ７０１の処理により更新された外部パラメータ１０２Ｂとを演算に用いる。
　外部パラメータ推定部２０８は、特徴点軌跡の垂直性、すなわち軌跡が俯瞰図において進行方向に沿う程度を評価する目的関数を設計する。そして外部パラメータ推定部２０８は、その目的関数を公知の技術によりヨー角に関して最小化することで、ヨー角推定を実現する。ステップＳ７０２における目的関数は、１本の特徴点軌跡の垂直性を評価する関数を基本とし、全ての特徴点軌跡に関する目的関数の総和をピッチ角推定の目的関数として設計する。したがって、特徴点軌跡全体が、できるだけ垂直方向を向くようにヨー角が算出される。外部パラメータ推定部２０８は、読み込んだ外部パラメータ１０２Ｂのヨー角をステップＳ７０２で推定したヨー角で書き換えて、ＲＡＭ１０２に格納する。
　ステップＳ７０３では外部パラメータ推定部２０８は、ロール角推定を行う。外部パラメータ推定部２０８は、追跡点情報１０２Ａにおいて状態の欄に「ＯＫ」が記入されている特徴点軌跡の情報と、ステップＳ７０２の処理により更新された外部パラメータ１０２Ｂとを演算に用いる。
　外部パラメータ推定部２０８は、自車中心から左側の軌跡と右側の軌跡の特徴点軌跡の長さの差を評価する目的関数を設計し、その目的関数を公知の技術によりロール角に関して最小化することで、ロール角推定を実現する。ステップＳ７０３における目的関数は、自車左側の全ての特徴点軌跡長さの平均値と、自車右側の全ての特徴点軌跡長さの平均値の差を最小化するものとして設計する。したがって、自車左側の特徴点軌跡全体と右側の特徴点軌跡全体の長さの差ができるだけ小さくなるように、すなわち理想俯瞰視点に近づくようにロール角が補正される。外部パラメータ推定部２０８は、読み込んだ外部パラメータ１０２Ｂのロール角をステップＳ７０３で推定したロール角で書き換えて、ＲＡＭ１０２に格納する。
　ステップＳ７０４では外部パラメータ推定部２０８は、高さ推定を行う。外部パラメータ推定部２０８は、追跡点情報１０２Ａにおいて状態の欄に「ＯＫ」が記入されている特徴点軌跡の情報と、ステップＳ７０３の処理により更新された外部パラメータ１０２Ｂとを演算に用いる。
　外部パラメータ推定部２０８は、特徴点軌跡の長さと、車両運動情報から予想される理想軌跡の長さの差をあらわす目的関数を、公知の技術により高さに関して最小化することで高さ推定を実現する。目的関数は、全特徴点軌跡の長さと理想軌跡の長さの差を最小化するものとして設計する。したがって、特徴点軌跡全体と理想軌跡の長さの差ができるだけ小さくなるように、すなわち理想俯瞰視点に近づくように高さが補正される。外部パラメータ推定部２０８は、読み込んだ外部パラメータ１０２Ｂの高さをステップＳ７０４で推定した高さで書き換えて、ＲＡＭ１０２に格納する。
　上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）キャリブレーション装置１００は、車両Ｐに搭載される。キャリブレーション装置１００は、車両Ｐに搭載されるカメラ１１１が車両Ｐの周囲を撮影して得られる撮影画像を取得する画像取得部２０１と、撮影画像から複数の特徴点を抽出する特徴点抽出部２０２と、特徴点抽出部２０２が抽出した複数の特徴点それぞれについて、異なる時間に撮影された複数の前記撮影画像から同一の特徴点を追跡し特徴点軌跡として記録する追跡部２０３と、撮影画像から車両Ｐが走行する走行レーンである自車レーンを認識するレーン認識部１０３Ｂと、追跡部２０３が追跡した特徴点軌跡のうち、レーン認識部１０３Ｂで認識した自車レーンに含まれる平面と同一平面上の特徴点軌跡を選別する選別部２０４と、選別部２０４が選別した特徴点軌跡を用いてカメラ１１１の外部パラメータを推定する外部パラメータ推定部２０８とを備える。
　キャリブレーション装置１００は、自車レーンに含まれる特徴点を選別して外部パラメータの推定に用いるので、図３に示したように同一平面上にない特徴点をキャリブレーションに使用してしまうことを避けることができる。すなわちキャリブレーション装置１００は、実際の道路で走行中にキャリブレーションを実施する場合も、高精度なキャリブレーションが実現できる。また本手法では追加のセンサを必要とせず、カメラ１１１の撮影画像を用いて走行レーンを認識するので、コスト面でも優れている。
（２）キャリブレーション装置１００は、追跡部２０３が追跡した特徴点に認識の精度に基づき重みづけを行う荷重設定部２０５を備える。外部パラメータ推定部２０８は、荷重設定部２０５により重みづけが大きく設定された特徴点ほど評価値が高くなるように外部パラメータを推定する。そのため特徴点の認識の精度を外部パラメータの推定に反映させることができる。
（３）荷重設定部２０５は、特徴点のコーナー強度に基づき重みづけを決定する。
（４）荷重設定部２０５は、白線の特徴点への重みづけの設定において、実線の白線の特徴点の重みづけよりも、破線の白線の特徴点の重みづけを大きく設定する。そのため画像認識の精度を外部パラメータの算出に反映させることができる。
（５）選別部２０４は、追跡部２０３により追跡された軌跡の長さと、理想的な軌跡の長さとの差があらかじめ定めた長さよりも小さく（図８のＳ６０６：ＮＯ）、追跡部２０３により追跡された軌跡が直線性を有し（図８のＳ６０８：ＮＯ）、かつ自車レーンに含まれる（図８のＳ６０３：ＮＯ）特徴点を選別する。そのためキャリブレーション装置１００は、適切な特徴点を用いるので高精度に外部パラメータを推定できる。
（６）選別部２０４は、車両運動取得部２１０で取得した速度情報と、画像取得部２０１で取得した複数の撮影画像の取得時間間隔に基づいて、レーン認識部１０３Ｂで認識した自車レーンに含まれる平面と同一平面上の特徴点軌跡の長さを算出して、特徴点軌跡の長さが所定値に満たない場合、外部パラメータ推定部２０８の推定に用いる特徴点軌跡から除外する。そのため不適切な特徴点軌跡を外部パラメータの推定から排除できる。
（変形例１）
　上述した実施の形態では、キャリブレーション装置１００の車両運動取得部２１０は、車速センサ１０５および舵角センサ１０６から出力を受けた。しかし車両運動取得部２１０は、自車両Ｐの位置情報を入力として受け付けてもよい。たとえば自車両ＰがＧＰＳ受信機を備える場合は、車両運動取得部２１０はＧＰＳ受信機から車両Ｐの位置情報が入力され、車両運動取得部２１０は入力されたその位置情報をそのまま車両運動情報として走行中キャリブレーションプログラム１０３Ａに出力してもよい。なおＧＰＳ受信機は、衛星航法システムを構成する複数の衛星から電波を受信し、その電波に含まれる信号を解析することで自車両Ｐの位置、すなわち緯度と経度を算出する。
（変形例２）
　キャリブレーション装置１００は、実施判定部２０７および採否判定部２０９のいずれか一方を備えなくてもよいし、両方を備えなくてもよい。それぞれがキャリブレーション装置１００に備えられない場合は、備えられない構成が肯定的な判断を行った場合と同様に処理が実行される。たとえば実施判定部２０７および採否判定部２０９の両方がキャリブレーション装置１００に備えられない場合は、蓄積部２０６が特徴点軌跡をＲＡＭ１０２に記録すると次の処理が行われる。すなわち外部パラメータ推定部２０８が外部パラメータ１０２Ｂを推定し、外部パラメータ推定部２０８が推定した外部パラメータ１０２Ｂがそのまま外部パラメータ１１２Ａとしてフラッシュメモリ１１２に記録される。
（変形例３）
　選別部２０４の動作は図８のステップＳ６０４～Ｓ６０８の全部が省略されてもよいし、ステップＳ６０４～Ｓ６０６のみが省略されてもよいし、ステップＳ６０７～Ｓ６０８のみが省略されてもよい。すなわち選別部２０４は、ステップＳ６０１～Ｓ６０３に示す、特徴点と自車レーンの位置関係に基づく判断が必須であり、ステップＳ６０４～Ｓ６０８に示す付加的な選別は行われなくてもよい。
（変形例４）
　図１において、走行中キャリブレーションプログラム１０３Ａとレーン認識プログラム１０３Ｂは別のプログラムとして説明した。しかしキャリブレーション装置１００が両者のプログラムの機能を有していればよく、１つのプログラムにより実現してもよいし、３以上のプログラムにより実現してもよい。
　上述した各実施の形態および変形例において、プログラムはＲＯＭ１０３に格納されるとしたが、プログラムはフラッシュメモリ１１２に格納されていてもよい。また、キャリブレーション装置１００が不図示の入出力インタフェースを備え、必要なときに入出力インタフェースとキャリブレーション装置１００が利用可能な媒体を介して、他の装置からプログラムが読み込まれてもよい。ここで媒体とは、たとえば入出力インタフェースに着脱可能な記憶媒体、または通信媒体、すなわち有線、無線、光などのネットワーク、または当該ネットワークを伝搬する搬送波やディジタル信号、を指す。また、プログラムにより実現される機能の一部または全部がハードウエア回路やＦＰＧＡにより実現されてもよい。
　上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
　なお、次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２０１８－２３７４０７（２０１８年１２月１９日出願）
１００…キャリブレーション装置
１０１…ＣＰＵ
１０２Ｂ、１１２Ａ…外部パラメータ
１０３Ｂ…レーン認識部
１０３Ｃ…外部パラメータ初期値
１０４…表示装置
１０５…車速センサ
１０６…舵角センサ
１１１…カメラ
１１２…フラッシュメモリ
２０１…画像取得部
２０２…特徴点抽出部
２０３…追跡部
２０４…選別部
２０５…荷重設定部
２０６…蓄積部
２０７…実施判定部
２０８…外部パラメータ推定部
２０９…採否判定部
２１０…車両運動取得部

Claims (9)

  1. 　車両に搭載され、
    　前記車両に搭載されるカメラが前記車両の周囲を撮影して得られる撮影画像を取得する画像取得部と、
    　前記撮影画像から複数の特徴点を抽出する特徴点抽出部と、
    　前記特徴点抽出部が抽出した複数の前記特徴点それぞれについて、異なる時間に撮影された複数の前記撮影画像から同一の特徴点を追跡し特徴点軌跡として記録する追跡部と、
    　前記撮影画像から前記車両が走行する走行レーンである自車レーンを認識するレーン認識部と、
    　前記追跡部が追跡し、記録した前記特徴点軌跡のうち、前記レーン認識部で認識した前記自車レーンに含まれる平面と同一平面上の前記特徴点軌跡を選別する選別部と、
    　前記選別部が選別した前記特徴点軌跡を用いて前記カメラの外部パラメータを推定する外部パラメータ推定部とを備えるキャリブレーション装置。
  2. 　請求項１に記載のキャリブレーション装置において、
    　前記車両の速度情報を取得する車両運動取得部を備え、
    　前記選別部は、
    　前記車両運動取得部で取得した前記速度情報と、前記画像取得部で取得した複数の前記撮影画像の取得時間間隔に基づいて、前記レーン認識部で認識した前記自車レーンに含まれる平面と同一平面上の前記特徴点軌跡の長さを算出して、
    　前記特徴点軌跡の長さが所定値に満たない場合、前記外部パラメータ推定部の推定に用いる前記特徴点軌跡から除外するキャリブレーション装置。
  3. 　請求項１に記載のキャリブレーション装置において、
    　前記追跡部が追跡した特徴点に認識の精度に基づき重みづけを行う荷重設定部をさらに備え、
    　前記外部パラメータ推定部は、前記荷重設定部により前記重みづけが大きく設定された特徴点ほど評価値が高くなるように前記外部パラメータを推定するキャリブレーション装置。
  4. 　請求項３に記載のキャリブレーション装置において、
    　前記荷重設定部は、特徴点のコーナー強度に基づき前記重みづけを決定するキャリブレーション装置。
  5. 　請求項３に記載のキャリブレーション装置において、
    　前記荷重設定部は、白線の特徴点への前記重みづけの設定において、実線の白線の特徴点の前記重みづけよりも、破線の白線の特徴点の前記重みづけを大きく設定するキャリブレーション装置。
  6. 　請求項１に記載のキャリブレーション装置において、
    　前記選別部は、前記追跡部により追跡された軌跡の長さと、理想的な軌跡の長さとの差があらかじめ定めた長さよりも小さく、かつ前記自車レーンに含まれる特徴点を選別するキャリブレーション装置。
  7. 　請求項１に記載のキャリブレーション装置において、
    　前記選別部は、前記追跡部により追跡された軌跡が直線性を有し、かつ前記自車レーンに含まれる特徴点を選別するキャリブレーション装置。
  8. 　請求項１に記載のキャリブレーション装置において、
    　前記選別部は、前記追跡部により追跡された軌跡の長さと、理想的な軌跡の長さとの差があらかじめ定めた長さよりも小さく、前記追跡部により追跡された軌跡が直線性を有し、かつ前記自車レーンに含まれる特徴点を選別するキャリブレーション装置。
  9. 　車両に搭載され、前記車両に搭載されるカメラが前記車両の周囲を撮影して得られる撮影画像を取得する画像取得部を有するキャリブレーション装置が実行するキャリブレーション方法であって、
    　前記撮影画像から複数の特徴点を抽出することと、
    　前記撮影画像から抽出された複数の前記特徴点それぞれについて、異なる時間に撮影された複数の前記撮影画像から同一の特徴点を追跡し、特徴点軌跡として記録を行うことと、
    　前記撮影画像から前記車両が走行する走行レーンである自車レーンを認識することと、
    　前記追跡されて、前記記録された前記特徴点軌跡のうち、前記自車レーンに含まれる路面と同一平面上の前記特徴点軌跡の選別を行うことと、
    　前記選別された前記特徴点軌跡を用いて前記カメラの外部パラメータを推定することとを含むキャリブレーション方法。
     
PCT/JP2019/026506 2018-12-19 2019-07-03 キャリブレーション装置、キャリブレーション方法 WO2020129286A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/416,315 US11645783B2 (en) 2018-12-19 2019-07-03 Calibration apparatus and calibration method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018237407A JP7191671B2 (ja) 2018-12-19 2018-12-19 キャリブレーション装置、キャリブレーション方法
JP2018-237407 2018-12-19

Publications (1)

Publication Number Publication Date
WO2020129286A1 true WO2020129286A1 (ja) 2020-06-25

Family

ID=71102758

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/026506 WO2020129286A1 (ja) 2018-12-19 2019-07-03 キャリブレーション装置、キャリブレーション方法

Country Status (3)

Country Link
US (1) US11645783B2 (ja)
JP (1) JP7191671B2 (ja)
WO (1) WO2020129286A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7217577B2 (ja) * 2019-03-20 2023-02-03 フォルシアクラリオン・エレクトロニクス株式会社 キャリブレーション装置、キャリブレーション方法
JP2022154840A (ja) * 2021-03-30 2022-10-13 本田技研工業株式会社 検出装置、車両システム、検出方法、およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0973545A (ja) * 1995-09-07 1997-03-18 Fujitsu Ten Ltd 白線認識装置
JP2011043907A (ja) * 2009-08-19 2011-03-03 Nissan Motor Co Ltd 車線認識装置、及び車線認識方法
JP2015095886A (ja) * 2013-11-14 2015-05-18 クラリオン株式会社 周囲環境認識装置
WO2017134915A1 (ja) * 2016-02-03 2017-08-10 クラリオン株式会社 カメラキャリブレーション装置
WO2017135081A1 (ja) * 2016-02-03 2017-08-10 パナソニックＩｐマネジメント株式会社 車載カメラ用校正システム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4863922B2 (ja) * 2007-04-18 2012-01-25 三洋電機株式会社 運転支援システム並びに車両
JP5375958B2 (ja) * 2009-06-18 2013-12-25 富士通株式会社 画像処理装置および画像処理方法
WO2012143036A1 (en) 2011-04-18 2012-10-26 Connaught Electronics Limited Online vehicle camera calibration based on continuity of features
US9547795B2 (en) * 2011-04-25 2017-01-17 Magna Electronics Inc. Image processing method for detecting objects using relative motion
WO2012145818A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
WO2012145822A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
CN102789642B (zh) * 2011-05-16 2017-08-25 索尼公司 消失方向确定方法和装置、摄像机自标定方法和装置
JP5926645B2 (ja) * 2012-08-03 2016-05-25 クラリオン株式会社 カメラパラメータ演算装置、ナビゲーションシステムおよびカメラパラメータ演算方法
CN108450058B (zh) * 2015-12-28 2022-07-26 英特尔公司 实时自动车载相机校准
EP3252712B1 (en) * 2016-06-01 2019-08-21 Veoneer Sweden AB Vision system and method for a motor vehicle
US10248124B2 (en) * 2016-07-21 2019-04-02 Mobileye Vision Technologies, Inc. Localizing vehicle navigation using lane measurements
JP6757261B2 (ja) * 2017-01-13 2020-09-16 クラリオン株式会社 車載処理装置
JP6843712B2 (ja) * 2017-07-27 2021-03-17 フォルシアクラリオン・エレクトロニクス株式会社 車載処理装置
EP3531376B1 (en) * 2018-02-21 2020-09-30 Ficosa Adas, S.L.U. Calibrating a camera of a vehicle
KR102071418B1 (ko) * 2018-05-17 2020-01-30 에스케이텔레콤 주식회사 차량용 카메라 캘리브레이션 장치 및 방법
US11282225B2 (en) * 2018-09-10 2022-03-22 Mapbox, Inc. Calibration for vision in navigation systems
CN111415461B (zh) * 2019-01-08 2021-09-28 虹软科技股份有限公司 物品识别方法及系统、电子设备
JP7217577B2 (ja) * 2019-03-20 2023-02-03 フォルシアクラリオン・エレクトロニクス株式会社 キャリブレーション装置、キャリブレーション方法
GB2594111B (en) * 2019-12-18 2023-06-07 Motional Ad Llc Camera-to-LiDAR calibration and validation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0973545A (ja) * 1995-09-07 1997-03-18 Fujitsu Ten Ltd 白線認識装置
JP2011043907A (ja) * 2009-08-19 2011-03-03 Nissan Motor Co Ltd 車線認識装置、及び車線認識方法
JP2015095886A (ja) * 2013-11-14 2015-05-18 クラリオン株式会社 周囲環境認識装置
WO2017134915A1 (ja) * 2016-02-03 2017-08-10 クラリオン株式会社 カメラキャリブレーション装置
WO2017135081A1 (ja) * 2016-02-03 2017-08-10 パナソニックＩｐマネジメント株式会社 車載カメラ用校正システム

Also Published As

Publication number Publication date
US20220076453A1 (en) 2022-03-10
US11645783B2 (en) 2023-05-09
JP2020098550A (ja) 2020-06-25
JP7191671B2 (ja) 2022-12-19

Similar Documents

Publication Publication Date Title
JP6901625B2 (ja) 地図データ、レーザ、およびカメラからのヨー誤差の確定
CN110859044B (zh) 自然场景中的集成传感器校准
US11270131B2 (en) Map points-of-change detection device
CN111448478B (zh) 用于基于障碍物检测校正高清地图的系统和方法
CN111006655B (zh) 机场巡检机器人多场景自主导航定位方法
KR101241651B1 (ko) 영상 인식 장치 및 그 방법, 영상 기록 장치 또는 그방법을 이용한 위치 판단 장치, 차량 제어 장치 및네비게이션 장치
JP4363295B2 (ja) ステレオ画像による平面推定方法
CN110858405A (zh) 车载摄像头的姿态估计方法、装置和系统及电子设备
EP3842751A1 (en) System and method of generating high-definition map based on camera
EP3282389B1 (en) Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program
US11151729B2 (en) Mobile entity position estimation device and position estimation method
JPWO2018179281A1 (ja) 物体検出装置及び車両
Kellner et al. Road curb detection based on different elevation mapping techniques
WO2020129286A1 (ja) キャリブレーション装置、キャリブレーション方法
CN112136021A (zh) 用于构建基于地标的高清地图的系统和方法
CN114808649B (zh) 基于视觉系统控制的公路划线方法
CN114550042A (zh) 一种道路消失点提取方法、车载传感器标定方法及装置
JP5974923B2 (ja) 道路端検出システム、方法およびプログラム
US20200193184A1 (en) Image processing device and image processing method
JP2018055222A (ja) 走路検出方法及び走路検出装置
JP7217577B2 (ja) キャリブレーション装置、キャリブレーション方法
JP5888275B2 (ja) 道路端検出システム、方法およびプログラム
CN112424568A (zh) 构建高清地图的系统和方法
CN113903103A (zh) 局部图像生成装置、局部图像生成方法以及存储介质
JP6143176B2 (ja) 停止線検出装置、移動体制御装置及び停止線検出用プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19898024

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19898024

Country of ref document: EP

Kind code of ref document: A1