WO2020151212A1 - 车载相机系统相机外参的标定方法及标定系统 - Google Patents

车载相机系统相机外参的标定方法及标定系统 Download PDF

Info

Publication number
WO2020151212A1
WO2020151212A1 PCT/CN2019/098633 CN2019098633W WO2020151212A1 WO 2020151212 A1 WO2020151212 A1 WO 2020151212A1 CN 2019098633 W CN2019098633 W CN 2019098633W WO 2020151212 A1 WO2020151212 A1 WO 2020151212A1
Authority
WO
WIPO (PCT)
Prior art keywords
point
angle
camera
correction
coordinate value
Prior art date
Application number
PCT/CN2019/098633
Other languages
English (en)
French (fr)
Inventor
李方
刘杨
卢金波
胡坤福
Original Assignee
惠州市德赛西威汽车电子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 惠州市德赛西威汽车电子股份有限公司 filed Critical 惠州市德赛西威汽车电子股份有限公司
Publication of WO2020151212A1 publication Critical patent/WO2020151212A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Definitions

  • This application relates to the field of data processing of vehicle-mounted camera systems, and in particular to a method and system for calibrating external camera parameters of vehicle-mounted camera systems.
  • Camera calibration is very important in the process of restoring the three-dimensional information of the object in the two-dimensional image.
  • the camera includes the internal parameters of the camera, the internal parameters are the parameters of the camera itself, and the external parameters are the pitch angle, rotation angle and yaw angle of the camera.
  • camera calibration can be divided into two categories at present, namely the traditional camera calibration method and the camera self-calibration method.
  • the traditional camera calibration method In the camera's static environment, the camera calibration is usually carried out by the traditional calibration method. This process needs to use the imaging position of the calibration plate on the image plane to calculate the internal and external parameters of the camera.
  • the disadvantage of this method is that it can only be used in environments where the camera is relatively stationary, and it is difficult to implement in many application scenarios. For example, in a vehicle-mounted camera system, vision is used to estimate the target position. Because the vehicle will vibrate due to road reasons during the driving process, it will cause the camera's external parameters to change, which will affect the conversion matrix between the camera coordinate system and the world coordinate system. At this time, if the camera does not achieve real-time calibration, it will further affect the accuracy of the target distance position, making it difficult to safely and effectively make navigation decisions.
  • Camera self-calibration method this method does not need to use a calibration board for calibration.
  • the current dynamic calibration method uses the distance between the vehicle and the parallel line and the vanishing point for calibration, which requires more conditions. It is only suitable for specific roads and has low versatility.
  • This patent provides a method and system for calibrating external camera parameters of a vehicle-mounted camera system, which utilizes lane lines combined with inverse trigonometric functions to make the calculated camera external parameter angles more accurate.
  • This patent provides a method for calibrating external camera parameters of a vehicle-mounted camera system, which is applied to electronic equipment, including:
  • At least two feature points are randomly selected on each lane line, the coordinates of the feature points in the world coordinate system are calculated, and the inverse trigonometric function is used in conjunction with the camera height to obtain the angle correction;
  • the iterative method is used to iteratively compensate the angle of the camera's external parameters to obtain an accurate angle of the camera's external parameters.
  • the camera external parameter angle includes at least one of a pitch angle, a yaw angle, and a roll angle.
  • the iterative method is used to iteratively compensate the angle of the camera's external parameters to obtain an accurate angle of the camera's external parameters, including
  • iterative compensation adopts Newton's method for iterative calculation.
  • the step of correcting the pitch angle includes:
  • pitch i is the pitch angle of the i-th correction in the current frame of image information
  • h is the camera height
  • L1.x is the horizontal coordinate value of point L1, L1.y is the longitudinal coordinate value of point L1, L2.
  • x is the horizontal coordinate value of point L2, L2.y is the vertical coordinate value of point L2,
  • R1.x is the horizontal coordinate value of point R1, and R1.y is the vertical coordinate value of point R1.
  • the optical flow information is used for further correction after the iterative correction of the pitch angle, including:
  • the distance Z 1 of the next frame of image information is calculated using the principle of small hole imaging, and the target distance Z cam is calculated according to the camera external parameter angle ;
  • the step of correcting the yaw angle includes:
  • yaw i is the yaw angle of the i-th correction in the current frame of image information
  • L1.x is the horizontal coordinate value of point L1, L1.y is the longitudinal coordinate value of point L1
  • L2.x is point L2 L2.y is the vertical coordinate value of point L2
  • R1.x is the horizontal coordinate value of point R1, R1.y is the vertical coordinate value of point R1, R2.x is the horizontal coordinate value of point R2, R2 .y is the longitudinal coordinate value of point R2.
  • the step of correcting the roll angle includes:
  • the rolling angle correction formula is as follows:
  • the rolling angle correction formula is as follows:
  • roll i is the roll angle of the i-th correction in the current frame of image information
  • h is the camera height
  • L1.x is the horizontal coordinate value of point L1
  • R1.x is the horizontal coordinate value of point R1, N1.
  • x is the horizontal coordinate value of point N1.
  • the correction threshold is any value between 0.01° and 0.1°, more preferably 0.05°.
  • the present invention also provides a vehicle-mounted camera external parameter calibration system, which is characterized in that it includes
  • One or more processors are One or more processors;
  • One or more application programs wherein the one or more application programs are stored in the memory and configured to be executed by the one or more processors;
  • the one or more application programs are configured to execute the steps of the method for calibrating external camera parameters of the vehicle-mounted camera system described in any one of the above.
  • the present invention obtains the image of the road ahead through the front-view camera, extracts the lane line and target vehicle position information in the road image, uses the lane line information to combine the static calibration result and the inverse trigonometric function to dynamically solve the camera's external parameter angle, and uses Opencv Extract the optical flow information in the detection frame of the target vehicle in the image, and use the optical flow information to adjust the calculated camera external parameter angle to solve for a more accurate camera external parameter angle, and to solve it according to the position of the target vehicle in the image The distance of the target relative to the body.
  • FIG. 1 is a flow chart of an implementation of a method for calibrating external camera parameters of a vehicle-mounted camera system provided by an embodiment of the application.
  • Fig. 2 is a schematic diagram of lane lines after deviation of external parameters provided in an embodiment of the application.
  • Fig. 3 is a schematic diagram of feature point selection during correction provided by an embodiment of the application.
  • FIG. 4 is a flowchart of using optical flow information to correct the pitch angle according to an embodiment of the application.
  • Fig. 5 is a schematic diagram of yaw angle correction provided by an embodiment of the application.
  • Fig. 6 is a schematic diagram of rolling angle correction provided by an embodiment of the application.
  • Fig. 7 is a schematic diagram of a calibration system provided by an embodiment of the application.
  • FIG. 1 shows an implementation process of a method for calibrating external camera parameters of a vehicle-mounted camera system provided by an embodiment of the present application.
  • the method for calibrating the external camera parameters of the vehicle-mounted camera system is applied to an electronic device, and the electronic device may be a vehicle-mounted electronic device installed on a car.
  • the vehicle-mounted electronic equipment may include a lane line detection module, a world coordinate conversion module, and an iterative calculation and correction module.
  • the lane line detection module is used to identify the lane line features in the current frame image, and to identify and mark the lane line for subsequent correction calculations.
  • the world coordinate conversion module is used to convert the current frame image information from the plane two-dimensional coordinates to the world three-dimensional coordinates.
  • the iterative calculation and correction module is used to calculate and correct the external parameter angle of the current camera to complete the calibration on the image information converted into three-dimensional coordinates.
  • FIG. 1 shows an implementation process of a method for calibrating external camera parameters of a vehicle-mounted camera system provided by an embodiment of the present application.
  • a method for calibrating external camera parameters of a vehicle-mounted camera system is applied to an electronic device.
  • the electronic device may be the electronic device described in the above embodiment.
  • the method includes:
  • This frame of image information should include lane line information. Since the image information is obtained by a monocular camera set in front of the car, in the process of recognition, in addition to identifying the left and right lanes, it will also check adjacent lanes as needed. The lane lines are identified.
  • the system automatically assigns the initial value of the camera external parameter angle to 0.
  • the system will perform a calculation of the camera's external parameters by static calibration to determine the camera height and other information.
  • the key corrections in this patent include pitch angle, yaw angle and roll angle.
  • the pitch angle value is the angle between the shooting direction of the camera and the horizontal plane
  • the yaw angle is the angle between the shooting direction of the camera and the vertical plane
  • the roll angle is the rotation angle of the camera with its shooting direction as the axis.
  • Figure 2 illustrates the deviation of the lane line after the image information conversion occurs when the external parameters of the three cameras of this patent are deviated.
  • the lane line takes on the shape of "inner eight" or “outer eight" in the world coordinate system as shown in Figure 2(a).
  • the center line of the lane line will tilt to one side, forming a parallelogram in the world coordinate system, as shown in Figure 2(b).
  • the roll angle is incorrect, the width of the two lanes in the world coordinate system will be unequal, as shown in Figure 2(c).
  • At least two feature points are randomly selected on each lane line, the coordinates of the feature points in the world coordinate system are calculated, and the inverse trigonometric function is used in conjunction with the camera height to obtain the angle correction amount.
  • the conversion method may, but is not limited to, adopting an FPR model (Fast Perspective Removal) for conversion.
  • the camera height can also be obtained in various forms.
  • the preset condition of this patent is that the camera height is known. Since the camera height is relatively constant during operation, it can be quickly obtained by but not limited to static calibration. , Thereby reducing the overall calculation amount of the system.
  • the corrected external camera parameters are all angle parameters, so the correction amount is also an angle parameter.
  • the basic principle of the correction is to find the appropriate trigonometric function relationship from the coordinate position relationship between each random feature point in the left lane, right lane and/or adjacent lane line, and calculate the deviation value from the ideal working condition, and Further inverse trigonometric function processing is performed on the trigonometric function relationship, and the corresponding angle correction is calculated.
  • the calculation amount involved in calculating the angle correction amount through the inverse trigonometric function is smaller, and the data conversion steps are few, and it can be obtained simply and directly.
  • the iterative method preferably adopts the Newton iterative method. It uses the previous calculation output parameter as the current correction input parameter, and performs a correction calculation, and then uses the calculation output parameter as the next rest calculation input parameter. So that the external parameter angle gradually approaches the accurate value.
  • the camera external parameter angle obtained by the previous calculation and the current camera external parameter angle are calculated to obtain the correction parameters, when the difference between the two is less than the preset correction threshold , It is determined that the correction is complete. It can be understood that the difference is the amount of correction for each correction. Normally, no more than 10 iterations are required for each frame of image to meet the condition.
  • the step of correcting the pitch angle includes the following sub-steps.
  • FIG. 3 schematically illustrates the principle diagram of feature point selection when the embodiment of the patent is used for correction.
  • any two points L1 and L2 on the left lane line and any point R1 on the right lane line are selected from the world coordinate system after conversion.
  • pitch i is the pitch angle of the i-th correction in the current frame of image information
  • h is the camera height
  • L1.x is the horizontal coordinate value of point L1, L1.y is the longitudinal coordinate value of point L1, and L2.
  • x is the horizontal coordinate value of point L2, L2.y is the vertical coordinate value of point L2,
  • R1.x is the horizontal coordinate value of point R1, and R1.y is the vertical coordinate value of point R1.
  • the pitch angle when the pitch angle is deviated, the lane lines will not be parallel after converting the world coordinate system, such as a figure eight or an inverted figure eight. At this time, the trigonometric function relationship between the selected feature points will be deviated In the process of pitch angle correction, the correction amount is the deviation angle. Therefore, after obtaining the world coordinates of the feature points and performing certain calculations on the world coordinates, the deviation value of the current pitch angle can be known.
  • the pitch angle deviation value is the pitch angle deviation value.
  • the pitch angle is closer to the ideal state, all lane lines are closer to parallel.
  • the abscissas of the two characteristic points on the selected left lane are approximately similar, and
  • the difference of the abscissa from the characteristic point on the right lane is closer to the more, the pitch angle is approximately close to the ideal value, that is, 0 degrees.
  • the inverse trigonometric function is about 0, that is, no correction is needed; when the two lane lines are approximately vertical, The closer to 0, the greater the correction amount.
  • the correction in order to reduce the amount of calculation, usually when the correction amount is less than a certain threshold, the correction can be considered to be completed.
  • the correction threshold selected in this embodiment is any value between 0.01° and 0.1°, which may be further preferred Is 0.05°. That is, when the correction amount is less than 0.05°, it is determined that the correction is completed, and the current external parameter angle is output.
  • (L2.y-L1.y) represents the correction step length, which is adapted to the camera height h.
  • the optical flow information in order to further correct the pitch angle, the optical flow information will be used for further correction after the above-mentioned pitch angle correction step is completed.
  • FIG. 4 shows a flow chart of further correcting the pitch angle by using optical flow information provided by an embodiment of the present patent.
  • the optical flow information is used for further correction including:
  • the method of target recognition can be accurate recognition through feature image recognition, artificial intelligence recognition, etc., which combines the feature points of the target to perform contour calculation, and finally determines the range of the target.
  • the front target is a vehicle
  • it recognizes the contour of the vehicle, and at the same time selects appropriate feature points in its contour as tracking points, and calculates its coordinate information.
  • the tracking point After the tracking point is determined, the next frame of image information is obtained, and the coordinate position of the tracking point in this frame of image information is found.
  • the tracking points found in the upper and lower frames together form a group of tracking points.
  • the relative position of the two tracking points in the tracking point group reflects the reality
  • the tracking points between the upper and lower frames are the same point on the actual target vehicle.
  • the positions of the two tracking points on the target vehicle in the upper and lower frames do not change, and the upper and lower frames can be obtained.
  • the horizontal width of the two tracking points in the frame is equal in real life.
  • the actual width between the two tracking points is W
  • the camera focal length is f
  • w 0 , w 1 is the two tracking points in the image between the upper and lower frames
  • the pixel width occupied by the horizontal direction, Z 0 , Z 1 is the distance between the target vehicle in the upper and lower frames.
  • S is the ratio of pixel width w 1 and w 0 between the upper and lower frames, the following equation can be obtained from the principle of small hole imaging:
  • this method uses N sets of tracking point groups and the median is the pixel width ratio of the upper and lower frames to improve the algorithm. accuracy.
  • N groups of information of two tracking points in each group can be randomly compared, and the distance ratio between the N groups of tracking point pixels between the upper and lower frames is calculated, and the median value S .
  • the preferred relationship is
  • the correction threshold is compared without calculation using the above formula, until when the difference between Z cam and Z 1 is less than the correction threshold, Z cam is quite close to the end of Z 1 adjustment, where pitch is the camera pitch angle.
  • FIG. 5 illustrates the principle diagram of correcting the yaw angle through the embodiment of the patent.
  • any two points L1 and L2 on the left lane line and any two points R1 on the right lane line are selected from the world coordinate system after the conversion. , R2.
  • yaw i is the yaw angle of the i-th correction in the current frame of image information
  • L1.x is the horizontal coordinate value of point L1, L1.y is the longitudinal coordinate value of point L1
  • L2.x is point L2 L2.y is the vertical coordinate value of point L2
  • R1.x is the horizontal coordinate value of point R1, R1.y is the vertical coordinate value of point R1, R2.x is the horizontal coordinate value of point R2, R2 .y is the longitudinal coordinate value of point R2.
  • the lane line will be tilted after converting the world coordinate system, that is, it will tilt to the left or tilt to the right as a whole, according to the trigonometric function between the selected feature points
  • the relationship will correspond to the deviation angle.
  • the correction amount is the deviation angle. Therefore, after obtaining the world coordinates of the feature points, the world coordinates can be calculated to know the current pitch angle. Deviation.
  • the inverse trigonometric function is about 0, that is, no correction is needed; when the two lane lines are approximately vertical, The greater the correction amount, the greater.
  • the pitch angle and the yaw angle may be corrected at the same time. Therefore, it is necessary to determine the correction when both the pitch angle correction amount and the yaw angle correction amount are both less than the correction threshold during the correction period. The steps are complete.
  • FIG. 6 illustrates a schematic diagram of the rolling angle correction according to the embodiment of the present patent.
  • three lane lines in the image information need to be identified, which are the left lane line, the right lane line of the current lane, and the lane line of the adjacent lane. If there is at least one lane on the left side of the current lane, the left lane line of the adjacent lane on the left can be regarded as the adjacent lane line; similarly, if there is at least one lane on the right side of the current lane, the adjacent lane on the right can be The right lane line is regarded as the adjacent lane line; if there is at least one lane on both sides, one is randomly selected.
  • L', R', N' are points on the lane line on the actual road, while L1, R1, and N1 are points on the lane line obtained under the calculation of the external parameter angle, between the solid line and the dotted line
  • the included angle roll is the rolling angle.
  • the following inverse trigonometric function processing is performed.
  • the azimuth of the adjacent lane of the current lane needs to be considered.
  • the rolling angle correction formula is as follows:
  • the rolling angle correction formula is as follows:
  • the current lane width calculated by the external parameter angle is the actual lane width.
  • the height of the camera can also be approximated as being always perpendicular to the road surface.
  • the embodiment of the patent specifically uses the inverse trigonometric function of the tangent for calculation, and considers that the projection of the camera on the road surface is the origin of the coordinates.
  • the calculated abscissa of the adjacent lane line N1 will be equal to the abscissa of the actual lane line N'.
  • the correction amount will increase and decrease the number of iterative calculations, and finally meet the limitation of the correction threshold, and complete the correction of the rolling angle.
  • FIG. 7 shows a schematic diagram of the architecture of the calibration system according to the embodiment of the patent.
  • the external parameter calibration system of the vehicle camera includes
  • One or more processors a memory, and one or more application programs, where the one or more application programs are stored in the memory and configured to be executed by the one or more processors.
  • One or more application programs are configured to be used in the steps of the method for calibrating external camera parameters of the vehicle-mounted camera system disclosed in the above embodiments.
  • the vehicle-mounted calibration system further includes a front-view monocular camera, which is used to obtain image information in front of the car.
  • the vehicle camera external parameter calibration method and system of the present invention obtains the image of the road ahead through the front-view camera, extracts the lane line and target vehicle position information in the road image, and uses the lane line information to combine the static calibration result and the inverse trigonometric function to dynamically solve the problem.
  • Get the camera's external parameter angle use Opencv to extract the optical flow information in the target vehicle detection frame in the image, and use the optical flow information to adjust the calculated camera external parameter angle to find a more accurate camera external parameter angle. According to the position of the target vehicle in the image, the distance of the target relative to the vehicle body is solved.
  • the program can be stored in a computer-readable storage medium.
  • the storage medium can include: Read only memory (ROM, Read Only Memory), random access memory (RAM, Random Access Memory), magnetic disk or optical disk, etc.
  • the vehicle-mounted camera external parameter calibration system belongs to the same concept as the vehicle-mounted camera system camera external parameter calibration method in the above embodiments.
  • the vehicle-mounted camera system camera can be run on the vehicle-mounted camera external parameter calibration system.
  • any method step provided in the embodiment of the method for calibrating external parameters please refer to the embodiment of the method for calibrating camera external parameters of a vehicle-mounted camera system for the specific implementation process, and any combination can be used to form an optional embodiment of the application. Repeat it again.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

一种车载相机系统相机外参的标定方法，应用于电子设备，包括：获取一帧图像信息，通过车道线检测方法世界识别图像信息中的车道线信息(101)；在每条车道线上随机选取至少两个特征点，计算特征点在世界坐标系上的坐标，并结合相机高度利用反三角函数求取角度修正量(102)；利用迭代法将修正角度对相机外参角度进行迭代补偿，获得准确的相机外参角度(103)。由此，通过前视摄像头获取前方道路图像，提取道路图像中车道线与目标车辆位置信息，利用车道线信息结合静态标定结果和反三角函数动态求解出相机的外参角度，求解出更为准确的相机外参角度，并以此根据图像中目标车辆的位置求解出目标相对于车身的距离。

Description

车载相机系统相机外参的标定方法及标定系统 技术领域
本申请涉及车载相机系统数据处理领域，特别涉及一种车载相机系统相机外参的标定方法及标定系统。
背景技术
相机标定在二维图像中恢复物体的三维信息的过程中至关重要，在相机的成像几何模型中空间点与图像平面上像点之间存在对应关系，这个对应关系是由摄像机参数决定的。通常摄像机包含相机内参与外参，内参为摄像机自身的参数，外参为摄像机安装位置上如俯仰角、旋转角和偏航角等。从广义上来分，目前可将相机标定分为两类，即传统的摄像机标定法与摄像机自标定法。
1、传统的摄像机标定法在相机静止环境下，相机标定通常通过传统的定标方法进行标定，这一过程需要利用标定板在图像平面的成像位置，计算出相机的内外参数。这种方法的缺点是只能用于相机相对静止的环境，在许多应用场景中难以实现。例如，在车载相机系统中，利用视觉实现目标位置估计，由于车辆在行驶过程由于道路原因中会产生振动，从而会导致相机外参发生变化，进而影响摄像机坐标系与世界坐标系的转换矩阵，此时如果相机没有实现实时标定，会进一步影响目标距离位置的准确性，难以安全有效地进行导航决策。
2、摄像机自标定法，该方法无需利用标定板进行标定。目前动态标定的方法有利用车辆与平行线的距离与消失点进行标定的方法，需要的条件较多。只适用于特定道路，通用性较低。
因此，需要提出一种可以准确计算相机外参角度的标定方法，以获得载摄像机实时、准确的外参角度。
申请内容
本专利提供一种车载相机系统相机外参的标定方法及标定系统，利用了车道线结合反三角函数，使得求解出的相机外参角度更为准确。
本专利提供一种车载相机系统相机外参的标定方法，应用于电子设备，包括：
获取一帧图像信息，通过车道线检测方法识别图像信息中的车道线信息；
在每条车道线上随机选取至少两个特征点，计算所述特征点在世界坐标系上的坐标，并结合相机高度利用反三角函数求取角度修正量；
利用迭代法将修正角度对相机外参角度进行迭代补偿，获得准确的相机外参角度。
可选的，所述相机外参角度包括俯仰角、偏航角和滚动角中的至少一种。
可选的，利用迭代法将修正角度对相机外参角度进行迭代补偿，获得准确的相机外参角度，包括
将上一次修正的外参角度作为输入，并与本次求取的角度修正量相加，或者本次修正的外参角度并输出；
判断本次修正的角度修正量是否小于修正阈值，若是则完成本步骤，否则继续迭代补偿。
可选的，迭代补偿采用牛顿法进行迭代计算。
可选的，所述俯仰角的修正步骤包括：
在当前帧图像信息中选取在左车道线上的任意两点L1、L2，和右车道线上的任意一点R1，并计算各点的世界坐标；
采用如下公式进行修正
Figure PCTCN2019098633-appb-000001
其中，pitch i为当前帧图像信息中的第i次修正时的俯仰角角度，h为相机高度，L1.x为点L1的横向坐标值，L1.y为点L1的纵向坐标值，L2.x为点L2的横向坐标值，L2.y为点L2的纵向坐标值，R1.x为点R1的横向坐标值，R1.y为点R1的纵向坐标值。
可选的，俯仰角迭代修正后还采用光流信息进一步修正，包括：
在本帧图像信息中进行目标识别，并选取目标的至少一个跟踪点的坐标，通过光流信息采集该跟踪点在下一帧图像信息中的坐标，形成一组跟踪点组；
计算出多组跟踪点组之间的像素距离比，并取其中间值S；
通过跟踪点像素距离比中间值S以及当前帧图像信息中与目标的距离Z 0，利用小孔成像原理计算下一帧图像信息的距离Z 1，同时根据相机外参角度计算出目标距离Z cam；
利用迭代法通过如下公式对俯仰角进行修正
Figure PCTCN2019098633-appb-000002
当Z cam与Z 1的差值小于修正阈值时，修正结束。
可选的，所述偏航角的修正步骤包括：
在当前帧图像信息中选取在左车道线上的任意两点L1、L2，和右车道线上的任意两点R1、R2，并计算各点的世界坐标；
采用如下公式进行修正
Figure PCTCN2019098633-appb-000003
其中，yaw i为当前帧图像信息中的第i次修正时的偏航角角度，L1.x为点L1的横向坐标值，L1.y为点L1的纵向坐标值，L2.x为点L2的横向坐标值，L2.y为点L2的纵向坐标值，R1.x为点R1的横向坐标值，R1.y为点R1的纵向坐标值， R2.x为点R2的横向坐标值，R2.y为点R2的纵向坐标值。
可选的，所述滚动角的修正步骤包括：
在当前帧图像信息中选取在左车道线上的任意一点L1、右车道线上的任意一点R1以及邻近车道线的任意一点N1，并计算各点的世界坐标；
采用如下公式进行修正
当邻近车道线为左邻近车道时，其滚动角修正公式如下：
Figure PCTCN2019098633-appb-000004
当邻近车道线为右邻近车道时，其滚动角修正公式如下：
Figure PCTCN2019098633-appb-000005
其中，roll i为当前帧图像信息中的第i次修正时的滚动角角度，h为相机高度，L1.x为点L1的横向坐标值，R1.x为点R1的横向坐标值，N1.x为点N1的横向坐标值。
可选的，所述修正阈值为0.01°～0.1°之间的任一值，进一步优选为0.05°。
另外，本发明还提供一种车载相机外参标定系统，其特征在于，包括
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行；
所述一个或多个应用程序被配置为用于执行上述任意一项所述的车载相机系统相机外参的标定方法的步骤。
由上可知，本发明通过前视摄像头获取前方道路图像，提取道路图像中车道线与目标车辆位置信息，利用车道线信息结合静态标定结果和反三角函数动态求 解出相机的外参角度，运用Opencv提取图像中目标车辆检测框内的光流信息，利用光流信息对计算出的相机外参角度进行调整，求解出更为准确的相机外参角度，并以此根据图像中目标车辆的位置求解出目标相对于车身的距离。
附图说明
图1为本申请实施例提供的车载相机系统相机外参的标定方法的实现流程图。
图2为本申请实施例提供的外参偏差后的车道线示意图。
图3为本申请实施例提供的进行修正时特征点选取的原理图。
图4为本申请实施例提供的利用光流信息修正俯仰角的流程图。
图5为本申请实施例提供的偏航角修正的原理图。
图6为本申请实施例提供的滚动角修正的原理图。
图7为本申请实施例提供的标定系统示意图。
具体实施方式
下面结合附图对本申请的较佳实施例进行详细阐述，以使本申请的优点和特征更易被本领域技术人员理解，从而对本申请的保护范围作出更为清楚的界定。
请参阅图1，图中示出了本申请实施例提供的车载相机系统相机外参的标定方法的实现流程。
该车载相机系统相机外参的标定方法应用于电子设备，该电子设备可以为安装于汽车上的车载电子设备。该车载电子设备可以包括车道线检测模块、世界坐标转换模块和迭代计算修正模块。
该车道线检测模块用于识别当前帧图像中的车道线特征，并对车道线进行识别和标记，供后续修正计算。
该世界坐标转换模块用于将当前帧图像信息从平面二维坐标转换成世界三 维坐标。
该迭代计算修正模块用于对转换成三维坐标之后的图像信息计算修正当前相机的外参角度，使其完成标定。
请参阅图1，图中示出了本申请实施例提供的车载相机系统相机外参的标定方法的实现流程。
如图1所示，一种车载相机系统相机外参的标定方法，应用于电子设备中，该电子设备可以为如上实施例所述的电子设备，该方法包括：
101、获取一帧图像信息，通过车道线检测方法识别图像信息中的车道线信息。
该帧图像信息中，应当包括车道线信息，由于图像信息由设置在车前方的单目相机获得，其在识别的过程中通常除了识别左车道和右车道信息外，还会根据需要对邻近车道的车道线进行识别。
同时为了避免初次标定出现误差，系统自动将相机外参角度赋初值为0。在计算相机外参的修正之前，系统会通过静态标定的方式，对相机外参进行一次计算，从而确定其相机高度等信息，本专利所重点修正的包括俯仰角、偏航角和滚动角。
其中，俯仰角值得是相机拍摄方向与水平面之间的夹角，偏航角为相机拍摄方向与竖直平面的夹角，滚动角则是相机以其拍摄方向为轴心的旋转角度。
这三个相机外参在将图像信息从二维坐标系转换为三维世界坐标系的过程中起到了重要的作用。在未经过修正而直接通过简单静态标定获得的三维世界坐标系下，车道线会出现如下几种情况，如图2所示。
图2示意出了本专利的三种相机外参出现偏差时，车道线在图像信息转换后 出现的偏差情况。其中如果俯仰角偏大或偏小，则车道线在世界坐标系中呈现出如图所示的“内八”或“外八”形状，如图2(a)。同样当偏航角不正确时，车道线中线会向一方倾斜，在世界坐标系中形成如平行四边形的状态，如图2(b)。滚动角不正确时，则其在世界坐标系中两条车道宽度会不相等，如图2(c)。
只有当相机外参角度全部正确时，将图像坐标投影到世界坐标时车道线才会同时出现“平行”、“垂直”、“等距”的情况。因此可以利用上述现象对相机外参角度进行修正，直至车道线投影结果满足以上三种情况，即“平行”、“垂直”、“等距”。
102、在每条车道线上随机选取至少两个特征点，计算所述特征点在世界坐标系上的坐标，并结合相机高度利用反三角函数求取角度修正量。
其中，在特征点的选取过程中，其可以优选地选取车道线的边缘部分，由于与周围能够形成。将图像特征点从平面坐标转换为世界坐标系的方法有很多种，本专利的重点在于通过完成转换的世界坐标系对相机进行外参角度的求取，因此本专利不对坐标系的转换进行赘述。在一些实施例中，转换方法可以但不仅限于采取FPR模型(Fast Perspective Removal，快速去透视)进行转换。
其中，相机高度的获得也可以是多种形式的，本专利的预设条件是相机高度为已知，由于相机高度在运行过程中相对恒定，因此可以但不仅限于采用静态标定的方式进行快速获得，从而减小系统的整体计算量。
本专利实施例中，修正的相机外参均为角度参数，因此修正量也是角度参数。其修正的基本原理是通过左车道、右车道和/或相邻车道线中各个随机特征点之间的坐标位置关系中寻找合适的三角函数关系，计算其与理想工况下的偏差值，并且进一步地对三角函数关系进行反三角函数处理，计算出相应的角度修正量。通 过反三角函数进行角度修正量的计算所涉及的计算量相对于其他的计算方式更加小，而且数据转换步骤少，可简单直接地获得。
103、利用迭代法将修正角度对相机外参角度进行迭代补偿，获得准确的相机外参角度。
其中，本专利实施例中，迭代法优选采用的是牛顿迭代法。其将前一次计算输出的参数作为当前修正的输入参数，并进行一次修正计算，在将该次计算输出的参数作为下一次休整计算的输入参数。从而使外参角度逐渐逼近准确值。
为了减少计算量，在每次修正计算后都会将前一次计算获得的相机外参角度与当前计算所得的相机外参角度进行求差获得修正参数，当两者差值小于预设的修正阈值时，则判定修正完成。可以理解的，该差值即为每次修正的修正量，通常情况下每帧图像只需要进行不超过10次的迭代运算即可以满足条件。
在一些实施例中，俯仰角的修正步骤包括如下子步骤。
请参见图3，其示意出了通过本专利实施例进行修正时特征点选取的原理图。
如图3所示，在当前帧图像信息，通过转换后的世界坐标系中选取在左车道线上的任意两点L1、L2，和右车道线上的任意一点R1。其中，pitch i为当前帧图像信息中的第i次修正时的俯仰角角度，h为相机高度，L1.x为点L1的横向坐标值，L1.y为点L1的纵向坐标值，L2.x为点L2的横向坐标值，L2.y为点L2的纵向坐标值，R1.x为点R1的横向坐标值，R1.y为点R1的纵向坐标值。
理论上，当俯仰角出现偏差时，其转换世界坐标系后会出现车道线不平行的情况，如八字形或者倒八字形，此时根据所选取的特征点之间的三角函数关系会与偏差角相对应，而在俯仰角修正过程中，修正量则是偏差角，因此只需要将特征点的世界坐标获取后，对世界坐标进行一定的计算既可以知道当前俯仰角的偏 差值。
可选的本发明实施例采用如下公式对俯仰角进行修正
Figure PCTCN2019098633-appb-000006
其中，
Figure PCTCN2019098633-appb-000007
所求取的是俯仰角偏差值，当俯仰角越接近理想状态时，所有车道线则越趋近于平行，此时在所选取的左车道上两个特征点的横坐标则约相近，及其离右车道上特征点的横坐标之差则与越相近，俯仰角约接近理想值，即0度。
例如，当两车道线平行时，
Figure PCTCN2019098633-appb-000008
反三角函数则求取出来的结果则约为0，即不需要修正；而当两车道线约接近垂直时，
Figure PCTCN2019098633-appb-000009
越趋近于0，修正量则越大。
在一些实施例中，为了减少计算量，通常当修正量小于一定阈值时即可以认定为完成修正，本实施例所选的修正阈值为0.01°～0.1°之间的任一值，进一步可以优选为0.05°。即当修正量小于0.05°时，即判定为完成修正，将当前外参角度进行输出。
另外，(L2.y-L1.y)则表示修正步长，其与相机高度h相适应。
在一些实施例中，为了进一步修正俯仰角，还会在上述俯仰角修正步骤完成后继续利用光流信息进行进一步修正。
请参阅图4，图中示出了本专利实施例提供的利用光流信息进一步修正俯仰角的流程图。
如图4所示，该俯仰角迭代修正后还采用光流信息进一步修正包括：
401、在本帧图像信息中进行目标识别，并选取目标的至少一个跟踪点的坐标，通过光流信息采集该跟踪点在下一帧图像信息中的坐标，形成一组跟踪点组。
其中目标识别的方法可以是通特征图像识别、人工智能识别等方式进行精准识别，其结合目标的特征点进行轮廓计算，最终确定目标的范围。例如，前方目标为车辆时，其通过对车辆轮廓进行识别，同时在其轮廓内选择合适的特征点作为跟踪点，并计算其坐标信息。
确定该跟踪点后，获取下一帧图像信息，同时找到跟踪点在这一帧图像信息中的坐标位置。由上下两帧中找到的跟踪点共同构成一组跟踪点组。跟踪点组内两跟踪点的相对位置则反映出现实中的
例如，由光流的特性可知，上下两帧之间的跟踪点在实际目标车辆上为同一点，换言之上下两帧中两个跟踪点在目标车辆上的位置没有发生变化，即可得到上下两帧中两个跟踪点在现实生活中的水平宽度相等，假设两跟踪点之间的现实宽度为W，相机焦距为f，w 0，w 1为两个跟踪点在上下两帧之间图像中水平方向占据的像素宽，Z 0，Z 1为上下两帧目标车辆的距离。假设S为上下两帧之间的像素宽w 1，w 0之比，由小孔成像原理可得到如下等式：
Figure PCTCN2019098633-appb-000010
402、计算出多组跟踪点组之间的像素距离比，并取其中间值S。
考虑到光流匹配时可能存在某些跟踪点匹配错误的情况，为了去除匹配错误的情况，本方法采用取N组跟踪点组取其中位数为上下两帧的像素宽比，以提高算法的准确性。在本专利实施例中，为了降低噪点，可随机取N组每组两个跟踪点的信息进行比较，求出上下两帧之间的N组跟踪点像素之间距离比，并取其中值S。择优关系是
Figure PCTCN2019098633-appb-000011
403、通过跟踪点像素距离比中间值S以及当前帧图像信息中与目标的距离Z 0，利用小孔成像原理计算下一帧图像信息的距离Z 1，同时根据相机外参角度计算出目标距离Z cam；
404、利用迭代法通过如下公式对俯仰角进行修正
Figure PCTCN2019098633-appb-000012
405、利用上述公式没计算一次均对修正阈值进行比较，直至当Z cam与Z 1的差值小于修正阈值时，Z cam相当程度上接近Z 1调整结束，其中pitch为相机俯仰角。
请参阅图5，图中示意出了通过本专利实施例进行偏航角修正的原理图。
在一些实施例中，如图5所示，在当前帧图像信息，通过转换后的世界坐标系中选取在左车道线上的任意两点L1、L2，和右车道线上的任意两点R1、R2。其中，yaw i为当前帧图像信息中的第i次修正时的偏航角角度，L1.x为点L1的横向坐标值，L1.y为点L1的纵向坐标值，L2.x为点L2的横向坐标值，L2.y为点L2的纵向坐标值，R1.x为点R1的横向坐标值，R1.y为点R1的纵向坐标值，R2.x为点R2的横向坐标值，R2.y为点R2的纵向坐标值。
理论上，当偏航角出现偏差时，其转换世界坐标系后会出现车道线倾斜的情况，即会整体向左倾斜或者整体向右倾斜，此时根据所选取的特征点之间的三角函数关系会与偏差角相对应，而在偏航角修正过程中，修正量则是偏差角，因此只需要将特征点的世界坐标获取后，对世界坐标进行一定的计算既可以知道当前俯仰角的偏差值。
可选的本发明实施例采用如下公式对偏航角进行修正
Figure PCTCN2019098633-appb-000013
其中，
Figure PCTCN2019098633-appb-000014
所求取的是以R1和L1的中点、R2和L2的中点连线的倾斜角度，当偏航角越接近理想状态时，所有车道线则越趋近于垂直，所选特征点的中线也将接近垂直。
例如，当偏航角准确时，
Figure PCTCN2019098633-appb-000015
反三角函数则求取出来的结果则约为0，即不需要修正；而当两车道线约接近垂直时，
Figure PCTCN2019098633-appb-000016
越大，修正量则越大。
在修正偏航角时，需要注意的是当车辆平行车道线驾驶时修正俯仰角、偏航角与滚动角，否则只对俯仰角与滚动角进行调整。
在一些实施例中，会出现俯仰角和偏航角同时修正的情况，因此事需要在两者在修正期间，同时满足俯仰角修正量和偏航角修正量均小于修正阈值，才判定修正步骤完成。
请参阅图6，图中示意出了通过本专利实施例进行滚动角修正的原理图。
在一些实施例中，如图6所示，在滚动角的修正计算中，需要识别图像信息内的三条车道线，分别是当前车道的左车道线、右车道线和邻近车道的车道线。如果当前车道的左侧存在至少一条车道，则可以将左侧邻近车道的左车道线当做邻近车道线；同理的，如果当前车道的右侧存在至少一条车道，则可以将右侧邻近车道的右车道线当做邻近车道线；如果两侧都存至少一条车道时，则随机选取一条。
图中的L’、R’、N’分别为实际路面上的车道线的一点，而L1、R1、N1则分别为在外参角度计算下获得的车道线上的一点，实线与虚线之间的夹角roll为滚动角。在此基础上，进行如下反三角函数处理。
在当前帧图像信息中选取在左车道线上的任意一点L1、右车道线上的任意 一点R1以及邻近车道线的任意一点N1，并计算各点的世界坐标。在计算过程中，只需要知道三个点的横坐标即可。其中，roll i为当前帧图像信息中的第i次修正时的滚动角角度，h为相机高度，L1.x为点L1的横向坐标值，R1.x为点R1的横向坐标值，N1.x为点N1的横向坐标值。
在采用公式进行修正时，需要考虑当前车道的邻近车道方位。
当邻近车道线为左邻近车道时，其滚动角修正公式如下：
Figure PCTCN2019098633-appb-000017
当邻近车道线为右邻近车道时，其滚动角修正公式如下：
Figure PCTCN2019098633-appb-000018
其中，上述公式做了一定的近似设定，由于一般情况下滚动角通常会在5°以内，在该角度下，相机所在车道的实际车道宽度与标定计算车道宽度相差较小，因此可以做如上近似认定：
1、认为通过外参角度计算出来的当前车道宽度即是实际车道宽度。
2、摄像机高度也可以近似认为始终垂直于路面。
基于上述两个近似设定，可知的是在滚动角修正过程中实际上是仅对邻近车道的宽度进行修正，以图6为例，图6示意出的邻近车道为右邻近车道，此时因套用右邻近车道的滚动角修正公式。
在公式中存在两个反三角函数，其实际上是针对不同的两个角度去计算邻近车道与相机这一连线与竖直方向的夹角。
本专利实施例具体采用是正切的反三角函数进行计算，认为相机在路面上的投影为坐标原点。
其中，当滚动角正确时，所计算出来的邻近车道线N1横坐标会与实际车道 线N’横坐标相等。而计算出来的N1横坐标通过标定计算所得，是直接获取的，即N1.x。其应该等于R1横坐标加上一个车道线宽度，即R1.x+(R1.x-L1.x)＝2R1.x-L1.x。
因此，在滚动角准确的情况下，2R1.x-L1.x＝N1.x。若出现滚动角不准确时，会出现N1.x＞2R1.x-L1.x或者N1.x＜2R1.x-L1.x，此时两者求出的反三角函数结果的差值即是修正量。
在做迭代补偿的过程中，这个修正量会迭代计算次数增加而减少，最终满足修正阈值的限定，完成滚动角的修正。
请参阅图7，图中示意出了通过本专利实施例标定系统的架构原理图。
如图7所示，该车载相机外参标定系统包括
一个或多个处理器、存储器和一个或多个应用程序，其中所述一个或多个应用程序被存储在存储器中并被配置为由所述一个或多个处理器执行。
一个或多个应用程序被配置为用于上述实施例公开的车载相机系统相机外参的标定方法的步骤。
在一些实施例中，该车载标定系统还包括前视单目摄像头，该单目摄像头用于获取汽车前方的图像信息。
由上可知，本发明的车载相机外参标定方法及系统通过前视摄像头获取前方道路图像，提取道路图像中车道线与目标车辆位置信息，利用车道线信息结合静态标定结果和反三角函数动态求解出相机的外参角度，运用Opencv提取图像中目标车辆检测框内的光流信息，利用光流信息对计算出的相机外参角度进行调整，求解出更为准确的相机外参角度，并以此根据图像中目标车辆的位置求解出目标相对于车身的距离。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
本申请实施例中，车载相机外参标定系统与上文实施例中的一种车载相机系统相机外参的标定方法属于同一构思，在车载相机外参标定系统上可以运行所述车载相机系统相机外参的标定方法实施例中提供的任一方法步骤，其具体实现过程详见车载相机系统相机外参的标定方法实施例，并可以采用任意结合形成本申请的可选实施例，此处不再赘述。
上面结合附图对本申请的实施方式作了详细说明，但是本申请并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨的前提下作出各种变化。

Claims (10)

  1. 一种车载相机系统相机外参的标定方法，应用于电子设备，其特征在于，包括：
    获取一帧图像信息，通过车道线检测方法识别图像信息中的车道线信息；
    在每条车道线上随机选取至少两个特征点，计算所述特征点在世界坐标系上的坐标，并结合相机高度利用反三角函数求取角度修正量；
    利用迭代法将修正角度对相机外参角度进行迭代补偿，获得准确的相机外参角度。
  2. 如权利要求1所述的车载相机系统相机外参的标定方法，其特征在于，所述相机外参角度包括俯仰角、偏航角和滚动角中的至少一种。
  3. 如权利要求1所述的车载相机系统相机外参的标定方法，其特征在于，利用迭代法将修正角度对相机外参角度进行迭代补偿，获得准确的相机外参角度，包括
    将上一次修正的外参角度作为输入，并与本次求取的角度修正量相加，或者本次修正的外参角度并输出；
    判断本次修正的角度修正量是否小于修正阈值，若是则完成本步骤，否则继续迭代补偿。
  4. 如权利要求4所述的车载相机系统相机外参的标定方法，其特征在于，迭代补偿采用牛顿法进行迭代计算。
  5. 如权利要求2所述的车载相机系统相机外参的标定方法，其特征在于，所述俯仰角的修正步骤包括：
    在当前帧图像信息中选取在左车道线上的任意两点L1、L2，和右车道线上的任意一点R1，并计算各点的世界坐标；
    采用如下公式进行修正
    Figure PCTCN2019098633-appb-100001
    其中，pitch i为当前帧图像信息中的第i次修正时的俯仰角角度，h为相机高度，L1.x为点L1的横向坐标值，L1.y为点L1的纵向坐标值，L2.x为点L2的横向坐标值，L2.y为点L2的纵向坐标值，R1.x为点R1的横向坐标值，R1.y为点R1的纵向坐标值。
  6. 如权利要求5所述的车载相机系统相机外参的标定方法，其特征在于，俯仰角迭代修正后还采用光流信息进一步修正，包括：
    在本帧图像信息中进行目标识别，并选取目标的至少一个跟踪点的坐标，通过光流信息采集该跟踪点在下一帧图像信息中的坐标，形成一组跟踪点组；
    计算出多组跟踪点组之间的像素距离比，并取其中间值S；
    通过跟踪点像素距离比中间值S以及当前帧图像信息中与目标的距离Z 0，利用小孔成像原理计算下一帧图像信息的距离Z 1，同时根据相机外参角度计算出目标距离Z cam；
    利用迭代法通过如下公式对俯仰角进行修正
    Figure PCTCN2019098633-appb-100002
    当Z cam与Z 1的差值小于修正阈值时，修正结束。
  7. 如权利要求2所述的车载相机系统相机外参的标定方法，其特征在于，所述偏航角的修正步骤包括：
    在当前帧图像信息中选取在左车道线上的任意两点L1、L2，和右车道线上的任意两点R1、R2，并计算各点的世界坐标；
    采用如下公式进行修正
    Figure PCTCN2019098633-appb-100003
    其中，yaw i为当前帧图像信息中的第i次修正时的偏航角角度，L1.x为点L1的横向坐标值，L1.y为点L1的纵向坐标值，L2.x为点L2的横向坐标值，L2.y为点L2的纵向坐标值，R1.x为点R1的横向坐标值，R1.y为点R1的纵向坐标值，R2.x为点R2的横向坐标值，R2.y为点R2的纵向坐标值。
  8. 如权利要求2所述的车载相机系统相机外参的标定方法，其特征在于，所述滚动角的修正步骤包括：
    在当前帧图像信息中选取在左车道线上的任意一点L1、右车道线上的任意一点R1以及邻近车道线的任意一点N1，并计算各点的世界坐标；
    采用如下公式进行修正
    当邻近车道线为左邻近车道时，其滚动角修正公式如下：
    Figure PCTCN2019098633-appb-100004
    当邻近车道线为右邻近车道时，其滚动角修正公式如下：
    Figure PCTCN2019098633-appb-100005
    其中，roll i为当前帧图像信息中的第i次修正时的滚动角角度，h为相机高度，L1.x为点L1的横向坐标值，R1.x为点R1的横向坐标值，N1.x为点N1的横向坐标值。
  9. 如权利要求1-8任意一项所述的车载相机系统相机外参的标定方法，其特征在于，所述修正阈值为0.01°～0.1°之间的任一值。
  10. 一种车载相机外参标定系统，其特征在于，包括
    一个或多个处理器；
    存储器；
    一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行；
    所述一个或多个应用程序被配置为用于执行权利要求1-9中任意一项所述的车载相机系统相机外参的标定方法的步骤。
PCT/CN2019/098633 2019-01-24 2019-07-31 车载相机系统相机外参的标定方法及标定系统 WO2020151212A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910070089.1A CN109859278B (zh) 2019-01-24 2019-01-24 车载相机系统相机外参的标定方法及标定系统
CN201910070089.1 2019-01-24

Publications (1)

Publication Number Publication Date
WO2020151212A1 true WO2020151212A1 (zh) 2020-07-30

Family

ID=66896041

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/098633 WO2020151212A1 (zh) 2019-01-24 2019-07-31 车载相机系统相机外参的标定方法及标定系统

Country Status (2)

Country Link
CN (1) CN109859278B (zh)
WO (1) WO2020151212A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112444798A (zh) * 2020-11-27 2021-03-05 杭州易现先进科技有限公司 多传感器设备时空外参标定方法、装置以及计算机设备
CN112509064A (zh) * 2020-12-22 2021-03-16 北京百度网讯科技有限公司 显示摄像机标定进度的方法、装置、设备和存储介质
CN112785653A (zh) * 2020-12-30 2021-05-11 中山联合汽车技术有限公司 车载相机姿态角标定方法
CN113610932A (zh) * 2021-08-20 2021-11-05 苏州智加科技有限公司 双目相机外参标定方法和装置
CN113658268A (zh) * 2021-08-04 2021-11-16 智道网联科技(北京)有限公司 摄像头标定结果的验证方法、装置及电子设备、存储介质
CN114046889A (zh) * 2021-11-18 2022-02-15 南京佗道医疗科技有限公司 一种红外相机的自动化标定方法
CN114708333A (zh) * 2022-03-08 2022-07-05 智道网联科技(北京)有限公司 自动标定相机外参模型的生成方法及装置
CN114782549A (zh) * 2022-04-22 2022-07-22 南京新远见智能科技有限公司 基于定点标识的相机标定方法及系统
CN114998849A (zh) * 2022-05-27 2022-09-02 电子科技大学 一种基于路端单目相机的交通流要素感知与定位方法及其应用
CN115079637A (zh) * 2022-06-29 2022-09-20 歌尔股份有限公司 工件坐标系的建立方法、装置、设备及存储介质
CN115578470A (zh) * 2022-09-22 2023-01-06 虹软科技股份有限公司 一种单目视觉定位方法、装置、存储介质和电子设备
WO2023123574A1 (zh) * 2021-12-28 2023-07-06 中公高科养护科技股份有限公司 用于路面检测的相机标定系统及标定方法
CN117036505A (zh) * 2023-08-23 2023-11-10 长和有盈电子科技(深圳)有限公司 车载摄像头在线标定方法及系统
CN117061719A (zh) * 2023-08-11 2023-11-14 元橡科技（北京）有限公司 一种车载双目相机视差校正方法
CN114708333B (zh) * 2022-03-08 2024-05-31 智道网联科技(北京)有限公司 自动标定相机外参模型的生成方法及装置

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859278B (zh) * 2019-01-24 2023-09-01 惠州市德赛西威汽车电子股份有限公司 车载相机系统相机外参的标定方法及标定系统
CN111753605A (zh) * 2019-06-11 2020-10-09 北京京东尚科信息技术有限公司 车道线定位方法、装置、电子设备及可读介质
CN110378966B (zh) * 2019-06-11 2023-01-06 北京百度网讯科技有限公司 车路协同相机外参标定方法、装置、设备及存储介质
CN110264525B (zh) * 2019-06-13 2021-08-06 惠州市德赛西威智能交通技术研究院有限公司 一种基于车道线与目标车辆的相机标定方法
CN110363819B (zh) * 2019-06-25 2023-03-03 华为技术有限公司 智能汽车中图像采集设备标定的方法和相关设备
CN112184821B (zh) * 2019-07-01 2023-03-10 上海安亭地平线智能交通技术有限公司 相机翻滚角的调整方法和装置、存储介质、电子设备
CN110490936B (zh) * 2019-07-15 2021-09-07 杭州飞步科技有限公司 车辆摄像头的标定方法、装置、设备及可读存储介质
CN110412603B (zh) * 2019-07-22 2023-07-04 昆山伟宇慧创智能科技有限公司 一种用于车道偏离计算的标定参数自适应更新方法
CN112288821B (zh) * 2019-07-25 2024-04-23 上海高德威智能交通系统有限公司 一种相机外参标定的方法及装置
CN110991232B (zh) * 2019-10-28 2024-02-13 纵目科技（上海）股份有限公司 一种车辆位置修正方法及系统、存储介质及终端
CN113033253A (zh) * 2019-12-24 2021-06-25 北京车和家信息技术有限公司 相机标定方法及装置
CN111223150A (zh) * 2020-01-15 2020-06-02 电子科技大学 一种基于双消失点的车载摄像头外参数标定方法
CN113706624A (zh) * 2020-05-20 2021-11-26 杭州海康威视数字技术股份有限公司 相机外参修正方法、装置及车载环视系统
CN112509054B (zh) * 2020-07-20 2024-05-17 重庆兰德适普信息科技有限公司 一种相机外参动态标定方法
CN111862234B (zh) * 2020-07-22 2023-10-20 中国科学院上海微系统与信息技术研究所 双目相机自标定方法及系统
CN111862236B (zh) * 2020-07-22 2023-10-20 中国科学院上海微系统与信息技术研究所 定焦双目相机自标定方法及系统
CN111862235B (zh) * 2020-07-22 2023-12-29 中国科学院上海微系统与信息技术研究所 双目相机自标定方法及系统
CN111931630B (zh) * 2020-08-05 2022-09-09 重庆邮电大学 一种基于人脸特征点数据增强的动态表情识别方法
CN112115968B (zh) * 2020-08-10 2024-04-19 北京智行者科技股份有限公司 一种智能清扫车垃圾识别方法及系统
CN112529966B (zh) * 2020-12-17 2023-09-15 豪威科技(武汉)有限公司 一种车载环视系统的在线标定方法及其车载环视系统
CN112614192B (zh) * 2020-12-24 2022-05-17 亿咖通(湖北)技术有限公司 一种车载相机的在线标定方法和车载信息娱乐系统
CN112907678B (zh) * 2021-01-25 2022-05-13 深圳佑驾创新科技有限公司 车载相机外参姿态动态估计方法、装置、计算机设备
CN112800986B (zh) * 2021-02-02 2021-12-07 深圳佑驾创新科技有限公司 车载摄像头外参标定方法、装置、车载终端和存储介质
CN113375687B (zh) * 2021-05-12 2023-06-02 武汉极目智能技术有限公司 基于平行约束的车道线消失点补偿的方法及系统、装置
CN115409875A (zh) * 2021-05-28 2022-11-29 北京字跳网络技术有限公司 图像处理方法、设备及电子设备
CN113432620B (zh) * 2021-06-04 2024-04-09 苏州智加科技有限公司 误差估计方法、装置、车载终端及存储介质
CN113256739B (zh) * 2021-06-28 2021-10-19 所托(杭州)汽车智能设备有限公司 车载bsd摄像头的自标定方法、设备和存储介质
CN113313770A (zh) * 2021-06-29 2021-08-27 智道网联科技(北京)有限公司 行车记录仪的标定方法及其装置
CN113568533A (zh) * 2021-06-30 2021-10-29 惠州市德赛西威智能交通技术研究院有限公司 一种车载摄像头任意样式轨迹线自动化生成系统
CN113674357B (zh) * 2021-08-04 2022-07-29 禾多科技（北京）有限公司 相机外参标定方法、装置、电子设备和计算机可读介质
CN116681776B (zh) * 2023-05-30 2024-02-23 元橡科技（北京）有限公司 一种双目相机的外参标定方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009027090A2 (en) * 2007-08-31 2009-03-05 Valeo Schalter Und Sensoren Gmbh Method and system for online calibration of a video system
KR101271639B1 (ko) * 2011-12-13 2013-06-17 (주)팜비젼 휴대 단말 카메라 외부 파라미터 교정 방법 및 시스템
CN106127787A (zh) * 2016-07-01 2016-11-16 北京美讯美通信息科技有限公司 一种基于逆投影变换的相机标定方法
CN106709956A (zh) * 2016-12-30 2017-05-24 广州汽车集团股份有限公司 全景影像系统的远程标定方法和系统
CN106875448A (zh) * 2017-02-16 2017-06-20 武汉极目智能技术有限公司 一种车载单目摄像头外部参数自标定方法
CN108898638A (zh) * 2018-06-27 2018-11-27 江苏大学 一种车载摄像头在线自动标定方法
CN109859278A (zh) * 2019-01-24 2019-06-07 惠州市德赛西威汽车电子股份有限公司 车载相机系统相机外参的标定方法及标定系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5991842B2 (ja) * 2012-04-16 2016-09-14 アルパイン株式会社 車載カメラの取付角度補正装置および取付角度補正方法
JP2017139612A (ja) * 2016-02-03 2017-08-10 パナソニックＩｐマネジメント株式会社 車載カメラ用校正システム
CN106558080B (zh) * 2016-11-14 2020-04-24 天津津航技术物理研究所 一种单目相机外参在线标定方法
CN107133985B (zh) * 2017-04-20 2020-05-12 常州智行科技有限公司 一种基于车道线消逝点的车载摄像机自动标定方法
CN109191531A (zh) * 2018-07-30 2019-01-11 深圳市艾为智能有限公司 一种基于车道线检测的后方车载相机的自动外参标定方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009027090A2 (en) * 2007-08-31 2009-03-05 Valeo Schalter Und Sensoren Gmbh Method and system for online calibration of a video system
KR101271639B1 (ko) * 2011-12-13 2013-06-17 (주)팜비젼 휴대 단말 카메라 외부 파라미터 교정 방법 및 시스템
CN106127787A (zh) * 2016-07-01 2016-11-16 北京美讯美通信息科技有限公司 一种基于逆投影变换的相机标定方法
CN106709956A (zh) * 2016-12-30 2017-05-24 广州汽车集团股份有限公司 全景影像系统的远程标定方法和系统
CN106875448A (zh) * 2017-02-16 2017-06-20 武汉极目智能技术有限公司 一种车载单目摄像头外部参数自标定方法
CN108898638A (zh) * 2018-06-27 2018-11-27 江苏大学 一种车载摄像头在线自动标定方法
CN109859278A (zh) * 2019-01-24 2019-06-07 惠州市德赛西威汽车电子股份有限公司 车载相机系统相机外参的标定方法及标定系统

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112444798B (zh) * 2020-11-27 2024-04-09 杭州易现先进科技有限公司 多传感器设备时空外参标定方法、装置以及计算机设备
CN112444798A (zh) * 2020-11-27 2021-03-05 杭州易现先进科技有限公司 多传感器设备时空外参标定方法、装置以及计算机设备
CN112509064B (zh) * 2020-12-22 2024-06-04 阿波罗智联(北京)科技有限公司 显示摄像机标定进度的方法、装置、设备和存储介质
CN112509064A (zh) * 2020-12-22 2021-03-16 北京百度网讯科技有限公司 显示摄像机标定进度的方法、装置、设备和存储介质
CN112785653A (zh) * 2020-12-30 2021-05-11 中山联合汽车技术有限公司 车载相机姿态角标定方法
CN113658268A (zh) * 2021-08-04 2021-11-16 智道网联科技(北京)有限公司 摄像头标定结果的验证方法、装置及电子设备、存储介质
CN113610932A (zh) * 2021-08-20 2021-11-05 苏州智加科技有限公司 双目相机外参标定方法和装置
CN113610932B (zh) * 2021-08-20 2024-06-04 苏州智加科技有限公司 双目相机外参标定方法和装置
CN114046889B (zh) * 2021-11-18 2024-04-30 佗道医疗科技有限公司 一种红外相机的自动化标定方法
CN114046889A (zh) * 2021-11-18 2022-02-15 南京佗道医疗科技有限公司 一种红外相机的自动化标定方法
WO2023123574A1 (zh) * 2021-12-28 2023-07-06 中公高科养护科技股份有限公司 用于路面检测的相机标定系统及标定方法
CN114708333A (zh) * 2022-03-08 2022-07-05 智道网联科技(北京)有限公司 自动标定相机外参模型的生成方法及装置
CN114708333B (zh) * 2022-03-08 2024-05-31 智道网联科技(北京)有限公司 自动标定相机外参模型的生成方法及装置
CN114782549A (zh) * 2022-04-22 2022-07-22 南京新远见智能科技有限公司 基于定点标识的相机标定方法及系统
CN114782549B (zh) * 2022-04-22 2023-11-24 南京新远见智能科技有限公司 基于定点标识的相机标定方法及系统
CN114998849B (zh) * 2022-05-27 2024-04-16 电子科技大学 一种基于路端单目相机的交通流要素感知与定位方法及其应用
CN114998849A (zh) * 2022-05-27 2022-09-02 电子科技大学 一种基于路端单目相机的交通流要素感知与定位方法及其应用
CN115079637A (zh) * 2022-06-29 2022-09-20 歌尔股份有限公司 工件坐标系的建立方法、装置、设备及存储介质
CN115578470A (zh) * 2022-09-22 2023-01-06 虹软科技股份有限公司 一种单目视觉定位方法、装置、存储介质和电子设备
CN115578470B (zh) * 2022-09-22 2024-06-07 虹软科技股份有限公司 一种单目视觉定位方法、装置、存储介质和电子设备
CN117061719B (zh) * 2023-08-11 2024-03-08 元橡科技（北京）有限公司 一种车载双目相机视差校正方法
CN117061719A (zh) * 2023-08-11 2023-11-14 元橡科技（北京）有限公司 一种车载双目相机视差校正方法
CN117036505B (zh) * 2023-08-23 2024-03-29 长和有盈电子科技(深圳)有限公司 车载摄像头在线标定方法及系统
CN117036505A (zh) * 2023-08-23 2023-11-10 长和有盈电子科技(深圳)有限公司 车载摄像头在线标定方法及系统

Also Published As

Publication number Publication date
CN109859278A (zh) 2019-06-07
CN109859278B (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
WO2020151212A1 (zh) 车载相机系统相机外参的标定方法及标定系统
CN110264525B (zh) 一种基于车道线与目标车辆的相机标定方法
CN108805934B (zh) 一种车载摄像机的外部参数标定方法及装置
JP6353289B2 (ja) 測距補正装置
US9087374B2 (en) Automatic airview correction method
WO2021179772A1 (zh) 标定方法、位置确定方法、装置、电子设备及存储介质
CN110996082B (zh) 投影调节方法、装置、投影仪及可读存储介质
KR101305316B1 (ko) 개선된 폴리곤 매핑을 이용한 차량 어라운드 뷰 영상 생성 방법
CN104200454B (zh) 鱼眼图像畸变校正方法及装置
CN110807809A (zh) 基于点线特征和深度滤波器的轻量级单目视觉定位方法
US20120026329A1 (en) Method and system for measuring vehicle speed based on movement of video camera
LU502288B1 (en) Method and system for detecting position relation between vehicle and lane line, and storage medium
CN107492080B (zh) 免定标便捷的单目镜头图像径向畸变矫正方法
JP5228614B2 (ja) パラメータ計算装置、パラメータ計算システムおよびプログラム
CN107689033A (zh) 一种基于椭圆分割的鱼眼图像畸变校正方法
JP2020122754A (ja) ３次元位置推定装置及びプログラム
CN111510704A (zh) 校正摄像头错排的方法及利用其的装置
CN111524174A (zh) 一种动平台动目标双目视觉三维构建方法
KR101394770B1 (ko) 곡선 차선 모델을 이용한 영상 안정화 방법 및 시스템
CN111738035A (zh) 车辆偏航角的计算方法、装置和设备
WO2022252697A1 (zh) 相机图像融合方法及相机图像融合系统
WO2022118513A1 (ja) 位置姿勢算出装置、位置姿勢算出方法及び測量装置
CN114331826A (zh) 一种基于畸变拉伸因子的鱼眼图像快速校正方法
CN113723432A (zh) 一种基于深度学习的智能识别、定位追踪的方法及系统
CN115131273A (zh) 信息处理方法、测距方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19911842

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19911842

Country of ref document: EP

Kind code of ref document: A1