WO2022257569A1 - 图像采集装置的标定 - Google Patents

图像采集装置的标定 Download PDF

Info

Publication number
WO2022257569A1
WO2022257569A1 PCT/CN2022/084101 CN2022084101W WO2022257569A1 WO 2022257569 A1 WO2022257569 A1 WO 2022257569A1 CN 2022084101 W CN2022084101 W CN 2022084101W WO 2022257569 A1 WO2022257569 A1 WO 2022257569A1
Authority
WO
WIPO (PCT)
Prior art keywords
calibration
point
homography matrix
image
image acquisition
Prior art date
Application number
PCT/CN2022/084101
Other languages
English (en)
French (fr)
Inventor
闫国行
马涛
李怡康
Original Assignee
上海商汤智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 上海商汤智能科技有限公司 filed Critical 上海商汤智能科技有限公司
Publication of WO2022257569A1 publication Critical patent/WO2022257569A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Definitions

  • the present disclosure provides a calibration method, device, equipment, storage medium and product, which can solve the problems that the calibration method needs a large space and manual calibration, so as to improve the applicability and accuracy of the calibration method.
  • the present disclosure provides a calibration device, including: an image acquisition module, configured to acquire a first image of a calibration plate captured by the image capture device, the height of the center point of the calibration plate being equal to the height of the lens of the image capture device The heights of the centers are the same; the first determination module is used to determine the first homography matrix of the calibration plate according to the first image; the second determination module is used to determine the first homography matrix according to the first image The vanishing point of the image acquisition device and the second homography matrix of the ground.
  • the present disclosure provides a calibration device, including: a memory, a processor, and a computer program stored on the memory and operable on the processor.
  • a calibration device including: a memory, a processor, and a computer program stored on the memory and operable on the processor.
  • the processor executes the program, the above-mentioned calibration method.
  • the present disclosure provides a computer-readable storage medium, where computer-executable instructions are stored in the computer-readable storage medium, and the computer-executable instructions are used to implement the above calibration method when executed by a processor.
  • the present disclosure automatically determines the first homography matrix of the calibration plate through the first image, and then determines the vanishing point of the image acquisition device and the second homography of the ground according to the first homography matrix
  • the two-homography matrix compared with the manual calibration method, can effectively improve the calibration efficiency and the accuracy of the calibration results.
  • Fig. 1 is the schematic diagram of the vanishing point of image acquisition device
  • FIG. 2 is a schematic diagram of a method for determining the vanishing point of an image acquisition device provided by an embodiment of the present disclosure
  • FIG. 3 is a schematic diagram of a calibration method provided by an embodiment of the present disclosure.
  • Fig. 5b is an example diagram of extracting a calibration pattern from a second image provided by an embodiment of the present disclosure
  • Fig. 6a is an example diagram of determining a third target point and a fourth target point in an embodiment of the present disclosure
  • Fig. 6b is another example diagram of determining a third target point and a fourth target point in an embodiment of the present disclosure
  • FIG. 8 is a schematic structural diagram of a calibration device provided by an embodiment of the present disclosure.
  • ADAS Advanced Driver Assistance System
  • ADAS Advanced Driver Assistance System
  • Technical processing such as object recognition, detection, and tracking can allow drivers to detect possible dangers in a timely manner, so as to attract the attention of drivers and improve safety.
  • the main functions include blind spot monitoring, automatic emergency braking, pedestrian collision warning, lane departure warning, etc.
  • the ADAS image acquisition device (such as a camera) needs to be calibrated.
  • This process can be performed on the automobile production line (production line calibration), or it can be performed during the after-sales process of the automobile ( aftermarket calibration).
  • production line calibration production line calibration
  • aftermarket calibration after-sales process of the automobile
  • the existing calibration process requires a large site space, and calibration is usually performed manually, resulting in low applicability and accuracy of the existing calibration method.
  • Fig. 1 is a schematic diagram of the vanishing point of the image acquisition device. As shown in Fig. 1, L1 and L2 are two parallel lane lines, and the visual intersection point VP of L1 and L2 represents the vanishing point of the image acquisition device.
  • the site space required to determine the vanishing point of the image acquisition device is relatively large, for example, the distance between adjacent cones is 3 When it is 1.5 meters, a rectangular area with a width of about 4 meters and a length of about 30 meters may be required, resulting in poor applicability of the method.
  • the above processing takes a long time and has low accuracy.
  • the vehicle when determining the homography matrix of the ground, the vehicle is first driven to an open field, and then two columns of cone barrels are placed in front of the image acquisition device along the direction of the lens center of the image acquisition device, wherein it is necessary to ensure that each The column cones are arranged in a straight line, the distance between adjacent cones in each column is equal (for example, 5 meters), and the two columns of cones are parallel. Then, use the image acquisition device to capture the image of the cone, and click the reference point on each cone in the image through the calibration tool to obtain the pixel coordinates of each reference point on the image and the corresponding world coordinates. Finally, according to the reference point The pixel coordinates and corresponding physical coordinates (at least 4 sets of point pairs need to be brought in) can be used to solve the ground homography matrix Hg.
  • the present disclosure provides a calibration method, device, equipment, storage medium and product, which can solve the problems that the calibration of the image acquisition equipment in the vehicle requires a large space and needs to be done manually, so as to improve the applicability of the calibration method of the image acquisition equipment in the vehicle and accuracy.
  • processing steps of the calibration method in the present disclosure may be implemented by a terminal device or a server, where the terminal device may be, for example, a vehicle-mounted terminal device installed on a vehicle.
  • the first image of the calibration board is captured by the image acquisition device, and the terminal device acquires the first image for calibration processing. It can be understood that only when the positional relationship between the calibration board and the image acquisition device meets the above requirements, the first image of the calibration board captured by the image acquisition device has sufficient reference significance to ensure the accuracy of the calibration results.
  • the terminal device After determining the first homography matrix of the calibration board, the terminal device determines the vanishing point of the image acquisition device and the second homography matrix of the ground according to the first homography matrix.
  • the second homography matrix of the ground represents the conversion relationship between the image coordinates (pixel coordinates) and the world coordinates (physical coordinates) of points on the ground.
  • This embodiment provides a calibration method, which uses a calibration plate containing a calibration pattern to replace multiple cones that need to be placed, and performs calibration by taking the first image containing the calibration plate. Since the space occupied by the calibration plate is smaller, the Can effectively reduce the site space required in the calibration process, thereby improving applicability; in addition, the present disclosure automatically determines the first homography matrix of the calibration plate through the first image, and then determines the image acquisition device according to the first homography matrix The vanishing point and the second homography matrix of the ground can effectively improve the calibration efficiency and the accuracy of the calibration results compared with the manual calibration method.
  • the process of determining the first homography matrix of the target plate according to the first image is explained.
  • Fig. 4 is a schematic diagram of determining the first homography matrix of the calibration board according to the first image in the embodiment of the present disclosure. As shown in Fig. 4, according to the first image, the first homography matrix of the calibration board is determined, including:
  • the first homography matrix of the calibration board represents the conversion relationship between the image coordinates (pixel coordinates) and the world coordinates (physical coordinates) of the points on the calibration board, therefore, through the pixel coordinates of the corner points and the corresponding physical coordinates, Then the first homography matrix of the calibration plate can be determined.
  • the corner detection is performed according to the first image, and the pixel coordinates of the corners in the first image are obtained, including:
  • the physical coordinates of the corner point refer to the coordinates of the corner point in the world coordinate system.
  • the terminal device can obtain a second image that only includes two colors of black and white, that is, the pixel value of each pixel in the second image is 0 or 255; then, by Image detection is performed on the second image to extract the calibration pattern; after the calibration pattern is obtained, the pixel coordinates of the corner points of the calibration plate can be obtained by performing corner detection on the calibration pattern.
  • the accuracy of the calibration pattern extraction result can be improved, so that the pixel coordinates of the corner points of the calibration board are more accurate.
  • the first homography matrix of the calibration board can be calculated by the following formula:
  • a b H b ⁇ C b
  • a b A b T H b C b *A b T
  • H b (A b A b T )*(C b A b T ) -1
  • the first homography matrix of the calibration plate can be automatically determined, thereby improving the processing efficiency of determining the first homography matrix of the calibration plate, and at the same time improving the accuracy of the determination result of the first homography matrix of the calibration plate .
  • Fig. 5a is an example diagram of the second image provided by the embodiment of the present disclosure
  • Fig. 5b is an example diagram of extracting the calibration pattern from the second image provided by the embodiment of the disclosure, as shown in Fig. 5a and Fig. 5b, the calibration pattern on the calibration plate
  • the calibration pattern includes a first sub-pattern set on the left half of the calibration plate and a second sub-pattern set on the right half of the calibration plate, wherein the first sub-pattern includes three rectangular patterns arranged in an inverted triangle, and the second sub-pattern
  • the pattern includes three rectangular patterns arranged in a regular triangle.
  • the orientation of the lens is perpendicular to the calibration plate. Therefore, it can be specified that the orientation of the lens is the vertical direction, and the direction perpendicular to the longitudinal direction and parallel to the ground is the horizontal direction.
  • determining the vanishing point of the image acquisition device according to the first homography matrix includes: S310. Determine the vanishing point of the image acquisition device according to the lateral offset and the first homography matrix.
  • the terminal device can The position on the vehicle is used to determine the lateral offset between the lens center of the image acquisition device and the center point of the calibration plate.
  • the terminal device can directly obtain the position of the vehicle relative to the calibration plate and the position of the image acquisition device installed on the vehicle, and then determine the lateral deviation between the lens center of the image acquisition device and the center point of the calibration plate according to the above position information. displacement.
  • the lateral offset may also be determined by other devices/units/modules, and then the terminal device directly acquires the lateral offset from other devices/units/modules.
  • the vanishing point of the image acquisition device is determined by the following formula:
  • VP represents the pixel coordinates of the vanishing point of the image acquisition device
  • Hb represents the first homography matrix of the calibration plate
  • t represents the lateral offset
  • determining the second homography matrix of the ground according to the first homography matrix includes: S320, the first homography matrix according to the calibration board, and the second homography matrix of the ground and the calibration The preset relationship of the first homography matrix of the plate determines the second homography matrix of the ground.
  • the position of the calibration board in actual scenarios such as production line calibration, once the position of the calibration board is determined, the position of the calibration board relative to the ground can be considered fixed. Therefore, the first homography matrix of the calibration board and the second homography of the ground The relationship of the matrix also remains unchanged. Therefore, after determining the position of the calibration plate and before calibration, the second homography matrix Hg0 of the ground and the first homography of the calibration plate can be obtained by pre-calibrating the image acquisition device.
  • the homography matrix Hb0 is obtained by solving the relationship between the first homography matrix of the calibration plate and the second homography matrix of the ground.
  • the corresponding calibration plate of the image acquisition device to be calibrated will also change, but the relationship between the first homography matrix of the calibration plate and the second homography matrix of the ground remains unchanged.
  • R is defined to represent the preset relationship between the first homography matrix of the calibration plate and the second homography matrix of the ground, then the functional relationship between the second homography matrix Hg0 and the first homography matrix Hb0 is:
  • Hg0 R*Hb0
  • the preset relationship R between the first homography matrix of the calibration plate and the second homography matrix of the ground can be obtained .
  • the second homography of the ground is determined by the following formula Responsive matrix:
  • Hg represents the second homography matrix of the ground
  • R represents the preset relationship between the second homography matrix of the ground and the first homography matrix of the calibration plate
  • Hb represents the first homography matrix
  • determining the second homography matrix of the ground includes:
  • the first projection point is the projection point of the first target point on the calibration board on the ground
  • the second projection point is the second target on the calibration board
  • the projection point of the point on the ground, the first target point and the second target point are points on the calibration pattern of the calibration plate, and the first target point is different from the second target point;
  • the first target point and the second target point can be the center points of the calibration patterns on the left and right parts of the calibration plate respectively
  • the first projection point is the point of the orthographic projection position of the first target point on the ground
  • the second The projection point is the point of the orthographic projection position of the second target point on the ground.
  • the terminal device After obtaining the vanishing point of the image acquisition device, the first homography matrix of the calibration plate, the physical coordinates of the first projection point, and the physical coordinates of the second projection point, the terminal device can determine the second homography matrix of the ground.
  • the second homography matrix of the ground is determined according to the vanishing point of the image acquisition device, the first homography matrix of the calibration plate, and the physical coordinates of the first projection point and the physical coordinates of the second projection point ,include:
  • S332a Determine at least one third target point on the line connecting the vanishing point of the image capture device and the first projection point, and determine at least one fourth target point on the line connecting the vanishing point of the image capture device and the second projection point;
  • S332b Determine the physical coordinates of the third target point and the physical coordinates of the fourth target point according to the physical coordinates of the first projection point, the physical coordinates of the second projection point, and the vanishing point of the image acquisition device;
  • S332d Determine the ground according to the physical coordinates and pixel coordinates of the first projection point, the physical coordinates and pixel coordinates of the second projection point, the physical coordinates and pixel coordinates of the third target point, and the physical coordinates and pixel coordinates of the fourth target point
  • FIG. 6a is an example diagram of determining the third target point and the fourth target point in the embodiment of the present disclosure.
  • the third target point C can be, for example, the vanishing point VP and the first projection point of the image acquisition device
  • the midpoint of the line connecting A, the fourth target point D may specifically be the midpoint of the line connecting the vanishing point VP and the second projection point B of the image acquisition device.
  • the number of the third target points may also be at least two, and the number of the fourth target points may also be at least two.
  • FIG. 6b is an example diagram of determining the third target point and the fourth target point in another embodiment of the present disclosure.
  • the third target point can be, for example, the vanishing point VP and the first projection
  • the fourth target point can specifically be the connection between the vanishing point VP of the image acquisition device and the second projection point B.
  • 1/3 point and 2/3 point of the line, that is, the fourth target point includes point F and point H.
  • the third target point and the fourth target point After determining the third target point and the fourth target point, determine the physical coordinates of the third target point and the fourth target point according to the physical coordinates of the first projection point, the physical coordinates of the second projection point, and the vanishing point of the image acquisition device The physical coordinates of the point.
  • the abscissa of the third target point is the same as the abscissa of the first projection point
  • the abscissa of the fourth target point is the same as that of the second projection point
  • the third target point can be obtained in combination with the image acquisition device model
  • the vertical coordinate and the vertical coordinate of the fourth target point The vertical coordinate and the vertical coordinate of the fourth target point:
  • f is the focal length of the image acquisition device to be calibrated
  • camera H is the height of the installation position of the image acquisition device from the ground.
  • a g A g T H g C g *A g T
  • H g (A g A g T )*(C g A g T ) -1
  • Ag is a matrix composed of the physical coordinates of the above n points (including the first projection point, the second projection point, the third target point and the fourth target point), and C g is the pixel coordinates of the above n points
  • the formed matrix, H g is the second homography matrix of the ground, where h 33 is 1;
  • a g T represents performing matrix transposition operation on the matrix A g .
  • a calibration device for an image acquisition device in a vehicle is provided.
  • Fig. 7 is a schematic diagram of a calibration device provided by an embodiment of the present disclosure. As shown in Fig. 7, the device includes:
  • the first determination module 200 is configured to determine the first homography matrix of the calibration plate according to the first image
  • Each module in the above-mentioned calibration device can be fully or partially realized by software, hardware and a combination thereof.
  • the above-mentioned modules can be embedded in or independent of the processor in the computer device in the form of hardware, and can also be stored in the memory of the computer device in the form of software, so that the processor can invoke and execute the corresponding operations of the above-mentioned modules.
  • the disclosure provides a calibration device, which uses a calibration plate containing a calibration pattern to replace multiple cone barrels that need to be placed, and performs calibration by taking the first image containing the calibration plate. Since the space of the calibration plate is smaller, it can effectively reduce The field space required in the calibration process, thereby improving the applicability; in addition, the present disclosure automatically determines the first homography matrix of the calibration plate through the first image, and then determines the vanishing point of the image acquisition device according to the first homography matrix As well as the second homography matrix on the ground, compared with manual calibration, it can effectively improve the calibration efficiency and the accuracy of the calibration results.
  • the first determining module 200 is further configured to: perform corner detection according to the first image to obtain the pixel coordinates of the corners in the first image; obtain the physical coordinates of the corners; obtain the pixel coordinates of the corners and The physical coordinates determine the first homography matrix of the calibration plate.
  • the first determination module 200 is further configured to: perform binarization processing on the first image to obtain a second image; extract a calibration pattern from the second image; perform corner detection according to the extracted calibration pattern to obtain The pixel coordinates of the corner points of the calibration pattern.
  • the second determination module 300 is also used to: determine the lateral offset between the lens center of the image acquisition device and the center point of the calibration plate; determine the image acquisition according to the lateral offset and the first homography matrix The vanishing point of the device.
  • the second determination module 300 is further configured to: according to the first homography matrix of the calibration board, and the preset relationship between the second homography matrix of the ground and the first homography matrix of the calibration board, Determine the second homography matrix for the ground.
  • the second determination module 300 is also used to: acquire the physical coordinates of the first projection point and the physical coordinates of the second projection point, the first projection point is the projection point of the first target point on the calibration plate on the ground , the second projection point is the projection point of the second target point on the calibration plate on the ground, the first target point and the second target point are points on the calibration pattern of the calibration plate, and the first target point is different from the second target point;
  • the second homography matrix of the ground is determined according to the vanishing point of the image acquisition device, the first homography matrix of the calibration plate, and the physical coordinates of the first projection point and the physical coordinates of the second projection point.
  • the second determination module 300 is further configured to: determine at least one third target point on the line connecting the vanishing point of the image acquisition device and the first projection point, and determine at least one third target point between the vanishing point of the image acquisition device and the second projection Determine at least one fourth target point on the connection line of the points; determine the physical coordinates of the third target point and the fourth target according to the physical coordinates of the first projected point, the physical coordinates of the second projected point, and the vanishing point of the image acquisition device The physical coordinates of the point; according to the physical coordinates of the first projected point, the physical coordinates of the second projected point, the physical coordinates of the third target point, the physical coordinates of the fourth target point, and the first homography matrix of the calibration plate, get The pixel coordinates of the first projection point, the pixel coordinates of the second projection point, the pixel coordinates of the third target point and the pixel coordinates of the fourth target point; according to the physical coordinates and pixel coordinates of the first projection point, the physical coordinates of
  • the memory 12 is used to store programs and data, and the processor 11 invokes the programs stored in the memory to execute the technical solution of any one of the foregoing method embodiments.
  • the memory and the processor are electrically connected directly or indirectly to realize data transmission or interaction.
  • these components may be electrically connected to each other through one or more communication buses or signal lines, for example, they may be connected through a bus.
  • Computer-executed instructions for implementing the data access control method are stored in the memory, including at least one software function module that can be stored in the memory in the form of software or firmware.
  • the processor runs the software programs and modules stored in the memory to execute various Functional application and data processing.
  • the memory can be, but not limited to, random access memory (Random Access Memory, RAM), read-only memory (Read Only Memory, ROM), programmable read-only memory (Programmable Read-Only Memory, PROM), erasable only Read memory (Erasable Programmable Read-Only Memory, EPROM), Electric Erasable Programmable Read-Only Memory (EEPROM), etc.
  • RAM Random Access Memory
  • ROM read-only memory
  • PROM programmable read-only memory
  • PROM Programmable Read-Only Memory
  • EPROM Erasable Programmable Read-Only Memory
  • EEPROM Electric Erasable Programmable Read-Only Memory
  • the memory is used to store programs, and the processor executes the programs after receiving execution instructions.
  • the software programs and modules in the memory may also include an operating system, which may include various software components and/or drivers for managing system tasks (such as memory management, storage device control, power management, etc.), and may Communicate with various hardware or software components to provide an operating environment for other software components.
  • the processor can be an integrated circuit chip with signal processing capability.
  • the above-mentioned processor may be a general-purpose processor, including a central processing unit (Central Processing Unit, CPU), a network processor (Network Processor, NP) and the like.
  • CPU Central Processing Unit
  • NP Network Processor
  • Various methods, steps and logic block diagrams disclosed in the embodiments of the present disclosure may be implemented or executed.
  • a general-purpose processor may be a microprocessor, or the processor may be any conventional processor, or the like.
  • a computer-readable storage medium wherein computer-executable instructions are stored in the computer-readable storage medium, and the computer-executable instructions are used to implement the steps of various method embodiments of the present disclosure when executed by a processor .
  • a computer program product including a computer program, and when the computer program is executed by a processor, the steps of the various method embodiments of the present disclosure are implemented.

Abstract

本公开提供一种标定方法、装置、设备、存储介质及产品，方法包括：获取图像采集装置拍摄的标定板的第一图像；根据第一图像，确定标定板的第一单应性矩阵；根据第一单应性矩阵，确定图像采集装置的消失点以及地面的第二单应性矩阵。本公开中，使用包含标定图案的标定板来代替需要放置的多个锥桶，通过拍摄包含标定板的第一图像来进行标定，由于标定板的空间更小，因此可以有效减少标定过程中所需要的场地空间，从而提高适用性；另外，本公开是通过第一图像自动确定标定板的第一单应性矩阵，进而根据第一单应性矩阵确定图像采集装置的消失点以及地面的第二单应性矩阵，相比于人工标定的方式，可以有效提高标定效率以及标定结果的准确性。

Description

图像采集装置的标定
相关申请的交叉引用
本申请要求在2021年6月9日提交至中国专利局、申请号为CN2021106449866的中国专利申请的优先权，其全部内容通过引用结合在本公开中。
技术领域
本公开涉及计算机视觉中车辆上安装的图像采集装置的标定。
背景技术
ADAS，即智能驾驶辅助系统(Advanced Driver Assistance System)，是一种主动安全技术，其利用安装于车上的各式各样的传感器，在第一时间收集车内外的环境数据，进行静、动态物体的辨识、侦测与追踪等技术上的处理，从而能够让驾驶者及时察觉可能发生的危险，以引起驾驶者注意和提高安全性。其中，主要功能包括盲区监测、自动紧急刹车、行人碰撞预警、车道偏离预警等。
在ADAS功能投入使用之前，需要进行ADAS的图像采集装置(例如相机)的标定处理，该处理过程可以是在汽车生产线上进行(产线标定)，也可以是在汽车售后的处理过程中进行(售后标定)。
发明内容
本公开提供一种标定方法、装置、设备、存储介质及产品，可以解决标定方法需要场地空间大以及需要人工标定的问题，以提高标定方法的适用性以及准确性。
第一方面，本公开提供一种标定方法，包括：获取图像采集装置拍摄的标定板的第一图像，所述标定板的中心点的高度与所述图像采集装置的镜头中心的高度相同；根据所述第一图像，确定所述标定板的第一单应性矩阵；根据所述第一单应性矩阵，确定所述图像采集装置的消失点以及地面的第二单应性矩阵。
第二方面，本公开提供一种标定装置，包括：图像获取模块，用于获取图像采集装置拍摄的标定板的第一图像，所述标定板的中心点的高度与所述图像采集装置的镜头中心的高度相同；第一确定模块，用于根据所述第一图像，确定所述标定板的第一单应性 矩阵；第二确定模块，用于根据所述第一单应性矩阵，确定所述图像采集装置的消失点以及地面的第二单应性矩阵。
第三方面，本公开提供一种标定设备，包括：存储器，处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的标定方法。
第四方面，本公开提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现上述的标定方法。
第五方面，本公开提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的标定方法。
本公开提供的标定方法、装置、设备、存储介质及产品，方法包括：获取图像采集装置拍摄的标定板的第一图像，标定板的中心点的高度与图像采集装置的镜头中心的高度相同；根据第一图像，确定标定板的第一单应性矩阵；根据第一单应性矩阵，确定图像采集装置的消失点以及地面的第二单应性矩阵。本公开中，使用包含标定图案的标定板来代替需要放置的多个锥桶，通过拍摄包含标定板的第一图像来进行标定，由于标定板的空间更小，因此可以有效减少标定过程中所需要的场地空间，从而提高适用性；另外，本公开是通过第一图像自动确定标定板的第一单应性矩阵，进而根据第一单应性矩阵确定图像采集装置的消失点以及地面的第二单应性矩阵，相比于人工标定的方式，可以有效提高标定效率以及标定结果的准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为图像采集装置的消失点的示意图；
图2为本公开实施例提供的确定图像采集装置的消失点的方式的示意图；
图3为本公开实施例提供的标定方法的示意图；
图4为本公开实施例中根据第一图像确定标定板的第一单应性矩阵的示意图；
图5a为本公开实施例提供的第二图像的示例图；
图5b为本公开实施例提供的从第二图像中提取标定图案的示例图；
图6a为本公开实施例中确定第三目标点以及第四目标点的示例图；
图6b为本公开实施例中确定第三目标点以及第四目标点的另一示例图；
图7为本公开实施例提供的标定装置的示意图；
图8为本公开实施例提供的标定设备的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
在本公开实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开实施例中所使用的单数形式的“一种”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的商品或者系统中还存在另外的相同要素。
ADAS，即智能驾驶辅助系统(Advanced Driver Assistance System)，是一种主动安全技术，其利用安装于车上的各式各样的传感器，在第一时间收集车内外的环境数据，进行静、动态物体的辨识、侦测与追踪等技术上的处理，从而能够让驾驶者及时察觉可能发生的危险，以引起驾驶者注意和提高安全性。其中，主要功能包括盲区监测、自动紧急刹车、行人碰撞预警、车道偏离预警等。本领域技术人员可知，在利用车辆上安装的图像采集装置获取含车辆周围的障碍物信息以及交通指示信息的图像，以及基于获取的图像识别三维空间中物体的位置信息的过程中，三维空间中物体的位置信息与其在图像中对应点之间的关系是由图像采集装置的标定参数确定的，标定结果的精度直接影响 图像采集装置工作产生结果的准确性，因此做好图像采集设备的标定是车辆安全驾驶的前提。
在ADAS功能投入使用之前，需要进行ADAS的图像采集装置(例如相机)的标定处理，该处理过程可以是在汽车生产线上进行(产线标定)，也可以是在汽车售后的处理过程中进行(售后标定)。然而，现有的标定处理需要的场地空间较大，且通常采用人工方式进行标定，导致现有的标定方法的适用性和准确性较低。
在进行标定的过程中，图像采集装置的消失点的确定具有重要意义。图像采集装置的消失点是指地面上两条平行线的视觉相交点。图1为图像采集装置的消失点的示意图，如图1所示，L1和L2为两条平行的车道线，L1和L2的视觉相交点VP即表示图像采集装置的消失点。
图2为本公开实施例提供的确定图像采集装置的消失点的方式的示意图，如图2所示，以设置于车辆中的图像采集装置为例进行解释说明，在确定图像采集装置的消失点时，首先将车辆驾驶至空旷的场地，然后在图像采集装置前方沿图像采集装置镜头中心方向摆放两列锥桶(图2中位于图像采集装置镜头中心方向两侧的白色圆点)，其中，需要保证每列锥桶呈直线摆放，每一列中相邻锥桶的距离相等(例如3米)，且两列锥桶平行。然后，使用图像采集装置拍摄锥桶的图像，并通过标定工具点击图像中每个锥桶上的参考点，获取各个锥桶在图像上的像素坐标，最后通过最小二乘法等方式进行直线拟合，求解出代表两列锥桶的两条直线的交点，即为图像采集装置的消失点VP。
然而，上述确定图像采集装置的消失点的过程中，由于需要放置多个锥桶，导致确定图像采集装置的消失点所需要的场地空间较大，例如在相邻锥桶之间的间距为3米时，可能需要宽为4米左右、长为30米左右的矩形区域，导致方法的适用性较差。另外，由于需要进行人工标定，会导致上述处理所花费的时间较长，且准确性低。
另外，在进行标定的过程中，确定地面的单应性矩阵(homography matrix)也非常重要。
在一个实施例中，在确定地面的单应性矩阵时，首先将车辆驾驶至空旷的场地，然后在图像采集装置前方沿图像采集装置镜头中心方向摆放两列锥桶，其中，需要保证每列锥桶呈直线摆放，每一列中相邻锥桶的距离相等(例如5米)，且两列锥桶平行。然后，使用图像采集装置拍摄锥桶的图像，并通过标定工具点击图像中每个锥桶上的参考点，获取每个参考点在图像上的像素坐标以及对应的世界坐标，最后，根据参考点的像 素坐标和对应的物理坐标(最少需要带入4组点对)即可求解出地面的单应性矩阵Hg。
同样，上述确定地面的单应性矩阵的过程中，由于需要放置多个锥桶，导致确定图像采集装置的消失点所需要的场地空间较大，导致方法的适用性较差。另外，由于需要进行人工标定，会导致上述处理所花费的时间较长，且准确性低。
本公开提供一种标定方法、装置、设备、存储介质及产品，可以解决车辆中图像采集设备的标定需要场地空间大以及需要人工进行的问题，以提高车辆中图像采集设备的标定方法的适用性以及准确性。
在本公开的技术方案中，使用包含标定图案的标定板来代替需要放置的多个锥桶，通过拍摄包含标定板的第一图像来进行标定，由于标定板所占的的空间更小，因此可以有效减少标定过程中所需要的场地空间，从而提高适用性；另外，本公开是通过第一图像自动确定标定板的第一单应性矩阵，进而根据第一单应性矩阵确定图像采集装置的消失点以及地面的第二单应性矩阵，相比于人工标定的方式，可以有效提高标定效率以及标定结果的准确性。
下面以具体的实施例对本公开的技术方案以及本公开的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本公开的实施例进行描述。
可以理解，本公开中标定方法的处理步骤可以由终端设备或者服务器实现，其中，终端设备例如可以是设置于车辆上的车载终端设备等。
图3为本公开实施例提供的标定方法的示意图，以标定方法应用于终端设备为例进行解释说明，如图3所示，该方法主要包括以下步骤：
S100、获取图像采集装置拍摄的标定板的第一图像，标定板的中心点的高度与图像采集装置的镜头中心的高度相同。
具体的，在进行标定时，首先将安装有待标定的图像采集装置的车辆驾驶至预设的指定位置，并保证车辆正向朝前，车头无偏向，以使得标定板位于该图像采集装置的前方。另外，标定板的中心点的高度可以根据车辆的尺寸以及图像采集装置安装在车辆的高度进行调整，以使得标定板的中心点的高度与图像采集装置的镜头中心的高度相同。所述高度为相对于地面的高度。
在标定板与图像采集装置的位置关系满足要求后，通过图像采集装置拍摄标定板的第一图像，终端设备获取该第一图像，以进行标定处理。可以理解，只有在标定板与图 像采集装置的位置关系满足上述要求时，通过图像采集装置拍摄的标定板的第一图像才具有足够的参考意义，以保证标定结果的准确性。
S200、根据第一图像，确定标定板的第一单应性矩阵。
在得到第一图像后，终端设备根据该第一图像确定标定板的第一单应性矩阵，标定板的第一单应性矩阵表征标定板上的点的图像坐标(像素坐标)与世界坐标(物理坐标)之间的转换关系。
S300、根据第一单应性矩阵，确定图像采集装置的消失点以及地面的第二单应性矩阵；
终端设备在确定标定板的第一单应性矩阵后，根据第一单应性矩阵来确定图像采集装置的消失点以及地面的第二单应性矩阵。其中，地面的第二单应性矩阵表征地面上的点的图像坐标(像素坐标)与世界坐标(物理坐标)之间的转换关系。
从而，通过本实施例的处理过程，终端设备根据第一图像即可自动确定标定板的第一单应性矩阵、图像采集装置的消失点以及地面的第二单应性矩阵，从而完成图像采集装置的标定处理，因此，本公开在进行车辆中图像采集设备的标定的过程中，无需进行人工标点，因此标定的的效率和准确性更高。
本实施例提供一种标定方法，使用包含标定图案的标定板来代替需要放置的多个锥桶，通过拍摄包含标定板的第一图像来进行标定，由于标定板所占的空间更小，因此可以有效减少标定过程中所需要的场地空间，从而提高适用性；另外，本公开是通过第一图像自动确定标定板的第一单应性矩阵，进而根据第一单应性矩阵确定图像采集装置的消失点以及地面的第二单应性矩阵，相比于人工标定的方式，可以有效提高标定效率以及标定结果的准确性。
在一些实施例中，对根据第一图像确定标定板的第一单应性矩阵的处理过程进行解释说明。
图4为本公开实施例中根据第一图像确定标定板的第一单应性矩阵的示意图，如图4所示，根据第一图像，确定标定板的第一单应性矩阵，包括：
S210、根据第一图像进行角点检测，得到第一图像中的角点的像素坐标；
S220、获取角点的物理坐标；
S230、根据角点的像素坐标以及物理坐标，确定标定板的第一单应性矩阵。
其中，角点是指标定板中标定图案的顶点，例如，当标定图案为矩形时，每个矩形图案包括四个角点。
由于标定板的第一单应性矩阵表征标定板上的点的图像坐标(像素坐标)与世界坐标(物理坐标)之间的转换关系，因此，通过角点的像素坐标以及对应的物理坐标，即可确定得到标定板的第一单应性矩阵。
在一些实施例中，根据第一图像进行角点检测，得到第一图像中的角点的像素坐标，包括：
S211、对第一图像进行二值化处理，得到第二图像；
S212、从第二图像中提取标定图案；
S213、根据提取的标定图案进行角点检测，得到标定图案的角点的像素坐标。
其中，角点的物理坐标是指角点在世界坐标系的坐标。具体的，终端设备通过对第一图像进行二值化处理，可以得到仅包括黑白两种颜色的第二图像，即第二图像中各像素点的像素值为0或者255；然后，通过对第二图像进行图像检测以提取出标定图案；在得到标定图案后，通过对标定图案进行角点检测可以得到标定板的角点的像素坐标。通过进行二值化处理，可以提高标定图案提取结果的准确度，从而使得标定板角点的像素坐标更加准确。
另外，终端设备可以根据标定板的设置的位置以及规格等信息获取角点的物理坐标，从而，根据角点的像素坐标以及物理坐标即可确定标定板的第一单应性矩阵。
终端设备在得到角点的像素坐标以及物理坐标，具体可以通过以下公式来计算得到标定板的第一单应性矩阵：
Figure PCTCN2022084101-appb-000001
A b＝H b×C b
A bA b T＝H bC b*A b T
H b＝(A bA b T)*(C bA b T) -1
其中，A b为由m个角点的物理坐标组成的矩阵，C b为由m个角点的像素坐标组成的矩阵，H b为标定板的第一单应性矩阵，其中，h 33为1；A b T表示对矩阵A b进行矩阵转置运算。
通过上述处理过程，可以自动确定标定板的第一单应性矩阵，从而提高确定标定板的第一单应性矩阵的处理效率，同时提高标定板的第一单应性矩阵确定结果的准确性。
图5a为本公开实施例提供的第二图像的示例图，图5b为本公开实施例提供的从第二图像中提取标定图案的示例图，如图5a及图5b所示，标定板上的标定图案包括设置于标定板左半部分的第一子图案以及设置于标定板右半部分的第二子图案，其中，第一子图案包括呈倒三角排列方式的三个矩形图案，第二子图案包括呈正三角排列方式的三个矩形图案。通过将第一图像进行二值化处理，得到黑白化的第二图像，可以更好地提取标定图案。在得到标定图案后，标定图案中每个矩形框的顶点即为标定图案的角点，从而，通过角点的像素坐标以及物理坐标即可确定标定板的第一单应性矩阵。
在一些实施例中，对根据第一图像确定图像采集装置的消失点的处理过程进行解释说明。
本实施例中，标定方法还包括：确定图像采集装置的镜头中心与标定板的中心点的横向偏移量。
在一个例子中，理想状况下，镜头的朝向与标定板垂直。于是，可以规定镜头的朝向为纵向，垂直于该纵向且平行于地面的方向为横向。
对应的，根据第一单应性矩阵，确定图像采集装置的消失点，包括：S310、根据横向偏移量以及第一单应性矩阵，确定图像采集装置的消失点。
具体的，在标定板位于图像采集装置前方且标定板的中心点的高度与图像采集装置的镜头中心的高度相同的情况下，终端设备可以根据车辆相对于标定板的横向位置以及图像采集装置安装在车辆上的位置来确定图像采集装置的镜头中心与标定板的中心点的横向偏移量。
可选的，终端设备可以是直接获取车辆相对于标定板的位置以及图像采集装置安装在车辆上的位置，然后根据上述位置信息来确定图像采集装置的镜头中心与标定板的中心点的横向偏移量。该横向偏移量也可以是由其他装置/单元/模块确定，然后终端设备直接从其他装置/单元/模块获取该横向偏移量。
在得到图像采集装置的镜头中心与标定板的中心点的横向偏移量以及标定板的第一单应性矩阵，终端设备根据该横向偏移量以及该第一单应性矩阵自动确定图像采集装置的消失点，以便于进行标定处理。
通过上述处理过程，可以自动确定图像采集装置的消失点，从而提高确定图像采集 装置的消失点的处理效率，同时提高图像采集装置的消失点确定结果的准确性。
在一些实施例中，根据横向偏移量以及第一单应性矩阵，通过以下公式确定图像采集装置的消失点：
VP＝Hb*t
其中，VP表示图像采集装置的消失点的像素坐标，Hb表示标定板的第一单应性矩阵，t表示横向偏移量。
在一些实施例中，根据第一单应性矩阵，确定地面的第二单应性矩阵，包括：S320、根据标定板的第一单应性矩阵，以及地面的第二单应性矩阵与标定板的第一单应性矩阵的预设关系，确定地面的第二单应性矩阵。
在产线标定等实际场景，一旦确定了标定板的位置，标定板相对于地面的位置可以认为是固定不变的，因此，标定板的第一单应性矩阵与地面的第二单应性矩阵的关系也保持不变，因此，在确定标定板的位置之后，进行标定之前，可以通过图像采集装置进行预标定的方式求得地面的第二单应性矩阵Hg0与标定板的第一单应性矩阵Hb0，并求解得到标定板的第一单应性矩阵与地面的第二单应性矩阵的关系。在对待标定的图像采集装置进行标定时，由于待标定的图像采集装置相比于进行预标定的图像采集装置而言，其位置发生了变化，因此，待标定的图像采集装置对应的标定板的第一单应性矩阵与地面的第二单应性矩阵也会发生变化，但是，标定板的第一单应性矩阵与地面的第二单应性矩阵的关系保持不变。
基于此，定义R表示标定板的第一单应性矩阵与地面的第二单应性矩阵的预设关系，则第二单应性矩阵Hg0与第一单应性矩阵Hb0的函数关系为：
Hg0＝R*Hb0
从而，通过预标定得到的第二单应性矩阵Hg0以及第一单应性矩阵Hb0，即可求得标定板的第一单应性矩阵与地面的第二单应性矩阵的预设关系R。
终端设备在根据第一图像进行标定时，可以预先获取地面的第二单应性矩阵与标定板的第一单应性矩阵的预设关系，然后在根据第一图像确定标定板的第一单应性矩阵后，根据标定板的第一单应性矩阵以及地面的第二单应性矩阵与标定板的第一单应性矩阵的预设关系，即可确定地面的第二单应性矩阵。
本实施例中，通过预先确定并保存标定板的第一单应性矩阵与地面的第二单应性矩阵的预设关系，在获取新的第一单应性矩阵后，根据该新的第一单应性矩阵以及该预设 关系即可确定得到对应的第二单应性矩阵，从而提高标定效率以及准确性。
在一些实施例中，根据标定板的第一单应性矩阵，以及地面的第二单应性矩阵与标定板的第一单应性矩阵的预设关系，通过以下公式确定地面的第二单应性矩阵：
Hg＝R*Hb
其中，Hg表示地面的第二单应性矩阵，R表示地面的第二单应性矩阵与标定板的第一单应性矩阵的预设关系，Hb表示第一单应性矩阵。
在一些实施例中，根据第一单应性矩阵，确定地面的第二单应性矩阵，包括：
S331、获取第一投影点的物理坐标以及第二投影点的物理坐标，第一投影点为标定板上的第一目标点在地面的投影点，第二投影点为标定板上的第二目标点在地面的投影点，第一目标点以及第二目标点为标定板的标定图案上的点，第一目标点与第二目标点不同；
S332、根据图像采集装置的消失点、标定板的第一单应性矩阵，以及第一投影点的物理坐标以及第二投影点的物理坐标，确定地面的第二单应性矩阵。
具体的，第一目标点以及第二目标点可以分别是标定板上左右两部分的标定图案的中心点，第一投影点即为第一目标点在地面上的正投影位置的点，第二投影点即为第二目标点在地面上的正投影位置的点。
终端设备在得到图像采集装置的消失点、标定板的第一单应性矩阵、第一投影点的物理坐标以及第二投影点的物理坐标后，即可确定地面的第二单应性矩阵。
在一些实施例中，根据图像采集装置的消失点、标定板的第一单应性矩阵，以及第一投影点的物理坐标以及第二投影点的物理坐标，确定地面的第二单应性矩阵，包括：
S332a、在图像采集装置的消失点与第一投影点的连线上确定至少一个第三目标点，在图像采集装置的消失点与第二投影点的连线上确定至少一个第四目标点；
S332b、根据第一投影点的物理坐标、第二投影点的物理坐标、以及图像采集装置的消失点，确定第三目标点的物理坐标以及第四目标点的物理坐标；
S332c、根据第一投影点的物理坐标、第二投影点的物理坐标、第三目标点的物理坐标、第四目标点的物理坐标、以及标定板的第一单应性矩阵，得到第一投影点的像素坐标、第二投影点的像素坐标、第三目标点的像素坐标以及第四目标点的像素坐标；
S332d、根据第一投影点的物理坐标及像素坐标、第二投影点的物理坐标及像素坐 标、第三目标点的物理坐标及像素坐标、以及第四目标点的物理坐标以及像素坐标，确定地面的第二单应性矩阵。
具体的，在确定第三目标点以及第四目标点时，需要保证第一比值与第二比值相等，其中，第一比值为第三目标点到第一投影点的距离与第三目标点到图像采集装置的消失点的距离的比值，第二比值为第四目标点到第二投影点的距离与第三目标点到图像采集装置的消失点的距离的比值，即等比例确定第三目标点以及第四目标点。
例如，图6a为本公开实施例中确定第三目标点以及第四目标点的示例图，如图6a所示，第三目标点C例如可以是图像采集装置的消失点VP与第一投影点A的连线的中点，第四目标点D具体可以是图像采集装置的消失点VP与第二投影点B的连线的中点。
可选的，第三目标点的数量也可以是至少两个，第四目标点的数量也可以是至少两个。
例如，图6b为本公开另一个实施例中确定第三目标点以及第四目标点的示例图，如图6b所示，第三目标点例如可以是图像采集装置的消失点VP与第一投影点A的连线的1/3点及2/3点，即第三目标点包括E点和G点，第四目标点具体可以是图像采集装置的消失点VP与第二投影点B的连线的1/3点及2/3点，即第四目标点包括F点和H点。
在确定第三目标点以及第四目标点后，根据第一投影点的物理坐标、第二投影点的物理坐标、以及图像采集装置的消失点，确定第三目标点的物理坐标以及第四目标点的物理坐标。其中，第三目标点的横坐标与第一投影点的横坐标相同，第四目标点的横坐标与第二投影点的横坐标相同，然后结合图像采集装置模型可以求得第三目标点的纵坐标以及第四目标点的纵坐标：
Figure PCTCN2022084101-appb-000002
其中，f为待标定的图像采集装置的焦距，camera H为该图像采集装置的安装位置距离地面的高度。
然后，结合标定板的第一单应性矩阵可以得到上述各点的像素坐标。继而，根据上述各点的物理坐标以及像素坐标，通过以下公式即可求得地面的第二单应性矩阵：
Figure PCTCN2022084101-appb-000003
A g＝H g×C g
A gA g T＝H gC g*A g T
H g＝(A gA g T)*(C gA g T) -1
其中，A g为由上述n个点(包括第一投影点、第二投影点、第三目标点以及第四目标点)的物理坐标组成的矩阵，C g为由上述n个点的像素坐标组成的矩阵，H g为地面的第二单应性矩阵，其中，h 33为1；A g T表示对矩阵A g进行矩阵转置运算。
应该理解的是，虽然上述实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一些实施例中，提供一种用于车辆中图像采集装置的标定装置。
图7为本公开实施例提供的标定装置的示意图，如图7所示，该装置包括：
图像获取模块100，用于获取图像采集装置拍摄的标定板的第一图像，标定板的中心点的高度与图像采集装置的镜头中心的高度相同；
第一确定模块200，用于根据第一图像，确定标定板的第一单应性矩阵；
第二确定模块300，用于根据第一单应性矩阵，确定图像采集装置的消失点以及地面的第二单应性矩阵。
关于标定装置的具体限定可以参见上文中对于标定方法的限定，在此不再赘述。上述标定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本公开提供一种标定装置，使用包含标定图案的标定板来代替需要放置的多个锥桶，通过拍摄包含标定板的第一图像来进行标定，由于标定板的空间更小，因此可以有效减少标定过程中所需要的场地空间，从而提高适用性；另外，本公开是通过第一图像自动确定标定板的第一单应性矩阵，进而根据第一单应性矩阵确定图像采集装置的消失点以及地面的第二单应性矩阵，相比于人工标定的方式，可以有效提高标定效率以及 标定结果的准确性。
在一些实施例中，第一确定模块200还用于：根据第一图像进行角点检测，得到第一图像中的角点的像素坐标；获取角点的物理坐标；根据角点的像素坐标以及物理坐标，确定标定板的第一单应性矩阵。
在一些实施例中，第一确定模块200还用于：对第一图像进行二值化处理，得到第二图像；从第二图像中提取标定图案；根据提取的标定图案进行角点检测，得到标定图案的角点的像素坐标。
在一些实施例中，第二确定模块300还用于：确定图像采集装置的镜头中心与标定板的中心点的横向偏移量；根据横向偏移量以及第一单应性矩阵，确定图像采集装置的消失点。
在一些实施例中，第二确定模块300还用于：根据标定板的第一单应性矩阵，以及地面的第二单应性矩阵与标定板的第一单应性矩阵的预设关系，确定地面的第二单应性矩阵。
在一些实施例中，第二确定模块300还用于：获取第一投影点的物理坐标以及第二投影点的物理坐标，第一投影点为标定板上的第一目标点在地面的投影点，第二投影点为标定板上的第二目标点在地面的投影点，第一目标点以及第二目标点为标定板的标定图案上的点，第一目标点与第二目标点不同；根据图像采集装置的消失点、标定板的第一单应性矩阵，以及第一投影点的物理坐标以及第二投影点的物理坐标，确定地面的第二单应性矩阵。
在一些实施例中，第二确定模块300还用于：在图像采集装置的消失点与第一投影点的连线上确定至少一个第三目标点，在图像采集装置的消失点与第二投影点的连线上确定至少一个第四目标点；根据第一投影点的物理坐标、第二投影点的物理坐标、以及图像采集装置的消失点，确定第三目标点的物理坐标以及第四目标点的物理坐标；根据第一投影点的物理坐标、第二投影点的物理坐标、第三目标点的物理坐标、第四目标点的物理坐标、以及标定板的第一单应性矩阵，得到第一投影点的像素坐标、第二投影点的像素坐标、第三目标点的像素坐标以及第四目标点的像素坐标；根据第一投影点的物理坐标及像素坐标、第二投影点的物理坐标及像素坐标、第三目标点的物理坐标及像素坐标、以及第四目标点的物理坐标以及像素坐标，确定地面的第二单应性矩阵。
在一些实施例中，提供一种标定设备。图8为本公开实施例提供的标定设备的 结构示意图，如图8所示，该标定设备10包括：处理器11以及存储器12。
存储器12用于存储程序和数据，处理器11调用存储器存储的程序，以执行前述任一方法实施例的技术方案。
在上述标定设备中，存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可以通过一条或者多条通信总线或信号线实现电性连接，如可以通过总线连接。存储器中存储有实现数据访问控制方法的计算机执行指令，包括至少一个可以软件或固件的形式存储于存储器中的软件功能模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理。
存储器可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器用于存储程序，处理器在接收到执行指令后，执行程序。进一步地，上述存储器内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。
处理器可以是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等。可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在一些实施例中，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现本公开各方法实施例的步骤。
在一些实施例中，提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开各方法实施例的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本公开所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用， 均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (11)

  1. 一种车辆中图像采集装置的标定方法，其特征在于，包括：
    获取所述图像采集装置拍摄的标定板的第一图像，所述标定板的中心点的高度与所述图像采集装置的镜头中心的高度相同；
    根据所述第一图像，确定所述标定板的第一单应性矩阵；
    根据所述第一单应性矩阵，确定所述图像采集装置的消失点以及地面的第二单应性矩阵。
  2. 根据权利要求1所述的方法，其特征在于，所述根据所述第一图像，确定所述标定板的第一单应性矩阵，包括：
    根据所述第一图像进行角点检测，得到所述第一图像中的角点的像素坐标；
    获取所述角点的物理坐标；
    根据所述角点的像素坐标以及所述物理坐标，确定所述标定板的第一单应性矩阵。
  3. 根据权利要求2所述的方法，其特征在于，所述根据所述第一图像进行角点检测，得到所述第一图像中的角点的像素坐标，包括：
    对所述第一图像进行二值化处理，得到第二图像；
    从所述第二图像中提取标定图案；
    根据提取的标定图案进行角点检测，得到所述标定图案的角点的像素坐标。
  4. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
    确定所述图像采集装置的镜头中心与所述标定板的中心点的横向偏移量；
    根据所述第一单应性矩阵，确定所述图像采集装置的消失点，包括：根据所述横向偏移量以及所述第一单应性矩阵，确定所述图像采集装置的消失点。
  5. 根据权利要求1-4任一项所述的方法，其特征在于，根据所述第一单应性矩阵，确定地面的第二单应性矩阵，包括：
    根据所述标定板的第一单应性矩阵，以及所述地面的第二单应性矩阵与所述标定板的第一单应性矩阵的预设关系，确定所述地面的第二单应性矩阵。
  6. 根据权利要求4所述的方法，其特征在于，根据所述第一单应性矩阵，确定地面的第二单应性矩阵，包括：
    获取第一投影点的物理坐标以及第二投影点的物理坐标，所述第一投影点为标定板上的第一目标点在地面的投影点，所述第二投影点为标定板上的第二目标点在地面的投影点，所述第一目标点以及所述第二目标点为所述标定板的标定图案上的点，所述第一目标点与所述第二目标点不同；
    根据所述图像采集装置的消失点、所述标定板的第一单应性矩阵，以及所述第一投影点的物理坐标以及第二投影点的物理坐标，确定所述地面的第二单应性矩阵。
  7. 根据权利要求6所述的方法，其特征在于，所述根据所述图像采集装置的消失点、所述标定板的第一单应性矩阵，以及所述第一投影点的物理坐标以及第二投影点的物理坐标，确定所述地面的第二单应性矩阵，包括：
    在所述图像采集装置的消失点与所述第一投影点的连线上确定至少一个第三目标点，在所述图像采集装置的消失点与所述第二投影点的连线上确定至少一个第四目标点；
    根据所述第一投影点的物理坐标、所述第二投影点的物理坐标、以及所述图像采集装置的消失点，确定所述第三目标点的物理坐标以及所述第四目标点的物理坐标；
    根据所述第一投影点的物理坐标、所述第二投影点的物理坐标、所述第三目标点的物理坐标、所述第四目标点的物理坐标、以及所述标定板的第一单应性矩阵，得到所述第一投影点的像素坐标、所述第二投影点的像素坐标、所述第三目标点的像素坐标以及所述第四目标点的像素坐标；
    根据所述第一投影点的物理坐标及像素坐标、所述第二投影点的物理坐标及像素坐标、所述第三目标点的物理坐标及像素坐标、以及所述第四目标点的物理坐标以及像素坐标，确定所述地面的第二单应性矩阵。
  8. 一种标定装置，其特征在于，包括：
    图像获取模块，用于获取图像采集装置拍摄的标定板的第一图像，所述标定板的中心点的高度与所述图像采集装置的镜头中心的高度相同；
    第一确定模块，用于根据所述第一图像，确定所述标定板的第一单应性矩阵；
    第二确定模块，用于根据所述第一单应性矩阵，确定所述图像采集装置的消失点以及地面的第二单应性矩阵。
  9. 一种标定设备，其特征在于，包括：存储器，处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-7任一项所述的标定方法。
  10. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-7任一项所述的标定方法。
  11. 一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7任一项所述的标定方法。
PCT/CN2022/084101 2021-06-09 2022-03-30 图像采集装置的标定 WO2022257569A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110644986.6 2021-06-09
CN202110644986.6A CN113284190B (zh) 2021-06-09 2021-06-09 标定方法、装置、设备、存储介质及产品

Publications (1)

Publication Number Publication Date
WO2022257569A1 true WO2022257569A1 (zh) 2022-12-15

Family

ID=77284046

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/084101 WO2022257569A1 (zh) 2021-06-09 2022-03-30 图像采集装置的标定

Country Status (2)

Country Link
CN (1) CN113284190B (zh)
WO (1) WO2022257569A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797468A (zh) * 2023-02-03 2023-03-14 厦门农芯数字科技有限公司 一种鱼眼摄像头安装高度的自动校正方法、装置以及设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113284190B (zh) * 2021-06-09 2023-04-25 上海临港绝影智能科技有限公司 标定方法、装置、设备、存储介质及产品

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006099172A1 (en) * 2005-03-14 2006-09-21 Ge Security, Inc. Method and system for camera autocalibration
CN109342008A (zh) * 2018-11-09 2019-02-15 中国空气动力研究与发展中心高速空气动力研究所 基于单应性矩阵的风洞试验模型迎角单相机视频测量方法
CN110599548A (zh) * 2019-09-02 2019-12-20 Oppo广东移动通信有限公司 摄像头的标定方法、装置、相机及计算机可读存储介质
CN111681285A (zh) * 2020-06-09 2020-09-18 商汤集团有限公司 一种标定方法、装置、电子设备及存储介质
CN111681286A (zh) * 2020-06-09 2020-09-18 商汤集团有限公司 一种标定方法、装置、系统、电子设备及存储介质
CN112085798A (zh) * 2020-08-10 2020-12-15 深圳市优必选科技股份有限公司 摄像机标定方法、装置、电子设备及存储介质
CN113284190A (zh) * 2021-06-09 2021-08-20 上海商汤临港智能科技有限公司 标定方法、装置、设备、存储介质及产品

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107492123B (zh) * 2017-07-07 2020-01-14 长安大学 一种利用路面信息的道路监控摄像机自标定方法
CN107633536B (zh) * 2017-08-09 2020-04-17 武汉科技大学 一种基于二维平面模板的相机标定方法及系统
CN112562005A (zh) * 2019-09-26 2021-03-26 华为技术有限公司 一种空间标定方法和系统
CN112489136B (zh) * 2020-11-30 2024-04-16 商汤集团有限公司 标定方法、位置确定方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006099172A1 (en) * 2005-03-14 2006-09-21 Ge Security, Inc. Method and system for camera autocalibration
CN109342008A (zh) * 2018-11-09 2019-02-15 中国空气动力研究与发展中心高速空气动力研究所 基于单应性矩阵的风洞试验模型迎角单相机视频测量方法
CN110599548A (zh) * 2019-09-02 2019-12-20 Oppo广东移动通信有限公司 摄像头的标定方法、装置、相机及计算机可读存储介质
CN111681285A (zh) * 2020-06-09 2020-09-18 商汤集团有限公司 一种标定方法、装置、电子设备及存储介质
CN111681286A (zh) * 2020-06-09 2020-09-18 商汤集团有限公司 一种标定方法、装置、系统、电子设备及存储介质
CN112085798A (zh) * 2020-08-10 2020-12-15 深圳市优必选科技股份有限公司 摄像机标定方法、装置、电子设备及存储介质
CN113284190A (zh) * 2021-06-09 2021-08-20 上海商汤临港智能科技有限公司 标定方法、装置、设备、存储介质及产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797468A (zh) * 2023-02-03 2023-03-14 厦门农芯数字科技有限公司 一种鱼眼摄像头安装高度的自动校正方法、装置以及设备

Also Published As

Publication number Publication date
CN113284190B (zh) 2023-04-25
CN113284190A (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
US9319667B2 (en) Image conversion method and device using calibration reference pattern
WO2022257569A1 (zh) 图像采集装置的标定
WO2021226776A1 (zh) 一种车辆可行驶区域检测方法、系统以及采用该系统的自动驾驶车辆
JP6522076B2 (ja) 側方の車両測位のための方法、装置、記憶媒体及びプログラム製品
WO2018105179A1 (ja) 車載用画像処理装置
US11226200B2 (en) Method and apparatus for measuring distance using vehicle-mounted camera, storage medium, and electronic device
EP2237988B1 (en) Object detection and recognition system
EP3418943A1 (en) Object detecting apparatus, object detecting method, and computer-readable medium
CN109583267B (zh) 车辆用目标检测方法、车辆用目标检测装置和车辆
CN109389650A (zh) 一种车载相机的标定方法、装置、车辆和存储介质
CN104335264A (zh) 车道划分标示检测装置、驾驶辅助系统
CN113256739B (zh) 车载bsd摄像头的自标定方法、设备和存储介质
CN111508027A (zh) 摄像机外参标定的方法和装置
CN112802092B (zh) 一种障碍物感知方法、装置以及电子设备
CN104167109A (zh) 车辆位置的检测方法和检测装置
WO2022134518A1 (zh) 摄像设备标定方法、装置、电子设备及存储介质
CN111178215A (zh) 一种传感器数据融合处理的方法和装置
WO2022166606A1 (zh) 一种目标检测方法及装置
CN109895697B (zh) 一种行车辅助提示系统及方法
JP5062091B2 (ja) 移動体識別装置、コンピュータプログラム及び光軸方向特定方法
CN117152265A (zh) 一种基于区域提取的交通图像标定方法及装置
DE102021125592A1 (de) Verkehrskamerakalibrierung
CN112070839A (zh) 一种对后方车辆横纵向定位测距方法及设备
DE102011111856B4 (de) Verfahren und Vorrichtung zur Detektion mindestens einer Fahrspur in einem Fahrzeugumfeld
CN111383268A (zh) 车辆间距状态获取方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22819174

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE