WO2020239093A1 - 一种相机标定方法、装置和电子设备 - Google Patents

一种相机标定方法、装置和电子设备 Download PDF

Info

Publication number
WO2020239093A1
WO2020239093A1 PCT/CN2020/093433 CN2020093433W WO2020239093A1 WO 2020239093 A1 WO2020239093 A1 WO 2020239093A1 CN 2020093433 W CN2020093433 W CN 2020093433W WO 2020239093 A1 WO2020239093 A1 WO 2020239093A1
Authority
WO
WIPO (PCT)
Prior art keywords
calibration
picture
camera
collection position
calibration object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2020/093433
Other languages
English (en)
French (fr)
Inventor
代真佑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Autel Robotics Co Ltd
Original Assignee
Autel Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Autel Robotics Co Ltd filed Critical Autel Robotics Co Ltd
Publication of WO2020239093A1 publication Critical patent/WO2020239093A1/zh
Priority to US17/456,924 priority Critical patent/US12307713B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • This application relates to the technical field of unmanned aerial vehicles, and in particular to a camera calibration method, device and electronic equipment.
  • Camera calibration is a basic problem of machine vision.
  • a single camera will have errors due to production and processing and its own characteristics. Errors will also occur in the assembly process of binocular cameras and multi-eye cameras. These errors have a bad influence on the vision measurement algorithm. Therefore, when performing vision measurement, the camera needs to be calibrated first, and the correct calibration can ensure the correctness of the subsequent measurement work.
  • the purpose of camera calibration is to establish the relationship between the camera image pixel position and the object space position, that is, the relationship between the world coordinate system and the image coordinate system.
  • the method is usually to solve the model parameters of the camera from the pixel coordinates and world coordinates of the known feature points according to the camera model.
  • the required solution parameters such as internal parameters, distortion parameters, external parameters, rotation matrix and translation vector.
  • Camera calibration methods include calibration methods based on calibration objects and self-calibration methods based on image sequences.
  • the calibration method based on the calibration object is to use the relationship between the characteristic points on the calibration object and its corresponding points on the image to solve the camera parameters and complete the calibration.
  • the calibration method based on the calibration object usually uses a precision-machined plane checkerboard as the calibration object. Since the patterns of each part of the plane checkerboard are the same, the camera must collect images based on the calibration object so that each image collected contains the entire calibration object to determine the image The position of the middle feature point, and then determine the world coordinates of the feature point, the calibration method is complicated.
  • the purpose of the embodiments of the present invention is to provide a camera calibration method, device and electronic equipment with a simple calibration method.
  • an embodiment of the present invention provides a camera calibration method used in an electronic device, and the method includes:
  • the calibration object includes at least two basic units, each of which has a different pattern;
  • the method further includes:
  • the calibration object is displayed on the display screen of the electronic device.
  • the method further includes:
  • the picture collection position is displayed on the calibration object, where the picture collection position is used to guide the camera to collect the calibration picture; then,
  • the acquiring the calibration picture collected by the camera on the calibration object includes:
  • the obtaining the calibration picture collected by the camera according to the picture collection position includes:
  • the picture acquired by the camera when the intersection position matches the picture acquisition position is obtained as a calibration picture of the picture acquisition position.
  • the displaying the picture collection position on the calibration object includes:
  • the picture collection position is displayed on the calibration object, and after the electronic device obtains the calibration picture of the picture collection position, the next picture collection position is sequentially displayed.
  • the acquiring the calibration picture collected by the camera on the calibration object includes:
  • the acquiring the position of the intersection of the optical axis of the camera and the display screen includes:
  • intersection point of the optical axis of the camera and the plane where the display screen is located is obtained according to the initial rotation matrix R and the initial translation vector t.
  • the displaying the picture collection position on the calibration object, and after the electronic device obtains the calibration picture of the picture collection position, sequentially displaying the next picture collection position includes:
  • Each picture collection position is sequentially displayed in the center and the periphery of the calibration object.
  • an embodiment of the present invention provides a camera calibration device for electronic equipment, the device includes:
  • the calibration picture acquisition module is used to acquire the calibration picture collected by the camera on the calibration object.
  • the calibration object includes at least two basic units, each of which has a different pattern; a feature point extraction and pixel coordinate acquisition module for Extracting feature points from each basic unit of the calibration picture, and obtaining the pixel coordinates of the feature points;
  • the world coordinate acquisition module is used to acquire the world coordinates of the feature point
  • the camera calibration module is used to perform camera calibration according to the pixel coordinates and the world coordinates of each feature point.
  • the device further includes:
  • the display module is used to display the calibration object on the display screen of the electronic device.
  • the display module is further configured to display a picture collection position on the calibration object, wherein the picture collection position is used to guide the camera to collect the calibration picture;
  • the calibration picture acquisition module is specifically used for:
  • the calibration picture acquisition module is specifically configured to:
  • the picture acquired by the camera when the intersection position matches the picture acquisition position is obtained as a calibration picture of the picture acquisition position.
  • the display module is specifically used for:
  • the picture collection position is displayed on the calibration object, and after the electronic device obtains the calibration picture of the picture collection position, the next picture collection position is sequentially displayed.
  • the calibration picture acquisition module is specifically configured to:
  • the calibration picture acquisition module is specifically configured to:
  • intersection point of the optical axis of the camera and the plane where the display screen is located is obtained according to the initial rotation matrix R and the initial translation vector t.
  • the display module is specifically used for:
  • Each picture collection position is sequentially displayed in the center and the periphery of the calibration object.
  • an embodiment of the present invention provides an electronic device, and the electronic device includes:
  • At least one processor and,
  • a memory communicatively connected with the at least one processor; wherein,
  • the memory stores instructions that can be executed by the at least one processor, and the instructions are executed by the at least one processor, so that the at least one processor can execute the foregoing method.
  • an embodiment of the present invention provides a non-volatile computer-readable storage medium, the computer-readable storage medium stores computer-executable instructions, and when the computer-executable instructions are executed by an electronic device, The electronic device executes the above-mentioned method.
  • the embodiments of the present application also provide a computer program product.
  • the computer program product includes a computer program stored on a non-volatile computer-readable storage medium.
  • the computer program includes program instructions. When the program instructions are executed by the electronic device, the electronic device is caused to execute the above-mentioned method.
  • the world coordinates of the feature points can be determined according to the basic unit where each feature point is located, and then the pixel corresponding to each feature point Camera calibration with coordinates and world coordinates.
  • the image collected by the camera does not need to include the entire calibration object, and the calibration method is simple.
  • FIG. 1 is a schematic diagram of an application scenario of a camera calibration method and device according to an embodiment of the present invention
  • Figure 2 is a schematic diagram of a calibration object in an embodiment of the present invention.
  • FIG. 3 is a schematic flowchart of an embodiment of the camera calibration method of the present invention.
  • FIG. 5 is a schematic structural diagram of an embodiment of the camera calibration device of the present invention.
  • FIG. 6 is a schematic structural diagram of an embodiment of the camera calibration device of the present invention.
  • FIG. 7 is a schematic diagram of the hardware structure of an embodiment of the electronic device of the present invention.
  • the drone 100 can be a suitable unmanned aerial vehicle including fixed-wing unmanned aerial vehicles and rotary-wing unmanned aerial vehicles, such as helicopters, quadrotors and Aircraft with other numbers of rotors and/or rotor configurations.
  • the UAV 100 may also be other movable objects, such as a manned aircraft, a model airplane, an unmanned airship, and an unmanned hot air balloon.
  • the electronic device 200 is, for example, a smart phone, a tablet computer, a computer, a remote control, and the like.
  • the user may interact with the electronic device 200 through any suitable type of one or more user interaction devices, and these user interaction devices may be a mouse, a button, a touch screen, and the like.
  • these user interaction devices may be a mouse, a button, a touch screen, and the like.
  • a communication connection can be established through wireless communication modules (such as a signal receiver, a signal transmitter, etc.) respectively provided in each of them, and data/commands can be uploaded or issued.
  • the drone 100 includes a fuselage, an arm connected to the fuselage, and a power system provided on the arm.
  • the power system is used to provide thrust, lift, etc. for the flight of the UAV 100.
  • the drone 100 also includes a camera and a controller.
  • the camera and the controller are electrically connected.
  • the camera is used to capture images of the target location or the surrounding environment of the drone, and the controller is used to obtain the target location or the surrounding environment Environmental maps, etc.
  • the camera can be a high-definition digital camera or other camera device.
  • the camera can be set at any suitable location that is conducive to shooting.
  • the camera is mounted on the bottom of the drone body through a pan/tilt.
  • the camera is set on the front or bottom of the body.
  • the number of cameras may be one or more, which is not limited in the embodiment of the present invention.
  • the above cameras need to be calibrated before use.
  • t]*X and L C*[R
  • the world coordinates and screen coordinates can be obtained by solving the linear equations to obtain the initial value of each parameter, and then using the nonlinear least square method to iteratively find the optimal solution.
  • the electronic device 200 is used to display the calibration object, and then the camera of the drone 100 collects the calibration picture on the calibration object, and exchanges the feature points in the calibration image and the pixel coordinates of the feature points, according to each feature point
  • the pixel coordinates and world coordinates of the camera are calibrated.
  • the calibration object includes at least two basic units, each of which has a different pattern.
  • Figure 2 shows a pattern of the calibration object. Because the pattern of each basic unit is different, even if the camera of the drone 100 only captures a small part of the pattern of the calibration object, the basic unit can be determined based on the pattern of each basic unit. Unit, and then obtain the world coordinates of each feature point on the basic unit.
  • each feature point in the calibration object may be a point with obvious characteristics, such as a corner point of each basic unit, and the world coordinates of each corner point may be stored in the electronic device 200 in advance.
  • the calibration object can also be made into a special calibration object for camera calibration.
  • the camera calibration method of the embodiment of the present invention can be used for monocular camera calibration or binocular camera calibration.
  • the camera calibration method of the embodiment of the present invention can also be used for the camera calibration of other devices, such as the camera of a robot.
  • FIG. 3 is a schematic flowchart of a camera calibration method provided by an embodiment of the present invention. The method may be executed by the electronic device 200 in FIG. 1. As shown in FIG. 3, the method includes:
  • the calibration object can be made into a dedicated calibration object for camera calibration.
  • the calibration object can also be displayed on the display screen of the electronic device 200 to save costs.
  • the image collection position can also be displayed on the electronic device at the same time to guide or guide the completion of the calibration.
  • the picture collection position is used to guide the camera to collect calibration pictures.
  • the camera collects the calibration picture its optical axis should be as close as possible to the picture collection position.
  • the setting of the image collection position makes the calibration process of the camera easier to operate, and each image collection position can be selected to cover the entire calibration object as much as possible to make the calibration more accurate.
  • the mark shown in FIG. 4 can be used as the picture collection position.
  • Each picture collection position in FIG. 4 basically covers the center and surrounding areas of the calibration object, and the coverage is wide, which can improve the accuracy of camera calibration.
  • the background color of the mark can be a brighter color such as red.
  • the image collection position can also be located at any suitable position in the calibration object.
  • the camera's optical axis should be aligned with the image collection position as much as possible when collecting the calibration picture, that is, the intersection of the camera's optical axis and the display screen of the electronic device should match the picture as much as possible Collection location.
  • the picture collected by the camera when the position of the intersection point matches the picture collection position is used as the calibration picture, and the calibration picture is used for camera calibration, which can make the camera calibration more accurate.
  • the matching means that the intersection position is located at the picture collection position, or the intersection position and the picture collection position meet a certain error requirement.
  • the user can hold the camera to align the optical axis of the camera to the image collection position.
  • the camera can also be used autonomously by the drone.
  • To align the image capture position In the process of aligning the optical axis of the camera with the image collection position, the camera will continuously acquire pictures and send them to the electronic device.
  • the electronic device calculates the position of the intersection point between the optical axis of the camera and the plane where the display screen is located in real time. When the picture collection location matches, the picture sent by the camera at this time is obtained as the calibration picture of the picture collection location.
  • the initial calibration picture may be collected on the calibration object by the camera to obtain the initial rotation matrix R and the initial translation vector t of the world coordinate system relative to the camera coordinate system, and then use the initial rotation matrix R and the initial translation vector t obtain the intersection point of the optical axis of the camera and the plane where the display screen is located.
  • Pcam Pworld*R+t
  • R-1 can also take the third row, the result is the same. Since the origin of the camera coordinates is in the world coordinate system It is known that the coordinates x and y of the intersection of the optical axis and the screen can be obtained by solving the above equation.
  • the electronic device displays the previous one Picture collection location, and after obtaining the calibration picture of the picture collection location, the next picture collection location can be displayed in sequence. For example, the electronic device may sequentially display the image collection positions from the center of the calibration object to the periphery of the calibration object, or sequentially display the image collection positions from the periphery of the calibration object to the center of the calibration object.
  • the electronic device can first display the image collection location 1, and after obtaining the calibration image at the image collection location 1, then display the image collection location 2. After obtaining the calibration image at the image collection location 2, Then display the picture collection position 3, and so on, until the picture collection position 12 is displayed and the calibration picture at the picture collection position 12 is obtained. So far, 12 calibration pictures have been obtained.
  • the calibration pictures can be obtained at different distances from the camera to the display screen, for example, at the first distance from the camera to the display screen (ie the calibration object) Obtain a set of calibration pictures, and obtain a set of calibration pictures at the second distance from the camera to the display screen. In other embodiments, more sets of calibration pictures can also be obtained, where the first distance is, for example, 1 m away from the display screen, and the second distance is, for example, 2 m away from the display screen. If the calibration object shown in Figure 4 is used, a total of 24 calibration pictures can be obtained.
  • each characteristic point may be a point with obvious characteristics in the calibration object, such as the corner point of each basic unit in the embodiment of FIG.
  • the world coordinates of the feature points on each basic unit of the calibration object can be stored in the electronic device in advance. Once the basic unit is determined, the world coordinates of the feature points on the basic unit can be obtained. Since the patterns of the basic units in the calibration object are different, it is easy to determine which basic unit is based on the pattern comparison. Taking the embodiment shown in FIG. 4 as an example, the four corner points of the basic unit in FIG. 4 can be selected as feature points. There are 160 feature points in 40 basic units, the pattern of each basic unit and the world coordinates of each corner point It can be stored in the electronic device in advance. If the camera only obtains part of the pattern in the lower left corner, since the pattern of each basic unit is unique, the corresponding world coordinates can be obtained by comparing the pattern in the calibration picture with the pattern stored in the electronic device.
  • the existing calibration method can be used for camera calibration, for example, the PnP (pespective-n-point) algorithm is used for camera calibration.
  • the world coordinates of each characteristic point can be determined according to the basic unit where each characteristic point is located, and then the camera calibration is performed according to the pixel coordinates and world coordinates corresponding to each characteristic point.
  • the image collected by the camera does not need to include the entire calibration object, and the calibration method is simple.
  • an embodiment of the present invention also provides a camera calibration device for electronic equipment.
  • the device includes:
  • the calibration picture acquisition module 501 is configured to acquire a calibration picture collected by a camera on a calibration object, the calibration object includes at least two basic units, each of which has a different pattern;
  • the feature point extraction and pixel coordinate acquisition module 502 is configured to extract feature points from each basic unit of the calibration picture, and obtain the pixel coordinates of the feature points;
  • the world coordinate acquisition module 503 is used to acquire the world coordinates of the feature point
  • the camera calibration module 504 is configured to perform camera calibration according to the pixel coordinates and the world coordinates of each feature point.
  • the world coordinates of each characteristic point can be determined according to the basic unit where each characteristic point is located, and then the camera calibration is performed according to the pixel coordinates and world coordinates corresponding to each characteristic point.
  • the image collected by the camera does not need to include the entire calibration object, and the calibration method is simple.
  • the device further includes:
  • the display module 505 is configured to display the calibration object on the display screen of the electronic device.
  • the display module 505 is further configured to display a picture collection position on the calibration object, wherein the picture collection position is used to guide the camera to collect the calibration picture; then,
  • the calibration picture acquisition module 501 is specifically used for:
  • the calibration picture acquisition module 501 is specifically used for:
  • the picture acquired by the camera when the intersection position matches the picture acquisition position is obtained as a calibration picture of the picture acquisition position.
  • the display module 505 is specifically used to:
  • the picture collection position is displayed on the calibration object, and after the electronic device obtains the calibration picture of the picture collection position, the next picture collection position is sequentially displayed.
  • the calibration picture acquisition module 501 is specifically used for:
  • the calibration picture acquisition module 501 is specifically used for:
  • the position of the intersection of the optical axis of the camera and the plane where the display screen is located is obtained.
  • the display module 505 is specifically used to:
  • Each picture collection position is sequentially displayed in the center and the periphery of the calibration object.
  • the electronic device 200 includes:
  • One or more processors 1 and memory 2, and one processor 1 is taken as an example in FIG. 7.
  • the processor 1 and the memory 2 may be connected through a bus or in other ways.
  • the connection through a bus is taken as an example.
  • the memory 2 can be used to store non-volatile software programs, non-volatile computer-executable programs and modules, such as the program instructions corresponding to the camera calibration method in the embodiments of the present application / Module (for example, the calibration picture acquisition module 501, the feature point extraction and pixel coordinate acquisition module 502, the world coordinate acquisition module 503, and the camera calibration module 504 shown in FIG. 5).
  • the processor 1 executes various functional applications and data processing of the electronic device by running non-volatile software programs, instructions, and modules stored in the memory 2, that is, realizing the camera calibration method of the foregoing method embodiment.
  • the memory 2 may include a program storage area and a data storage area.
  • the program storage area may store an operating system and an application program required by at least one function; the data storage area may store data created according to the use of the controller, and the like.
  • the memory 2 may include a high-speed random access memory, and may also include a non-volatile memory, such as at least one magnetic disk storage device, a flash memory device, or other non-volatile solid-state storage devices.
  • the memory 2 may optionally include a memory remotely provided with respect to the processor 1, and these remote memories may be connected to the electronic device through a network. Examples of the aforementioned networks include, but are not limited to, the Internet, corporate intranets, local area networks, mobile communication networks, and combinations thereof.
  • the one or more modules are stored in the memory 2, and when executed by the one or more processors 1, the camera calibration method in any of the above-mentioned method embodiments is executed, for example, the above-described FIG. 3 Step 101 to step 104 of the method; realize the functions of modules 501-504 in FIG. 5 and modules 501-505 in FIG.
  • the embodiment of the present application provides a non-volatile computer-readable storage medium, the computer-readable storage medium stores computer-executable instructions, and the computer-executable instructions are executed by one or more processors, for example, in FIG. 7
  • One processor 1 of the above-mentioned one or more processors can execute the camera calibration method in any of the above-mentioned method embodiments, for example, execute the above-described method steps 101 to 104 in FIG. 3; Functions of modules 501-504 and modules 501-505 in FIG.
  • the device embodiments described above are merely illustrative.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, they may be located in One place, or it can be distributed to multiple network units. Some or all of the modules may be selected according to actual needs to achieve the objectives of the solutions of the embodiments.
  • each embodiment can be implemented by software plus a general hardware platform, and of course, it can also be implemented by hardware.
  • a person of ordinary skill in the art can understand that all or part of the processes in the methods of the foregoing embodiments can be implemented by computer programs instructing relevant hardware.
  • the programs can be stored in a computer readable storage medium. When executed, it may include the procedures of the above-mentioned method embodiments.
  • the storage medium may be a magnetic disk, an optical disc, a read-only memory (Read-Only Memory, ROM), or a random access memory (Random Access Memory, RAM), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

涉及无人飞行器技术领域的一种相机标定方法、装置和电子设备。所述方法包括：获取相机在标定物上采集的标定图片，所述标定物包括至少两个基础单元，每个所述基础单元的图案不同（S101）；从所述标定图片的各基础单元中提取特征点，并获得所述特征点的像素坐标（S102）；获取所述特征点的世界坐标（S103）；根据各个特征点的所述像素坐标和所述世界坐标进行相机标定（S104）。该方法由于标定物中各基础单元的图案不同，可以根据各特征点位于的基础单元确定该特征点的世界坐标，进而根据各特征点对应的像素坐标和世界坐标进行相机标定。相机采集的图像无需包括整个标定物，标定方法简单。

Description

一种相机标定方法、装置和电子设备
本申请要求于2019年5月31日提交中国专利局、申请号为201910470300.9、申请名称为“一种相机标定方法、装置和电子设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及无人飞行器技术领域，特别涉及一种相机标定方法、装置和电子设备。
背景技术
相机标定是机器视觉的一项基础问题，单个相机由于生产加工以及自身特性的原因会存在误差，双目相机及多目相机在装配过程中亦会产生误差。这些误差对视觉测量算法有不良影响，所以，在进行视觉测量时都需要首先进行相机标定，正确标定后，才能保证后续测量工作的正确性。
通常相机标定的目的就是建立相机图像像素位置与物体空间位置之间的关系，即世界坐标系与图像坐标系之间的关系。其方法通常是根据相机模型，由已知特征点的像素坐标和世界坐标求解相机的模型参数。所要求解的参数例如内参数、畸变参数、外部参数旋转矩阵和平移向量。
相机的标定方法包括基于标定物的标定方法和基于图像序列的自标定方法。基于标定物的标定方法是利用标定物上的特征点和其在图像上对应点之间的关系，求解相机参数，完成标定。
在实现本发明过程中，发明人发现相关技术中至少存在如下问题：
基于标定物的标定方法通常使用精密加工的平面棋盘格作为标定物，由于平面棋盘格中各部分图案相同，相机基于标定物采集图像时须使采集的每张图像包含整个标定物，以确定图像中特征点位于的位置，进而确定该特征点的世界坐标，标定方法复杂。
发明内容
本发明实施例的目的是提供一种标定方法简单的相机标定方法、装置和电子设备。
第一方面，本发明实施例提供了一种相机标定方法，用于电子设备，所述方法包括：
获取相机在标定物上采集的标定图片，所述标定物包括至少两个基础单元，每个所述基础单元的图案不同；
从所述标定图片的各基础单元中提取特征点，并获得所述特征点的像素坐标；
获取所述特征点的世界坐标；
根据各个特征点的所述像素坐标和所述世界坐标进行相机标定。
在一些实施例中，所述方法还包括：
在所述电子设备的显示屏幕上显示所述标定物。
在一些实施例中，所述方法还包括：
在所述标定物上显示图片采集位置，其中，所述图片采集位置用于指引所述相机采集所述标定图片；则，
所述获取相机在标定物上采集的标定图片，包括：
获取所述相机根据所述图片采集位置采集的所述标定图片。
在一些实施例中，所述获取所述相机根据所述图片采集位置采集的所述标定图片，包括：
获取所述相机的光轴与所述显示屏幕所在平面的交点位置；
获得所述交点位置匹配所述图片采集位置时所述相机采集的图片，作为该图片采集位置的标定图片。
在一些实施例中，所述在所述标定物上显示图片采集位置，包括：
在所述标定物上显示图片采集位置，当所述电子设备获得所述图片采集位置的标定图片后，顺次显示下一图片采集位置。
在一些实施例中，所述获取相机在标定物上采集的标定图片，包括：
获取所述相机在距离所述标定物第一距离处在所述标定物上采集的标定图片；
获取所述相机在距离所述标定物第二距离处在所述标定物上采集的标定图片。
在一些实施例中，所述获取所述相机的光轴与所述显示屏幕的交点位置，包括：
获取所述相机在所述标定物上采集的初始标定图片；
根据所述初始标定图片进行相机标定获得世界坐标系相对于相机坐标系的初始旋转矩阵R和初始平移向量t；
根据所述初始旋转矩阵R和所述初始平移向量t获取所述相机光轴与所述显示屏幕所在平面的交点。
在一些实施例中，所述在所述标定物上显示图片采集位置，当所述电子设备获得所述图片采集位置的标定图片后，顺次显示下一图片采集位置，包括：
顺次在所述标定物的中心及周边显示各个图片采集位置。
第二方面，本发明实施例提供了一种相机标定装置，用于电子设备，所述装置包括：
标定图片获取模块，用于获取相机在标定物上采集的标定图片，所述标定物包括至少两个基础单元，每个所述基础单元的图案不同；特征点提取及像素坐标获取模块，用于从所述标定图片的各基础单元中提取特征点，并获得所述特征点的像素坐标；
世界坐标获取模块，用于获取所述特征点的世界坐标；
相机标定模块，用于根据各个特征点的所述像素坐标和所述世界坐标进行相机标定。
在一些实施例中，所述装置还包括：
显示模块，用于在所述电子设备的显示屏幕上显示所述标定物。
在一些实施例中，所述显示模块还用于在所述标定物上显示图片采集位置，其中，所述图片采集位置用于指引所述相机采集所述标定图片；
则，所述标定图片获取模块具体用于：
获取所述相机根据所述图片采集位置采集的所述标定图片。
在一些实施例中，所述标定图片获取模块具体用于：
获取所述相机的光轴与所述显示屏幕所在平面的交点位置；
获得所述交点位置匹配所述图片采集位置时所述相机采集的图片，作为该图片采集位置的标定图片。
在一些实施例中，所述显示模块具体用于：
在所述标定物上显示图片采集位置，当所述电子设备获得所述图片采集位置的标定图片后，顺次显示下一图片采集位置。
在一些实施例中，所述标定图片获取模块具体用于：
获取所述相机在距离所述标定物第一距离处在所述标定物上采集的标定图片；
获取所述相机在距离所述标定物第二距离处在所述标定物上采集的标定图片。
在一些实施例中，所述标定图片获取模块具体用于：
获取所述相机在所述标定物上采集的初始标定图片；
根据所述初始标定图片进行相机标定获得世界坐标系相对于相机坐标系的初始旋转矩阵R和初始平移向量t；
根据所述初始旋转矩阵R和所述初始平移向量t获取所述相机光轴与所述显示屏幕所在平面的交点。
在一些实施例中，所述显示模块具体用于：
顺次在所述标定物的中心及周边显示各个图片采集位置。
第三方面，本发明实施例提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的方法。
第四方面，本发明实施例提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被电子设备执行时，使所述电子设备执行上述的方法。
第五方面，本申请实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程 序包括程序指令，当所述程序指令被电子设备执行时，使所述电子设备执行上述的方法。
本发明实施例的相机标定方法、装置和电子设备，由于标定物中各基础单元的图案不同，可以根据各特征点位于的基础单元确定该特征点的世界坐标，进而根据各特征点对应的像素坐标和世界坐标进行相机标定。相机采集的图像无需包括整个标定物，标定方法简单。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本发明实施例相机标定方法和装置的应用场景示意图；
图2是本发明实施例中标定物示意图；
图3是本发明相机标定方法的一个实施例的流程示意图；
图4是本发明实施例中标定物及图片采集位置示意图；
图5是本发明相机标定装置的一个实施例的结构示意图；
图6是本发明相机标定装置的一个实施例的结构示意图；
图7是本发明电子设备的一个实施例的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为本发明实施例提供的相机标定方法和装置的其中一个应用场景。在所述应用场景中，包括无人机100和电子设备200，其中，无人机100可以为合适的无人飞行器包括固定翼无人飞行器和旋转翼无人飞行器，例如直升机、四旋翼机和具有其它数量的旋翼和/或旋翼配置的飞行器。无人机100还可以是其他可移动物体，例如载人飞行器、航模、无人飞艇和无人热气球等。电子设备200例如智能手机、平板电脑、电脑、遥控器等。用户可以通过任何合适类型的、一种或者多种用户交互设备与电子设备200交互，这些用户交互设备可以是鼠标、按键、触摸屏等。无人机100和电子设备200之间，可以通过分别设置在各自内部的无线通信模块(例如信号接收器、信号发送器等)建立通信连接，上传或者下发数据/指令。
其中，在一些实施例中，无人机100包括机身、与所述机身相连的机臂、 设于机臂的动力系统。动力系统用于提供无人机100飞行的推力、升力等。无人机100还包括相机和控制器，相机和控制器电性连接，相机用于拍摄目标位置或无人机周围环境的图像，控制器用于根据该图像获得目标的位置或者无人机周围的环境地图等。其中，相机可以为高清数码相机或其他摄像装置，相机可以设置于任何利于拍摄的合适位置，在一些实施例中，相机通过云台安装于无人机机身的底部，在另一些实施例中，相机设置于机身的前部或者下部。相机的数量可以为一个或者多个，本发明实施例对此不予限制。
上述相机在使用前需进行相机标定，相机标定的目的是获得内、外参数矩阵以及进行畸变校正等，在其中一些应用中，主要就是获得世界坐标系到相机坐标系的旋转矩阵R和位移向量t，以及相机坐标系到理想屏幕坐标系的内参数矩阵C。如果用X表示世界坐标系、用X'表示相机坐标系，用L表示屏幕坐标系，则有X'＝[R|t]*X以及L＝C*[R|t]*X。则获得标定物中若干个特征点在世界坐标系中的坐标，然后在相机捕捉的标定物的图像中获得对应的若干个特征点在屏幕坐标系中的坐标，即已知该若干个特征点的世界坐标和屏幕坐标，通过求解线性方程组即可获得各参数的初值，再利用非线性最小二乘法迭代求得最优解。
在本发明实施例中，利用电子设备200显示标定物，然后无人机100的相机在标定物上采集标定图片，并换取标定图片中的特征点以及该特征点的像素坐标，根据各个特征点的像素坐标和世界坐标对相机进行标定。其中，标定物包括至少两个基础单元，每个基础单元的图案不同。图2示出了标定物的一种样式，由于每个基础单元的图案不同，即使无人机100的相机只拍摄到标定物的一小部分图案，也能根据各基础单元的样式确定出基础单元，进而获得基础单元上各特征点的世界坐标。其中，标定物中的各特征点可以选取特征明显的点，例如各基础单元的角点，各角点的世界坐标可以事先存储于电子设备200中。在另一些实施例中，也可以将标定物制作成专用标定物用于相机的标定。
需要说明的是，本发明实施例的相机标定方法可以用于单目相机标定，也可以用于双目相机标定。除用于无人机100外，本发明实施例的相机标定方法还可以用于其他装置的相机的标定，例如机器人的相机等。
图3为本发明实施例提供的相机标定方法的流程示意图，所述方法可以由图1中电子设备200执行，如图3所示，所述方法包括：
101：获取相机在标定物上采集的标定图片，所述标定物包括至少两个基础单元，每个所述基础单元的图案不同。
其中，在一些实施例中，可以将标定物制作成专用标定物用于相机的标定，在另一些实施例中，也可以在电子设备200的显示屏幕上显示标定物，以节省成本。
在电子设备200的显示屏幕上显示所述标定物的场合，可选的，还可以同时在电子设备上显示图片采集位置，以指导或者引领完成标定。该图片采集位 置用于指引相机采集标定图片，相机在采集所述标定图片时，应使其光轴尽量接近该图片采集位置。图片采集位置的设置，使相机的标定流程更加易于操作，而且可以选择各图片采集位置尽量覆盖整个标定物，以使标定更准确。例如，可以采用图4所示的标记作为图片采集位置，图4中的各图片采集位置基本覆盖了标定物的中心及四周区域，覆盖范围广、可以提高相机标定的准确性。在实际应用中，该标记的背景色可以采用较为鲜艳的颜色例如红色。在另一些实施例中，图片采集位置还可以位于标定物中任何合适的位置。
在其中一些实施例中，为了进一步提高相机标定的准确性，相机采集标定图片时应使其光轴尽量对准图片采集位置，即相机光轴与电子设备的显示屏幕的交点位置应尽量匹配图片采集位置。用该交点位置匹配图片采集位置时相机采集的图片作为标定图片，采用该标定图片进行相机标定，能使相机标定的更准确。其中，所述匹配是指该交点位置位于所述图片采集位置，或者该交点位置与该图片采集位置满足一定的误差要求。
实际应用时，可以由用户手持相机使相机的光轴去对准所述图片采集位置，在另一些场合，例如该标定方法用于无人机的场合，也可以由无人机自主的使相机的光轴去对准所述图片采集位置。相机在使其光轴对准图片采集位置的过程中，会不断的获取图片并发送给电子设备，电子设备实时计算相机的光轴与所述显示屏幕所在平面的交点位置，当交点位置与该图片采集位置匹配时，获得此时相机发送的图片作为该图片采集位置的标定图片。
具体的，在其中一些实施例中，可以先通过相机在标定物上采集初始标定图片获得世界坐标系相对于相机坐标系的初始旋转矩阵R和初始平移向量t，然后再利用所述初始旋转矩阵R和所述初始平移向量t获取所述相机光轴与所述显示屏幕所在平面的交点。例如：
由Pcam＝Pworld*R+t可得Pworld＝R-1*Pcam-R-1*t，其中，Pcam表示相机坐标系下的坐标，Pworld表示世界坐标系下的坐标。由此可以获得，相机坐标原点在世界坐标系中的坐标为t 0＝-R -1*t。
根据光轴与屏幕相交可得方程：
Figure PCTCN2020093433-appb-000001
其中，这里取的是R -1的第三列，也可以取R-1的第三行，结果是相同的。由于相机坐标原点在世界坐标系中的坐标
Figure PCTCN2020093433-appb-000002
为已知的，通过解上述方程可以获得光轴与屏幕的交点坐标x和y。
其中，图片采集位置一般具有多个，在一些实施例中可以一次性显示全部图片采集位置，在另一些实施例中，也可以挨个顺次显示多个图片采集位置，当电子设备显示了前一个图片采集位置，并且获得了该图片采集位置的标定图片后，可以顺次显示下一个图片采集位置。例如，电子设备可以顺次由标定物的中心到标定物的四周显示各个图片采集位置，也可以由标定物的四周到标定物的中心顺次显示图片采集位置。仍以图4为例，电子设备可以先显示图片采集位置1，在获取完图片采集位置1处的标定图片后，再显示图片采集位置2，在获取完图片采集位置2处的标定图片后，再显示图片采集位置3，依此类推，直至显示完图片采集位置12并获得图片采集位置12处的标定图片。至此，获得12张标定图片。
在另一些实施例中，为了增加样本的多样性，进一步提高标定准确度，可以分别在相机距离显示屏幕不同的距离处获得标定图片，例如在相机距离显示屏幕(即标定物)第一距离处获得一组标定图片，在相机距离显示屏幕第二距离处获得一组标定图片。在其他实施例中，也可以获得更多组标定图片，其中第一距离例如距离显示屏幕1m处，第二距离例如距离显示屏幕2m处。如果采用图4所示的标定物，则可以总共获得24张标定图片。
102：从所述标定图片的各基础单元中提取特征点，并获得所述特征点的像素坐标。
其中，各特征点可以为标定物中特征明显的点，例如图4实施例中各基础单元的角点。
103：获取所述特征点的世界坐标。
其中，标定物中各基础单元上特征点的世界坐标可以事先存储于电子设备中，确定了基础单元，就能获得基础单元上特征点的世界坐标。由于标定物中各基础单元的图案不同，因此根据图案对比很容易确定是哪个基础单元。以图4所示的实施例为例，可以选取图4中基础单元的四个角点作为特征点，40个基础单元共160个特征点，各基础单元的图案及其各角点的世界坐标可以事先存储于电子设备中。如果相机仅获得了左下角的部分图案，由于每个基础单元的图案都是独一无二的，因此通过对比标定图片中的图案与电子设备中存储的图案，即可以获得对应的世界坐标。
104：根据各个特征点的所述像素坐标和所述世界坐标进行相机标定。
获取各个特征点的像素坐标和世界坐标后，可以利用现有的标定方法进行相机标定，例如利用PnP(pespective-n-point)算法进行相机标定。
本发明实施例由于标定物中各基础单元的图案不同，可以根据各特征点位于的基础单元确定该特征点的世界坐标，进而根据各特征点对应的像素坐标和世界坐标进行相机标定。相机采集的图像无需包括整个标定物，标定方法简单。
相应的，如图5所示，本发明实施例还提供了一种相机标定装置，用于电子设备，如图5所示，所述装置包括：
标定图片获取模块501，用于获取相机在标定物上采集的标定图片，所述标定物包括至少两个基础单元，每个所述基础单元的图案不同；
特征点提取及像素坐标获取模块502，用于从所述标定图片的各基础单元中提取特征点，并获得所述特征点的像素坐标；
世界坐标获取模块503，用于获取所述特征点的世界坐标；
相机标定模块504，用于根据各个特征点的所述像素坐标和所述世界坐标进行相机标定。
本发明实施例由于标定物中各基础单元的图案不同，可以根据各特征点位于的基础单元确定该特征点的世界坐标，进而根据各特征点对应的像素坐标和世界坐标进行相机标定。相机采集的图像无需包括整个标定物，标定方法简单。
在其中一些实施例中，如图6所示，所述装置还包括：
显示模块505，用于在所述电子设备的显示屏幕上显示所述标定物。
在其中一些实施例中，显示模块505还用于在所述标定物上显示图片采集位置，其中，所述图片采集位置用于指引所述相机采集所述标定图片；则，
标定图片获取模块501具体用于：
获取所述相机根据所述图片采集位置采集的所述标定图片。
在其中一些实施例中，标定图片获取模块501具体用于：
获取所述相机的光轴与所述显示屏幕所在平面的交点位置；
获得所述交点位置匹配所述图片采集位置时所述相机采集的图片，作为该图片采集位置的标定图片。
在其中一些实施例中，显示模块505具体用于：
在所述标定物上显示图片采集位置，当所述电子设备获得所述图片采集位置的标定图片后，顺次显示下一图片采集位置。
在其中一些实施例中，标定图片获取模块501具体用于：
获取所述相机于距离所述标定物第一距离处在所述标定物上采集的标定图片；
获取所述相机于距离所述标定物第二距离处在所述标定物上采集的标定图片。
在其中一些实施例中，标定图片获取模块501具体用于：
获取所述相机在所述标定物上采集的初始标定图片；
根据所述初始标定图片进行相机标定获得世界坐标系相对于相机坐标系的初始旋转矩阵R和初始平移向量t；
根据所述初始旋转矩阵R和所述初始平移向量t获取所述相机光轴与所述显示屏幕所在平面的交点位置。
在其中一些实施例中，显示模块505具体用于：
顺次在所述标定物的中心及周边显示各个图片采集位置。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模 块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
如图7所示，为电子设备200的硬件结构示意图，请参照图7，电子设备200包括：
一个或多个处理器1以及存储器2，图7中以一个处理器1为例。
处理器1和存储器2可以通过总线或者其他方式连接，图7中以通过总线连接为例。
存储器2作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的相机标定方法对应的程序指令/模块(例如，附图5所示的标定图片获取模块501、特征点提取及像素坐标获取模块502、世界坐标获取模块503和相机标定模块504)。处理器1通过运行存储在存储器2中的非易失性软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例的相机标定方法。
存储器2可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据控制器的使用所创建的数据等。此外，存储器2可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器2可选包括相对于处理器1远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器2中，当被所述一个或者多个处理器1执行时，执行上述任意方法实施例中的相机标定方法，例如，执行以上描述的图3中的方法步骤101至步骤104；实现图5中的模块501-504、图6中的模块501-505的功能。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本申请实施例提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如图7中的一个处理器1，可使得上述一个或多个处理器可执行上述任意方法实施例中的相机标定方法，例如，执行以上描述的图3中的方法步骤101至步骤104；实现图5中的模块501-504、图6中的模块501-505的功能。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。 可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施例的描述，本领域普通技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (18)

  1. 一种相机标定方法，用于电子设备，其特征在于，所述方法包括：
    获取相机在标定物上采集的标定图片，所述标定物包括至少两个基础单元，每个所述基础单元的图案不同；
    从所述标定图片的各基础单元中提取特征点，并获得所述特征点的像素坐标；
    获取所述特征点的世界坐标；
    根据各个特征点的所述像素坐标和所述世界坐标进行相机标定。
  2. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
    在所述电子设备的显示屏幕上显示所述标定物。
  3. 根据权利要求2所述的方法，其特征在于，所述方法还包括：
    在所述标定物上显示图片采集位置，其中，所述图片采集位置用于指引所述相机采集所述标定图片；则，
    所述获取相机在标定物上采集的标定图片，包括：
    获取所述相机根据所述图片采集位置采集的所述标定图片。
  4. 根据权利要求3所述的方法，其特征在于，所述获取所述相机根据所述图片采集位置采集的所述标定图片，包括：
    获取所述相机的光轴与所述显示屏幕所在平面的交点位置；
    获得所述交点位置匹配所述图片采集位置时所述相机采集的图片，作为该图片采集位置的标定图片。
  5. 根据权利要求4所述的方法，其特征在于，所述在所述标定物上显示图片采集位置，包括：
    在所述标定物上显示图片采集位置，当所述电子设备获得所述图片采集位置的标定图片后，顺次显示下一图片采集位置。
  6. 根据权利要求1-5任一项所述的方法，其特征在于，所述获取相机在标定物上采集的标定图片，包括：
    获取所述相机在距离所述标定物第一距离处在所述标定物上采集的标定图片；
    获取所述相机在距离所述标定物第二距离处在所述标定物上采集的标定图片。
  7. 根据权利要求4或5所述的方法，其特征在于，所述获取所述相机的 光轴与所述显示屏幕所在平面的交点位置，包括：
    获取所述相机在所述标定物上采集的初始标定图片；
    根据所述初始标定图片进行相机标定获得世界坐标系相对于相机坐标系的初始旋转矩阵R和初始平移向量t；
    根据所述初始旋转矩阵R和所述初始平移向量t获取所述相机光轴与所述显示屏幕所在平面的交点位置。
  8. 根据权利要求5所述的方法，其特征在于，所述在所述标定物上显示图片采集位置，当所述电子设备获得所述图片采集位置的标定图片后，顺次显示下一图片采集位置，包括：
    顺次在所述标定物的中心及周边显示各个图片采集位置。
  9. 一种相机标定装置，用于电子设备，其特征在于，所述装置包括：
    标定图片获取模块，用于获取相机在标定物上采集的标定图片，所述标定物包括至少两个基础单元，每个所述基础单元的图案不同；
    特征点提取及像素坐标获取模块，用于从所述标定图片的各基础单元中提取特征点，并获得所述特征点的像素坐标；
    世界坐标获取模块，用于获取所述特征点的世界坐标；
    相机标定模块，用于根据各个特征点的所述像素坐标和所述世界坐标进行相机标定。
  10. 根据权利要求9所述的装置，其特征在于，所述装置还包括：
    显示模块，用于在所述电子设备的显示屏幕上显示所述标定物。
  11. 根据权利要求10所述的装置，其特征在于，所述显示模块还用于在所述标定物上显示图片采集位置，其中，所述图片采集位置用于指引所述相机采集所述标定图片；则，
    所述标定图片获取模块具体用于：
    获取所述相机根据所述图片采集位置采集的所述标定图片。
  12. 根据权利要求11所述的装置，其特征在于，所述标定图片获取模块具体用于：
    获取所述相机的光轴与所述显示屏幕所在平面的交点位置；
    获得所述交点位置匹配所述图片采集位置时所述相机采集的图片，作为该图片采集位置的标定图片。
  13. 根据权利要求12所述的装置，其特征在于，所述显示模块具体用于：
    在所述标定物上显示图片采集位置，当所述电子设备获得所述图片采集位 置的标定图片后，顺次显示下一图片采集位置。
  14. 根据权利要求9-13任一项所述的装置，其特征在于，所述标定图片获取模块具体用于：
    获取所述相机在距离所述标定物第一距离处在所述标定物上采集的标定图片；
    获取所述相机在距离所述标定物第二距离处在所述标定物上采集的标定图片。
  15. 根据权利要求12或13所述的装置，其特征在于，所述标定图片获取模块具体用于：
    获取所述相机在所述标定物上采集的初始标定图片；
    根据所述初始标定图片进行相机标定获得世界坐标系相对于相机坐标系的初始旋转矩阵R和初始平移向量t；
    根据所述初始旋转矩阵R和所述初始平移向量t获取所述相机光轴与所述显示屏幕所在平面的交点位置。
  16. 根据权利要求13所述的装置，其特征在于，所述显示模块具体用于：
    顺次在所述标定物的中心及周边显示各个图片采集位置。
  17. 一种电子设备，其特征在于，所述电子设备包括：
    至少一个处理器；以及，
    与所述至少一个处理器通信连接的存储器；其中，
    所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8任一项所述的方法。
  18. 一种非易失性计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被电子设备执行时，使所述电子设备执行如权利要求1-8任一项所述的方法。
PCT/CN2020/093433 2019-05-31 2020-05-29 一种相机标定方法、装置和电子设备 Ceased WO2020239093A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/456,924 US12307713B2 (en) 2019-05-31 2021-11-30 Camera calibration method and apparatus and electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910470300.9 2019-05-31
CN201910470300.9A CN110232716A (zh) 2019-05-31 2019-05-31 一种相机标定方法、装置和电子设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/456,924 Continuation US12307713B2 (en) 2019-05-31 2021-11-30 Camera calibration method and apparatus and electronic device

Publications (1)

Publication Number Publication Date
WO2020239093A1 true WO2020239093A1 (zh) 2020-12-03

Family

ID=67858309

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/093433 Ceased WO2020239093A1 (zh) 2019-05-31 2020-05-29 一种相机标定方法、装置和电子设备

Country Status (3)

Country Link
US (1) US12307713B2 (zh)
CN (1) CN110232716A (zh)
WO (1) WO2020239093A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113596441A (zh) * 2021-08-17 2021-11-02 深圳市上融科技有限公司 光轴调整装置、方法、系统及可读存储介质
CN114494459A (zh) * 2022-01-24 2022-05-13 深圳市瑞立视多媒体科技有限公司 主动光相机的标定参数计算方法、装置、设备及存储介质
WO2023087894A1 (zh) * 2021-11-18 2023-05-25 京东方科技集团股份有限公司 区域调整方法和装置、摄像头和存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018102047A1 (de) * 2018-01-30 2019-08-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs mit virtuellen, länglichen Abstandsmarkierungen in einem Bild, Computerprogrammprodukt, sowie Anzeigesystem
US11830223B2 (en) * 2019-04-08 2023-11-28 Nec Corporation Camera calibration apparatus, camera calibration method, and nontransitory computer readable medium storing program
CN110232716A (zh) * 2019-05-31 2019-09-13 深圳市道通智能航空技术有限公司 一种相机标定方法、装置和电子设备
CN110717944A (zh) * 2019-09-18 2020-01-21 重庆大云端科技有限公司 一种相机标定在智能手机、摄像头、数码相机里的应用
CN110853101B (zh) * 2019-11-06 2022-08-23 深圳市巨力方视觉技术有限公司 相机的位置标定方法、装置和计算机可读存储介质
CN111340890B (zh) * 2020-02-20 2023-08-04 阿波罗智联(北京)科技有限公司 相机外参标定方法、装置、设备和可读存储介质
JP7452625B2 (ja) * 2020-03-03 2024-03-19 ソニーグループ株式会社 情報処理装置、情報処理方法、および情報処理システム
CN111932611B (zh) * 2020-05-26 2024-05-10 阿波罗智联(北京)科技有限公司 物体位置获取方法和装置
WO2022041128A1 (zh) * 2020-08-28 2022-03-03 中国科学院深圳先进技术研究院 用于多个相机的自动标定方法及系统
CN112802127B (zh) * 2021-03-31 2021-07-20 深圳中科飞测科技股份有限公司 标定方法及装置、标定设备和存储介质
EP4199493B1 (en) * 2021-12-15 2025-06-04 ZKW Group GmbH Vehicle headlamp system
EP4350278B1 (en) * 2022-08-17 2025-03-05 Contemporary Amperex Technology (Hong Kong) Limited Calibration ruler, calibration method and apparatus, and detection method and apparatus

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673397B (zh) * 2009-09-30 2012-04-25 青岛大学 一种基于lcd的数码相机非线性标定方法
CN103353388A (zh) * 2013-05-15 2013-10-16 西安交通大学 一种具摄像功能的双目体式显微成像系统标定方法及装置
CN103597825A (zh) * 2011-05-11 2014-02-19 英特尔公司 用于相机校准背景的显示屏幕
CN104408704A (zh) * 2014-08-25 2015-03-11 太仓中科信息技术研究院 一种自动化变焦镜头标定装置及标定方法
CN104853180A (zh) * 2014-02-19 2015-08-19 钰创科技股份有限公司 图像获取系统的校正方法
CN206441238U (zh) * 2017-02-09 2017-08-25 杭州零智科技有限公司 标定板和标定系统
CN108072319A (zh) * 2016-11-07 2018-05-25 俞庆平 一种运动平台的快速标定系统及标定方法
CN110232716A (zh) * 2019-05-31 2019-09-13 深圳市道通智能航空技术有限公司 一种相机标定方法、装置和电子设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100385198C (zh) * 2006-06-22 2008-04-30 上海交通大学 平面显示屏生成标定板的方法
GB2465792A (en) * 2008-11-28 2010-06-02 Sony Corp Illumination Direction Estimation using Reference Object
EP2469467A1 (en) * 2010-12-23 2012-06-27 Alcatel Lucent An integrated method for camera planning and positioning
US8872897B2 (en) * 2011-05-11 2014-10-28 Intel Corporation Camera calibration using an easily produced 3D calibration pattern
CN105981074B (zh) * 2014-11-04 2018-02-02 深圳市大疆创新科技有限公司 用于标定成像装置的系统、方法和装置
WO2016076400A1 (ja) * 2014-11-13 2016-05-19 オリンパス株式会社 較正装置、較正方法、光学装置、撮影装置、投影装置、計測システムおよび計測方法
CN105096324B (zh) * 2015-07-31 2017-11-28 深圳市大疆创新科技有限公司 一种摄像装置标定方法及摄像装置
EP3457682A1 (en) * 2016-05-13 2019-03-20 Olympus Corporation Calibration device, calibration method, optical device, imaging device, projection device, measurement system and measurement method
CN106352806A (zh) * 2016-08-10 2017-01-25 中国科学技术大学 一种立体视觉三维数字图像相关测量的高精度标定方法
WO2018046617A1 (en) * 2016-09-07 2018-03-15 Starship Technologies Oü Method and system for calibrating multiple cameras
CN106600648A (zh) * 2016-12-06 2017-04-26 合肥工业大学 标定相机内参数和畸变系数的立体编码靶标及其标定方法
CN106982370B (zh) * 2017-05-03 2018-07-06 武汉科技大学 一种相机高精度校准标定板及实现校准的方法
CN108537846B (zh) * 2018-02-08 2022-05-27 北京航空航天大学青岛研究院 相机标定方法及设备
CN108550171B (zh) * 2018-04-20 2021-06-29 东北大学 基于交比不变性的含有八卦编码信息的线阵相机标定方法
CN108765494B (zh) * 2018-05-21 2021-12-24 南昌航空大学 一种基于圆柱体标定物的多相机标定方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673397B (zh) * 2009-09-30 2012-04-25 青岛大学 一种基于lcd的数码相机非线性标定方法
CN103597825A (zh) * 2011-05-11 2014-02-19 英特尔公司 用于相机校准背景的显示屏幕
CN103353388A (zh) * 2013-05-15 2013-10-16 西安交通大学 一种具摄像功能的双目体式显微成像系统标定方法及装置
CN104853180A (zh) * 2014-02-19 2015-08-19 钰创科技股份有限公司 图像获取系统的校正方法
CN104408704A (zh) * 2014-08-25 2015-03-11 太仓中科信息技术研究院 一种自动化变焦镜头标定装置及标定方法
CN108072319A (zh) * 2016-11-07 2018-05-25 俞庆平 一种运动平台的快速标定系统及标定方法
CN206441238U (zh) * 2017-02-09 2017-08-25 杭州零智科技有限公司 标定板和标定系统
CN110232716A (zh) * 2019-05-31 2019-09-13 深圳市道通智能航空技术有限公司 一种相机标定方法、装置和电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHAN, ZONGQIAN ET AL.: "Precision and Error Analysis of LCD-Based Camera Calibration Method", GEOMATICS AND INFORMA TION SCIENCE OF WUHAN UNIVER SITY, vol. 33, no. 11, 30 November 2008 (2008-11-30), pages 1 - 5, XP055761990 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113596441A (zh) * 2021-08-17 2021-11-02 深圳市上融科技有限公司 光轴调整装置、方法、系统及可读存储介质
WO2023087894A1 (zh) * 2021-11-18 2023-05-25 京东方科技集团股份有限公司 区域调整方法和装置、摄像头和存储介质
CN114494459A (zh) * 2022-01-24 2022-05-13 深圳市瑞立视多媒体科技有限公司 主动光相机的标定参数计算方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US20220084246A1 (en) 2022-03-17
US12307713B2 (en) 2025-05-20
CN110232716A (zh) 2019-09-13

Similar Documents

Publication Publication Date Title
WO2020239093A1 (zh) 一种相机标定方法、装置和电子设备
US10871258B2 (en) Method and system for controlling gimbal
CN108602561B (zh) 用于利用多摄像机网络捕捉静态场景和/或运动场景的系统和方法
CN106529495B (zh) 一种飞行器的障碍物检测方法和装置
CN112907675B (zh) 图像采集设备的标定方法、装置、系统、设备及存储介质
WO2020237574A1 (zh) 相机的内参及相对姿态的标定方法、装置、无人机和存储装置
WO2021208442A1 (zh) 一种三维场景的重建系统、方法、设备及存储介质
CN106289186B (zh) 旋翼无人机机载视觉探测与多目标定位系统及实现方法
US20170193271A1 (en) Positioning method and positioning device for unmanned aerial vehicle
CN109754427A (zh) 一种用于标定的方法和装置
CN113329182A (zh) 一种图像处理方法、无人机及系统
WO2017166002A1 (zh) 无人飞行器的悬停控制方法、控制系统和无人飞行器
WO2019061159A1 (zh) 定位故障光伏板的方法、设备及无人机
WO2018210078A1 (zh) 无人机的距离测量方法以及无人机
WO2019100219A1 (zh) 输出影像生成方法、设备及无人机
CN110910460A (zh) 一种获取位置信息的方法、装置及标定设备
WO2020014987A1 (zh) 移动机器人的控制方法、装置、设备及存储介质
WO2018120351A1 (zh) 一种对无人机进行定位的方法及装置
KR102195051B1 (ko) 드론의 영상 정보를 이용한 공간 정보 생성 시스템 및 방법과, 이를 위한 컴퓨터 프로그램
CN109920004A (zh) 图像处理方法、装置、标定物组合、终端设备及标定系统
CN106444846A (zh) 移动终端的定位和控制方法、装置及无人机
WO2021043214A1 (zh) 一种标定方法、装置及飞行器
CN108460361A (zh) 一种作物监测装置及方法
WO2020135795A1 (zh) 一种图像显示方法、装置和电子设备
CN110083177A (zh) 一种基于视觉着陆的四旋翼飞行器及控制方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20815568

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20815568

Country of ref document: EP

Kind code of ref document: A1