WO2020107320A1 - 相机标定方法、装置、设备及存储介质 - Google Patents

相机标定方法、装置、设备及存储介质 Download PDF

Info

Publication number
WO2020107320A1
WO2020107320A1 PCT/CN2018/118170 CN2018118170W WO2020107320A1 WO 2020107320 A1 WO2020107320 A1 WO 2020107320A1 CN 2018118170 W CN2018118170 W CN 2018118170W WO 2020107320 A1 WO2020107320 A1 WO 2020107320A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
light module
calibration
visible light
infrared light
Prior art date
Application number
PCT/CN2018/118170
Other languages
English (en)
French (fr)
Inventor
翁超
鄢蕾
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to PCT/CN2018/118170 priority Critical patent/WO2020107320A1/zh
Priority to CN201880069396.1A priority patent/CN111279393A/zh
Publication of WO2020107320A1 publication Critical patent/WO2020107320A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Definitions

  • Embodiments of the present invention relate to the field of cameras, and in particular, to a camera calibration method, device, equipment, and storage medium.
  • Embodiments of the present invention provide a camera calibration method, device, equipment, and storage medium to improve the efficiency of calibrating visible light modules and infrared light modules.
  • a first aspect of an embodiment of the present invention is to provide a camera calibration method, which is applied to a photographing device.
  • the photographing device includes a visible light module and an infrared light module.
  • the method includes:
  • the calibration device includes a calibration board and a heating element, and the heating element is disposed on the calibration board;
  • a second aspect of an embodiment of the present invention is to provide a calibration device, including: a calibration plate and a heating element, the heating element is disposed on the calibration plate, and the calibration plate and the heating element have a color difference.
  • a third aspect of the embodiments of the present invention is to provide a shooting device, including:
  • Visible light module infrared light module and processor
  • the visible light module is used to collect visible light images
  • the infrared light module is used to collect infrared light images
  • the processor is used for:
  • the calibration device includes a calibration board and a heating element, and the heating element is disposed on the calibration board;
  • a fourth aspect of the embodiments of the present invention is to provide a computer-readable storage medium on which a computer program is stored, and the computer program is executed by a processor to implement the method of the first aspect.
  • the camera calibration method, device, equipment and storage medium provided in this embodiment simultaneously shoot the calibration device by controlling the visible light module and the infrared light module of the photographing equipment.
  • the calibration device includes a calibration board and a heating element.
  • the position information in the first image taken by the module and the position information of the heating element in the second image taken by the infrared light module are used to calibrate the visible light module and the infrared light module, because the structure of the calibration device is relatively simple , Improve the efficiency of calibrating visible light module and infrared light module.
  • FIG. 1 is a flowchart of a camera calibration method provided by an embodiment of the present invention
  • FIG. 2 is a schematic diagram of a calibration device provided by an embodiment of the present invention.
  • FIG. 3 is a schematic diagram of another calibration device provided by an embodiment of the present invention.
  • FIG. 4 is a schematic diagram of yet another calibration device provided by an embodiment of the present invention.
  • FIG. 5 is a flowchart of a camera calibration method provided by another embodiment of the present invention.
  • FIG. 6 is a structural diagram of a calibration device provided by an embodiment of the present invention.
  • FIG. 7 is a structural diagram of a shooting device provided by an embodiment of the present invention.
  • a component when a component is said to be “fixed” to another component, it can be directly on another component or it can also exist in a centered component. When a component is considered to be “connected” to another component, it can be directly connected to another component or there can be centered components at the same time.
  • Embodiments of the present invention provide a camera calibration method.
  • the camera calibration method is applied to photographing equipment, which includes a visible light module and an infrared light module.
  • FIG. 1 is a flowchart of a camera calibration method provided by an embodiment of the present invention. As shown in FIG. 1, the method in this embodiment may include:
  • Step S101 Control the visible light module and the infrared light module to simultaneously shoot a calibration device.
  • the calibration device includes a calibration board and a heating element, and the heating element is disposed on the calibration board.
  • the shooting device may specifically be a camera, and the camera housing is provided with a visible light module and an infrared light module.
  • the visible light module is specifically a visible light lens
  • the infrared light module is specifically an infrared lens .
  • the camera also includes a processor, which can control the visible light module and the infrared light module to simultaneously shoot the calibration device. When the visible light module and the infrared light module simultaneously shoot the calibration device, the camera can be fixed so that the camera is facing the calibration device.
  • the calibration device includes: a calibration plate and a heat generating component, the heat generating component is disposed on the calibration plate.
  • 20 represents the calibration board
  • 21 represents the heat generating component on the calibration board 20. This is only a schematic illustration, and does not limit the specific form of the calibration plate and the specific form of the heating element.
  • the calibration plate 20 is white, and the heating element 21 is black.
  • the calibration plate 30 may be black, and the heat generating component may be white.
  • the calibration board is a black heat insulation board.
  • the heat generating component is a preset number of white ceramic sheet heat sources.
  • the calibration board 30 is a black heat insulation board.
  • the heat generating component is a plurality of white ceramic sheet heat sources, and 31 represents one white ceramic sheet heat source among the plurality of white ceramic sheet heat sources.
  • the number of white ceramic sheet heat sources is not limited. As shown in FIG. 3, nine black ceramic sheet heat sources 31 may be provided on the black heat insulating plate 30. Alternatively, as shown in FIG. 4, ten heat sources 31 of white ceramic sheets are provided on the black heat insulating plate 30. It can be understood that this is only a schematic description, and does not limit the specific number of white ceramic sheet heat sources. In addition, this embodiment does not limit the shape of the heat source of the white ceramic sheet. Specifically, the shape of the heat source of the white ceramic sheet may be a regular shape or an irregular form. As shown in FIG. 3 or FIG. 4, the heat source of the white ceramic sheet is circular. In other embodiments, the heat source may also be square or triangular.
  • the preset number of white ceramic sheet heat sources are evenly distributed in the calibration plate.
  • a plurality of white ceramic sheet heat sources 31 are evenly distributed in the calibration plate 30.
  • the plurality of white ceramic sheet heat sources 31 may also be unevenly distributed in the calibration plate 30.
  • this embodiment does not limit the size of the heat source of the white ceramic sheet and the calibration board.
  • the calibration board is a black thermal insulation board with a size of about 2.5m*2.5m, and the size of the heat source of the white ceramic sheet is about 50mm*50mm .
  • Step S102 Acquire a first image of the calibration device captured by the visible light module at any moment, and a second image of the calibration device captured by the infrared light module at the moment.
  • the processor in the camera can control the visible light module and the infrared light module to simultaneously shoot the calibration device shown in FIG. 3.
  • the visible light module captured The image is a visible light image
  • the image captured by the infrared light module is an infrared image.
  • the visible light image of the calibration device captured by the visible light module at a certain moment is denoted as the first image
  • the infrared image of the calibration device captured by the infrared light module at that moment is denoted as the second image.
  • the processor acquires the first image of the calibration device captured by the visible light module at a certain moment, and the second image of the calibration device captured by the infrared light module at that moment, that is, the processor acquires the visible light module Images taken at the same time as the infrared light module.
  • the calibration plate 30 is black, and the plurality of white ceramic sheet heat sources 31 are white.
  • the calibration plate 30 is white, and the plurality of white ceramic sheet heat sources 31 are black.
  • Step S103 calibrate the visible light module and the infrared light module according to the position information of the heat generating component in the first image and the position information of the heat generating component in the second image .
  • the processor After the processor obtains the images captured by the visible light module and the infrared light module at the same time, that is, the first image and the second image, further, the position information of the plurality of white ceramic sheet heat sources 31 in the first image is determined And the position information of the plurality of white ceramic sheet heat sources 31 in the second image.
  • the processor may detect the position information of the plurality of white ceramic sheet heat sources 31 in the first image and the position information of the plurality of white ceramic sheet heat sources 31 in the second image according to a preset ceramic sheet heat source detection algorithm .
  • the processor The optical module is calibrated.
  • the visible light module and the infrared light module Group calibration includes: determining the first image and the second image based on the position information of the heat generating component in the first image and the position information of the heat generating component in the second image The conversion relationship between; according to the conversion relationship between the first image and the second image, the visible light module and the infrared light module are calibrated.
  • the processor may determine between the first image and the second image based on the position information of the plurality of white ceramic sheet heat sources 31 in the first image and the position information of the plurality of white ceramic sheet heat sources 31 in the second image Transformation relationship.
  • the transformation relationship between the first image and the second image includes at least one of the following: a rotation transformation relationship, a zoom transformation relationship, and a translation transformation between the first image and the second image Relationship, cropping transformation relationship.
  • calibrate the visible light module and the infrared light module for example, calibrate the position and posture of the visible light module relative to the infrared light module, or, calibrate the infrared light The position and posture of the module relative to the visible light module.
  • the internal and external parameters of the visible light module are known, and the internal and external parameters of the infrared light module are determined according to the internal and external parameters of the visible light module and the position and posture of the calibrated infrared light module relative to the visible light module.
  • the internal and external parameters of the infrared light module are known, and the internal and external parameters of the visible light module are determined according to the internal and external parameters of the infrared light module and the position and posture of the visible light module relative to the infrared light module.
  • the visible light module and the infrared light module of the photographing device are controlled to simultaneously shoot the calibration device.
  • the calibration device includes a calibration board and a heat generating component.
  • the position information of the heating element in the second image taken by the infrared light module calibrates the visible light module and the infrared light module. Since the calibration device has a relatively simple structure, the visible light module and the infrared light module are improved. Calibration efficiency.
  • FIG. 5 is a flowchart of a camera calibration method provided by another embodiment of the present invention. As shown in FIG. 5, on the basis of the embodiment shown in FIG. 1, the method in this embodiment may further include:
  • Step S501 Perform at least one of rotation processing, scaling processing, translation processing, and cropping processing on the first image and/or the second image according to the transformation relationship between the first image and the second image A process to make the angle of view of the first image and the angle of view of the second image the same, and/or the resolution of the first image and the resolution of the second image are the same.
  • the visible light module and the infrared light module have different field angles and different positions, the resolutions and field angles of the images collected by the visible light module and the infrared light module are different, that is, the above The resolution and angle of view of the first image and the second image described in the embodiments are different.
  • the processor may further process the first image and/or the second image according to the transformation relationship.
  • a feasible way is to perform corresponding rotation processing and scaling on the first image according to at least one of rotation transformation relationship, zoom transformation relationship, translation transformation relationship, and crop transformation relationship between the first image and the second image
  • At least one of processing, translation processing, and cropping processing makes the resolution and/or angle of view of the first image and the second image the same.
  • the pixel image in the first image may be rotated, scaled, or translated. At least one of cropping processing.
  • Another feasible way is to perform corresponding rotation processing on the second image according to at least one of a rotation transformation relationship, a zoom transformation relationship, a translation transformation relationship, and a crop transformation relationship between the first image and the second image, At least one of zooming processing, translation processing, and cropping processing makes the resolution and/or angle of view of the first image and the second image the same.
  • rotation processing, scaling processing, translation processing, and cropping processing may be performed on each pixel in the second image. At least one of cropping processing.
  • Another feasible way is to perform the first image and the second image simultaneously according to at least one of the rotation transformation relationship, the zoom transformation relationship, the translation transformation relationship, and the crop transformation relationship between the first image and the second image
  • At least one of rotation processing, scaling processing, translation processing, and cropping processing makes the resolution and/or angle of view of the first image and the second image the same.
  • it may specifically be rotating each pixel point in the first image and the second image
  • Step S502 fusing the processed first image and the second image.
  • the first image and the second image with the same resolution and/or field angle can be obtained. Further, the first image and the second image with the same resolution and/or field angle can be fused .
  • the process of the first image and the second image through the transformation relationship between the first image and the second image, at least one of rotation processing, scaling processing, translation processing, and cropping processing is performed on the first image and/or the second image, so that the first image
  • the angle of view of the image is the same as the angle of view of the second image
  • the resolution of the first image is the same as the resolution of the second image.
  • the processed first and second images are fused, Can improve the accuracy of image fusion.
  • FIG. 6 is a structural diagram of a calibration device provided by an embodiment of the present invention.
  • the calibration device 60 includes a calibration plate 61 and a heating element 62.
  • the heat generating component is disposed on the calibration plate, and there is a color difference between the calibration plate and the heat generating component.
  • the calibration board is a black heat insulation board.
  • the heat generating component is a preset number of white ceramic sheet heat sources.
  • the preset number of white ceramic sheet heat sources are evenly distributed in the calibration plate.
  • the visible light module and the infrared light module of the photographing device are controlled to simultaneously shoot the calibration device.
  • the calibration device includes a calibration board and a heat generating component.
  • the position information of the heating element in the second image taken by the infrared light module calibrates the visible light module and the infrared light module. Since the calibration device has a relatively simple structure, the visible light module and the infrared light module are improved. Calibration efficiency.
  • FIG. 7 is a structural diagram of a shooting device provided by an embodiment of the present invention.
  • the shooting device 70 includes: a visible light module 71, an infrared light module 72, and a processor 73; wherein, the visible light module 71 is used for collection Visible light image; infrared light module 72 is used to collect infrared light image; processor 73 is used to: control the visible light module and the infrared light module to simultaneously shoot a calibration device, the calibration device includes a calibration board and a heating component, The heat generating component is provided on the calibration board; acquiring the first image of the calibration device photographed by the visible light module at any moment, and the calibration device photographed by the infrared light module at the moment A second image; based on the position information of the heat generating component in the first image and the position information of the heat generating component in the second image, the visible light module and the infrared light module Calibration.
  • the processor 73 checks the visible light module and the infrared light
  • the calibration by the module is specifically used to determine the first image and the location based on the position information of the heat generating component in the first image and the position information of the heat generating component in the second image
  • the transformation relationship between the second images according to the transformation relationship between the first image and the second image, calibrate the visible light module and the infrared light module.
  • the transformation relationship between the first image and the second image includes at least one of the following: a rotation transformation relationship, a zoom transformation relationship, and a translation transformation between the first image and the second image Relationship, cropping transformation relationship.
  • the processor 73 is further configured to: perform rotation processing, scaling processing on the first image and/or the second image according to the transformation relationship between the first image and the second image, At least one of translation processing and cropping processing so that the angle of view of the first image and the angle of view of the second image are the same, and/or, the resolution of the first image and the The resolution of the second image is the same.
  • the processor 73 performs rotation processing, scaling processing, translation processing, and cropping on the first image and/or the second image according to the transformation relationship between the first image and the second image After at least one of the processes, it is also used to fuse the processed first image and the second image.
  • the visible light module and the infrared light module of the photographing device are controlled to simultaneously shoot the calibration device.
  • the calibration device includes a calibration board and a heat generating component.
  • the position information of the heating element in the second image taken by the infrared light module calibrates the visible light module and the infrared light module. Since the calibration device has a relatively simple structure, the visible light module and the infrared light module are improved. Calibration efficiency.
  • this embodiment also provides a computer-readable storage medium on which a computer program is stored, which is executed by a processor to implement the camera calibration method described in the above embodiments.
  • the disclosed device and method may be implemented in other ways.
  • the device embodiments described above are only schematic.
  • the division of the units is only a division of logical functions.
  • there may be other divisions for example, multiple units or components may be combined Can be integrated into another system, or some features can be ignored, or not implemented.
  • the displayed or discussed mutual coupling or direct coupling or communication connection may be indirect coupling or communication connection through some interfaces, devices or units, and may be in electrical, mechanical or other forms.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, they may be located in one place, or may be distributed on multiple network units. Some or all of the units may be selected according to actual needs to achieve the purpose of the solution of this embodiment.
  • each functional unit in each embodiment of the present invention may be integrated into one processing unit, or each unit may exist alone physically, or two or more units may be integrated into one unit.
  • the above integrated unit can be implemented in the form of hardware, or in the form of hardware plus software functional units.
  • the above integrated unit implemented in the form of a software functional unit may be stored in a computer-readable storage medium.
  • the above software functional units are stored in a storage medium, and include several instructions to enable a computer device (which may be a personal computer, server, or network device, etc.) or processor to execute the method described in each embodiment of the present invention Partial steps.
  • the aforementioned storage media include: U disk, mobile hard disk, read-only memory (Read-Only Memory, ROM), random access memory (Random Access Memory, RAM), magnetic disk or optical disk and other media that can store program code .

Abstract

本发明实施例提供一种相机标定方法、装置、设备及存储介质，该方法包括：控制可见光模组和红外光模组同时拍摄标定装置，标定装置包括标定板和发热组件，发热组件设置在标定板上；获取可见光模组在任一时刻拍摄的标定装置的第一图像，以及红外光模组在时刻拍摄的标定装置的第二图像；根据发热组件在第一图像中的位置信息、以及发热组件在第二图像中的位置信息，对可见光模组和红外光模组进行标定。本发明实施例通过控制可见光模组和红外光模组同时拍摄标定装置，根据可见光模组拍摄的第一图像和红外光模组拍摄的第二图像，对该可见光模组和红外光模组进行标定，由于标定装置的结构较为简单，提高了对可见光模组和红外光模组进行标定的效率。

Description

相机标定方法、装置、设备及存储介质 技术领域
本发明实施例涉及相机领域，尤其涉及一种相机标定方法、装置、设备及存储介质。
背景技术
现有技术中有时候需要将可见光相机拍摄的可见光图像和红外相机拍摄的红外图像进行融合，但是，由于可见光相机和红外相机的视场角不同、分辨率不同，导致不能直接将可见光图像和红外图像进行融合，而是需要对可见光相机和红外相机进行标定。
现有技术中，存在对可见光相机和红外相机同时标定的标定装置和标定方法，但是标定装置的结构较为复杂，导致标定过程较为繁琐。
发明内容
本发明实施例提供一种相机标定方法、装置、设备及存储介质，以提高对可见光模组和红外光模组进行标定的效率。
本发明实施例的第一方面是提供一种种相机标定方法，应用于拍摄设备，所述拍摄设备包括可见光模组和红外光模组，所述方法包括：
控制所述可见光模组和所述红外光模组同时拍摄标定装置，所述标定装置包括标定板和发热组件，所述发热组件设置在所述标定板上；
获取所述可见光模组在任一时刻拍摄的所述标定装置的第一图像，以及所述红外光模组在所述时刻拍摄的所述标定装置的第二图像；
根据所述发热组件在所述第一图像中的位置信息、以及所述发热组件在所述第二图像中的位置信息，对所述可见光模组和所述红外光模组进行标定。
本发明实施例的第二方面是提供一种标定装置，包括：标定板和发热组件，所述发热组件设置在所述标定板上，所述标定板与所述发热组件之间具有色差。
本发明实施例的第三方面是提供一种拍摄设备，包括：
可见光模组、红外光模组和处理器；
所述可见光模组用于采集可见光图像；
所述红外光模组用于采集红外光图像；
所述处理器用于：
控制所述可见光模组和所述红外光模组同时拍摄标定装置，所述标定装置包括标定板和发热组件，所述发热组件设置在所述标定板上；
获取所述可见光模组在任一时刻拍摄的所述标定装置的第一图像，以及所述红外光模组在所述时刻拍摄的所述标定装置的第二图像；
根据所述发热组件在所述第一图像中的位置信息、以及所述发热组件在所述第二图像中的位置信息，对所述可见光模组和所述红外光模组进行标定。
本发明实施例的第四方面是提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面所述的方法。
本实施例提供的相机标定方法、装置、设备及存储介质，通过控制拍摄设备的可见光模组和红外光模组同时拍摄标定装置，该标定装置包括标定板和发热组件，根据该发热组件在可见光模组拍摄的第一图像中的位置信息以及该发热组件在红外光模组拍摄的第二图像中的位置信息，对该可见光模组和红外光模组进行标定，由于标定装置的结构较为简单，提高了对可见光模组和红外光模组进行标定的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的相机标定方法的流程图；
图2为本发明实施例提供的一种标定装置的示意图；
图3为本发明实施例提供的另一种标定装置的示意图；
图4为本发明实施例提供的再一种标定装置的示意图；
图5为本发明另一实施例提供的相机标定方法的流程图；
图6为本发明实施例提供的标定装置的结构图；
图7为本发明实施例提供的拍摄设备的结构图。
附图标记：
20：标定板；              21：发热组件；     30：标定板；
31：白色陶瓷片热源；      60：标定装置；     61：标定板；
62：发热组件；            70：拍摄设备；     71：可见光模组；
72：红外光模组；          73：处理器。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
本发明实施例提供一种相机标定方法。该相机标定方法应用于拍摄设备，所述拍摄设备包括可见光模组和红外光模组。图1为本发明实施例提供的相机标定方法的流程图。如图1所示，本实施例中的方法，可以包括：
步骤S101、控制所述可见光模组和所述红外光模组同时拍摄标定装置，所述标定装置包括标定板和发热组件，所述发热组件设置在所述标定板上。
在本实施例中，拍摄设备具体可以是相机，相机壳体里设置有可见光 模组和红外光模组，可选的，该可见光模组具体为可见光镜头，该红外光模组具体为红外镜头。该相机内还包括有处理器，该处理器可控制可见光模组和红外光模组同时对标定装置进行拍摄。当可见光模组和红外光模组同时对标定装置进行拍摄时，可固定相机，使相机正对该标定装置。
可选的，该标定装置包括：标定板和发热组件，该发热组件设置在标定板上。如图2所示，20表示标定板，21表示标定板20上的发热组件。此处只是示意性说明，并不限定标定板的具体形态和发热组件的具体形态。
可选的，所述标定板与所述发热组件之间具有色差。如图2所示，标定板20是白色的，发热组件21是黑色的。
在其他实施例中，如图3或图4所示，标定板30可以是黑色的，发热组件可以是白色的。可选的，所述标定板为黑色隔热板。可选的，所述发热组件为预设数量的白色陶瓷片热源。
如图3所示，标定板30为黑色隔热板。发热组件为多个白色陶瓷片热源，31表示多个白色陶瓷片热源中的一个白色陶瓷片热源。在本实施例中，不限定白色陶瓷片热源的个数，如图3所示，该黑色隔热板30上可设置有9个白色陶瓷片热源31。或者，如图4所示，该黑色隔热板30上设置有10个白色陶瓷片热源31。可以理解，此处只是示意性说明，并不限定白色陶瓷片热源的具体个数。另外，本实施例也不限定白色陶瓷片热源的形状，具体的，白色陶瓷片热源的形状可以是规则形状，也可以是不规则形态。如图3或图4所示，该白色陶瓷片热源为圆形，在其他实施例中，还可以是方形、三角形等。
可选的，所述预设数量的白色陶瓷片热源均匀分布在所述标定板中。如图3或图4所示，多个白色陶瓷片热源31均匀分布在标定板30中。在其他实施例中，多个白色陶瓷片热源31也可以非均匀分布在标定板30中。
另外，本实施例并不限定白色陶瓷片热源和标定板的尺寸，可选的，标定板是尺寸约为2.5m*2.5m的黑色隔热板，白色陶瓷片热源的大小约为50mm*50mm。
步骤S102、获取所述可见光模组在任一时刻拍摄的所述标定装置的第一图像，以及所述红外光模组在所述时刻拍摄的所述标定装置的第二图像。
以如图3所示的标定装置为例，该相机内的处理器可控制可见光模组 和红外光模组同时对如图3所示的标定装置进行拍摄，可以理解，可见光模组拍摄到的图像是可见光图像，红外光模组拍摄到的图像是红外图像。此处，将可见光模组在某一时刻拍摄的标定装置的可见光图像记为第一图像，将红外光模组在该时刻拍摄的标定装置的红外图像记为第二图像。进一步，该处理器获取可见光模组在某一时刻拍摄的标定装置的第一图像，以及红外光模组在该时刻拍摄的标定装置的第二图像，也就是说，该处理器获取可见光模组和红外光模组在同一时刻分别拍摄的图像。可以理解，在可见光模组拍摄的第一图像即可见光图像中，标定板30是黑色的，多个白色陶瓷片热源31是白色的。在红外光模组拍摄的第二图像即红外图像中，标定板30是白色的，多个白色陶瓷片热源31是黑色的。
步骤S103、根据所述发热组件在所述第一图像中的位置信息、以及所述发热组件在所述第二图像中的位置信息，对所述可见光模组和所述红外光模组进行标定。
当该处理器获取到可见光模组和红外光模组在同一时刻分别拍摄的图像即第一图像和第二图像后，进一步，确定该多个白色陶瓷片热源31在第一图像中的位置信息和该多个白色陶瓷片热源31在第二图像中的位置信息。具体的，该处理器可根据预设的陶瓷片热源检测算法检测该多个白色陶瓷片热源31在第一图像中的位置信息和该多个白色陶瓷片热源31在第二图像中的位置信息。
由于可见光模组和红外光模组的视场角不同，可见光模组和红外光模组分别采集到的图像的分辨率也不同，所以该多个白色陶瓷片热源31在第一图像中位置信息和该多个白色陶瓷片热源31在第二图像中位置信息可能不同。在本实施例中，处理器可根据该多个白色陶瓷片热源31在第一图像中的位置信息和该多个白色陶瓷片热源31在第二图像中的位置信息，对可见光模组和红外光模组进行标定。
可选的，所述根据所述发热组件在所述第一图像中的位置信息、以及所述发热组件在所述第二图像中的位置信息，对所述可见光模组和所述红外光模组进行标定，包括：根据所述发热组件在所述第一图像中的位置信息、以及所述发热组件在所述第二图像中的位置信息，确定所述第一图像和所述第二图像之间的变换关系；根据所述第一图像和所述第二图像之间 的变换关系，对所述可见光模组和所述红外光模组进行标定。
例如，处理器可根据该多个白色陶瓷片热源31在第一图像中的位置信息和该多个白色陶瓷片热源31在第二图像中的位置信息，确定第一图像和第二图像之间的变换关系。可选的，所述第一图像和所述第二图像之间的变换关系包括如下至少一种：所述第一图像和所述第二图像之间的旋转变换关系、缩放变换关系、平移变换关系、裁剪变换关系。进一步，根据第一图像和第二图像之间的变换关系，对可见光模组和红外光模组进行标定，例如，标定可见光模组相对于红外光模组的位置和姿态，或者，标定红外光模组相对于可见光模组的位置和姿态。或者，已知可见光模组的内参和外参，根据可见光模组的内参和外参、以及标定红外光模组相对于可见光模组的位置和姿态，确定红外光模组的内参和外参。或者，已知红外光模组的内参和外参，根据红外光模组的内参和外参、以及可见光模组相对于红外光模组的位置和姿态，确定可见光模组的内参和外参。
本实施例通过控制拍摄设备的可见光模组和红外光模组同时拍摄标定装置，该标定装置包括标定板和发热组件，根据该发热组件在可见光模组拍摄的第一图像中的位置信息以及该发热组件在红外光模组拍摄的第二图像中的位置信息，对该可见光模组和红外光模组进行标定，由于标定装置的结构较为简单，提高了对可见光模组和红外光模组进行标定的效率。
本发明实施例提供一种相机标定方法。图5为本发明另一实施例提供的相机标定方法的流程图。如图5所示，在图1所示实施例的基础上，本实施例中的方法，还可以包括：
步骤S501、根据所述第一图像和所述第二图像之间的变换关系，对所述第一图像和/或所述第二图像进行旋转处理、缩放处理、平移处理、裁剪处理中的至少一种处理，以使所述第一图像的视场角和所述第二图像的视场角相同，和/或，所述第一图像的分辨率和所述第二图像的分辨率相同。
可以理解，由于可见光模组和红外光模组的视场角不同、位置不同，所以，可见光模组和红外光模组分别采集到的图像的分辨率和视场角不同，也就是说，上述实施例所述的第一图像和第二图像的分辨率和视场角不同。
在本实施例中，当处理器确定出第一图像和第二图像之间的变换关系后，还可以进一步根据该变换关系对第一图像和/或第二图像进行处理。
一种可行的方式是：根据第一图像和第二图像之间的旋转变换关系、缩放变换关系、平移变换关系、裁剪变换关系中的至少一种，对第一图像进行相应的旋转处理、缩放处理、平移处理、裁剪处理中的至少一种处理，使得第一图像和第二图像的分辨率和/或视场角相同。其中，对第一图像进行相应的旋转处理、缩放处理、平移处理、裁剪处理中的至少一种处理时，具体可以是对第一图像中的各个像素点进行旋转处理、缩放处理、平移处理、裁剪处理中的至少一种处理。
另一种可行的方式是：根据第一图像和第二图像之间的旋转变换关系、缩放变换关系、平移变换关系、裁剪变换关系中的至少一种，对第二图像进行相应的旋转处理、缩放处理、平移处理、裁剪处理中的至少一种处理，使得第一图像和第二图像的分辨率和/或视场角相同。其中，对第二图像进行相应的旋转处理、缩放处理、平移处理、裁剪处理中的至少一种处理时，具体可以是对第二图像中的各个像素点进行旋转处理、缩放处理、平移处理、裁剪处理中的至少一种处理。
再一种可行的方式是：根据第一图像和第二图像之间的旋转变换关系、缩放变换关系、平移变换关系、裁剪变换关系中的至少一种，对第一图像和第二图像同时进行旋转处理、缩放处理、平移处理、裁剪处理中的至少一种处理，使得第一图像和第二图像的分辨率和/或视场角相同。其中，对第一图像和第二图像进行相应的旋转处理、缩放处理、平移处理、裁剪处理中的至少一种处理时，具体可以是对第一图像和第二图像中的各个像素点进行旋转处理、缩放处理、平移处理、裁剪处理中的至少一种处理。
步骤S502、对处理后的所述第一图像和所述第二图像进行融合。
经过上述步骤的处理后，可得到相同分辨率和/或视场角的第一图像和第二图像，进一步，可以对相同分辨率和/或视场角的第一图像和第二图像进行融合。
本实施例通过第一图像和第二图像之间的变换关系，对第一图像和/或第二图像进行旋转处理、缩放处理、平移处理、裁剪处理中的至少一种处理，以使第一图像的视场角和第二图像的视场角相同，和/或，第一图 像的分辨率和第二图像的分辨率相同，进一步，对处理后的第一图像和第二图像进行融合，可提高图像融合的精确度。
本发明实施例提供一种标定装置。图6为本发明实施例提供的标定装置的结构图，如图6所示，标定装置60包括：标定板61和发热组件62。所述发热组件设置在所述标定板上，所述标定板与所述发热组件之间具有色差。
可选的，所述标定板为黑色隔热板。
可选的，所述发热组件为预设数量的白色陶瓷片热源。
可选的，所述预设数量的白色陶瓷片热源均匀分布在所述标定板中。
本发明实施例提供的标定装置的具体原理和实现方式均与上述实施例类似，此处不再赘述。
本实施例通过控制拍摄设备的可见光模组和红外光模组同时拍摄标定装置，该标定装置包括标定板和发热组件，根据该发热组件在可见光模组拍摄的第一图像中的位置信息以及该发热组件在红外光模组拍摄的第二图像中的位置信息，对该可见光模组和红外光模组进行标定，由于标定装置的结构较为简单，提高了对可见光模组和红外光模组进行标定的效率。
本发明实施例提供一种拍摄设备。图7为本发明实施例提供的拍摄设备的结构图，如图7所示，拍摄设备70包括：可见光模组71、红外光模组72和处理器73；其中，可见光模组71用于采集可见光图像；红外光模组72用于采集红外光图像；处理器73用于：控制所述可见光模组和所述红外光模组同时拍摄标定装置，所述标定装置包括标定板和发热组件，所述发热组件设置在所述标定板上；获取所述可见光模组在任一时刻拍摄的所述标定装置的第一图像，以及所述红外光模组在所述时刻拍摄的所述标定装置的第二图像；根据所述发热组件在所述第一图像中的位置信息、以及所述发热组件在所述第二图像中的位置信息，对所述可见光模组和所述红外光模组进行标定。
可选的，处理器73根据所述发热组件在所述第一图像中的位置信息、以及所述发热组件在所述第二图像中的位置信息，对所述可见光模组和所 述红外光模组进行标定时，具体用于：根据所述发热组件在所述第一图像中的位置信息、以及所述发热组件在所述第二图像中的位置信息，确定所述第一图像和所述第二图像之间的变换关系；根据所述第一图像和所述第二图像之间的变换关系，对所述可见光模组和所述红外光模组进行标定。
可选的，所述第一图像和所述第二图像之间的变换关系包括如下至少一种：所述第一图像和所述第二图像之间的旋转变换关系、缩放变换关系、平移变换关系、裁剪变换关系。
可选的，处理器73还用于：根据所述第一图像和所述第二图像之间的变换关系，对所述第一图像和/或所述第二图像进行旋转处理、缩放处理、平移处理、裁剪处理中的至少一种处理，以使所述第一图像的视场角和所述第二图像的视场角相同，和/或，所述第一图像的分辨率和所述第二图像的分辨率相同。
可选的，处理器73根据所述第一图像和所述第二图像之间的变换关系，对所述第一图像和/或所述第二图像进行旋转处理、缩放处理、平移处理、裁剪处理中的至少一种处理之后，还用于：将处理后的所述第一图像和所述第二图像进行融合。
本发明实施例提供的拍摄设备的具体原理和实现方式均与上述实施例类似，此处不再赘述。
本实施例通过控制拍摄设备的可见光模组和红外光模组同时拍摄标定装置，该标定装置包括标定板和发热组件，根据该发热组件在可见光模组拍摄的第一图像中的位置信息以及该发热组件在红外光模组拍摄的第二图像中的位置信息，对该可见光模组和红外光模组进行标定，由于标定装置的结构较为简单，提高了对可见光模组和红外光模组进行标定的效率。
另外，本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的相机标定方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以 有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (19)

  1. 一种相机标定方法，应用于拍摄设备，所述拍摄设备包括可见光模组和红外光模组，其特征在于，所述方法包括：
    控制所述可见光模组和所述红外光模组同时拍摄标定装置，所述标定装置包括标定板和发热组件，所述发热组件设置在所述标定板上；
    获取所述可见光模组在任一时刻拍摄的所述标定装置的第一图像，以及所述红外光模组在所述时刻拍摄的所述标定装置的第二图像；
    根据所述发热组件在所述第一图像中的位置信息、以及所述发热组件在所述第二图像中的位置信息，对所述可见光模组和所述红外光模组进行标定。
  2. 根据权利要求1所述的方法，其特征在于，所述根据所述发热组件在所述第一图像中的位置信息、以及所述发热组件在所述第二图像中的位置信息，对所述可见光模组和所述红外光模组进行标定，包括：
    根据所述发热组件在所述第一图像中的位置信息、以及所述发热组件在所述第二图像中的位置信息，确定所述第一图像和所述第二图像之间的变换关系；
    根据所述第一图像和所述第二图像之间的变换关系，对所述可见光模组和所述红外光模组进行标定。
  3. 根据权利要求2所述的方法，其特征在于，所述第一图像和所述第二图像之间的变换关系包括如下至少一种：
    所述第一图像和所述第二图像之间的旋转变换关系、缩放变换关系、平移变换关系、裁剪变换关系。
  4. 根据权利要求2或3所述的方法，其特征在于，所述方法还包括：
    根据所述第一图像和所述第二图像之间的变换关系，对所述第一图像和/或所述第二图像进行旋转处理、缩放处理、平移处理、裁剪处理中的至少一种处理，以使所述第一图像的视场角和所述第二图像的视场角相同，和/或，所述第一图像的分辨率和所述第二图像的分辨率相同。
  5. 根据权利要求4所述的方法，其特征在于，所述根据所述第一图像和所述第二图像之间的变换关系，对所述第一图像和/或所述第二图像进行旋转处理、缩放处理、平移处理、裁剪处理中的至少一种处理之后， 所述方法还包括：
    对处理后的所述第一图像和所述第二图像进行融合。
  6. 根据权利要求1-5任一项所述的方法，其特征在于，所述标定板与所述发热组件之间具有色差。
  7. 根据权利要求6所述的方法，其特征在于，所述标定板为黑色隔热板。
  8. 根据权利要求6所述的方法，其特征在于，所述发热组件为预设数量的白色陶瓷片热源。
  9. 根据权利要求8所述的方法，其特征在于，所述预设数量的白色陶瓷片热源均匀分布在所述标定板中。
  10. 一种标定装置，其特征在于，包括：标定板和发热组件，所述发热组件设置在所述标定板上，所述标定板与所述发热组件之间具有色差。
  11. 根据权利要求10所述的标定装置，其特征在于，所述标定板为黑色隔热板。
  12. 根据权利要求10或11所述的标定装置，其特征在于，所述发热组件为预设数量的白色陶瓷片热源。
  13. 根据权利要求12所述的标定装置，其特征在于，所述预设数量的白色陶瓷片热源均匀分布在所述标定板中。
  14. 一种拍摄设备，其特征在于，包括：可见光模组、红外光模组和处理器；
    所述可见光模组用于采集可见光图像；
    所述红外光模组用于采集红外光图像；
    所述处理器用于：
    控制所述可见光模组和所述红外光模组同时拍摄标定装置，所述标定装置包括标定板和发热组件，所述发热组件设置在所述标定板上；
    获取所述可见光模组在任一时刻拍摄的所述标定装置的第一图像，以及所述红外光模组在所述时刻拍摄的所述标定装置的第二图像；
    根据所述发热组件在所述第一图像中的位置信息、以及所述发热组件在所述第二图像中的位置信息，对所述可见光模组和所述红外光模组进行标定。
  15. 根据权利要求14所述的拍摄设备，其特征在于，所述处理器根据所述发热组件在所述第一图像中的位置信息、以及所述发热组件在所述第二图像中的位置信息，对所述可见光模组和所述红外光模组进行标定时，具体用于：
    根据所述发热组件在所述第一图像中的位置信息、以及所述发热组件在所述第二图像中的位置信息，确定所述第一图像和所述第二图像之间的变换关系；
    根据所述第一图像和所述第二图像之间的变换关系，对所述可见光模组和所述红外光模组进行标定。
  16. 根据权利要求15所述的拍摄设备，其特征在于，所述第一图像和所述第二图像之间的变换关系包括如下至少一种：
    所述第一图像和所述第二图像之间的旋转变换关系、缩放变换关系、平移变换关系、裁剪变换关系。
  17. 根据权利要求15或16所述的拍摄设备，其特征在于，所述处理器还用于：
    根据所述第一图像和所述第二图像之间的变换关系，对所述第一图像和/或所述第二图像进行旋转处理、缩放处理、平移处理、裁剪处理中的至少一种处理，以使所述第一图像的视场角和所述第二图像的视场角相同，和/或，所述第一图像的分辨率和所述第二图像的分辨率相同。
  18. 根据权利要求17所述的拍摄设备，其特征在于，所述处理器根据所述第一图像和所述第二图像之间的变换关系，对所述第一图像和/或所述第二图像进行旋转处理、缩放处理、平移处理、裁剪处理中的至少一种处理之后，还用于：
    将处理后的所述第一图像和所述第二图像进行融合。
  19. 一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-9任一项所述的方法。
PCT/CN2018/118170 2018-11-29 2018-11-29 相机标定方法、装置、设备及存储介质 WO2020107320A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2018/118170 WO2020107320A1 (zh) 2018-11-29 2018-11-29 相机标定方法、装置、设备及存储介质
CN201880069396.1A CN111279393A (zh) 2018-11-29 2018-11-29 相机标定方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/118170 WO2020107320A1 (zh) 2018-11-29 2018-11-29 相机标定方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
WO2020107320A1 true WO2020107320A1 (zh) 2020-06-04

Family

ID=70852624

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/118170 WO2020107320A1 (zh) 2018-11-29 2018-11-29 相机标定方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN111279393A (zh)
WO (1) WO2020107320A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986257A (zh) * 2020-07-16 2020-11-24 南京模拟技术研究所 一种支持可变距离的弹点识别自动校准方法及系统
CN111915683A (zh) * 2020-07-27 2020-11-10 湖南大学 图像位置标定方法、智能设备及存储介质
CN113068019B (zh) * 2021-03-17 2023-02-03 杭州海康消防科技有限公司 双光相机校准设备、方法、电子设备及存储介质
CN113327290B (zh) * 2021-06-07 2022-11-11 深圳市商汤科技有限公司 双目模组标定方法、装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090201376A1 (en) * 2006-08-17 2009-08-13 Bayerische Motoren Werke Aktiengesellschaft Apparatus for Calibrating an Optical Camera and/or an Infrared Camera
CN104375375A (zh) * 2014-11-17 2015-02-25 国家电网公司 采用棋盘格标定可见光及红外热像仪相机的方法及装置
CN104374547A (zh) * 2014-11-17 2015-02-25 国家电网公司 可见光相机与红外热像仪相机参数联合标定的方法及装置
CN108447096A (zh) * 2018-02-09 2018-08-24 西南科技大学 kinect深度相机与热红外相机的信息融合方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090201376A1 (en) * 2006-08-17 2009-08-13 Bayerische Motoren Werke Aktiengesellschaft Apparatus for Calibrating an Optical Camera and/or an Infrared Camera
CN104375375A (zh) * 2014-11-17 2015-02-25 国家电网公司 采用棋盘格标定可见光及红外热像仪相机的方法及装置
CN104374547A (zh) * 2014-11-17 2015-02-25 国家电网公司 可见光相机与红外热像仪相机参数联合标定的方法及装置
CN108447096A (zh) * 2018-02-09 2018-08-24 西南科技大学 kinect深度相机与热红外相机的信息融合方法

Also Published As

Publication number Publication date
CN111279393A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
WO2020107320A1 (zh) 相机标定方法、装置、设备及存储介质
JP6468307B2 (ja) 撮像装置、画像処理装置および方法
KR101657039B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 촬상 시스템
CN104065859B (zh) 一种全景深图像的获取方法及摄像装置
JP4858263B2 (ja) ３次元計測装置
CN105530431A (zh) 一种反射式全景成像系统及方法
JP6942940B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2017208619A (ja) 画像処理装置、画像処理方法、プログラム及び撮像システム
KR20160047846A (ko) 영상 정합 방법
TWI530180B (zh) 連動式攝影系統及其多攝影機的控制方法
KR20160051473A (ko) 영상 정합 알고리즘을 설정하는 방법
CN111445537B (zh) 一种摄像机的标定方法及系统
JP5846172B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像システム
TW202013956A (zh) 影像裝置的校正方法及其相關影像裝置和運算裝置
JP2010258669A (ja) 全方位撮像装置
CN105472263B (zh) 影像撷取方法及使用此方法的影像撷取设备
CN111343360B (zh) 一种校正参数获得方法
JP6222205B2 (ja) 画像処理装置
CN110796690B (zh) 图像匹配方法和图像匹配装置
CN114466143B (zh) 一种拍摄角度校准方法、装置、终端设备以及存储介质
CN103546680A (zh) 一种无变形的全方位鱼眼摄像装置及实现方法
WO2022100668A1 (zh) 温度测量方法、装置、系统、存储介质及程序产品
WO2021208630A1 (zh) 标定方法、标定装置及应用其的电子设备
CN111242998B (zh) 图像融合方法和装置
JP6439845B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18941634

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18941634

Country of ref document: EP

Kind code of ref document: A1