WO2021212273A1 - 图像处理方法、装置、标定板和计算机可读存储介质 - Google Patents

图像处理方法、装置、标定板和计算机可读存储介质 Download PDF

Info

Publication number
WO2021212273A1
WO2021212273A1 PCT/CN2020/085626 CN2020085626W WO2021212273A1 WO 2021212273 A1 WO2021212273 A1 WO 2021212273A1 CN 2020085626 W CN2020085626 W CN 2020085626W WO 2021212273 A1 WO2021212273 A1 WO 2021212273A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
heat source
infrared image
distortion correction
acquisition device
Prior art date
Application number
PCT/CN2020/085626
Other languages
English (en)
French (fr)
Inventor
鄢蕾
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to PCT/CN2020/085626 priority Critical patent/WO2021212273A1/zh
Priority to CN202080006521.1A priority patent/CN113168677A/zh
Publication of WO2021212273A1 publication Critical patent/WO2021212273A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Definitions

  • This application generally relates to the field of image processing technology, and more specifically relates to an image processing method, device, calibration plate, and computer-readable storage medium.
  • infrared images Compared with visible light images, infrared images have a smaller field of view (FOV). Therefore, the visible field of view in an infrared image is limited. In order to maximize the use of infrared images The distortion is not corrected. However, in some applications, the absence of distortion correction will affect other post-processing or advanced applications, such as image stitching, image fusion, etc., which puts forward a demand for distortion correction of infrared images.
  • the distortion correction coefficient is not obtained for the infrared image acquisition device with a small field of view, and the distortion correction coefficient is obtained by calibration for the infrared image acquisition device with a large field of view, but the accuracy of the obtained distortion correction coefficient is poor, and further Lead to unsatisfactory correction effect and affect use.
  • the embodiment of the present application provides an image processing solution, which can obtain an accurate distortion correction coefficient for an infrared image acquisition device, and greatly improve the distortion correction effect of an infrared image.
  • the image processing scheme proposed by this application is briefly described below, and more details will be described in the specific implementation in conjunction with the accompanying drawings.
  • an image processing method includes: acquiring an image of a calibration board taken by an infrared image acquisition device, the calibration board includes a plurality of heat sources arranged at equal intervals; determining the calibration The target pixel point corresponding to each heat source on the image of the board; the target pixel points corresponding to every four adjacent heat sources on the image of the calibration board are connected to form a quadrilateral, and a checkerboard image is generated based on the obtained quadrilateral; based on distortion
  • the correction model analyzes the checkerboard image to generate a distortion correction coefficient of the infrared image acquisition device.
  • a calibration plate is provided, the calibration plate includes a plurality of heat sources arranged at equal intervals, the calibration plate captures images through an infrared image acquisition device, and the obtained calibration plate image can be used to determine The distortion correction coefficient of the infrared image acquisition device.
  • an image processing device includes a memory and a processor, and a computer program run by the processor is stored on the memory.
  • the processor is caused to perform the following operations: acquiring an image of a calibration board taken by an infrared image acquisition device, the calibration board including a plurality of heat sources arranged at equal intervals; determining each heat source on the image of the calibration board Corresponding target pixels; connecting the target pixels corresponding to each of the four adjacent heat sources on the image of the calibration plate to form a quadrilateral, and generate a checkerboard image based on the obtained quadrilateral;
  • the image is analyzed to generate the distortion correction coefficient of the infrared image acquisition device.
  • a computer-readable storage medium is provided, and a computer program is stored on the computer-readable storage medium, and the computer program executes any of the aforementioned Image processing method.
  • a checkerboard image is generated from an image taken by an infrared image acquisition device on a calibration board including a heat source, so that a distortion correction model can be used for the generated checkerboard.
  • the image is analyzed to obtain the accurate distortion correction coefficient of the infrared image acquisition device, so that the distortion correction of the infrared image collected by the infrared image acquisition device can obtain a good effect.
  • Fig. 1 shows a schematic flowchart of an image processing method according to an embodiment of the present application.
  • Fig. 2 shows an exemplary schematic diagram of a calibration plate according to an embodiment of the present application.
  • Fig. 3 shows a schematic block diagram of an image processing device according to an embodiment of the present application.
  • FIG. 1 shows a schematic flowchart of an image processing method 100 according to an embodiment of the present application. As shown in FIG. 1, the image processing method 100 includes the following steps:
  • step S110 an image of a calibration plate taken by an infrared image acquisition device is acquired, and the calibration plate includes a plurality of heat sources arranged at equal intervals.
  • the infrared image acquisition device in order to obtain the distortion correction coefficient of an infrared image acquisition device, the infrared image acquisition device is used to photograph the calibration plate to obtain the image of the calibration plate, and then the image of the calibration plate is described below. A series of processing obtains the distortion correction coefficient of the infrared image acquisition device.
  • the calibration board used is a calibration board with a plurality of heat sources arranged at equal intervals, as shown in FIG. 2.
  • Fig. 2 shows an exemplary schematic diagram of a calibration plate 200 according to an embodiment of the present application.
  • the calibration board 200 includes a background board 210 and a plurality of heat sources 220 arranged at equal intervals on the background board 210.
  • the equal interval arrangement may refer to at least equal interval arrangement in the horizontal direction, or at least equal interval arrangement in the vertical direction, or equal interval arrangement in the horizontal direction and the vertical direction.
  • the interval between every two heat sources 220 in the horizontal direction may be equal to the interval between every two heat sources 220 in the vertical direction.
  • a calibration board with heat sources arranged at equal intervals makes it possible to conveniently generate a checkerboard image based on the image taken by the infrared image acquisition device on the calibration board.
  • some image processing software such as DXO analysis software
  • DXO analysis software can be used to check the checkerboard.
  • the image is analyzed, so that accurate distortion correction coefficients can be obtained (described in detail later).
  • the specific distribution of the heat sources 220 on the background plate 210 may depend on the infrared to be photographed.
  • the relevant parameters of the image acquisition device that is, the infrared image acquisition device to be calibrated
  • the distance between the infrared image acquisition device and the calibration board 200 may also be the same as that of the infrared image acquisition device.
  • equipment related parameters such as focal length. The general rule is that more heat sources can be clearly seen on the image of the calibration plate taken by the infrared image acquisition device.
  • the number of heat sources 220 on the background plate 210 may be larger, each heat source 220 may be relatively large, and the interval between the heat sources 220 may be relatively large.
  • each heat source 220 may be relatively large.
  • the interval between the heat sources 220 can be relatively reduced.
  • step S120 the target pixel corresponding to each heat source on the image of the calibration plate is determined.
  • each heat source on the calibration board has a certain size
  • each heat source can correspond to a pixel area of a certain size on the calibration board image taken by the infrared image acquisition device.
  • a pixel point that can represent the entire heat source can be determined in the pixel area, which is referred to herein as a target pixel point.
  • all pixels corresponding to each heat source on the image of the calibration plate can be determined first, and then the target pixel of each heat source can be determined based on all the pixels corresponding to each heat source.
  • determining the target pixel of each heat source based on all the pixels corresponding to each heat source may include: taking each of all the pixels corresponding to each heat source as the assumed target pixel of the heat source, and calculating the The mean square deviation of the distance between the remaining pixels corresponding to the heat source and the assumed target pixel point, and the assumed target pixel point used when the minimum mean square error is obtained is determined as the target pixel point corresponding to the heat source.
  • the similar geometric center point of each heat source is defined as the target pixel. Therefore, when the mean square error of the distance from the remaining points to a point is the smallest, the point is the target pixel.
  • other target pixels that can represent the heat source such as the brightest point among all the pixels of the heat source, can also be used.
  • the temperature difference between the heat source (such as the heat source 220 above) and the background plate (such as the background plate 210 above) can be increased as much as possible , For example, make the temperature difference between the heat source and the background plate greater than a preset threshold.
  • the heat source on the background plate may be a conductive material, and the background plate is a non-conductive material. In this way, after the heat source is energized, there is a certain temperature difference between the heat source and the background plate.
  • step S130 the target pixels corresponding to every four adjacent heat sources on the image of the calibration plate are connected to form a quadrilateral, and a checkerboard image is generated based on the obtained quadrilateral.
  • the target pixel points corresponding to every four adjacent heat sources on the calibration plate image may be connected to form a quadrilateral. Since the captured image of the calibration plate is distorted, the quadrilateral formed by connecting the target pixels corresponding to every four adjacent heat sources on the image of the calibration plate is not a regular quadrilateral. After the quadrilaterals are formed, image processing can be used to display all quadrilaterals in two colors, such as black and white, to form a black and white checkerboard image.
  • some image processing software can be used to analyze the checkerboard image to obtain the distortion correction coefficient of the infrared image acquisition device to be calibrated. Since these image processing software already have an accurate distortion correction model, the model can be directly used to obtain accurate distortion correction coefficients, as described in the following steps.
  • step S140 the checkerboard image is analyzed based on a distortion correction model to generate a distortion correction coefficient of the infrared image acquisition device.
  • analyzing the checkerboard image based on the distortion correction model to generate the distortion correction coefficient of the infrared image acquisition device may further include: obtaining an undistorted checkerboard image; Calculate the coefficient of the distortion correction model to obtain the distortion correction coefficient of the infrared image acquisition device.
  • the acquisition of the undistorted checkerboard image may include: determining the position information of the real target pixel of each heat source according to the true distribution of the multiple heat sources on the calibration board; The position information of the real target pixels of each heat source obtains an undistorted checkerboard image.
  • the position information of the real target pixel corresponding to each heat source on the undistorted calibration plate image can be obtained, and then four adjacent real target pixels are connected to form a rectangle. Then display all the rectangles in two colors to form an undistorted checkerboard image.
  • a calibrated infrared image acquisition device can be used to take an image of the aforementioned calibration board, and based on the distortion correction coefficient of the calibrated infrared image acquisition device to perform distortion correction on the image to obtain an undistorted image
  • the image of the calibration board is obtained, and then an undistorted checkerboard image is obtained.
  • the calibrated infrared image acquisition device may use the stored distortion correction coefficient to correct the image after the image is taken, and directly output an undistorted calibration board image, thereby obtaining an undistorted checkerboard image.
  • the distortion correction parameters of the infrared image acquisition device to be calibrated can be obtained according to the distortion correction model.
  • the infrared image taken by the infrared image acquisition device can be subjected to distortion correction processing. Since the accurate distortion correction parameter is obtained according to the foregoing method, the distortion correction parameter is used for the infrared image capture device. The distortion correction of infrared images will achieve good results.
  • the image processing method 200 may further include the following steps (not shown): acquiring an infrared image taken by the infrared image acquisition device, and analyzing the infrared image based on the distortion correction coefficient The position coordinates of each pixel are subjected to distortion correction to obtain a distortion-corrected infrared image.
  • the nearest integer coordinate value can be obtained through interpolation to replace the non-integer coordinate value.
  • the image processing method 200 may further include the following steps (not shown): performing size correction on the distortion-corrected infrared image, so that the distortion-corrected infrared image and the distortion
  • the size of the infrared image before correction is the same.
  • the size of the infrared image may be changed after the distortion is corrected, and the size can be corrected according to the requirements, so that the infrared image after the distortion correction is restored to the previous size.
  • size correction may not be required, depending on user requirements.
  • the image processing method generates a checkerboard image based on the image taken by the infrared image acquisition device on the calibration board including the heat source, so that the distortion correction model can be used to analyze the generated checkerboard image to obtain the
  • the accurate distortion correction coefficient of the infrared image acquisition device further enables the distortion correction of the infrared image collected by the infrared image acquisition device to obtain a good effect.
  • FIG. 3 shows a schematic block diagram of an image processing apparatus 300 according to an embodiment of the present application.
  • the image processing device 300 includes a memory 310 and a processor 320.
  • the memory 310 stores a program for implementing corresponding steps in the image processing method according to the embodiment of the present application.
  • the processor 320 is configured to run a program stored in the memory 310 to execute corresponding steps of the image processing method according to the embodiment of the present application.
  • the processor 320 when the program is run by the processor 320, the processor 320 is caused to perform the following operations: acquire an image of a calibration board taken by an infrared image acquisition device, the calibration board includes a plurality of heat sources arranged at equal intervals Determine the target pixel point corresponding to each heat source on the image of the calibration board; connect the target pixel points corresponding to each four adjacent heat sources on the image of the calibration board to form a quadrilateral, and generate a checkerboard based on the obtained quadrilateral Grid image; analyze the checkerboard image based on a distortion correction model to generate a distortion correction coefficient of the infrared image acquisition device.
  • the infrared image acquisition device in order to obtain the distortion correction coefficient of an infrared image acquisition device, the infrared image acquisition device is used to photograph the calibration board to obtain an image of the calibration board, and then the processor 320 performs the following operations on the image of the calibration board. A series of processing will be described to obtain the distortion correction coefficient of the infrared image acquisition device.
  • the calibration board used is a calibration board with a plurality of heat sources arranged at equal intervals, as shown in FIG. 2.
  • the equal interval arrangement may refer to at least equal interval arrangement in the horizontal direction, or at least equal interval arrangement in the vertical direction, or equal interval arrangement in the horizontal direction and the vertical direction. Further, the interval between every two heat sources in the horizontal direction may be equal to the interval between every two heat sources in the vertical direction.
  • Using a calibration board with heat sources arranged at equal intervals enables the processor 320 to conveniently generate a checkerboard image based on the image captured by the infrared image acquisition device on the calibration board. Based on the checkerboard image, the processor 320 can use some image processing software (such as DXO Analysis software) analyzes the checkerboard image to obtain accurate distortion correction coefficients.
  • the specific distribution of the heat sources on the background plate of the calibration plate used may depend on what is to be photographed.
  • the relevant parameters of the infrared image acquisition device that is, the infrared image acquisition device to be calibrated
  • the distance between the infrared image acquisition device and the calibration board, and the distance between the infrared image acquisition device and the calibration board can also be the same as that of the infrared image Related to the relevant parameters (such as focal length) of the acquisition device.
  • the general rule is that more heat sources can be clearly seen on the image of the calibration plate taken by the infrared image acquisition device.
  • the distribution of the heat sources on the background plate of the calibration plate can be understood in conjunction with the previous description of FIG. 2. For the sake of brevity, it will not be repeated here.
  • each heat source on the calibration board has a certain size
  • each heat source can correspond to a pixel area of a certain size on the calibration board image taken by the infrared image acquisition device.
  • the processor 320 may determine a pixel point that can represent the entire heat source in the pixel area, which is referred to herein as a target pixel point.
  • the processor 320 may first determine all the pixels corresponding to each heat source on the calibration plate image (ie, the pixel area mentioned above), and then determine the target of each heat source based on all the pixels corresponding to each heat source pixel. Further, the processor 320 determines the target pixel of each heat source based on all the pixels corresponding to each heat source, which may include: taking each of all the pixels corresponding to each heat source as the assumed target pixel of the heat source Calculate the mean square deviation of the distance between the remaining pixels corresponding to the heat source and the assumed target pixel, and determine the assumed target pixel used when the minimum mean square error is obtained as the target pixel corresponding to the heat source.
  • the similar geometric center point of each heat source is defined as the target pixel. Therefore, when the mean square error of the distance from the remaining points to a point is the smallest, the point is the target pixel.
  • other target pixels that can represent the heat source such as the brightest point among all the pixels of the heat source, can also be used.
  • the temperature difference between the heat source and the background plate can be increased as much as possible, for example, a threshold is set so that the temperature difference between the heat source and the background plate is greater than Preset threshold.
  • the heat source on the background plate may be a conductive material, and the background plate is a non-conductive material. In this way, after the heat source is energized, there is a certain temperature difference between the heat source and the background plate.
  • the processor 320 may connect the target pixels corresponding to every four adjacent heat sources on the calibration plate image to form a quadrilateral, and use image processing to divide all quadrilaterals into two A variety of colors, such as black and white, form a black and white checkerboard image. Based on the generated checkerboard image, as described above, the processor 320 may use some image processing software (such as DXO analysis software) to analyze the checkerboard image to obtain the distortion correction coefficient of the infrared image acquisition device to be calibrated. Since these image processing software already have an accurate distortion correction model, the model can be directly used to obtain accurate distortion correction coefficients.
  • image processing software such as DXO analysis software
  • the processor 320 analyzes the checkerboard image based on the distortion correction model to generate the distortion correction coefficient of the infrared image acquisition device, which may further include: obtaining an undistorted checkerboard image; The generated checkerboard image and the acquired undistorted checkerboard image calculate the coefficient of the distortion correction model to obtain the distortion correction coefficient of the infrared image acquisition device.
  • the acquisition of the undistorted checkerboard image may include: determining the position information of the real target pixel of each heat source according to the true distribution of the multiple heat sources on the calibration board; The position information of the real target pixels of each heat source obtains an undistorted checkerboard image.
  • the position information of the real target pixel corresponding to each heat source on the undistorted calibration plate image can be obtained, and then four adjacent real target pixels are connected to form a rectangle. Then display all the rectangles in two colors to form an undistorted checkerboard image.
  • a calibrated infrared image acquisition device can be used to take an image of the aforementioned calibration board, and based on the distortion correction coefficient of the calibrated infrared image acquisition device to perform distortion correction on the image to obtain an undistorted image
  • the image of the calibration board is obtained, and then an undistorted checkerboard image is obtained.
  • the calibrated infrared image acquisition device may use the stored distortion correction coefficient to correct the image after the image is taken, and directly output an undistorted calibration board image, thereby obtaining an undistorted checkerboard image.
  • the processor 320 may obtain the distortion correction parameters of the infrared image acquisition device to be calibrated according to the distortion correction model. Based on the distortion correction parameters, the infrared image captured by the infrared image acquisition device can be processed for distortion correction. Since accurate distortion correction parameters are obtained, the distortion correction performed on the infrared image captured by the infrared image capture device will be obtained effective.
  • the processor 320 when the program is run by the processor 320, the processor 320 may also be allowed to perform the following operations: obtain an infrared image taken by the infrared image acquisition device, and perform the following operations based on the distortion correction coefficient Distortion correction is performed on the position coordinates of each pixel of the infrared image to obtain a distortion-corrected infrared image.
  • Distortion correction is performed on the position coordinates of each pixel of the infrared image to obtain a distortion-corrected infrared image.
  • the nearest integer coordinate value can be obtained through interpolation to replace the non-integer coordinate value.
  • the processor 320 may also perform the following operations: perform size correction on the distortion-corrected infrared image, so that the distortion-corrected infrared image
  • the infrared image of is the same size as the infrared image before distortion correction.
  • the size of the infrared image may be changed after the distortion is corrected, and the size can be corrected according to the requirements, so that the infrared image after the distortion correction is restored to the previous size.
  • size correction may not be required, depending on user requirements.
  • the image processing device generates a checkerboard image according to the image taken by the infrared image acquisition device on the calibration board including the heat source, so that the distortion correction model can be used to analyze the generated checkerboard image to obtain the
  • the accurate distortion correction coefficient of the infrared image acquisition device further enables the distortion correction of the infrared image collected by the infrared image acquisition device to obtain a good effect.
  • the image processing apparatus may be any device with computing capability.
  • the aforementioned infrared image acquisition device to be calibrated can also be used as the image processing device.
  • the infrared image acquisition device to be calibrated obtains its own distortion correction coefficient according to the method described above, and the distortion correction coefficient can be stored in itself, so that the infrared image acquisition device can directly use the infrared image after collecting the infrared image.
  • the distortion correction coefficient performs distortion correction on the collected infrared image, or other devices may also use the distortion correction coefficient to perform distortion correction on the infrared image collected by the infrared image acquisition device.
  • other image processing devices may also obtain the distortion correction coefficient of the infrared image acquisition device in the above-mentioned manner, and store the distortion correction coefficient in the infrared image acquisition device.
  • the infrared image acquisition device can directly use the distortion correction coefficient to perform distortion correction on the infrared image collected by itself, or other devices can also obtain the distortion correction coefficient from the other infrared image acquisition device, and then The infrared image collected by the infrared image acquisition device performs distortion correction.
  • a computer-readable storage medium is also provided, and program instructions are stored on the computer-readable storage medium, and the program instructions are used to execute the present application when the program instructions are run by a computer or a processor.
  • the computer-readable storage medium may include, for example, a memory card of a smart phone, a storage component of a tablet computer, a hard disk of a personal computer, a read-only memory (ROM), an erasable programmable read-only memory (EPROM), a portable compact disk Read-only memory (CD-ROM), USB memory, or any combination of the above-mentioned computer-readable storage media.
  • the computer-readable storage medium may be any combination of one or more computer-readable storage media.
  • the computer program instructions can execute the image processing method according to the embodiment of the present application when run by a computer.
  • the embodiments of the present application also provide a computer program product containing instructions, which when executed by a computer, cause the computer to execute the image processing method of the foregoing method embodiment.
  • the above exemplarily describes the image processing method, device, calibration board, and computer-readable storage medium according to the embodiments of the present application.
  • the image processing method, device, calibration board, and computer readable storage medium according to the embodiments of the present application generate a checkerboard image based on the image taken by the infrared image acquisition device on the calibration board including the heat source, so that the distortion correction model can be adopted
  • the generated checkerboard image is analyzed to obtain the accurate distortion correction coefficient of the infrared image acquisition device, so that the distortion correction of the infrared image collected by the infrared image acquisition device can obtain a good effect.
  • the disclosed device and method may be implemented in other ways.
  • the device embodiments described above are only illustrative.
  • the division of the units is only a logical function division, and there may be other divisions in actual implementation, for example, multiple units or components may be combined or It can be integrated into another device, or some features can be ignored or not implemented.
  • the various component embodiments of the embodiments of the present application may be implemented by hardware, or by software modules running on one or more processors, or by a combination of them.
  • a microprocessor or a digital signal processor (DSP) may be used in practice to implement some or all of the functions of some modules according to the embodiments of the present application.
  • the embodiments of the present application may also be implemented as a device program (for example, a computer program and a computer program product) for executing part or all of the methods described herein.
  • Such a program for implementing the embodiments of the present application may be stored on a computer-readable storage medium, or may have the form of one or more signals.
  • Such a signal can be downloaded from an Internet website, or provided on a carrier signal, or provided in any other form.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

一种图像处理方法、装置、标定板和计算机可读存储介质，该方法包括：获取红外图像采集设备拍摄的标定板的图像，该标定板包括等间隔排列的多个热源；确定标定板的图像上每个热源对应的目标像素点；将标定板的图像上每相邻四个热源对应的目标像素点连接起来形成四边形，并基于得到的四边形生成棋盘格图像；基于畸变矫正模型对棋盘格图像进行分析，以生成红外图像采集设备的畸变校正系数。本申请的方案根据红外图像采集设备对包括热源的标定板拍摄的图像生成棋盘格图像，从而能够采用畸变矫正模型对生成的棋盘格图像进行分析而得到该红外图像采集设备的准确的畸变矫正系数，使得能够对该红外图像采集设备采集的红外图像的畸变矫正获得很好的效果。

Description

图像处理方法、装置、标定板和计算机可读存储介质
说明书
技术领域
本申请总体上涉及图像处理技术领域，更具体地涉及一种图像处理方法、装置、标定板和计算机可读存储介质。
背景技术
红外图像相比于可见光图像来说视场角(Field Of View，简称为FOV)更小，因此，在一幅红外图像中可见的视野有限，为了最大限度的利用红外图像的视场角，往往不对畸变进行矫正。但在某些应用中，不进行畸变矫正会对其他后处理或者高级应用带来影响，比如图像拼接、图像融合等，这就对红外图像的畸变矫正提出了需求。
现有的方法中对于小视场角的红外图像采集设备未获取畸变矫正系数，对于大视场角的红外图像采集设备通过标定获取畸变矫正系数，但获取的畸变矫正系数准确性都较差，进一步导致矫正效果不理想，影响使用。
发明内容
本申请实施例提供一种图像处理方案，其能够针对红外图像采集设备获取准确的畸变矫正系数，大大改善红外图像的畸变矫正效果。下面简要描述本申请提出的图像处理方案，更多细节将在后续结合附图在具体实施方式中加以描述。
根据本申请实施例一方面，提供了一种图像处理方法，所述方法包括：获取红外图像采集设备拍摄的标定板的图像，所述标定板包括等间隔排列的多个热源；确定所述标定板的图像上每个热源对应的目标像素点；将所述标定板的图像上每相邻四个热源对应的目标像素点连接起来形成四边形，并基于所得到的四边形生成棋盘格图像；基于畸变矫正模型对所述棋盘格图像进行分析，以生成所述红外图像采集设备的畸变校正系数。
根据本申请实施例另一方面，提供了一种标定板，所述标定板包括等 间隔排列的多个热源，所述标定板经由红外图像采集设备拍摄图像，得到的标定板图像能够用于确定所述红外图像采集设备的畸变矫正系数。
根据本申请实施例再一方面，提供了一种图像处理装置，所述装置包括存储器和处理器，所述存储器上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时，使得所述处理器执行如下操作：获取红外图像采集设备拍摄的标定板的图像，所述标定板包括等间隔排列的多个热源；确定所述标定板的图像上每个热源对应的目标像素点；将所述标定板的图像上每相邻四个热源对应的目标像素点连接起来形成四边形，并基于所得到的四边形生成棋盘格图像；基于畸变矫正模型对所述棋盘格图像进行分析，以生成所述红外图像采集设备的畸变校正系数。
根据本申请实施例又一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序在被处理器运行时执行上述任一项所述的图像处理方法。
根据本申请实施例的图像处理方法、装置、标定板和计算机可读存储介质根据红外图像采集设备对包括热源的标定板拍摄的图像生成棋盘格图像，从而能够采用畸变矫正模型对生成的棋盘格图像进行分析而得到该红外图像采集设备的准确的畸变矫正系数，进而使得对该红外图像采集设备采集的红外图像的畸变矫正能够获得很好的效果。
附图说明
图1示出根据本申请实施例的图像处理方法的示意性流程图。
图2示出根据本申请实施例的标定板的示例性示意图。
图3示出根据本申请实施例的图像处理装置的示意性框图。
具体实施方式
下面将参照附图描述本申请的示例实施例。
在此使用的术语的目的仅在于描述具体实施例并且不作为本申请的限制。在此使用时，单数形式的“一”、“一个”和“所述/该”也意图包括复数形式，除非上下文清楚指出另外的方式。还应明白术语“组成”和/或“包括”，当在该说明书中使用时，确定所述特征、整数、步骤、操作、 元件和/或部件的存在，但不排除一个或更多其它的特征、整数、步骤、操作、元件、部件和/或组的存在或添加。在此使用时，术语“和/或”包括相关所列项目的任何及所有组合。本申请实施例中所提及的多个包括至少两个，至少两个例如可以是2个、3个、4个或者更大的数值。本申请实施例中的“A或B”，既包括单独的A，也包括单独的B，还包括A和B的结合。
为了彻底理解本申请实施例，将在下列的描述中提出详细的步骤以及详细的结构，以便阐释本申请实施例提出的技术方案。
首先，参照图1描述根据本申请实施例的图像处理方法。图1示出了根据本申请实施例的图像处理方法100的示意性流程图。如图1所示，图像处理方法100包括如下步骤：
在步骤S110，获取红外图像采集设备拍摄的标定板的图像，所述标定板包括等间隔排列的多个热源。
在本申请的实施例中，为了获取一个红外图像采集设备的畸变矫正系数，采用该红外图像采集设备对标定板进行拍摄而得到标定板的图像，然后通过对标定板的图像进行下文将描述的一系列处理而得到该红外图像采集设备的畸变矫正系数。
在本申请的实施例中，所采用的标定板是布置有等间隔排列的多个热源的标定板，如图2所示的。图2示出了根据本申请实施例的标定板200的示例性示意图。如图2所示，标定板200包括背景板210和布置在背景板210上等间隔排列的多个热源220。其中，等间隔排列可以指至少在水平方向上等间隔排列，或者至少在竖直方向上等间隔排列，或者在水平方向和竖直方向均等间隔排列。进一步地，在水平方向上每两个热源220之间的间隔可以等于在竖直方向上每两个热源220之间的间隔。采用具有等间隔排列的热源的标定板使得能够便利地基于红外图像采集设备对标定板拍摄的图像生成棋盘格图像，基于棋盘格图像，可以采用一些图像处理软件(诸如DXO分析软件)对棋盘格图像进行分析，从而能够获得准确的畸变矫正系数(在后文中将详细描述)。
在本申请的实施例中，背景板210上各热源220的具体分布情况，诸如热源220的数量、每个热源220的大小以及各热源220之间的间隔可以 取决于要对其进行拍摄的红外图像采集设备(即待标定的红外图像采集设备)的相关参数和/或该红外图像采集设备距离标定板200的距离，该红外图像采集设备距离标定板200的距离也可以是与该红外图像采集设备的相关参数(例如焦距)相关的。总体的准则是：该红外图像采集设备拍摄出的标定板图像上能够清晰地看到比较多的热源。下面举例描述在该准则下背景板210上各热源220的具体分布情况与待标定的红外图像采集设备的相关参数和/或该红外图像采集设备距离标定板200的距离之间的关系。
例如，当该红外图像采集设备的视场角较大时，背景板210上的热源220的数量可以较多，每个热源220可以相对较大，各热源220之间的间隔可以相对较大。再如，当该红外图像采集设备的焦距较大时，每个热源220可以相对较大。又如，当该红外图像采集设备的分辨率较高时，各热源220之间的间隔可以相对减小。再如，当该红外图像采集设备的视场角较大和/或该红外图像采集设备距离标定板200的距离较远时，背景板210上布置的热源220可以相对较多，诸如此类等等。
下面返回参考图1，描述图像处理方法100的后续步骤。
在步骤S120，确定所述标定板的图像上每个热源对应的目标像素点。
由于标定板上每个热源都是有一定尺寸的，因此在红外图像采集设备所拍摄的标定板图像上，每个热源可以对应一定尺寸的像素区域。在本申请的实施例中，可以在该像素区域中确定一个可以代表该整个热源的像素点，在本文中称之为目标像素点。
在本申请的实施例中，可以首先确定标定板图像上每个热源对应的所有像素点(即前文的像素区域)，再基于每个热源对应的所有像素点确定每个热源的目标像素点。进一步地，基于每个热源对应的所有像素点确定每个热源的目标像素点，可以包括：将每个热源对应的所有像素点中的每一像素点作为该热源的假定目标像素点，计算该热源对应的其余像素点距离该假定目标像素点的距离的均方差，并将得到最小均方差时采用的假定目标像素点确定为该热源对应的目标像素点。在该实施例中，将每个热源的类似几何中心点定义为目标像素点，因此当其余点到一个点的距离的均方差最小时，该点即为目标像素点。在其他实施例中，也可以采用其他能够代表热源的目标像素点，诸如热源的所有像素点中最亮的一点等等。
在本申请的实施例中，为了增加对标定板图像上的热源进行定位的准确性，可以尽可能提高热源(诸如前文的热源220)与背景板(诸如前文的背景板210)之间的温差，例如使得热源与背景板之间的温差大于预设阈值。在一个示例中，背景板上的热源可以为导电材料，而背景板为非导电材料。这样，在热源通电后，热源与背景板之间即具有一定的温差。
下面返回参考图1，描述图像处理方法100的后续步骤。
在步骤S130，将所述标定板的图像上每相邻四个热源对应的目标像素点连接起来形成四边形，并基于所得到的四边形生成棋盘格图像。
在本申请的实施例中，为了生成棋盘格图像，可以将标定板图像上每相邻四个热源对应的目标像素点连接起来形成四边形。由于所拍摄的标定板图像是有畸变的，因此标定板图像上每相邻四个热源对应的目标像素点连接起来形成的四边形并非是正四边形。在形成四边形后，可以利用图像处理的方式将所有四边形以两种颜色显示，诸如以黑色和白色的形式显示，形成黑白棋盘格图像。基于所生成的棋盘格图像，如前所述的，可以采用一些图像处理软件(诸如DXO分析软件)对棋盘格图像进行分析来得到前述待标定的红外图像采集设备的畸变矫正系数。由于这些图像处理软件已经具有准确的畸变矫正模型，因此可以直接采用该模型获取准确的畸变矫正系数，如下面的步骤将描述的。
在步骤S140，基于畸变矫正模型对所述棋盘格图像进行分析，以生成所述红外图像采集设备的畸变校正系数。
在本申请的实施例中，基于畸变矫正模型对所述棋盘格图像进行分析，以生成所述红外图像采集设备的畸变校正系数，可以进一步包括：获取未畸变的棋盘格图像；根据所述生成的棋盘格图像和所述获取的未畸变的棋盘格图像计算所述畸变矫正模型的系数，以得到所述红外图像采集设备的畸变校正系数。
在一个示例中，未畸变的棋盘格图像的获取可以包括：根据所述标定板上所述多个热源的真实分布确定每个热源的真实目标像素点的位置信息；根据所述标定板上每个热源的真实目标像素点的位置信息获取未畸变的棋盘格图像。在该示例中，通过标定板上热源的真实分布可以获取未畸变的标定板图像上每个热源对应的真实目标像素点的位置信息，然后将相 邻四个真实目标像素点连接起来组成矩形，再将所有矩形以两种颜色显示，从而形成未畸变的棋盘格图像。
在另一个示例中，可以采用已标定好的一个红外图像采集设备对前述的标定板拍摄图像，并基于该已标定好的红外图像采集设备的畸变矫正系数对该图像进行畸变矫正而获得未畸变的标定板图像，进而获得未畸变的棋盘格图像。或者，该已标定好的红外图像采集设备可以在拍摄图像后采用存储好的畸变矫正系数对该图像进行矫正而直接输出未畸变的标定板图像，进而获得未畸变的棋盘格图像。
基于所获取的未畸变的棋盘格图像和步骤S130所生成的棋盘格图像，可以根据畸变矫正模型获取前述待标定的红外图像采集设备的畸变矫正参数。基于该畸变矫正参数，可以对该红外图像采集设备所拍摄的红外图像进行畸变矫正处理，由于根据前述方法获取了准确的畸变矫正参数，因此根据该畸变矫正参数对该红外图像采集设备所拍摄的红外图像进行的畸变矫正将获得很好的效果。
在本申请的进一步的实施例中，图像处理方法200还可以包括如下步骤(未示出)：获取所述红外图像采集设备拍摄的红外图像，并基于所述畸变矫正系数对所述红外图像的每个像素点的位置坐标进行畸变矫正，以得到经畸变矫正的红外图像。此外，在对所述红外图像的每个像素点的位置坐标进行畸变矫正时，如果得到非整数的坐标值，可以通过插值来获取最近的整数坐标值，以替代所述非整数的坐标值。
在本申请的进一步的实施例中，图像处理方法200还可以包括如下步骤(未示出)：对所述经畸变矫正的红外图像进行尺寸修正，以使得所述经畸变矫正的红外图像与畸变矫正前的红外图像的尺寸相同。红外图像经畸变矫正后可能发生尺寸的改变，可以根据需求进行尺寸修正，使得畸变矫正后的红外图像恢复先前的尺寸，当然也可以无需进行尺寸修正，这取决于用户需求。
基于上面的描述，根据本申请实施例的图像处理方法根据红外图像采集设备对包括热源的标定板拍摄的图像生成棋盘格图像，从而能够采用畸变矫正模型对生成的棋盘格图像进行分析而得到该红外图像采集设备的准确的畸变矫正系数，进而使得对该红外图像采集设备采集的红外图像的畸 变矫正能够获得很好的效果。
下面结合图3描述根据本申请另一方面提供的图像处理装置。图3示出了根据本申请实施例的图像处理装置300的示意性框图。图像处理装置300包括存储器310以及处理器320。其中，存储器310存储用于实现根据本申请实施例的图像处理方法中的相应步骤的程序。处理器320用于运行存储器310中存储的程序，以执行根据本申请实施例的图像处理方法的相应步骤。
在本申请的实施例中，在所述程序被处理器320运行时使得处理器320执行如下操作：获取红外图像采集设备拍摄的标定板的图像，所述标定板包括等间隔排列的多个热源；确定所述标定板的图像上每个热源对应的目标像素点；将所述标定板的图像上每相邻四个热源对应的目标像素点连接起来形成四边形，并基于所得到的四边形生成棋盘格图像；基于畸变矫正模型对所述棋盘格图像进行分析，以生成所述红外图像采集设备的畸变校正系数。
在本申请的实施例中，为了获取一个红外图像采集设备的畸变矫正系数，采用该红外图像采集设备对标定板进行拍摄而得到标定板的图像，然后通过处理器320对标定板的图像进行下文将描述的一系列处理而得到该红外图像采集设备的畸变矫正系数。
在本申请的实施例中，所采用的标定板是布置有等间隔排列的多个热源的标定板，如图2所示的。其中，等间隔排列可以指至少在水平方向上等间隔排列，或者至少在竖直方向上等间隔排列，或者在水平方向和竖直方向均等间隔排列。进一步地，在水平方向上每两个热源之间的间隔可以等于在竖直方向上每两个热源之间的间隔。采用具有等间隔排列的热源的标定板使得处理器320能够便利地基于红外图像采集设备对标定板拍摄的图像生成棋盘格图像，基于棋盘格图像，处理器320可以采用一些图像处理软件(诸如DXO分析软件)对棋盘格图像进行分析，从而能够获得准确的畸变矫正系数。
在本申请的实施例中，所采用的标定板的背景板上各热源的具体分布情况，诸如热源的数量、每个热源的大小以及各热源之间的间隔可以取决于要对其进行拍摄的红外图像采集设备(即待标定的红外图像采集设备) 的相关参数和/或该红外图像采集设备距离标定板的距离，并且，该红外图像采集设备距离标定板的距离也可以是与该红外图像采集设备的相关参数(例如焦距)相关的。总体的准则是：该红外图像采集设备拍摄出的标定板图像上能够清晰地看到比较多的热源。可以结合前文关于图2的描述理解标定板的背景板上各热源的分布情况，为了简洁，此处不再赘述。
由于标定板上每个热源都是有一定尺寸的，因此在红外图像采集设备所拍摄的标定板图像上，每个热源可以对应一定尺寸的像素区域。在本申请的实施例中，处理器320可以在该像素区域中确定一个可以代表该整个热源的像素点，在本文中称之为目标像素点。
在本申请的实施例中，处理器320可以首先确定标定板图像上每个热源对应的所有像素点(即前文的像素区域)，再基于每个热源对应的所有像素点确定每个热源的目标像素点。进一步地，处理器320基于每个热源对应的所有像素点确定每个热源的目标像素点，可以包括：将每个热源对应的所有像素点中的每一像素点作为该热源的假定目标像素点，计算该热源对应的其余像素点距离该假定目标像素点的距离的均方差，并将得到最小均方差时采用的假定目标像素点确定为该热源对应的目标像素点。在该实施例中，将每个热源的类似几何中心点定义为目标像素点，因此当其余点到一个点的距离的均方差最小时，该点即为目标像素点。在其他实施例中，也可以采用其他能够代表热源的目标像素点，诸如热源的所有像素点中最亮的一点等等。
在本申请的实施例中，为了增加对标定板图像上的热源进行定位的准确性，可以尽可能提高热源与背景板之间的温差，例如设置阈值，使得热源与背景板之间的温差大于预设阈值。在一个示例中，背景板上的热源可以为导电材料，而背景板为非导电材料。这样，在热源通电后，热源与背景板之间即具有一定的温差。
在本申请的实施例中，为了生成棋盘格图像，处理器320可以将标定板图像上每相邻四个热源对应的目标像素点连接起来形成四边形，并利用图像处理的方式将所有四边形以两种颜色显示，诸如以黑色和白色的形式显示，形成黑白棋盘格图像。基于所生成的棋盘格图像，如前所述的，处理器320可以采用一些图像处理软件(诸如DXO分析软件)对棋盘格图 像进行分析来得到前述待标定的红外图像采集设备的畸变矫正系数。由于这些图像处理软件已经具有准确的畸变矫正模型，因此可以直接采用该模型获取准确的畸变矫正系数。
在本申请的实施例中，处理器320基于畸变矫正模型对所述棋盘格图像进行分析，以生成所述红外图像采集设备的畸变校正系数，可以进一步包括：获取未畸变的棋盘格图像；根据所述生成的棋盘格图像和所述获取的未畸变的棋盘格图像计算所述畸变矫正模型的系数，以得到所述红外图像采集设备的畸变校正系数。
在一个示例中，未畸变的棋盘格图像的获取可以包括：根据所述标定板上所述多个热源的真实分布确定每个热源的真实目标像素点的位置信息；根据所述标定板上每个热源的真实目标像素点的位置信息获取未畸变的棋盘格图像。在该示例中，通过标定板上热源的真实分布可以获取未畸变的标定板图像上每个热源对应的真实目标像素点的位置信息，然后将相邻四个真实目标像素点连接起来组成矩形，再将所有矩形以两种颜色显示，从而形成未畸变的棋盘格图像。
在另一个示例中，可以采用已标定好的一个红外图像采集设备对前述的标定板拍摄图像，并基于该已标定好的红外图像采集设备的畸变矫正系数对该图像进行畸变矫正而获得未畸变的标定板图像，进而获得未畸变的棋盘格图像。或者，该已标定好的红外图像采集设备可以在拍摄图像后采用存储好的畸变矫正系数对该图像进行矫正而直接输出未畸变的标定板图像，进而获得未畸变的棋盘格图像。
基于所获取的未畸变的棋盘格图像和所生成的棋盘格图像，处理器320可以根据畸变矫正模型获取前述待标定的红外图像采集设备的畸变矫正参数。基于该畸变矫正参数，可以对该红外图像采集设备所拍摄的红外图像进行畸变矫正处理，由于获取了准确的畸变矫正参数，因此对该红外图像采集设备所拍摄的红外图像进行的畸变矫正将获得很好的效果。
在本申请的进一步的实施例中，在所述程序被处理器320运行时还可以使得处理器320执行如下操作：获取所述红外图像采集设备拍摄的红外图像，并基于所述畸变矫正系数对所述红外图像的每个像素点的位置坐标进行畸变矫正，以得到经畸变矫正的红外图像。此外，在对所述红外图像 的每个像素点的位置坐标进行畸变矫正时，如果得到非整数的坐标值，可以通过插值来获取最近的整数坐标值，以替代所述非整数的坐标值。
在本申请的进一步的实施例中，在所述程序被处理器320运行时还可以使得处理器320执行如下操作：对所述经畸变矫正的红外图像进行尺寸修正，以使得所述经畸变矫正的红外图像与畸变矫正前的红外图像的尺寸相同。红外图像经畸变矫正后可能发生尺寸的改变，可以根据需求进行尺寸修正，使得畸变矫正后的红外图像恢复先前的尺寸，当然也可以无需进行尺寸修正，这取决于用户需求。
基于上面的描述，根据本申请实施例的图像处理装置根据红外图像采集设备对包括热源的标定板拍摄的图像生成棋盘格图像，从而能够采用畸变矫正模型对生成的棋盘格图像进行分析而得到该红外图像采集设备的准确的畸变矫正系数，进而使得对该红外图像采集设备采集的红外图像的畸变矫正能够获得很好的效果。
在本申请的实施例中，根据本申请实施例的图像处理装置可以是任何具备计算能力的设备。此外，前文的待标定的红外图像采集设备本身也可以作为该图像处理装置。在该实施例中，由待标定的红外图像采集设备本身根据前文所述的方式获取自身的畸变矫正系数，畸变矫正系数可以存储在其自身，使得该红外图像采集设备采集红外图像后可以直接采用该畸变矫正系数对采集到的红外图像进行畸变矫正，或者也可以由其他装置采用该畸变矫正系数对该红外图像采集设备采集到的红外图像进行畸变矫正。在其他实施例中，也可以由其他图像处理装置通过上述方式获取该红外图像采集设备的畸变矫正系数，并将畸变矫正系数存储在该红外图像采集设备中。同样地，可以由该红外图像采集设备直接采用该畸变矫正系数对其自身采集到的红外图像进行畸变矫正，或者也可以由其他装置从该其他红外图像采集设备获取该畸变矫正系数，并对该红外图像采集设备采集到的红外图像进行畸变矫正。
此外，根据本申请实施例，还提供了一种计算机可读存储介质，在所述计算机可读存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本申请实施例的图像处理方法的相应步骤。所述计算机可读存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、 个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述计算机可读存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
在一个实施例中，所述计算机程序指令在被计算机运行时可以执行根据本申请实施例的图像处理方法。
本申请实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的图像处理方法。
还应理解，本说明书中描述的各种实施方式，既可以单独实施，也可以组合实施，本申请实施例对此并不限定。
以上示例性地描述了根据本申请实施例的图像处理方法、装置、标定板以及计算机可读存储介质。基于上面的描述，根据本申请实施例的图像处理方法、装置、标定板和计算机可读存储介质根据红外图像采集设备对包括热源的标定板拍摄的图像生成棋盘格图像，从而能够采用畸变矫正模型对生成的棋盘格图像进行分析而得到该红外图像采集设备的准确的畸变矫正系数，进而使得对该红外图像采集设备采集的红外图像的畸变矫正能够获得很好的效果。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本申请实施例的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本申请实施例的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本申请实施例的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性 的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请实施例并帮助理解各个发明方面中的一个或多个，在对本申请实施例的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本申请实施例的方法解释成反映如下意图：即所要求保护的本申请实施例要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请实施例的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请实施例的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请实施例的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的一些模块的一些或者全部功能。本申请实施例还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序 (例如，计算机程序和计算机程序产品)。这样的实现本申请实施例的程序可以存储在计算机可读存储介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本申请实施例进行说明而不是对本申请实施例进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。本申请实施例可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本申请实施例的具体实施方式或对具体实施方式的说明，本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。本申请实施例的保护范围应以权利要求的保护范围为准。

Claims (39)

  1. 一种图像处理方法，其特征在于，所述方法包括：
    获取红外图像采集设备拍摄的标定板的图像，所述标定板包括等间隔排列的多个热源；
    确定所述标定板的图像上每个热源对应的目标像素点；
    将所述标定板的图像上每相邻四个热源对应的目标像素点连接起来形成四边形，并基于所得到的四边形生成棋盘格图像；
    基于畸变矫正模型对所述棋盘格图像进行分析，以生成所述红外图像采集设备的畸变校正系数。
  2. 根据权利要求1所述的方法，其特征在于，所述标定板上布置的热源的数量、每个热源的大小以及各热源之间的间隔这三者中的每一个分别与所述红外图像采集设备的以下参数中的至少一个相关联：视场角、焦距和分辨率。
  3. 根据权利要求1或2所述的方法，其特征在于，所述标定板上布置的所述多个热源在水平方向上等间隔排列，并在竖直方向上等间隔排列。
  4. 根据权利要求3所述的方法，其特征在于，所述多个热源在水平方向上每两个热源之间的间隔等于在竖直方向上每两个热源之间的间隔。
  5. 根据权利要求1-4中的任一项所述的方法，其特征在于，所述红外图像采集设备拍摄所述标定板的图像时距离所述标定板的距离与所述红外图像采集设备的焦距相关联。
  6. 根据权利要求1-5中的任一项所述的方法，其特征在于，所述标定板包括背景板和在所述背景板上布置的所述热源，所述热源与所述背景板的之间的温差大于预设阈值。
  7. 根据权利要求6所述的方法，其特征在于，所述热源为导电材料，所述背景板为非导电材料。
  8. 根据权利要求1-7中的任一项所述的方法，其特征在于，所述确定所述标定板的图像上每个热源对应的目标像素点，包括：
    确定所述标定板的图像上每个热源对应的所有像素点；
    基于每个热源对应的所有像素点确定每个热源的目标像素点。
  9. 根据权利要求8所述的方法，其特征在于，所述基于每个热源对 应的所有像素点确定每个热源的目标像素点，包括：
    将每个热源对应的所有像素点中的每一像素点作为该热源的假定目标像素点，计算该热源对应的其余像素点距离该假定目标像素点的距离的均方差，并将得到最小均方差时采用的假定目标像素点确定为该热源对应的目标像素点。
  10. 根据权利要求1-9中的任一项所述的方法，其特征在于，所述棋盘格图像为黑白棋盘格图像。
  11. 根据权利要求1-10中的任一项所述的方法，其特征在于，所述基于畸变矫正模型对所述棋盘格图像进行分析，以生成所述红外图像采集设备的畸变校正系数，包括：
    获取未畸变的棋盘格图像；
    根据所述生成的棋盘格图像和所述获取的未畸变的棋盘格图像计算所述畸变矫正模型的系数，以得到所述红外图像采集设备的畸变校正系数。
  12. 根据权利要求11所述的方法，其特征在于，所述获取未畸变的棋盘格图像，包括：
    根据所述标定板上所述多个热源的真实分布确定每个热源的真实目标像素点的位置信息；
    根据所述标定板上每个热源的真实目标像素点的位置信息获取未畸变的棋盘格图像。
  13. 根据权利要求1-12中的任一项所述的方法，其特征在于，所述方法还包括：
    获取所述红外图像采集设备拍摄的红外图像，并基于所述畸变矫正系数对所述红外图像的每个像素点的位置坐标进行畸变矫正，以得到经畸变矫正的红外图像。
  14. 根据权利要求13所述的方法，其特征在于，在对所述红外图像的每个像素点的位置坐标进行畸变矫正时，如果得到非整数的坐标值，则通过插值来获取最近的整数坐标值，以替代所述非整数的坐标值。
  15. 根据权利要求13所述的方法，其特征在于，所述方法还包括：
    对所述经畸变矫正的红外图像进行尺寸修正，以使得所述经畸变矫正的红外图像与畸变矫正前的红外图像的尺寸相同。
  16. 一种标定板，其特征在于，所述标定板包括等间隔排列的多个热源，所述标定板经由红外图像采集设备拍摄图像，得到的标定板图像能够用于确定所述红外图像采集设备的畸变矫正系数。
  17. 根据权利要求16所述的标定板，其特征在于，所述标定板上布置的热源的数量、每个热源的大小以及各热源之间的间隔这三者中的每一个与所述红外图像采集设备的以下参数中的至少一个相关联：视场角、焦距和分辨率。
  18. 根据权利要求16或17所述的标定板，其特征在于，所述标定板上布置的所述多个热源在水平方向上等间隔排列，并在竖直方向上等间隔排列。
  19. 根据权利要求18所述的标定板，其特征在于，所述多个热源在水平方向上每两个热源之间的间隔等于在竖直方向上每两个热源之间的间隔。
  20. 根据权利要求16-19中的任一项所述的标定板，其特征在于，所述红外图像采集设备拍摄所述标定板的图像时距离所述标定板的距离与所述红外图像采集设备的焦距相关联。
  21. 根据权利要求16-20中的任一项所述的标定板，其特征在于，所述标定板包括背景板和在所述背景板上布置的所述热源，所述热源与所述背景板的之间的温差大于预设阈值。
  22. 根据权利要求21所述的标定板，其特征在于，所述热源为导电材料，所述背景板为非导电材料。
  23. 一种图像处理装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时，使得所述处理器执行如下操作：
    获取红外图像采集设备拍摄的标定板的图像，所述标定板包括等间隔排列的多个热源；
    确定所述标定板的图像上每个热源对应的目标像素点；
    将所述标定板的图像上每相邻四个热源对应的目标像素点连接起来形成四边形，并基于所得到的四边形生成棋盘格图像；
    基于畸变矫正模型对所述棋盘格图像进行分析，以生成所述红外图像 采集设备的畸变校正系数。
  24. 根据权利要求23所述的装置，其特征在于，所述标定板上布置的热源的数量、每个热源的大小以及各热源之间的间隔这三者中的每一个分别与所述红外图像采集设备的以下参数中的至少一个相关联：视场角、焦距和分辨率。
  25. 根据权利要求23或24所述的装置，其特征在于，所述标定板上布置的所述多个热源在水平方向上等间隔排列，并在竖直方向上等间隔排列。
  26. 根据权利要求25所述的装置，其特征在于，所述多个热源在水平方向上每两个热源之间的间隔等于在竖直方向上每两个热源之间的间隔。
  27. 根据权利要求23-26中的任一项所述的装置，其特征在于，所述红外图像采集设备拍摄所述标定板的图像时距离所述标定板的距离与所述红外图像采集设备的焦距相关联。
  28. 根据权利要求23-27中的任一项所述的装置，其特征在于，所述标定板包括背景板和在所述背景板上布置的所述热源，所述热源与所述背景板的之间的温差大于预设阈值。
  29. 根据权利要求28所述的装置，其特征在于，所述热源为导电材料，所述背景板为非导电材料。
  30. 根据权利要求23-29中的任一项所述的装置，其特征在于，所述计算机程序在被所述处理器运行时，使得所述处理器执行的所述确定所述标定板的图像上每个热源对应的目标像素点，包括：
    确定所述标定板的图像上每个热源对应的所有像素点；
    基于每个热源对应的所有像素点确定每个热源的目标像素点。
  31. 根据权利要求30所述的装置，其特征在于，所述计算机程序在被所述处理器运行时，使得所述处理器执行的所述基于每个热源对应的所有像素点确定每个热源的目标像素点，包括：
    将每个热源对应的所有像素点中的每一像素点作为该热源的假定目标像素点，计算该热源对应的其余像素点距离该假定目标像素点的距离的均方差，并将得到最小均方差时采用的假定目标像素点确定为该热源对应 的目标像素点。
  32. 根据权利要求23-31中的任一项所述的装置，其特征在于，所述棋盘格图像为黑白棋盘格图像。
  33. 根据权利要求23-32中的任一项所述的装置，其特征在于，所述计算机程序在被所述处理器运行时，使得所述处理器执行的所述基于畸变矫正模型对所述棋盘格图像进行分析，以生成所述红外图像采集设备的畸变校正系数，包括：
    获取未畸变的棋盘格图像；
    根据所述生成的棋盘格图像和所述获取的未畸变的棋盘格图像计算所述畸变矫正模型的系数，以得到所述红外图像采集设备的畸变校正系数。
  34. 根据权利要求33所述的装置，其特征在于，所述计算机程序在被所述处理器运行时，使得所述处理器执行的所述获取未畸变的棋盘格图像，包括：
    根据所述标定板上所述多个热源的真实分布确定每个热源的真实目标像素点的位置信息；
    根据所述标定板上每个热源的真实目标像素点的位置信息获取未畸变的棋盘格图像。
  35. 根据权利要求23-34中的任一项所述的装置，其特征在于，所述计算机程序在被所述处理器运行时，还使得所述处理器执行以下操作：
    获取所述红外图像采集设备拍摄的红外图像，并基于所述畸变矫正系数对所述红外图像的每个像素点的位置坐标进行畸变矫正，以得到经畸变矫正的红外图像。
  36. 根据权利要求35所述的装置，其特征在于，所述计算机程序在被所述处理器运行时，还使得所述处理器执行以下操作：
    在对所述红外图像的每个像素点的位置坐标进行畸变矫正时，如果得到非整数的坐标值，则通过插值来获取最近的整数坐标值，以替代所述非整数的坐标值。
  37. 根据权利要求35所述的装置，其特征在于，所述计算机程序在被所述处理器运行时，还使得所述处理器执行以下操作：
    对所述经畸变矫正的红外图像进行尺寸修正，以使得所述经畸变矫正 的红外图像与畸变矫正前的红外图像的尺寸相同。
  38. 根据权利要求23-37中的任一项所述的装置，其特征在于，所述图像处理装置为所述红外图像采集设备。
  39. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序在被处理器运行时使得所述处理器执行如权利要求1-15中的任一项所述的图像处理方法。
PCT/CN2020/085626 2020-04-20 2020-04-20 图像处理方法、装置、标定板和计算机可读存储介质 WO2021212273A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2020/085626 WO2021212273A1 (zh) 2020-04-20 2020-04-20 图像处理方法、装置、标定板和计算机可读存储介质
CN202080006521.1A CN113168677A (zh) 2020-04-20 2020-04-20 图像处理方法、装置、标定板和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/085626 WO2021212273A1 (zh) 2020-04-20 2020-04-20 图像处理方法、装置、标定板和计算机可读存储介质

Publications (1)

Publication Number Publication Date
WO2021212273A1 true WO2021212273A1 (zh) 2021-10-28

Family

ID=76879292

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/085626 WO2021212273A1 (zh) 2020-04-20 2020-04-20 图像处理方法、装置、标定板和计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN113168677A (zh)
WO (1) WO2021212273A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989259A (zh) * 2021-11-09 2022-01-28 浙江浙能嘉华发电有限公司 一种基于无人机红外图像畸变校正的光伏板热斑检测方法
CN116452468A (zh) * 2023-06-19 2023-07-18 深圳市众翔奕精密科技有限公司 硅胶工艺的形变校正方法及装置
CN116758171A (zh) * 2023-08-21 2023-09-15 武汉中导光电设备有限公司 成像系统位姿矫正方法、装置、设备及可读存储介质
CN117953083A (zh) * 2024-03-26 2024-04-30 合肥慧业智能科技有限公司 一种机器人视觉引导方法、装置、设备及存储介质
CN118134992A (zh) * 2024-01-27 2024-06-04 西安工业大学 一种非规则物体尺寸测量方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953328B (zh) * 2023-03-13 2023-05-30 天津所托瑞安汽车科技有限公司 一种目标矫正方法、系统及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105793892A (zh) * 2014-12-09 2016-07-20 深圳市大疆创新科技有限公司 一种图像处理方法、装置及摄像设备
CN109186653A (zh) * 2018-08-11 2019-01-11 西安应用光学研究所 一种适用于可见光/红外相机标定的高精度、低成本标定板及标定方法
CN109741400A (zh) * 2018-12-11 2019-05-10 东南大学 一种工业双目摄像头与红外热成像仪联合标定的装置和方法
CN110809781A (zh) * 2018-11-15 2020-02-18 深圳市大疆创新科技有限公司 一种图像处理方法、控制终端及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657642B (zh) * 2017-08-28 2018-09-11 哈尔滨拓博科技有限公司 一种利用外部摄像头进行投影键盘的自动化标定方法
CN107806888B (zh) * 2017-10-27 2020-11-17 武汉大学 一种基于红外led灯的摄影/像机全自动快速标定方法
WO2020014845A1 (zh) * 2018-07-16 2020-01-23 深圳配天智能技术研究院有限公司 一种标定板、内参数标定方法、机器视觉系统及存储装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105793892A (zh) * 2014-12-09 2016-07-20 深圳市大疆创新科技有限公司 一种图像处理方法、装置及摄像设备
CN109186653A (zh) * 2018-08-11 2019-01-11 西安应用光学研究所 一种适用于可见光/红外相机标定的高精度、低成本标定板及标定方法
CN110809781A (zh) * 2018-11-15 2020-02-18 深圳市大疆创新科技有限公司 一种图像处理方法、控制终端及存储介质
CN109741400A (zh) * 2018-12-11 2019-05-10 东南大学 一种工业双目摄像头与红外热成像仪联合标定的装置和方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989259A (zh) * 2021-11-09 2022-01-28 浙江浙能嘉华发电有限公司 一种基于无人机红外图像畸变校正的光伏板热斑检测方法
CN116452468A (zh) * 2023-06-19 2023-07-18 深圳市众翔奕精密科技有限公司 硅胶工艺的形变校正方法及装置
CN116452468B (zh) * 2023-06-19 2023-09-26 深圳市众翔奕精密科技有限公司 硅胶工艺的形变校正方法及装置
CN116758171A (zh) * 2023-08-21 2023-09-15 武汉中导光电设备有限公司 成像系统位姿矫正方法、装置、设备及可读存储介质
CN116758171B (zh) * 2023-08-21 2023-10-27 武汉中导光电设备有限公司 成像系统位姿矫正方法、装置、设备及可读存储介质
CN118134992A (zh) * 2024-01-27 2024-06-04 西安工业大学 一种非规则物体尺寸测量方法及装置
CN117953083A (zh) * 2024-03-26 2024-04-30 合肥慧业智能科技有限公司 一种机器人视觉引导方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113168677A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
WO2021212273A1 (zh) 图像处理方法、装置、标定板和计算机可读存储介质
Jeon et al. Accurate depth map estimation from a lenslet light field camera
JP6735592B2 (ja) 画像処理装置及びその制御方法、画像処理システム
JP5818091B2 (ja) 画像処理装置、画像処理システム、画像処理方法、および、プログラム
JP2020053084A (ja) 複数のパターン認識及び登録ツールモデルをトレーニングするための半教師付き方法
CN109360246B (zh) 基于同步子区搜索的立体视觉三维位移测量方法
CN107316326B (zh) 应用于双目立体视觉的基于边的视差图计算方法和装置
JP2015197745A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
WO2021136386A1 (zh) 数据处理方法、终端和服务器
WO2019232793A1 (zh) 双摄像头标定方法、电子设备、计算机可读存储介质
WO2021008205A1 (zh) 图像处理
CN106524909B (zh) 三维图像采集方法及装置
CN110766615B (zh) 一种图片矫正方法、装置、终端及计算机可读存储介质
JP7032913B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
CN112257713A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
JP2017092756A (ja) 画像処理装置、画像処理方法、画像投影システムおよびプログラム
CN109726613B (zh) 一种用于检测的方法和装置
JP7312026B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN107146242A (zh) 一种用于成像系统模糊核估计的高精度图像配准方法
CN116012242A (zh) 一种相机畸变矫正效果评价方法、装置、介质及设备
CN113177886A (zh) 图像处理方法、装置、计算机设备及可读存储介质
CN117333367A (zh) 基于图像局部特征的图像拼接方法、系统、介质及装置
JP2015179426A (ja) 情報処理装置、パラメータの決定方法、及びプログラム
US10728476B2 (en) Image processing device, image processing method, and image processing program for determining a defective pixel
US11166005B2 (en) Three-dimensional information acquisition system using pitching practice, and method for calculating camera parameters

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20931950

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20931950

Country of ref document: EP

Kind code of ref document: A1