WO2021217643A1 - 红外图像处理方法、装置及可移动平台 - Google Patents

红外图像处理方法、装置及可移动平台 Download PDF

Info

Publication number
WO2021217643A1
WO2021217643A1 PCT/CN2020/088470 CN2020088470W WO2021217643A1 WO 2021217643 A1 WO2021217643 A1 WO 2021217643A1 CN 2020088470 W CN2020088470 W CN 2020088470W WO 2021217643 A1 WO2021217643 A1 WO 2021217643A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixel
infrared
filter coefficient
noise
Prior art date
Application number
PCT/CN2020/088470
Other languages
English (en)
French (fr)
Inventor
张青涛
杨磊
赵新涛
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to PCT/CN2020/088470 priority Critical patent/WO2021217643A1/zh
Publication of WO2021217643A1 publication Critical patent/WO2021217643A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction

Definitions

  • This application relates to the field of image processing technology, and in particular, to an infrared image processing method, device, and movable platform.
  • the infrared images collected by the infrared sensor will generate random noise in the time domain, such as random single point noise in the time domain or pulsating fringe noise. Domain random noise will randomly appear on each frame of infrared images collected by the infrared sensor, which will seriously affect the display effect of the infrared image and the accuracy of temperature measurement. Therefore, it is necessary to provide a method for removing the above-mentioned random noise in the time domain to improve the display effect of the infrared image.
  • this application provides an infrared image processing method, device and movable platform.
  • an infrared image processing method including:
  • an infrared image processing device including a processor, a memory, and a computer program stored in the memory that can be executed by the processor, and the processor executes the computer The following steps are implemented during the program:
  • a movable platform is provided, and the movable platform includes the infrared image processing device described in the second aspect.
  • a computer-readable storage medium characterized in that a computer program is stored on the computer-readable storage medium, and when the computer program is executed by a processor, the above-mentioned first aspect is implemented.
  • the infrared image processing method is provided.
  • Fig. 1 is a flowchart of an infrared image processing method according to an embodiment of the present application.
  • Fig. 2 is a schematic diagram of performing bilateral filtering on grayscale differences according to an embodiment of the present application.
  • Fig. 3 is a schematic diagram of an infrared image processing method according to an embodiment of the present application.
  • Fig. 4 is a schematic structural diagram of an infrared image processing system according to an embodiment of the present application.
  • Fig. 5 is a schematic diagram of the logical structure of an infrared image processing device according to an embodiment of the present application.
  • the infrared images collected by the infrared sensor will produce random noise in the time domain, such as random single point noise in the time domain or pulsating fringe noise. Domain random noise will appear randomly on each frame of infrared images collected by the infrared sensor. Take the bounced horizontal stripe noise as an example. Assuming that the infrared sensor has continuously collected 4 frames of images, there may only be horizontal stripe noise in the first frame, and the remaining 3 frames. None appeared. Random noise in the time domain seriously affects the display effect of the infrared image, so it needs to be removed to facilitate the subsequent application of the infrared image.
  • the present application provides an infrared image processing method, as shown in FIG. 1, the method includes the following steps:
  • S102 Determine the corresponding pixel of each pixel of the infrared image to be processed on the reference image of the infrared image;
  • S104 Determine the grayscale difference between each pixel and the corresponding pixel
  • S106 Perform filtering processing on the grayscale difference value, and determine the target noise grayscale value of each pixel of the infrared image based on the filtering result;
  • S108 Perform denoising processing on the infrared image based on the target noise gray value to obtain a first image.
  • the infrared image processing method provided in this application can be executed by an infrared image acquisition device.
  • the infrared image acquisition device collects an image, it directly performs an infrared image processing operation.
  • it can also be executed by other devices with infrared image processing functions other than infrared image acquisition devices, such as mobile phones, laptops, tablets, and other terminals.
  • it can also be a cloud server. These devices can obtain infrared images. Capture the image captured by the device, and then perform the image processing operations described above.
  • the infrared image can be denoised by combining multiple frames of infrared images collected by the infrared sensor.
  • the reference image of the infrared image can be acquired first, where the reference image can be one or more frames of images continuously collected with the infrared image, for example, it can be before or before the infrared image.
  • the time interval between the reference image and the infrared image collection can be as short as possible.
  • it can be The previous frame image or the next frame image of the infrared image.
  • the reference image may be an image after denoising processing.
  • the corresponding pixel point of each pixel of the infrared image on the reference image can be determined, where the corresponding pixel point can be the pixel point in the reference image and the infrared image corresponding to the same three-dimensional scene Of pixels.
  • the corresponding pixel point may be the same pixel point in the reference image as the pixel point of the infrared image, of course, it may also be a pixel point determined by motion estimation.
  • the pixels of the infrared image and the corresponding pixels represent the same three-dimensional scene, and their gray values should theoretically be the same.
  • the noise gray can be determined based on the difference. Therefore, after determining that each pixel of the infrared image is in the corresponding pixel of the reference image, you can calculate the grayscale difference between each pixel in the infrared image and its corresponding pixel, and then filter the grayscale difference, and determine the infrared based on the filtering result.
  • the gray value of the noise of each pixel in the image is called the target noise gray value hereinafter, and then the infrared image is denoised according to the determined target noise gray value to obtain the denoised image, which is called the first image.
  • the noise gray value corresponding to each pixel can be determined more accurately, making the noise estimation result more accurate and improving Noise effect.
  • the time interval between the infrared image to be processed and its reference image is very short, the content of the two frames of images is basically the same, and no major changes have occurred. Therefore, when determining each of the infrared images to be processed When a pixel point is a corresponding pixel point in the reference image, the pixel point at the same position can be taken as the corresponding pixel point.
  • the corresponding pixels in the first row and first column of the infrared image are the pixels in the first row and one column in the reference image.
  • the infrared sensor may move during the shooting process, or the shooting object is moving, there will be global or local movement between the infrared image and the reference image, in order to more accurately determine the pixels of the infrared image
  • the corresponding pixel of the point can first determine the motion vector between the infrared image and the reference image, which is hereinafter referred to as the first motion vector. Then, according to the first motion vector, the corresponding pixel point of each pixel in the infrared image in the reference image is determined.
  • the first motion vector may be a global motion vector or a local motion vector.
  • general methods such as gray-scale histogram correlation matching, feature point matching, and optical flow method can be used to determine the first motion between the infrared image and its reference image.
  • Vector not detailed here.
  • the grayscale difference can be filtered to obtain a more accurate noise grayscale value.
  • Gaussian filtering median filtering and other methods to determine the noise gray value corresponding to each pixel.
  • bilateral filtering can be used. Through bilateral filtering, the noise of each pixel is calculated according to the gray difference value.
  • the positional relationship between each pixel and its neighboring pixels and the difference in grayscale difference corresponding to each pixel can be comprehensively considered, so that the determined noise grayscale value of each pixel is more accurate.
  • (a) is the gray value of the pixel in the local area of the infrared image to be processed
  • (b) is the gray value of the corresponding pixel on the reference image
  • (c) is the gray value of the two frames of image
  • the weight when calculating the grayscale noise of P, the grayscale difference corresponding to the pixel points closer to the P position, the weight can be set.
  • the weight can also be determined by combining the gray-scale difference, such as the gray scale of pixel P
  • the weight of pixels with similar degrees of difference can be larger, and the weight of pixels with greater difference in gray-scale difference from pixel P can be smaller. Taking into account the position factor and the size of the gray-scale difference, each calculation can be made.
  • the noise gray scale of each pixel is more accurate.
  • the noise gray value corresponding to each pixel can be smoothed.
  • the noise gray value corresponding to each pixel in each row or column is basically the same. Therefore, in some embodiments, the gray difference value can be bilaterally filtered to obtain the corresponding pixel The first noise gray value, and then the average value of the first noise gray value of each pixel of each row or each column of the infrared image is counted as the target noise gray value of each pixel of each row or each column. For a scene with line stripes, the average value of the first noise gray value of each pixel in each row can be counted as the final target noise gray value of the pixel in this row.
  • the average value of the first noise gray value of each pixel in each column can be counted as the final target noise gray value of the pixel in this column.
  • the embodiment of the present application is not limited to the method of average value, and other weighted average may be used to obtain the noise gray value of each pixel of each row or each column.
  • the first image after denoising can be further performed. Denoising processing.
  • the reference image of the first image may be acquired, where the reference image of the first image may be one or more frames of images continuously collected with the first image.
  • the process of performing denoising on the infrared image to be processed to obtain the first image is collectively referred to as the first denoising
  • the process of further denoising the first image to obtain the second image is collectively referred to as the second denoising.
  • the comprehensive filter coefficient is the weight of the pixel value of the corresponding pixel on the first image or the reference image when the pixel value of the second image after denoising is determined according to the first image and its reference image. For example, suppose there is a pixel point P0 on the first image. According to the second motion vector between the first image and its reference image, it can be determined that P0 is at the corresponding pixel point P1 of the reference image, and the second image is at the corresponding pixel point P1. The pixel value can be determined according to the pixel values of these two pixels. At this time, the weight of the pixel values of P0 and P1 in determining the pixel value of the denoised pixel can be determined, which is called the integrated filter coefficient.
  • the comprehensive filter coefficient is related to the global motion of the image, and is also related to the local motion of the image.
  • the global movement is the movement of the overall image brought about by the change of the position of the infrared image sensor
  • the local movement is the movement caused by the movement of the shooting object. Both of these movements will affect the pixel matching of the final first image and its reference image. Therefore, the global motion and local motion of the image can be comprehensively considered when determining the comprehensive filter coefficients.
  • the global motion vector between the first image and its reference image that is, the second motion vector
  • a grayscale histogram can be used. General methods such as correlation matching, feature point matching, and optical flow method to determine the second motion vector between the infrared image and its reference image will not be detailed here.
  • the corresponding pixel points of each pixel of the first image on the reference image can be determined according to the second motion vector. Because the second motion vector between the first image and its reference image only considers the global Therefore, the corresponding pixel determined according to the second motion vector may not be accurate. Therefore, the first filter coefficient can be determined according to the degree of matching between each pixel of the first image and the corresponding pixel, and then the first filter coefficient is determined according to the first image and the corresponding pixel. The confidence of the second motion vector between the reference images determines the second filter coefficient, where the confidence reflects the accuracy of the second motion vector. After the first filter coefficient and the second filter coefficient are determined, the integrated filter coefficient may be determined according to the first filter coefficient and the second filter coefficient. In this way, the global motion and local motion of the image are comprehensively considered, so that the determined filter coefficients will be more accurate.
  • the first filter coefficient when the first filter coefficient is determined according to the degree of matching between each pixel of the first image and the corresponding pixel on the reference image, the first filter coefficient may be determined according to the pixel of the first image and the pixel of the corresponding pixel.
  • the value determines the characterizing parameter used to characterize the degree of pixel matching.
  • the characterizing parameter may be the absolute value of the difference between the pixel value of each pixel of the first image and the pixel value of the corresponding pixel.
  • the characterization parameter may also be the difference between the pixel value of a pixel on a small image area where a certain pixel on the first image is located and the pixel value of the pixel of the image area in the corresponding area of the reference image.
  • the sum of absolute values is SAD (Sum of Absolute Differences).
  • SAD Sud of Absolute Differences
  • the first threshold value, the preset second threshold value, and the preset value can be preset according to the characterizing parameter.
  • the maximum filter coefficient is used to determine the first filter coefficient.
  • the preset first threshold and the preset second threshold are thresholds related to the image noise level, and the preset first threshold is smaller than the preset second threshold, and the maximum filter coefficient is a fixed coefficient between 0-1.
  • the first filter coefficient is equal to the preset maximum filter coefficient
  • the first filter coefficient is equal to 0, if the characterizing parameter Greater than the preset first threshold and less than the preset second threshold, the first filter coefficient is equal to the product of the maximum filter coefficient and the specified coefficient, where the specified coefficient is obtained based on the preset second threshold, the characterizing parameter, and the preset first threshold.
  • the characterization parameter is H
  • the preset first threshold is lowthres
  • the preset second threshold is highthres. Lowthres and highthres are respectively thresholds related to the image noise level, and highthres>lowthres, ratio is the maximum filter coefficient, 0 ⁇ ratio ⁇ 1. Then the first filter coefficient can be calculated by formula (1).
  • the second filter coefficient may be determined according to the confidence of the motion vector between the first image and the reference image of the first image, and then the integrated filter coefficient may be determined according to the first filter coefficient and the second filter coefficient.
  • the pixel value of each pixel of the second image after denoising can be determined according to the pixel value of each pixel of the first image, the pixel value of the corresponding pixel in the reference image of the first image, and the comprehensive filter coefficient. .
  • the pixel value of the pixel with coordinates (p, q) in the first image is V(p, q)
  • the coordinates of the reference pixel corresponding to the pixel with coordinates (p, q) in the reference image of the second image Is (p+dp, q+dq)
  • the pixel value of the reference pixel is W(p+dp, q+dq)
  • V o (p,q) (1-s(p,q))V(p,q)+s(p,q)W(p+dp,q+dq)
  • s(p,q) is the comprehensive filter coefficient
  • dp,dq is the motion vector of the pixel with the coordinate (p,q) in the first image.
  • the denoising pixel value can be obtained by using formula (1) for each frame of the reference image, and then the average value is taken as the final denoising pixel value.
  • images collected by an image sensor with a higher resolution may also be used to assist in determining the first motion vector and the second motion vector.
  • the relative position of a visible light sensor and the infrared sensor is fixed, and the two respectively collect visible images and infrared images in the same scene. Since the relative positions of the two are fixed, their global motion vectors are the same. Since the resolution of the visible light image is higher, the motion vector determined from the visible light image will be more accurate. Therefore, the motion vector of the visible light image can be combined to assist in determining the motion vector of the infrared image and its reference image, so that the determined motion vector is more accurate.
  • the reference image of the infrared image to be processed and the reference image of the first image can be stored in a preset memory, and can be directly obtained from the memory during denoising.
  • the reference image of the infrared image and the reference image of the first image may be the same one-frame or multiple-frame images, of course, they may also be different multiple-frame images.
  • the reference image of the infrared image may be the image after the first denoising operation is performed on the previous frame of the infrared image.
  • the reference image of the first image may also be the image after the first denoising and the second denoising of the previous frame of the infrared image.
  • image A can be denoised for the first time to obtain image A1, and then A1 is stored in DDR as the next frame of image for the first time.
  • the reference image for a denoising Similarly, you can perform the second denoising process on A1 to obtain A2, and then store A2 in the DDR as the reference image for the second denoising of the next frame of image.
  • the reference image of the infrared image and the reference image of the first image may also be the same frame of image.
  • the reference images are all images collected before the infrared image and processed for denoising.
  • image A can be denoised for the first time to obtain image A1
  • A1 can be further denoised for the second time to obtain A2.
  • A2 is stored in the DDR as a reference image for the next two denoising processing.
  • the denoised first image or the second denoised image can also be determined according to the relevant information of the noise removed each time.
  • the tensile strength of the image, and then the first image or the second image is subjected to contrast stretching processing.
  • the noise-related information includes one or more kinds of information such as the intensity of the noise, the de-noising intensity corresponding to the noise, or the type of the noise.
  • the type of noise refers to whether the noise is fringe noise or single-point noise.
  • the tensile strength is set for different types of noise, which can prevent the noise from becoming more obvious after the stretching is enhanced.
  • the tensile strength can also be set by combining the noise intensity and the denoising intensity, where the noise intensity can be determined according to the determined noise gray value, and the noise reduction intensity can be determined according to the subtracted noise gray value, or Comprehensive determination of the number of neighboring pixels involved in noise, or the weight of neighboring pixels, or the weight of pixels of the reference image. If the noise intensity is greater, the tensile strength can be appropriately smaller, and if the noise removal strength is greater, the tensile strength can be appropriately greater.
  • the contrast of the infrared image can be improved as much as possible while avoiding the problem of obvious noise and improving the processing effect of the infrared image.
  • the denoised image when stretched and enhanced, it may be global stretch or local stretch.
  • local stretching you can consider the type of noise, noise intensity, or denoising intensity in the local area of the image, and set the stretching intensity for the noise in the local image area, so that the infrared image stretching and enhancement processing is more refined, and the effect better.
  • Figure 3 is a schematic diagram of an infrared image processing method.
  • the infrared sensor 31 collects a frame of the original infrared image, it can be stored in DDR 36 as a backup or directly transmitted to the first denoising module 32, which is mainly used to remove the time domain in the infrared image Random fringe noise, the first image is obtained, and then the first image is transmitted to the second denoising module 33, the second denoising module 33 is mainly used to further remove the time domain random fringe noise and the time domain random single point noise in the infrared image , The second image is obtained, and the second image after denoising twice can be stored in the DDR 36 as a reference image for the next frame of infrared image collected by the infrared sensor 31 during denoising processing.
  • the second denoising module 33 can transmit the second image to the stretching module 34, and the stretching module 34 can determine the stretching strength by combining the type of noise in the infrared image, the intensity of the noise, the denoising strength and other information, and then the first image
  • the second image is stretched and enhanced, and the stretched and enhanced image is stored in DDR36 for subsequent use.
  • the motion estimation module 35 is used to determine the motion vector of the infrared image to be denoised and its reference image.
  • the motion estimation module 35 can obtain the infrared image collected by the infrared sensor 31, and obtain the reference image of the infrared image from the DDR36, and then use the grayscale histogram
  • the image correlation matching, feature point matching, or optical flow method determines the motion vector between the infrared image and its reference image for use by the first denoising module 32 or the second denoising module 33.
  • the first denoising module 31 After the first denoising module 31 obtains the infrared image to be denoised, it can obtain its reference image from DDR 36, and then obtain the motion vector between the infrared image and its reference image from the motion estimation module 35, and then determine the infrared image based on the motion vector. The corresponding pixel point of each pixel in the image on the reference image is determined, then the grayscale difference between each pixel and each pixel on the reference image is determined, and the grayscale difference is processed by bilateral filtering to obtain the first pixel of each pixel. Noise gray value. For row fringe noise, you can count the average value of the first noise gray value of each pixel in each row to get the target noise gray value of each pixel.
  • the first denoising module 31 may transmit the first image and the reference image to the second noise module 32 for the next step of denoising processing.
  • the second noise module 32 can obtain the motion vector from the motion estimation module 35, and then determine the corresponding pixel point of each pixel on the first image on the reference image according to the confidence of the motion vector, and determine the corresponding pixel point on the first image
  • the absolute value of the grayscale difference of a pixel is used to characterize the degree of matching between each pixel and the corresponding pixel.
  • the first Filter coefficient and then determine the second filter coefficient according to the confidence of the motion vector, where the confidence characterizes the accuracy of the motion vector.
  • the product of the first filter coefficient and the second filter coefficient is calculated to obtain the integrated filter coefficient, and the integrated filter coefficient is used to denoise the first image.
  • the pixel value of the pixel with coordinates (p, q) in the first image is V(p, q)
  • the coordinates of the reference pixel corresponding to the pixel with coordinates (p, q) in the reference image of the second image Is (p+dp, q+dq)
  • the pixel value of the reference pixel is W(p+dp, q+dq)
  • s(p,q) is the comprehensive filter coefficient
  • dp,dq is the motion vector of the pixel with the coordinate (p,q) in the first image.
  • the second image can be stored as a reference image when the next frame of infrared image is subjected to the above-mentioned denoising processing, and then the second image can be transmitted to the stretching module 34, and the stretching module 34 can The type of noise, the intensity of the noise, and the intensity of de-noising are used to stretch the second image. You can perform global stretching or local stretching. When performing local stretching, you can combine the local area's The type, intensity and denoising intensity of noise determine the local tensile strength. After the stretching operation is completed, the processed image can be stored in DDR 36 for subsequent use.
  • the influence of the global or local motion of the image can be comprehensively considered, and the gray value of the noise can be accurately estimated, which greatly improves the denoising effect.
  • the infrared image processing method can be executed by a preset infrared image processing system.
  • the infrared image processing system includes the following modules:
  • the infrared sensor receiving and control module Sensor ctrl 42 is used to receive the data collected by the infrared sensor 41 and control the infrared sensor.
  • the collected original infrared image frame enters the DDR 417 to perform the dynamic range check function of the infrared sensor, and
  • the infrared sensor performs dynamic range correction.
  • the flat field correction module FFC 43 is used to control the infrared sensor to open the shutter, and store the image frames during the opening of the shutter in DDR 417, perform multi-frame averaging and output backwards to obtain the flat field for pixel-by-pixel offset correction frame.
  • the non-linear correction module NUC 44 is used to correct the pixel-level response rate according to the pixel-level response rate difference of the infrared sensor calibrated in advance, and also correct the pixel-level offset, and finally output the response rate of the entire image The image that is consistent with the offset goes to the next stage.
  • the dead pixel correction module BPC 45 is used for static dead pixel correction based on the bad pixels calibrated in advance, and dynamic dead pixel correction based on the dead pixels detected online.
  • Time domain noise reduction module TDNS 46 used to remove time domain noise according to the time domain noise characteristics of the infrared sensor, including time domain random single point noise, time domain random row (column) noise, DDR 417 is used for cache removal
  • the image frames before and after the noise are filtered using the similarities and differences between the two frames to improve the signal-to-noise ratio.
  • CDNS 47 Fixed pattern noise removal module CDNS 47, used to remove fixed pattern column noise and row noise.
  • Spatial noise reduction module RDNS 48 used to remove random noise in the spatial domain, and use the similarity and difference between the current pixel and the neighborhood to perform filtering to improve the signal-to-noise ratio.
  • the frequency separation module Fsep 49 is used for frequency separation in the spatial domain to prepare for the subsequent contrast stretching and detail enhancement modules to reduce noise and enhance details.
  • the current stretching module Str 410 is used for preliminary linear stretching to prepare for subsequent processing.
  • the first-level contrast stretching module TM1 410 is used for histogram statistics and contrast stretching.
  • the second-level contrast stretching module TM2 411 is used for histogram statistics and contrast stretching; through two-level contrast stretching, controllable contrast enhancement is achieved, which can make the image hierarchy clear and prevent excessive The stretching causes the noise to be noticeable.
  • the frequency synthesis module Fcom 412 is used for frequency synthesis in the spatial domain, enhancing the details by enhancing the mid and high frequencies, and outputting an infrared grayscale image with enhanced contrast and details.
  • Pseudo-color mapping module Color Mapping 414 used to map infrared gray image to YUV color map, on the one hand highlighting the temperature distribution information, on the other hand highlighting the details of the object.
  • the transcoding module 444 to 420/422 415 is used to transcode the color map of YUV444 into a color map of YUV422 or 420, and output it backward, which is convenient for subsequent encoding and saves storage space.
  • Scene analysis module Scene analyze 416, used to analyze the scene information in the current image, such as indoor, outdoor, black body, woods, seaside, etc., and feedback the analysis results to the previous module to adjust the parameters of the module.
  • the system constitutes a feedback system that can adaptively perform appropriate denoising, contrast enhancement and detail enhancement for different scenes.
  • the present application also provides an infrared image processing device. As shown in FIG. 5, the device includes a processor 51, a memory 52, and computer instructions executable by the processor 51 stored on the memory 52. When the processor 51 executes the computer instructions, the following steps are implemented:
  • the processor when configured to perform filtering processing on the grayscale difference, it is specifically configured to:
  • Bilateral filtering processing is performed on the gray difference value.
  • the processor is configured to perform bilateral filtering processing on the grayscale difference, and when determining the target noise grayscale value of each pixel of the infrared image based on the filtering result, it is specifically used for:
  • the average value of the first noise gray value of each pixel of each row or each column of the infrared image is counted as the target noise gray value of each pixel of each row or each column.
  • the processor when used to determine the corresponding pixel of each pixel of the infrared image to be processed on the reference image of the infrared image, it is specifically used to:
  • the corresponding pixel point of each pixel of the infrared image on the reference image of the infrared image is determined based on the first motion vector.
  • the processor is configured to perform denoising processing on the infrared image based on the target noise gray value, it is further configured to:
  • the processor when the processor is configured to determine the comprehensive filter coefficient of each pixel of the first image according to the second motion vector and the reference image of the first image, it is specifically configured to:
  • the integrated filter coefficient is obtained according to the first filter coefficient and the second filter coefficient.
  • the integrated filter coefficient is equal to the product of the first filter coefficient and the second filter coefficient.
  • the processor when the processor is configured to determine the first filter coefficient according to the degree of matching between each pixel of the first image and the corresponding pixel, it is specifically configured to:
  • the first filter coefficient is determined based on the characterizing parameter, a preset first threshold, a preset second threshold, and a preset maximum filter coefficient, where the preset first threshold is smaller than the preset second threshold.
  • the characterizing parameters include:
  • the reference image of the infrared image or the reference image of the first image is obtained from a preset memory.
  • the reference image of the infrared image or the reference image of the first image is an image of the same frame, and the reference image is an image collected before the infrared image and subjected to denoising processing.
  • the processor is further configured to:
  • the tensile strength of the first image or the second image is determined based on the related information of the noise, and the related information includes the strength of the noise, the denoising strength corresponding to the noise, and/or the type of the noise.
  • the first image or the second image is stretched and enhanced according to the stretch strength.
  • the information related to the noise corresponds to a local area of the infrared image
  • the tensile strength is the tensile strength corresponding to the local area.
  • the infrared image processing device further includes an infrared sensor for collecting infrared images.
  • the infrared image processing device may be an infrared camera, for example.
  • the infrared processing device mentioned in this application can be used in power inspection, industry inspection and other fields.
  • this application also provides a movable platform
  • the movable platform may be an unmanned aerial vehicle, an unmanned boat, an unmanned car, etc.
  • the movable platform includes the infrared image processing described in the above embodiments Device.
  • the drones can be equipped with infrared sensors and the above-mentioned infrared image processing devices for performing tasks such as temperature measurement, power inspection, and monitoring.
  • an embodiment of this specification also provides a computer storage medium in which a program is stored, and the program is executed by a processor to implement the infrared image processing method in any of the above embodiments.
  • the embodiments of this specification may adopt the form of a computer program product implemented on one or more storage media (including but not limited to disk storage, CD-ROM, optical storage, etc.) containing program codes.
  • Computer usable storage media include permanent and non-permanent, removable and non-removable media, and information storage can be realized by any method or technology.
  • the information can be computer-readable instructions, data structures, program modules, or other data.
  • Examples of computer storage media include, but are not limited to: phase change memory (PRAM), static random access memory (SRAM), dynamic random access memory (DRAM), other types of random access memory (RAM), read-only memory (ROM), electrically erasable programmable read-only memory (EEPROM), flash memory or other memory technology, CD-ROM, digital versatile disc (DVD) or other optical storage, Magnetic cassettes, magnetic tape magnetic disk storage or other magnetic storage devices or any other non-transmission media can be used to store information that can be accessed by computing devices.
  • PRAM phase change memory
  • SRAM static random access memory
  • DRAM dynamic random access memory
  • RAM random access memory
  • ROM read-only memory
  • EEPROM electrically erasable programmable read-only memory
  • flash memory or other memory technology
  • CD-ROM compact disc
  • DVD digital versatile disc
  • Magnetic cassettes magnetic tape magnetic disk storage or other magnetic storage devices or any other non-transmission media can be used to store information that can be accessed by computing devices.
  • the relevant part can refer to the part of the description of the method embodiment.
  • the device embodiments described above are merely illustrative.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, they may be located in One place, or it can be distributed to multiple network units.
  • Some or all of the modules can be selected according to actual needs to achieve the objectives of the solutions of the embodiments. Those of ordinary skill in the art can understand and implement without creative work.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种红外图像处理方法、装置及可移动平台。所述方法包括：确定待处理的红外图像的各像素点在所述红外图像的参考图像上的对应像素点，确定各像素点与所述对应像素点的灰度差值，对所述灰度差值进行滤波处理，基于滤波结果确定所述红外图像各像素点的目标噪声灰度值，基于所述目标噪声灰度值对所述红外图像进行去噪处理，得到第一图像。通过对红外图像各像素点与对应像素点的灰度差值进行滤波处理，可以更加准确的计算出各像素点上的噪声灰度值，提升去噪效果。

Description

红外图像处理方法、装置及可移动平台 技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种红外图像处理方法、装置及可移动平台。
背景技术
红外传感器在生产制造过程中，由于制造工艺的缺陷或电源系统的缺陷，导致红外传感器采集的红外图像会产生时域随机噪声，比如，时域随机单点噪声或者跳动的条纹噪声，这种时域随机噪声会随机的出现在红外传感器采集的各帧红外图像上，严重影响红外图像的展示效果和测温精度。因此，有必要提供一种去除上述时域随机噪声的方法，以提高红外图像的展示效果。
发明内容
有鉴于此，本申请提供一种红外图像处理方法、装置及可移动平台。
根据本申请的第一方面，提供一种红外图像处理方法，所述方法包括：
确定待处理的红外图像的各像素点在所述红外图像的参考图像上的对应像素点；
确定各像素点与所述对应像素点的灰度差值；
对所述灰度差值进行滤波处理，基于滤波结果确定所述红外图像各像素点的目标噪声灰度值；
基于所述目标噪声灰度值对所述红外图像进行去噪处理，得到第一图像。
根据本申请的第二方面，提供一种红外图像处理装置，所述装置包括处理器、存储器、存储在所述存储器上可被所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
确定待处理的红外图像的各像素点在所述红外图像的参考图像上的对应像素点；
确定各像素点与所述对应像素点的灰度差值；
对所述灰度差值进行滤波处理，基于滤波结果确定所述红外图像各像素点的目标噪声灰度值；
基于所述目标噪声灰度值对所述红外图像进行去噪处理，得到第一图像。
根据本申请的第三方面，提供一种可移动平台，所述可移动平台包括上述第二方面所述的红外图像处理装置。
根据本申请的第四方面，提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的红外图像处理方法。
应用本申请提供的方案，在去除红外图像中的时域随机噪声时，可以先确定红外图像中各像素点在其参考图像上的对应像素点，然后确定各像素点与对应像素点的灰度差值，并对灰度差值进行滤波处理，根据滤波结果确定各像素点的噪声灰度值，然后对红外图像进行去噪。通过对红外图像各像素点与对应像素点的灰度差值进行滤波处理，可以更加准确的计算出各像素点上的噪声灰度值，提升去噪效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例的红外图像处理方法流程图。
图2是本申请一个实施例的对灰度差值进行双边滤波的示意图。
图3是本申请一个实施例的红外图像处理方法的示意图。
图4是本申请一个实施例的红外图像处理系统的架构示意图。
图5是本申请一个实施例的红外图像处理装置的逻辑结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
红外传感器在生产制造过程中，由于制造工艺的缺陷或电源系统的缺陷，导致红外传感器采集的红外图像会产生时域随机噪声，比如，时域随机单点噪声或跳动的条纹噪声，这种时域随机噪声会随机的出现在红外传感器采集的各帧红外图像上，以跳动的横条纹噪声为例，假设红外传感器连续采集了4帧图像，可能只有第一帧出现横条纹噪声，其余3帧均未出现。时域随机噪声严重影响红外图像的展示效果度，因而需要将其去除，便于红外图像的后续应用。
基于此，本申请提供了一种红外图像处理方法，如图1所示，所述方法包括以下步骤：
S102、确定待处理的红外图像的各像素点在所述红外图像的参考图像上的对应像素点；
S104、确定各像素点与所述对应像素点的灰度差值；
S106、对所述灰度差值进行滤波处理，基于滤波结果确定所述红外图像各像素点的目标噪声灰度值；
S108、基于所述目标噪声灰度值对所述红外图像进行去噪处理，得到 第一图像。
本申请提供的红外图像处理方法可以由红外图像采集设备执行，比如，红外图像采集设备采集到图像后，直接进行红外图像处理操作。当然，也可以由红外图像采集设备之外的其他具备红外图像处理功能的设备来执行，比如，可以是手机、笔记本电脑、平板等终端，当然，也可以是云端服务器，这些设备可以获取红外图像采集设备采集的图像，然后执行上述图像处理操作。
由于时域随机噪声是随机出现在红外传感器采集的各帧红外图像上，因而，可以结合红外传感器采集的多帧红外图像对红外图像进行去噪。在获取到待处理的红外图像后，可以先获取该红外图像的参考图像，其中，参考图像可以是与该红外图像连续采集的一帧或多帧图像，比如，可以是在该红外图像之前或之后采集的图像，当然，为了让红外图像与参考图像中的场景差异较小，以达到更好的去噪效果，参考图像与该红外图像采集的时间间隔可以尽可能短一些，比如，可以是该红外图像的前一帧图像或后一帧图像。其中，参考图像可以是经过去噪处理后的图像。
获取待处理的红外图像和其参考图像后，可以确定红外图像的各像素点在参考图像上的对应像素点，其中，对应像素点可以是参考图像中与红外图像的像素点对应于同一三维场景的像素点。比如，在两帧图像变化很小时，对应像素点可以是参考图像中与红外图像的像素点位置相同像素点，当然，也可以是通过运动估计确定的像素点。通常，红外图像的像素点与对应像素点表示同一三维场景，其灰度值理论上应该一致，如果存在差异，则很有可能是噪声引起的，因而可以根据其差值确定噪声灰度。所以，确定红外图像各像素点在参考图像的对应像素点后，可以计算红外图像中各像素点与其对应像素点的灰度差值，然后对灰度差值进行滤波处理，根据滤波结果确定红外图像中各像素点的噪声的灰度值，以下称为目标噪声灰度值，然后根据确定的目标噪声灰度值对红外图像进行去噪处理，得到去噪后的图像，以下称为第一图像。
通过对红外图像的各像素点与参考图像中的对应像素点的灰度差值进行滤波处理，可以更加准确地确定各像素点对应的噪声灰度值，使得噪声估计结果更加准确，从而提升去噪效果。
在某些实施例中，如果待处理的红外图像和其参考图像采集的时间间隔很短，则两帧图像的内容基本一致，未发生较大变化，因此，在确定待处理的红外图像的各像素点在参考图像中的对应像素点时，可以取相同位置的像素点作为对应像素点。比如，红外图像中第一行第一列的像素点的对应像素点为参考图像中第一行一列的像素点。在某些实施例中，考虑到拍摄过程中红外传感器可能存在运动，或者拍摄对象是运动的，从而红外图像和参考图像之间会产生全局或者局部的运动，为了更准确的确定红外图像各像素点的对应像素点，可以先确定红外图像和参考图像之间的运动向量，以下称为第一运动向量。然后根据第一运动向量确定红外图像中各像素点在参考图像中的对应像素点。
其中，第一运动向量可以是全局运动向量，也可以是局部运动向量。在确定红外图像和其参考图像之间的第一运动向量时，可以采用灰度直方图相关性匹配、特征点匹配、光流法等通用方法确定红外图像及其参考图像之间的第一运动向量，在此不在详述。
在根据红外图像的各像素点与参考图像上的对应像素点的灰度差值确定噪声灰度时，可以对灰度差值进行滤波处理，以得到更加准确的噪声灰度值，其中，可以采用高斯滤波、中值滤波等方法确定各像素点对应的噪声灰度值。在某些实施例中，为了得到更加准确的噪声灰度值，在对灰度差值进行滤波时，可以采用双边滤波的方式，通过双边滤波，在根据灰度差值计算各像素点的噪声灰度时，可以综合考虑各像素点与邻近像素点的位置关系以及各像素点对应的灰度差值的差异大小，使得确定的各像素点的噪声灰度值更加准确。如图2所示，(a)为待处理红外图像局部区域的像素点的灰度值，(b)为其参考图像上对应像素点的灰度值，(c)为两帧图像的灰度值差值，在确定像素点P的噪声灰度值时，可以对像素点P邻近 像素点的对应的灰度差值进行双边滤波，结合其邻近的多个像素点对应的灰度差值确定，其中，考虑到距离越近的像素点，灰度噪声值应该也比较接近，因而，在计算P的灰度噪声时，与P位置近一些的像素点对应的灰度差值，权重可以设置的大一些，此外，考虑到灰度差值除了是噪声引起的，也可能是由于图像之间运动引起的，因而还可以结合灰度差值的大小确定权重，比如，与像素点P的灰度差值相近的像素点的权重可以大一些，与像素点P灰度差值差异较大的像素点的权重可以小一些，综合考虑位置因素和灰度差值的大小，可以使计算的每个像素点的噪声灰度更加准确。
通过对灰度差值进行滤波，得到的每个像素点的噪声可能还不是太准确，因而，可以对每个像素点对应的噪声灰度值进行平滑处理。对于条纹噪声的场景，每一行或列的各像素点对应的噪声灰度值基本一致，所以，在某些实施例中，可以先对灰度差值进行双边滤波处理，得到各像素点对应的第一噪声灰度值，然后统计红外图像每一行或每一列各像素点的第一噪声灰度值的平均值，作为每一行或每一列各像素点的目标噪声灰度值。对于行条纹的场景，可以统计每一行的各像素点的第一噪声灰度值的平均值，作为这一行的像素点最终的目标噪声灰度值。对于列条纹的场景，可以统计每一列的各像素点的第一噪声灰度值的平均值，作为这一列的像素点最终的目标噪声灰度值。本申请实施例不限于平均值的方式，还可以是其他加权平均来求得每一行或每一列的各像素点的噪声灰度值。
通过上述方法对红外图像进行去噪处理后，可以基本去除红外图像中大部分的时域随机条纹噪声。在某些实施例中，为了可以更加彻底的去除时域随机条纹噪声以及红外图像中随机单点噪声，在对红外图像进行上述去噪操作后，还可以对去噪后的第一图像进行进一步的去噪处理。具体的，可以获取该第一图像的参考图像，其中，第一图像的参考图像可以是与该第一图像连续采集的一帧或多帧图像。然后确定第一图像和第一图像的参考图像之间的第二运动向量，根据第二运动向量以及第一图像的参考图像确定第一图像各像素点的综合滤波系数，根据该综合滤波系数以及第一图 像的参考图像对第一图像进行去噪处理，得到第二图像。以下将对待处理红外图像进行去噪处理，得到第一图像的过程统称为第一次去噪，对第一图像进行进一步去噪处理，得到第二图像的过程统称为第二次去噪。
综合滤波系数为根据第一图像和其参考图像确定去噪后的第二图像像素点的像素值时，第一图像或参考图像上的对应像素点的像素值所占的权重。举个例子，假设第一图像上有一像素点P0，根据第一图像与其参考图像之间的第二运动向量，可以确定P0在参考图像的对应像素点P1，而第二图像在对应像素点的像素值可以根据这两个像素点的像素值确定，这时，可以确定P0和P1的像素值在确定去噪后的像素点的像素值所占的权重，称为综合滤波系数。
综合滤波系数与图像的全局运动有关，也和图像的局部运动有关。其中，全局运动是由红外图像传感器位置发生变化带来的整体图像的运动，而局部运动是由于拍摄物体的运动引起的运动。这两者运动都会影响最终第一图像和其参考图像的像素点的匹配。因此，在确定综合滤波系数时可以综合考虑图像的全局运动和局部运动。首先，可以确定第一图像和其参考图像之间的全局运动向量，即第二运动向量，其中，在确定第一图像和其参考图像之间的第二运动向量时，可以采用灰度直方图相关性匹配、特征点匹配、光流法等通用方法确定红外图像及其参考图像之间的第二运动向量，在此不在详述。
在确定第二运动向量后，可以根据第二运动向量确定第一图像的各像素点在参考图像上的对应像素点，由于第一图像和其参考图像之间的第二运动向量只考虑了全局运动，因而根据该第二运动向量确定的对应像素点不一定准确，所以可以先根据第一图像的各像素点和该对应像素点的匹配程度确定第一滤波系数，然后再根据第一图像和其参考图像之间的第二运动向量的置信度确定第二滤波系数，其中，该置信度反映的是该第二运动向量的准确程度。在确定第一滤波系数和第二滤波系数后，可以根据第一滤波系数和第二滤波系数确定综合滤波系数。通过这种方式，综合考虑了 图像的全局运动和局部运动，使得确定出来的滤波系数会更加准确。
在某些实施例中，在根据第一图像的各像素点和其参考图像上的对应像素点的匹配程度确定第一滤波系数时，可以根据第一图像的各像素点和对应像素点的像素值确定用于表征像素点匹配程度的表征参数。在某些实施例中，该表征参数可以是第一图像各像素点的像素值与对应像素点的像素值的差值的绝对值。在某些实施例中，表征参数也可以是第一图像上某个像素点所在的一个小图像区域上的像素点与该图像区域在参考图像的对应区域的像素点的像素值的差值的绝对值之和，即SAD(Sum of Absolute Differences)。像素值差值的绝对值或者SAD越小，说明像素点和对应像素点越匹配，即应将第一滤波系数设置得大一些，否则应将第一滤波系数设置的小一些。在某些实施例中，在确定表征第一图像的像素点与参考图像上的对应像素点匹配程度的表征参数后，可以根据表征参数，预设第一阈值、预设第二阈值以及预设最大滤波系数来确定第一滤波系数。其中，预设第一阈值和预设第二阈值为与图像噪声水平相关的阈值，且预设第一阈值小于预设第二阈值，最大滤波系数为在0-1之间的一个固定系数。
在某些实施例中，若表征参数小于预设第一阈值，则第一滤波系数等于预设最大滤波系数，若表征参数大于预设第二阈值，则第一滤波系数等于0，若表征参数大于预设第一阈值，小于预设第二阈值，则第一滤波系数等于最大滤波系数与指定系数的乘积，其中，指定系数基于预设第二阈值、表征参数以及预设第一阈值得到。举个例子，假设表征参数为H，预设第一阈值为lowthres，预设第二阈值为highthres，lowthres与highthres分别为和图像噪声水平相关的阈值，且highthres>lowthres，ratio为最大滤波系数，0<ratio<1。则可以通过公式(1)来计算第一滤波系数。
Figure PCTCN2020088470-appb-000001
在确定第一滤波系数后，可以根据第一图像和第一图像的参考图像之 间的运动向量的置信度确定第二滤波系数，然后根据第一滤波系数和第二滤波系数确定综合滤波系数。在某些实施例中，综合滤波系数可以是第一滤波系数与第二滤波系数的乘积。比如第一滤波系数为S1，第二滤波系数为S2，则综合滤波系数S＝S1*S2。
在确定综合滤波系数后，可以根据第一图像各像素点的像素值、第一图像的参考图像中对应像素点的像素值以及综合滤波系数确定去噪后的第二图像各像素点的像素值。假设第一图像中坐标为(p，q)的像素点的像素值为V(p，q)，第二图像的参考图像中坐标为(p，q)的像素点对应的参考像素点的坐标为(p+dp，q+dq)，且该参考像素点的像素值为W(p+dp，q+dq)，则去噪后的第二图像中坐标为(p，q)的像素点的像素值V o(p,q)可以通过公式(1)计算：
V o(p,q)＝(1-s(p,q))V(p,q)+s(p,q)W(p+dp,q+dq)   公式(1)
s(p,q)为综合滤波系数，dp,dq为第一图像中坐标为(p，q)的像素点的运动向量。
当然，如果参考图像有多帧，可以针对每一帧参考图像利用公式(1)求得去噪后的像素值，再取均值作为最终的去噪后像素值。
当然，在某些实施例中，在确定第一运动向量和第二运动向量时，也可以借助分辨率更高的图像传感器采集的图像来辅助确定第一运动向量和第二运动向量。比如，有一可见光传感器与该红外传感器的相对位置固定，两者分别采集同一场景下的可见图像和红外图像，由于两者相对位置固定，因而，其全局运动向量是一致的。由于可见光图像的分辨率更高，根据可见光图像确定的运动向量会更准确，因此，可以结合可见光图像的运动向量来辅助确定红外图像与其参考图像的运动向量，使得确定的运动向量更加准确。
在某些实施例中，待处理的红外图像的参考图像以及第一图像的参考图像可以存储的在预设的存储器中，在去噪时，可以直接从存储器中获取。其中，该红外图像的参考图像和该第一图像的参考图像可以是相同的一帧 或者多帧图像，当然，也可以是不同的多帧图像。比如，该红外图像的参考图像可以是该红外图像的上一帧图像进行第一次去噪操作后的图像。同样的，该第一图像的参考图像也可以是该红外图像的上一帧图像进行第一次去噪和第二次去噪后的图像。举个例子，红外传感器采集到一帧红外图像后，假设为图像A，可以对图像A进行第一次去噪处理，得到图像A1，然后将A1存储在DDR中，作为下一帧图像进行第一次去噪时的参考图像。同样的，可以对A1进行第二次去噪处理，得到A2，然后将A2存储在DDR中，作为下一帧图像进行第二次去噪时的参考图像。
当然，在某些实施例中，为了节约存储资源、提高计算效率，减小图像去噪处理带来的延时，该红外图像的参考图像和该第一图像的参考图像也可以是同一帧图像，比如，参考图像都是在该红外图像之前采集并进行去噪处理后的图像。举个例子，红外传感器采集到一帧红外图像后，假设为图像A，可以对图像A进行第一次去噪处理，得到图像A1，然后进一步对A1进行第二次去噪处理，得到A2，然后将A2存储在DDR中，作为下一帧图像进行上述两次去噪处理时的参考图像。通过这种方式，针对每一帧红外图像，只需存储一次参考图像的信息，极大的降低了存储资源，并且在去噪处理时，也只需从DDR读取一次参考图像的信息，提高了处理效率。
在某些实施例中，在对红外图像进行第一次去噪处理或第二次去噪处理后，还可以根据每次去除的噪声的相关信息来确定去噪后的第一图像或者第二图像的拉伸强度，然后再对第一图像或第二图像进行对比度拉伸处理。其中，噪声相关信息包括噪声的强度、噪声对应的去噪强度或者噪声的类型等一种或多种信息。其中，噪声的类型是指噪声是条纹噪声、还是单点噪声，针对不同的噪声类型来设置拉伸强度，可以避免拉伸增强后，噪声更加明显。比如，对于单点噪声，其面积较小，比较不明显，因而拉伸强度可以适当强一些，而对于条纹噪声，其面积较大，比较明显，因而拉伸强度可以适当弱一些。同样的，也可以结合噪声强度和去噪强度来设 置拉伸强度，其中，噪声强度可以根据确定的噪声灰度值来确定，降噪强度可以根据减去的噪声灰度值的大小，或者去噪时参与的邻近像素点的数量、或者邻近像素点所占权重大小、或者参考图像的像素点所占权重的大小综合判定。如噪声强度较大，拉伸强度可以适当小一些，如去噪强度较大，拉伸强度可以适当大一些。通过综合考虑噪声类型、噪声的强度以及去噪强度来确定拉伸强度，可以在尽可能提高红外图像的对比度的同时避免噪声明显的问题，提升红外图像的处理效果。
在某些实施例中，在去噪后的图像进行拉伸增强时，可以是全局拉伸，也可以是局部拉伸。在进行局部拉伸时，可以考虑图像局部区域的噪声的类型、噪声强度或者去噪强度，针对局部图像区域的噪声的情况设置拉伸强度，使得红外图像的拉伸增强处理更加精细化，效果更好。
为了进一步解释本申请的红外图像处理方法，以下以一个具体的实施例加以解释。
图3为红外图像处理方法的示意图。红外传感器31采集到一帧原始的红外图像后，可以存储到DDR 36，作为备份，也可以直接传输至第一去噪模块32，第一去噪模块32主要用于去除红外图像中的时域随机条纹噪声，得到第一图像，然后将第一图像传输至第二去噪模块33，第二去噪模块33主要用于进一步去除红外图像中的时域随机条纹噪声以及时域随机单点噪声，得到第二图像，经过两次去噪后的第二图像可以存储到DDR 36中，作为红外传感器31采集的下一帧红外图像在进行去噪处理时的参考图像。同时，第二去噪模块33可以把第二图像传输至拉伸模块34，拉伸模块34可以结合红外图像中噪声的类型、噪声的强度、去噪强度等信息确定拉伸强度，然后对第二图像进行拉伸增强处理，并将拉伸增强处理后的图像存储至DDR36中，便于后续使用。
运动估计模块35用于确定待去噪红外图像与其参考图像的运动向量，运动估计模块35可以获取红外传感器31采集的红外图像，以及从DDR36中获取该红外图像的参考图像，然后采用灰度直方图相关性匹配、特征点 匹配或光流法等方法确定红外图像与其参考图像之间的运动向量，以供第一去噪模块32或第二去噪模块33使用。第一去噪模块31获取待去噪的红外图像后，可以从DDR 36中获取其参考图像，然后从运动估计模块35获取红外图像和其参考图像之间的运动向量，然后根据运动向量确定红外图像中各像素点在参考图像上的对应像素点，然后确定各像素点与参考图像上各像素点的灰度差值，并对灰度差值进行双边滤波处理，得到各像素点的第一噪声灰度值，针对行条纹噪声，可以统计每一行各像素点的第一噪声灰度值的平均值，得到各像素点的目标噪声灰度值，针对列条纹噪声，可以统计每一列各像素点的第一噪声灰度值的平均值，得到各像素点的目标噪声灰度值，然后用各像素点的灰度值减去目标噪声灰度值，得到去噪后的第一图像。
第一去噪模块31可以将第一图像和参考图像传输至第二噪声模块32，以进行下一步去噪处理。第二噪声模块32可以从运动估计模块35获取运动向量，然后根据运动向量的置信度确定第一图像上各像素点在参考图像上的对应像素点，并确定第一图像上各像素点和对应像素点的灰度差值的绝对值，用于表征各像素点和对应像素点的匹配程度，然后根据该灰度差值的绝对值和预设的用于表征图像噪声水平的阈值确定第一滤波系数，然后根据运动向量的置信度确定第二滤波系数，其中，该置信度表征运动向量的准确程度。然后计算第一滤波系数与第二滤波系数的乘积，得到综合滤波系数，并使用综合滤波系数对第一图像进行去噪。假设第一图像中坐标为(p，q)的像素点的像素值为V(p，q)，第二图像的参考图像中坐标为(p，q)的像素点对应的参考像素点的坐标为(p+dp，q+dq)，且该参考像素点的像素值为W(p+dp，q+dq)，则去噪后的第二图像中坐标为(p，q)的像素点的像素值V_o(p,q)可以通过公式(1)计算：
Vo(p,q)＝(1-s(p,q))V(p,q)+s(p,q)W(p+dp,q+dq)   公式(1)
s(p,q)为综合滤波系数，dp,dq为第一图像中坐标为(p，q)的像素点的运动向量。
得到第二图像后，可以将第二图像存储，作为下一帧红外图像进行上述去噪处理时的参考图像，然后，可以将第二图像传输至拉伸模块34，拉伸模块34可以根据各种噪声的类型、噪声的强度和去噪强度对第二图像进行拉伸处理，可以进行全局的拉伸处理，也可以进行局部的拉伸处理，进行局部拉伸处理时，可以结合局部区域的噪声的类型、强度和去噪强度来确定局部拉伸强度。完成拉伸处理操作后，可以将处理后的图像存储到DDR 36中，以便后续使用。
通过上述红外图像处理方法，在去除时域噪声时，可以综合考虑图像的全局或局部运动的影响，准确估计噪声的灰度值，大大提升了去噪效果。
在某些实施例中，所述红外图像处理方法可以通过预设的红外图像处理系统执行，所述红外图像处理系统如图4所示，包括以下模块：
1、红外传感器接收和控制模块Sensor ctrl 42，用于接收红外传感器41采集的数据，并对红外传感器进行控制，采集的原始红外图像帧进入DDR 417，进行红外传感器的动态范围检查功能，并对红外传感器进行动态范围矫正。
2、平场矫正模块FFC 43，用于控制红外传感器开启快门，并将开启快门期间的图像帧存入DDR 417，进行多帧平均后向后输出，得到用于逐像素偏置矫正的平场帧。
3、非线性矫正模块NUC 44，用于根据提前标定好的红外传感器逐像素的响应率差异，进行像素级响应率矫正，并把像素级的偏置也进行矫正，最终输出整个图像的响应率和偏置保持一致的图像到后级。
4、坏点矫正模块BPC 45，用于根据提前标定好的坏点进行静态坏点矫正，并根据在线检测出来的坏点进行动态坏点矫正。
5时域降噪模块TDNS 46，用于根据红外传感器的时域噪声特性，包括时域随机单点噪声、时域随机行(列)噪声，进行时域噪声的去除，DDR 417用于缓存去噪前后的图像帧，利用两帧之间的相似性和差异性进行滤波，提升信噪比。
6、固定模式噪声去除模块CDNS 47，用于去除固定模式的列噪声和行噪声。
7、空域降噪模块RDNS 48，用于进行空域随机噪声的去除，利用当前像素和邻域之间的相似性和差异性进行滤波提升信噪比。
8、频率分离模块Fsep 49，用于进行空域的频率分离，为后级对比度拉伸和细节增强模块做准备，降低噪声，提升细节。
9、现行拉伸模块Str 410，用于进行初步的线性拉伸，为后续处理做准备。
10、第一级对比度拉伸模块TM1 410，用于进行直方图统计和对比度拉伸。
11、第二级对比度拉伸模块TM2 411，用于进行直方图统计和对比度拉伸；通过两级对比度拉伸，实现可控的对比度增强，既能使图像层次分明，又能防止过强的拉伸导致噪声明显。
12、频率合成模块Fcom 412，用于进行空域的频率合成，通过增强中高频来提升细节，输出对比度和细节都增强后的红外灰度图。
13、伪彩映射模块Color Mapping 414，用于将红外灰度图映射为YUV色彩图，一方面凸显温度分布信息，一方面凸显物体的细节。
14、转码模块444 to 420/422 415，用于将YUV444的色彩图转码为YUV422或420的色彩图，向后输出，便于后续的编码，节约存储空间。
15、场景信息分析模块Scene analyse 416，用于进行当前图像中的场景信息分析，例如室内、室外、黑体、树林、海边等，并将分析结果反馈到前面的模块，进行模块的参数调整，整个系统构成一个反馈系统，能自适应地针对不同场景进行合适的去噪、对比度增强和细节增强。相应的，本申请还提供一种红外图像处理装置，如图5所示，所述装置包括处理器51、存储器52、存储在所述存储器52上所述处理器51可执行的计算机指令，所述处理器51执行所述计算机指令时，实现以下步骤：
确定待处理的红外图像的各像素点在所述红外图像的参考图像上的对 应像素点；
确定各像素点与所述对应像素点的灰度差值；
对所述灰度差值进行滤波处理，基于滤波结果确定所述红外图像各像素点的目标噪声灰度值；
基于所述目标噪声灰度值对所述红外图像进行去噪处理，得到第一图像。
在某些实施例中，所述处理器用于对所述灰度差值进行滤波处理时，具体用于：
对所述灰度差值进行双边滤波处理。
在某些实施例中，所述处理器用于对所述灰度差值进行双边滤波处理，基于滤波结果确定所述红外图像各像素点的目标噪声灰度值时，具体用用于：
对所述灰度差值进行双边滤波处理，得到各像素点对应的第一噪声灰度值；
统计所述红外图像每一行或每一列各像素点的第一噪声灰度值的平均值，作为所述每一行或每一列各像素点的目标噪声灰度值。
在某些实施例中，所述处理器用于确定待处理的红外图像的各像素点在所述红外图像的参考图像上的对应像素点时，具体用于：
确定所述红外图像和所述红外图像的参考图像之间的第一运动向量；
基于所述第一运动向量确定所述红外图像的各像素点在所述红外图像的参考图像上的对应像素点。
在某些实施例中，所述处理器用于基于所述目标噪声灰度值对所述红外图像进行去噪处理之后，还用于：
获取所述第一图像的参考图像；
确定所述第一图像和所述第一图像的参考图像之间的第二运动向量；
根据所述第二运动向量以及所述第一图像的参考图像确定所述第一图像各像素点的综合滤波系数；
根据所述综合滤波系数以及所述第一图像的参考图像对所述第一图像进行去噪处理，得到第二图像。
在某些实施例中，所述处理器用于根据所述第二运动向量以及所述第一图像的参考图像确定所述第一图像各像素点的综合滤波系数时，具体用于：
根据所述第二运动向量确定所述第一图像各像素点在所述第一图像的参考图像的对应像素点；
根据所述第一图像各像素点与所述对应像素点的匹配程度确定第一滤波系数；
根据所述第二运动向量的置信度确定第二滤波系数；
根据所述第一滤波系数和所述第二滤波系数得到所述综合滤波系数。
在某些实施例中，所述综合滤波系数等于所述第一滤波系数和所述第二滤波系数的乘积。
在某些实施例中，所述处理器用于根据所述第一图像各像素点与所述对应像素点的匹配程度确定第一滤波系数时，具体用于：
根据所述第一图像各像素点与所述对应像素点的像素值确定所述匹配程度的表征参数；
基于所述表征参数、预设第一阈值、预设第二阈值以及预设最大滤波系数确定所述第一滤波系数，其中，所述预设第一阈值小于所述预设第二阈值。
在某些实施例中，所述表征参数包括：
所述第一图像各像素点与所述对应像素点的像素值差值的绝对值；和/或
所述第一图像的各图像区块的像素点与所述图像区块在所述第一图像的参考图像中的对应图像区块的像素点的像素值差值的绝对值之和。
在某些实施例中，所述红外图像的参考图像或所述第一图像的参考图像从预设的存储器中获取。
在某些实施例中，所述红外图像的参考图像或所述第一图像的参考图像为同一帧图像，所述参考图像为在所述红外图像之前采集并进行去噪处理后的图像。
在某些实施例中，所述处理器还用于：
基于所述噪声的相关信息确定所述第一图像或第二图像的拉伸强度，所述相关信息包括所述噪声的强度、所述噪声对应的去噪强度和/或所述噪声的类型。
根据所述拉伸强度对所述第一图像或第二图像进行拉伸增强处理。
在某些实施例中，所述噪声的相关信息对应于所述红外图像的局部区域，所述拉伸强度为所述局部区域对应的拉伸强度。其中，红外图像处理装置的具体去噪过程可参考上述红外图像处理方法中各实施例的描述，在此不再赘述。
可选的，红外图像处理装置还包括红外传感器，用于采集红外图像。
红外图像处理装置例如可以是红外相机。
本申请所提及的红外处理装置可以用于电力巡检、行业检测等领域。
进一步地，本申请还提供一种可移动平台，所述可移动平台可以是无人机、无人船、无人小车等，所述可移动平台包括上述各实施例中所述的红外图像处理装置。以无人机为例，无人机上可以搭载红外传感器以及上述红外图像处理装置，用于执行测温、电力巡检、监测等任务。
相应地，本说明书实施例还提供一种计算机存储介质，所述存储介质中存储有程序，所述程序被处理器执行时实现上述任一实施例中红外图像处理方法。
本说明书实施例可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但 不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明实施例所提供的方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (28)

  1. 一种红外图像处理方法，其特征在于，所述方法包括：
    确定待处理的红外图像的各像素点在所述红外图像的参考图像上的对应像素点；
    确定各像素点与所述对应像素点的灰度差值；
    对所述灰度差值进行滤波处理，基于滤波结果确定所述红外图像各像素点的目标噪声灰度值；
    基于所述目标噪声灰度值对所述红外图像进行去噪处理，得到第一图像。
  2. 根据权利要求1所述的方法，其特征在于，对所述灰度差值进行滤波处理，包括：
    对所述灰度差值进行双边滤波处理。
  3. 根据权利要求2所述的方法，其特征在于，对所述灰度差值进行双边滤波处理，基于滤波结果确定所述红外图像各像素点的目标噪声灰度值，包括：
    对所述灰度差值进行双边滤波处理，得到各像素点对应的第一噪声灰度值；
    统计所述红外图像每一行或每一列各像素点的第一噪声灰度值的平均值，作为所述每一行或每一列各像素点的目标噪声灰度值。
  4. 根据权利要求1-3任一项所述的方法，其特征在于，确定待处理的红外图像的各像素点在所述红外图像的参考图像上的对应像素点，包括：
    确定所述红外图像和所述红外图像的参考图像之间的第一运动向量；
    基于所述第一运动向量确定所述红外图像的各像素点在所述红外图像的参考图像上的对应像素点。
  5. 根据权利要求1-4任一项所述的方法，其特征在于，基于所述目标噪声灰度值对所述红外图像进行去噪处理之后，还包括：
    获取所述第一图像的参考图像；
    确定所述第一图像和所述第一图像的参考图像之间的第二运动向量；
    根据所述第二运动向量以及所述第一图像的参考图像确定所述第一图像各像素点的综合滤波系数；
    根据所述综合滤波系数以及所述第一图像的参考图像对所述第一图像进行去噪处理，得到第二图像。
  6. 根据权利要求5所述的方法，其特征在于，根据所述第二运动向量以及所述第一图像的参考图像确定所述第一图像各像素点的综合滤波系数，包括：
    根据所述第二运动向量确定所述第一图像各像素点在所述第一图像的参考图像的对应像素点；
    根据所述第一图像各像素点与所述对应像素点的匹配程度确定第一滤波系数；
    根据所述第二运动向量的置信度确定第二滤波系数；
    根据所述第一滤波系数和所述第二滤波系数得到所述综合滤波系数。
  7. 根据权利要求6所述的方法，其特征在于，所述综合滤波系数等于所述第一滤波系数和所述第二滤波系数的乘积。
  8. 根据权利要求6或7所述的方法，其特征在于，根据所述第一图像各像素点与所述对应像素点的匹配程度确定第一滤波系数，包括：
    根据所述第一图像各像素点与所述对应像素点的像素值确定所述匹配程度的表征参数；
    基于所述表征参数、预设第一阈值、预设第二阈值以及预设最大滤波系数确定所述第一滤波系数，其中，所述预设第一阈值小于所述预设第二阈值。
  9. 根据权利要求8所述的图像处理方法，其特征在于，所述表征参数包括：
    所述第一图像各像素点与所述对应像素点的像素值差值的绝对值；和/或
    所述第一图像的各图像区块的像素点与所述图像区块在所述第一图像的参考图像中的对应图像区块的像素点的像素值差值的绝对值之和。
  10. 根据权利要求5所述的方法，其特征在于，所述红外图像的参考图像或所述第一图像的参考图像从预设的存储器中获取。
  11. 根据权利要求10所述的方法，其特征在于，所述红外图像的参考图像或所述第一图像的参考图像为同一帧图像，所述参考图像为在所述红外图像之前采集并进行去噪处理后的图像。
  12. 根据权利要求1或4所述的方法，其特征在于，所述方法还包括：
    基于所述噪声的相关信息确定所述第一图像或第二图像的拉伸强度，所述相关信息包括所述噪声的强度、所述噪声对应的去噪强度和/或所述噪声的类型。
    根据所述拉伸强度对所述第一图像或第二图像进行拉伸增强处理。
  13. 根据权利要求12所述的方法，其特征在于，所述噪声的相关信息对应于所述红外图像的局部区域，所述拉伸强度为所述局部区域对应的拉伸强度。
  14. 一种红外图像处理装置，其特征在于，所述装置包括处理器、存储器、存储在所述存储器上所述处理器可执行的计算机指令，所述处理器执行所述计算机指令时，实现以下步骤：
    确定待处理的红外图像的各像素点在所述红外图像的参考图像上的对应像素点；
    确定各像素点与所述对应像素点的灰度差值；
    对所述灰度差值进行滤波处理，基于滤波结果确定所述红外图像各像素点的目标噪声灰度值；
    基于所述目标噪声灰度值对所述红外图像进行去噪处理，得到第一图像。
  15. 根据权利要求14所述的装置，其特征在于，所述处理器用于对所述灰度差值进行滤波处理时，具体用于：
    对所述灰度差值进行双边滤波处理。
  16. 根据权利要求15所述的装置，其特征在于，所述处理器用于对所述灰度差值进行双边滤波处理，基于滤波结果确定所述红外图像各像素点的目标噪声灰度值时，具体用用于：
    对所述灰度差值进行双边滤波处理，得到各像素点对应的第一噪声灰度值；
    统计所述红外图像每一行或每一列各像素点的第一噪声灰度值的平均值，作为所述每一行或每一列各像素点的目标噪声灰度值。
  17. 根据权利要求14-16任一项所述的装置，其特征在于，所述处理器用于确定待处理的红外图像的各像素点在所述红外图像的参考图像上的对应像素点时，具体用于：
    确定所述红外图像和所述红外图像的参考图像之间的第一运动向量；
    基于所述第一运动向量确定所述红外图像的各像素点在所述红外图像的参考图像上的对应像素点。
  18. 根据权利要求14-17任一项所述的装置，其特征在于，所述处理器用于基于所述目标噪声灰度值对所述红外图像进行去噪处理之后，还用于：
    获取所述第一图像的参考图像；
    确定所述第一图像和所述第一图像的参考图像之间的第二运动向量；
    根据所述第二运动向量以及所述第一图像的参考图像确定所述第一图像各像素点的综合滤波系数；
    根据所述综合滤波系数以及所述第一图像的参考图像对所述第一图像进行去噪处理，得到第二图像。
  19. 根据权利要求18所述的装置，其特征在于，所述处理器用于根据所述第二运动向量以及所述第一图像的参考图像确定所述第一图像各像素点的综合滤波系数时，具体用于：
    根据所述第二运动向量确定所述第一图像各像素点在所述第一图像 的参考图像的对应像素点；
    根据所述第一图像各像素点与所述对应像素点的匹配程度确定第一滤波系数；
    根据所述第二运动向量的置信度确定第二滤波系数；
    根据所述第一滤波系数和所述第二滤波系数得到所述综合滤波系数。
  20. 根据权利要求19所述的装置，其特征在于，所述综合滤波系数等于所述第一滤波系数和所述第二滤波系数的乘积。
  21. 根据权利要求19或20所述的装置，其特征在于，所述处理器用于根据所述第一图像各像素点与所述对应像素点的匹配程度确定第一滤波系数时，具体用于：
    根据所述第一图像各像素点与所述对应像素点的像素值确定所述匹配程度的表征参数；
    基于所述表征参数、预设第一阈值、预设第二阈值以及预设最大滤波系数确定所述第一滤波系数，其中，所述预设第一阈值小于所述预设第二阈值。
  22. 根据权利要求21所述的图像处理装置，其特征在于，所述表征参数包括：
    所述第一图像各像素点与所述对应像素点的像素值差值的绝对值；和/或
    所述第一图像的各图像区块的像素点与所述图像区块在所述第一图像的参考图像中的对应图像区块的像素点的像素值差值的绝对值之和。
  23. 根据权利要求18所述的装置，其特征在于，所述红外图像的参考图像或所述第一图像的参考图像从预设的存储器中获取。
  24. 根据权利要求23所述的装置，其特征在于，所述红外图像的参考图像或所述第一图像的参考图像为同一帧图像，所述参考图像为在所述红外图像之前采集并进行去噪处理后的图像。
  25. 根据权利要求14或18所述的装置，其特征在于，所述处理器还 用于：
    基于所述噪声的相关信息确定所述第一图像或第二图像的拉伸强度，所述相关信息包括所述噪声的强度、所述噪声对应的去噪强度和/或所述噪声的类型。
    根据所述拉伸强度对所述第一图像或第二图像进行拉伸增强处理。
  26. 根据权利要求25所述的装置，其特征在于，所述噪声的相关信息对应于所述红外图像的局部区域，所述拉伸强度为所述局部区域对应的拉伸强度。
  27. 一种可移动平台，其特征在于，所述可移动平台包括如权利要求14-26任一项所述的红外图像处理装置。
  28. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至13任一项所述的红外图像处理方法。
PCT/CN2020/088470 2020-04-30 2020-04-30 红外图像处理方法、装置及可移动平台 WO2021217643A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/088470 WO2021217643A1 (zh) 2020-04-30 2020-04-30 红外图像处理方法、装置及可移动平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/088470 WO2021217643A1 (zh) 2020-04-30 2020-04-30 红外图像处理方法、装置及可移动平台

Publications (1)

Publication Number Publication Date
WO2021217643A1 true WO2021217643A1 (zh) 2021-11-04

Family

ID=78331671

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/088470 WO2021217643A1 (zh) 2020-04-30 2020-04-30 红外图像处理方法、装置及可移动平台

Country Status (1)

Country Link
WO (1) WO2021217643A1 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344820A (zh) * 2021-06-28 2021-09-03 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读介质、电子设备
CN113822878A (zh) * 2021-11-18 2021-12-21 南京智谱科技有限公司 一种红外图像处理的方法及装置
CN114897885A (zh) * 2022-06-17 2022-08-12 北京东宇宏达科技有限公司 一种红外图像质量综合评价系统和方法
CN115049698A (zh) * 2022-08-17 2022-09-13 杭州兆华电子股份有限公司 一种手持声成像设备的云图显示方法及装置
CN115471503A (zh) * 2022-11-03 2022-12-13 江西捷锐机电设备有限公司 用于数控剖锭机的设备异常检测方法
CN115830106A (zh) * 2023-02-16 2023-03-21 智联信通科技股份有限公司 一种用于机房设备带电清洗的辅助定位方法
CN115908154A (zh) * 2022-09-20 2023-04-04 盐城众拓视觉创意有限公司 基于图像处理的视频后期颗粒噪声去除方法
CN115937051A (zh) * 2023-03-06 2023-04-07 浙江华感科技有限公司 一种图像噪声处理方法、装置、设备及存储介质
CN116310354A (zh) * 2023-05-24 2023-06-23 青岛海关技术中心 基于红外图像处理的漂浮危化品识别方法
CN116485884A (zh) * 2023-06-28 2023-07-25 四川君安天源精酿啤酒有限公司 基于计算机视觉的精酿啤酒瓶口实时定位方法及系统
CN116563283A (zh) * 2023-07-10 2023-08-08 山东联兴能源集团有限公司 基于图像处理的蒸汽锅炉气体泄露检测方法及检测装置
CN116630327A (zh) * 2023-07-25 2023-08-22 江苏太湖锅炉股份有限公司 基于热力图的锅炉状态异常监测系统
CN116757972A (zh) * 2023-08-23 2023-09-15 山东鑫成源服装有限公司 一种抗光影噪声影响的织物缺陷检测方法
CN116993632A (zh) * 2023-09-28 2023-11-03 威海广泰空港设备股份有限公司 基于机器视觉的生产火灾预警方法
CN117011195A (zh) * 2023-10-07 2023-11-07 慧医谷中医药科技(天津)股份有限公司 一种辅助中医的人体红外成像数据处理系统
CN117094917A (zh) * 2023-10-20 2023-11-21 高州市人民医院 一种心血管3d打印数据处理方法
CN117911792A (zh) * 2024-03-15 2024-04-19 垣矽技术(青岛)有限公司 一种电压基准源芯片生产用引脚检测系统
CN113344820B (zh) * 2021-06-28 2024-05-10 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读介质、电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102281386A (zh) * 2010-06-08 2011-12-14 中兴通讯股份有限公司 一种对视频图像进行自适应去噪的方法及装置
CN104253929A (zh) * 2013-06-28 2014-12-31 广州华多网络科技有限公司 视频降噪方法及其系统
KR20170127717A (ko) * 2016-05-12 2017-11-22 세메스 주식회사 카메라의 영상 노이즈 검출 방법
CN108830808A (zh) * 2018-06-01 2018-11-16 北京航空航天大学 基于相似线窗口均值补偿的星上红外图像条纹噪声去除方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102281386A (zh) * 2010-06-08 2011-12-14 中兴通讯股份有限公司 一种对视频图像进行自适应去噪的方法及装置
CN104253929A (zh) * 2013-06-28 2014-12-31 广州华多网络科技有限公司 视频降噪方法及其系统
KR20170127717A (ko) * 2016-05-12 2017-11-22 세메스 주식회사 카메라의 영상 노이즈 검출 방법
CN108830808A (zh) * 2018-06-01 2018-11-16 北京航空航天大学 基于相似线窗口均值补偿的星上红外图像条纹噪声去除方法

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344820B (zh) * 2021-06-28 2024-05-10 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读介质、电子设备
CN113344820A (zh) * 2021-06-28 2021-09-03 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读介质、电子设备
CN113822878A (zh) * 2021-11-18 2021-12-21 南京智谱科技有限公司 一种红外图像处理的方法及装置
CN114897885A (zh) * 2022-06-17 2022-08-12 北京东宇宏达科技有限公司 一种红外图像质量综合评价系统和方法
CN115049698A (zh) * 2022-08-17 2022-09-13 杭州兆华电子股份有限公司 一种手持声成像设备的云图显示方法及装置
CN115049698B (zh) * 2022-08-17 2022-11-04 杭州兆华电子股份有限公司 一种手持声成像设备的云图显示方法及装置
CN115908154B (zh) * 2022-09-20 2023-09-29 盐城众拓视觉创意有限公司 基于图像处理的视频后期颗粒噪声去除方法
CN115908154A (zh) * 2022-09-20 2023-04-04 盐城众拓视觉创意有限公司 基于图像处理的视频后期颗粒噪声去除方法
CN115471503B (zh) * 2022-11-03 2023-04-07 江西捷锐机电设备有限公司 用于数控剖锭机的设备异常检测方法
CN115471503A (zh) * 2022-11-03 2022-12-13 江西捷锐机电设备有限公司 用于数控剖锭机的设备异常检测方法
CN115830106A (zh) * 2023-02-16 2023-03-21 智联信通科技股份有限公司 一种用于机房设备带电清洗的辅助定位方法
CN115937051A (zh) * 2023-03-06 2023-04-07 浙江华感科技有限公司 一种图像噪声处理方法、装置、设备及存储介质
CN116310354A (zh) * 2023-05-24 2023-06-23 青岛海关技术中心 基于红外图像处理的漂浮危化品识别方法
CN116310354B (zh) * 2023-05-24 2023-08-01 青岛海关技术中心 基于红外图像处理的漂浮危化品识别方法
CN116485884A (zh) * 2023-06-28 2023-07-25 四川君安天源精酿啤酒有限公司 基于计算机视觉的精酿啤酒瓶口实时定位方法及系统
CN116485884B (zh) * 2023-06-28 2023-09-12 四川君安天源精酿啤酒有限公司 基于计算机视觉的精酿啤酒瓶口实时定位方法及系统
CN116563283A (zh) * 2023-07-10 2023-08-08 山东联兴能源集团有限公司 基于图像处理的蒸汽锅炉气体泄露检测方法及检测装置
CN116563283B (zh) * 2023-07-10 2023-09-08 山东联兴能源集团有限公司 基于图像处理的蒸汽锅炉气体泄露检测方法及检测装置
CN116630327A (zh) * 2023-07-25 2023-08-22 江苏太湖锅炉股份有限公司 基于热力图的锅炉状态异常监测系统
CN116630327B (zh) * 2023-07-25 2023-09-26 江苏太湖锅炉股份有限公司 基于热力图的锅炉状态异常监测系统
CN116757972B (zh) * 2023-08-23 2023-10-24 山东鑫成源服装有限公司 一种抗光影噪声影响的织物缺陷检测方法
CN116757972A (zh) * 2023-08-23 2023-09-15 山东鑫成源服装有限公司 一种抗光影噪声影响的织物缺陷检测方法
CN116993632A (zh) * 2023-09-28 2023-11-03 威海广泰空港设备股份有限公司 基于机器视觉的生产火灾预警方法
CN116993632B (zh) * 2023-09-28 2023-12-19 威海广泰空港设备股份有限公司 基于机器视觉的生产火灾预警方法
CN117011195A (zh) * 2023-10-07 2023-11-07 慧医谷中医药科技(天津)股份有限公司 一种辅助中医的人体红外成像数据处理系统
CN117011195B (zh) * 2023-10-07 2024-01-23 慧医谷中医药科技(天津)股份有限公司 一种辅助中医的人体红外成像数据处理系统
CN117094917A (zh) * 2023-10-20 2023-11-21 高州市人民医院 一种心血管3d打印数据处理方法
CN117094917B (zh) * 2023-10-20 2024-02-06 高州市人民医院 一种心血管3d打印数据处理方法
CN117911792A (zh) * 2024-03-15 2024-04-19 垣矽技术(青岛)有限公司 一种电压基准源芯片生产用引脚检测系统

Similar Documents

Publication Publication Date Title
WO2021217643A1 (zh) 红外图像处理方法、装置及可移动平台
US9615039B2 (en) Systems and methods for reducing noise in video streams
CN105976330B (zh) 一种嵌入式雾天实时视频稳像方法
CN109064418B (zh) 一种基于非局部均值的非均匀噪声图像去噪方法
CN103369209A (zh) 视频降噪装置及方法
CN107481271B (zh) 一种立体匹配方法、系统及移动终端
WO2021114868A1 (zh) 降噪方法、终端及存储介质
US11303793B2 (en) System and method for high-resolution, high-speed, and noise-robust imaging
WO2021217642A1 (zh) 红外图像处理方法、装置及可移动平台
CN112529854B (zh) 一种噪声估计方法、装置、存储介质及设备
CN111192226A (zh) 一种图像融合去噪方法及装置、系统
WO2017120796A1 (zh) 路面病害的检测方法及其装置、电子设备
CN107451986B (zh) 一种基于融合技术的单幅红外图像增强方法
CN111985314B (zh) 一种基于ViBe与改进LBP的烟雾检测方法
CN110866882A (zh) 基于深度置信度的分层联合双边滤波深度图修复算法
Chen et al. A color-guided, region-adaptive and depth-selective unified framework for Kinect depth recovery
CN115004227A (zh) 图像处理方法、装置及设备
CN115187688A (zh) 基于大气光偏振正交盲分离的雾图重构方法及电子设备
Shen et al. Depth map enhancement method based on joint bilateral filter
WO2021134642A1 (zh) 图像处理方法、装置及存储介质
TWI381735B (zh) 影像監視設備之影像處理系統及其影像解析自動調適之方法
Xu et al. Features based spatial and temporal blotch detection for archive video restoration
CN109658357A (zh) 一种面向遥感卫星图像的去噪方法
WO2021189460A1 (zh) 图像处理方法、装置及可移动平台
CN114821239A (zh) 一种有雾环境下的病虫害检测方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20934157

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20934157

Country of ref document: EP

Kind code of ref document: A1