WO2023245343A1 - 一种图像处理方法、图像处理装置及存储介质 - Google Patents

一种图像处理方法、图像处理装置及存储介质 Download PDF

Info

Publication number
WO2023245343A1
WO2023245343A1 PCT/CN2022/099861 CN2022099861W WO2023245343A1 WO 2023245343 A1 WO2023245343 A1 WO 2023245343A1 CN 2022099861 W CN2022099861 W CN 2022099861W WO 2023245343 A1 WO2023245343 A1 WO 2023245343A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
convolution
processed
enhancement processing
processing
Prior art date
Application number
PCT/CN2022/099861
Other languages
English (en)
French (fr)
Inventor
万韶华
Original Assignee
北京小米移动软件有限公司
北京小米松果电子有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京小米移动软件有限公司, 北京小米松果电子有限公司 filed Critical 北京小米移动软件有限公司
Priority to PCT/CN2022/099861 priority Critical patent/WO2023245343A1/zh
Priority to CN202280004334.9A priority patent/CN117716705A/zh
Publication of WO2023245343A1 publication Critical patent/WO2023245343A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Definitions

  • the present disclosure relates to the technical field of image processing, and in particular, to an image processing method, an image processing device, and a storage medium.
  • the images captured by smart terminals are getting higher and higher in pixels, allowing them to take more detailed and sharp photos.
  • the zoom capability of the terminal needs to be improved.
  • the super-resolution algorithm can achieve continuous zoom and high-magnification digital zoom, allowing users to take clearer photos.
  • multi-frame super-resolution algorithms are widely used in mobile phone zoom systems. After the user presses the camera button, the mobile phone will take multiple frames of images, improve the image quality through super-resolution algorithms, and complete the fusion of multiple frames of images to obtain a high-quality image. However, if you shoot a motion-blurred image, applying the multi-frame super-resolution algorithm to such images will not reduce the noise, but will increase the noise and make the image more blurry.
  • the present disclosure provides an image processing method, an image processing device and a storage medium for improving image quality and enhancing image details.
  • an image processing method applied to a terminal, including: determining an image to be processed; determining a pixel type in the image to be processed, where the pixel type includes moving pixels and non-moving pixels ; Perform convolution enhancement processing on the image to be processed based on the pixel type; obtain a target image based on the convolution enhancement processed image and the image to be processed.
  • performing convolution enhancement processing on the image to be processed based on the pixel type includes: if it is determined that the pixel type is a non-moving pixel, performing convolution enhancement on the image to be processed. deal with.
  • performing convolution enhancement processing on the image to be processed based on the number of fused frames includes: if the number of fused frames is greater than a frame number threshold, performing convolution on the image to be processed.
  • Product enhancement processing includes: if the number of fused frames is greater than a frame number threshold, performing convolution on the image to be processed.
  • the set convolution kernel size is determined based on the preset image and the convolution enhancement processing results using an alternating optimization method.
  • the convolution kernel size is set to 7x7.
  • obtaining the target image from the convolution-enhanced image and the to-be-processed image includes: based on the set Alpha fusion parameters, convolution-enhanced image, and the Alpha fusion is performed on the image to be processed to obtain the target image.
  • the processing unit performs convolution enhancement processing on the image to be processed based on the pixel type in the following manner: if it is determined that the pixel type is a motion pixel, the number of fusion frames is determined, and the fusion The number of frames is the number of frames used when fusing multiple frame images; based on the number of fused frames, convolution enhancement processing is performed on the image to be processed.
  • the processing unit performs convolution enhancement processing on the image to be processed based on the number of fused frames in the following manner: if the number of fused frames is greater than a frame number threshold, then the image to be processed is The image undergoes convolution enhancement processing.
  • the processing unit cancels the convolution enhancement processing on the image to be processed.
  • the processing unit performs convolution enhancement processing on the image to be processed in the following manner: based on a convolutional neural network model with a single layer of convolution and a set convolution kernel size, The image to be processed is subjected to convolution enhancement processing.
  • the set convolution kernel size is determined based on the preset image and the convolution enhancement processing results using an alternating optimization method.
  • the convolution kernel size is set to 7x7.
  • the processing unit obtains the target image based on the convolution-enhanced image and the image to be processed in the following manner: based on the set Alpha fusion parameters, the convolution-enhanced image is , and perform Alpha fusion on the image to be processed to obtain the target image.
  • an image processing device including: a processor; a memory for storing instructions executable by the processor; wherein the processor is configured to: execute any implementation manner of the first aspect image processing methods described in .
  • a non-transitory computer-readable storage medium stores instructions, and when the instructions in the storage medium are executed by a processor of the terminal, the terminal can Execute the image processing method described in any embodiment of the first aspect.
  • the technical solution provided by the embodiments of the present disclosure can include the following beneficial effects: by determining whether the pixels of the image to be processed are moving pixels, it is confirmed whether to perform convolution enhancement processing on the image to be processed, and convolution of noisy moving images can be avoided. Enhancement processing avoids noise enhancement caused by convolution enhancement processing, thereby improving the clarity of moving image processing.
  • FIG. 1 is a flowchart of an image processing method according to an exemplary embodiment.
  • FIG. 2 is a flow chart of an image processing method according to an exemplary embodiment.
  • FIG. 3 is a flowchart of an image processing method according to an exemplary embodiment.
  • FIG. 4 is a flow chart of an image processing method according to an exemplary embodiment.
  • FIG. 5 is a flowchart of an image processing method according to an exemplary embodiment.
  • FIG. 6 is an example diagram illustrating a set of image processing methods according to an exemplary embodiment.
  • FIG. 7 is a block diagram of an image processing device according to an exemplary embodiment.
  • FIG. 8 is a block diagram of an image processing device according to an exemplary embodiment.
  • the images captured by smart terminals are getting higher and higher in pixels, allowing them to take more detailed and sharp photos.
  • the zoom capability of the terminal needs to be improved.
  • the super-resolution algorithm can achieve continuous zoom and large-magnification digital zoom, allowing users to take clearer photos.
  • multi-frame super-resolution algorithms are widely used in terminal zoom systems. When applying the multi-frame super-resolution algorithm to take pictures, the user presses the camera button, and the terminal will continuously capture multiple frames of images, select reference frames from the multi-frame images, and then perform multi-frame alignment and ghost removal processing. After image fusion, a single image is obtained. frame image.
  • a high-quality super-resolution image is calculated.
  • the super-resolution image undergoes upsampling processing to enlarge the image to a preset size to obtain the final desired image.
  • the noise in the image will be enhanced, making the image less clear and the user experience worse.
  • the present disclosure provides an image processing method that can be applied to terminals.
  • the image processing method includes: whether the image to be processed based on multi-frame image fusion is indeed a pixel type of moving pixels, and judging whether the image is correct based on the pixel type determination result.
  • the AI detail enhancement processing method of the present disclosure can avoid performing convolution enhancement processing on noisy moving images, thereby avoiding the enhancement of noise caused by the convolution enhancement processing, and improving the processing effect of moving images.
  • Figure 1 is a flow chart of an image processing method according to an exemplary embodiment. As shown in Figure 1, the image processing method is used in a terminal.
  • the embodiment of the present disclosure does not limit the type of terminal to which the image processing method is applied.
  • examples of terminals may include: mobile phones, tablets, laptops, wearable devices, etc.
  • the image processing method includes the following steps.
  • step S11 the image to be processed is determined.
  • the terminal when the user presses the camera button, the terminal will continuously capture multiple frames of images.
  • the multiple frame images undergo reference frame selection, multiple frame alignment and ghost removal processing, and the image fusion algorithm completes the fusion of the multiple frame images.
  • the fused image is obtained, which is later called the image to be processed.
  • step S12 the pixel type in the image to be processed is determined, and the pixel type includes moving pixels and non-moving pixels.
  • the image captured by the user may be a still image or a moving image.
  • moving images are mainly processed.
  • the terminal determines whether the image to be processed is a still image or a moving image according to the pixel type of the image to be processed.
  • the pixel type of still images is non-moving pixels
  • the pixels of moving images are moving pixels.
  • step S13 convolution enhancement processing is performed on the image to be processed based on the pixel type.
  • the AI enhancement processing may be based on the AI enhancement model.
  • enhancement based on convolutional models enhancement based on convolutional models.
  • FIG 2 is a flow chart of an image processing method according to an exemplary embodiment.
  • the image processing method can be used in a terminal.
  • the embodiment of the present disclosure does not limit the type of terminal to which the image processing method is applied.
  • the image processing method includes step S21 and step S22. Among them, step S21 is similar to the execution steps of step S11 in Figure 1, and will not be described again in this disclosure.
  • step S22 it is determined that the pixel type in the image to be processed is a non-motion pixel, and convolution enhancement processing is performed on the image to be processed.
  • FIG 3 is a flow chart of an image processing method according to an exemplary embodiment.
  • the image processing method can be used in a terminal.
  • the embodiment of the present disclosure does not limit the type of terminal to which the image processing method is applied.
  • the image processing method includes step S31, step S32 and step S33. Among them, step S31 is similar to the execution steps of step S11 in Figure 1, and will not be described again in this disclosure.
  • step S32 it is determined that the pixel type in the image to be processed is a motion pixel, and the number of fusion frames is determined.
  • the number of fusion frames is the number of frames used when fusing multiple frames of images.
  • the number of fusion frames in the embodiment of the present disclosure can be understood as the number of frames with less noise used when merging multiple frames of images.
  • the image is determined to be a moving image.
  • different numbers of frames are used for images with different degrees of motion.
  • the number of frames used for fusion in the embodiment of the present disclosure can be determined by methods in related technologies, and the embodiment of the present disclosure does not limit this.
  • the number of frames to be fused is determined by determining the motion vectors of other frames in the multi-frame image relative to the reference frame.
  • the fusion process in order to reduce the matching error, only frames whose motion vectors are smaller than the threshold are selected as frames used in fusion. Determine the degree of motion of the image by determining the number of fused frames.
  • step S33 based on the number of fusion frames, convolution enhancement processing is performed on the image to be processed.
  • the convolution enhancement processing of the image to be processed is canceled.
  • step S44 it is determined that the number of fusion frames is greater than the frame number threshold, and convolution enhancement processing is performed on the image to be processed.
  • the degree of motion of an image is determined by determining the number of frames used when fusing multiple frames of images. If the number of frames used in the fusion of multi-frame images is greater than the set frame number threshold, it is judged that the degree of motion of the image to be processed is relatively weak and can be understood as a still image, and the image to be processed is subjected to convolution enhancement processing.
  • the image to be processed with a relatively weak degree of motion can be understood as a still image.
  • convolution enhancement processing can increase the details of the dark parts of the image, make the details clearer, and bring better visual effects.
  • step S45 it is determined that the number of fusion frames is less than or equal to the frame number threshold, and the convolution enhancement processing of the image to be processed is cancelled.
  • the degree of motion of an image is determined by determining the number of frames used when fusing multiple frames of images. If the number of frames used in the fusion of multi-frame images is less than or equal to the set frame number threshold, it is judged that the motion of the image to be processed is relatively strong, and the noise of the image is very large at this time. If the image to be processed is subjected to convolution enhancement processing, then It will enhance the noise and make the image less clear. Therefore, when it is judged that the degree of motion of the image to be processed is relatively strong, the convolution enhancement processing of the image to be processed is canceled.
  • an alternating optimization method is used to determine the size of the convolution kernel based on the preset image and the result of convolution enhancement.
  • v represents the preset image
  • u represents the result of convolution enhancement
  • k represents the convolution kernel
  • n represents the error term.
  • the error term can be understood as the error between the image result obtained by multiplying the enhancement result and the convolution kernel and the preset image. Among them, the smaller the error value corresponding to the error term, the more accurate the obtained convolution kernel is.
  • preset images need to be continuously input.
  • the preset image may be an image captured by the terminal, including still images and moving images.
  • the embodiments of the present disclosure do not limit the types of images. For example, examples of images may include: text, buildings, faces, pavement, grass, etc.
  • the embodiment of the present disclosure determines the convolution kernel corresponding to the best enhancement effect and the smallest error, and the convolution kernel is finally configured on the terminal to perform convolution enhancement processing.
  • x and y represent the pixel coordinates of the image
  • c is a preconfigured constant coefficient
  • Alpha fusion can be performed on the image after convolution enhancement processing and the image to be processed to obtain the target image and output it, so as to fully and carefully match the user's subjective tendency.
  • Alpha fusion is performed on the image after convolution enhancement and the image to be processed.
  • the user can set the Alpha fusion parameters and modify the weight of the image after convolution enhancement and the image to be processed to adjust the enhancement.
  • the strength of the effect can be adjusted individually.
  • the calculation process of fusion can be expressed by the following mathematical expression:
  • I out ⁇ I enhanced +(1- ⁇ )I input , ⁇ [0,1]
  • the terminal when the user presses the camera button, the terminal will continuously capture multiple frames of images.
  • a reference frame must be selected from the multiple frames of images, and then the multiple frames must be aligned and ghosted, and the image to be processed shall be obtained through the image fusion module.
  • AI detail enhancement noise reduction and sharpening modules, a high-quality super-resolution image is calculated.
  • the image is enlarged to the required size, and the enlarged result is output as the final image.
  • the present disclosure adopts the image processing method involved in the above embodiments of the present disclosure to avoid convolution enhancement processing on noisy moving images, thereby avoiding the enhancement of noise caused by the convolution enhancement processing, and improving Moving image processing effects.
  • the pixel type in the image to be processed is determined, and whether the image is a moving image is determined. If not, the image to be processed is subjected to convolution enhancement processing to obtain a target image with enhanced details. If it is determined that the image is a moving image, it is then determined whether to perform convolution enhancement processing on the moving image based on the intensity of the motion of the image. Based on the number of image frames used in multi-frame image fusion, the motion strength of the moving image is judged. If the number of frames used in fusion is less than or equal to the set frame number threshold, it is judged that the motion of the image to be processed is relatively strong, and the movement of the moving image is cancelled. The image is subjected to convolution enhancement processing.
  • embodiments of the present disclosure also provide an image processing device.
  • FIG. 7 is a block diagram 100 of an image processing apparatus according to an exemplary embodiment.
  • the device includes a determining unit 101 and a processing unit 102 .
  • the determining unit 101 is configured to determine an image to be processed; and determine a pixel type in the image to be processed, where the pixel type includes moving pixels and non-moving pixels.
  • the processing unit 102 is configured to perform convolution enhancement processing on the image to be processed based on the pixel type; and obtain the target image based on the convolution enhancement processed image and the image to be processed.
  • the processing unit 102 performs convolution enhancement processing on the image to be processed based on the pixel type in the following manner: if it is determined that the pixel type is a non-motion pixel, the image to be processed is performed on the convolution enhancement processing.
  • the processing unit 102 performs convolution enhancement processing based on the pixel type of the image to be processed in the following manner: if the pixel type is determined to be a motion pixel, then the number of fusion frames is determined, and the number of fusion frames is when fusing multiple frames of images. The number of frames used; based on the number of fused frames, convolution enhancement processing is performed on the image to be processed. .
  • the processing unit 102 performs convolution enhancement processing on the image to be processed based on the number of fused frames in the following manner: if the number of fused frames is greater than the frame number threshold, then performs convolution enhancement processing on the image to be processed.
  • the processing unit 102 cancels the convolution enhancement processing of the image to be processed.
  • the processing unit 102 performs convolution enhancement processing on the image to be processed in the following manner: based on a convolutional neural network model with a single layer of convolution and a set convolution kernel size, the image to be processed is subjected to convolution enhancement. deal with.
  • the convolution kernel size is determined based on the preset image and the convolution enhancement processing results using an alternating optimization method.
  • the convolution kernel size is set to 7x7.
  • the processing unit 102 obtains the target image based on the convolution-enhanced image and the image to be processed in the following manner: based on the set Alpha fusion parameters, the convolution-enhanced image and the image to be processed are Process the image for Alpha fusion to obtain the target image.
  • FIG. 8 is a block diagram of an apparatus 200 for image processing according to an exemplary embodiment.
  • the device 200 may be a mobile phone, a computer, a digital broadcast terminal, a messaging device, a game console, a tablet device, a medical device, a fitness device, a personal digital assistant, or the like.
  • device 200 may include one or more of the following components: processing component 202, memory 204, power component 206, multimedia component 208, audio component 210, input/output (I/O) interface 212, sensor component 214, and Communication component 216.
  • Memory 204 is configured to store various types of data to support operations at device 200 . Examples of such data include instructions for any application or method operating on device 200, contact data, phonebook data, messages, pictures, videos, etc.
  • Memory 204 may be implemented by any type of volatile or non-volatile storage device, or a combination thereof, such as static random access memory (SRAM), electrically erasable programmable read-only memory (EEPROM), erasable programmable read-only memory (EEPROM), Programmable read-only memory (EPROM), programmable read-only memory (PROM), read-only memory (ROM), magnetic memory, flash memory, magnetic or optical disk.
  • SRAM static random access memory
  • EEPROM electrically erasable programmable read-only memory
  • EEPROM erasable programmable read-only memory
  • EPROM Programmable read-only memory
  • PROM programmable read-only memory
  • ROM read-only memory
  • magnetic memory flash memory, magnetic or optical disk.
  • Power component 206 provides power to various components of device 200 .
  • Power components 206 may include a power management system, one or more power supplies, and other components associated with generating, managing, and distributing power to device 200 .
  • the front camera and/or the rear camera may receive external multimedia data.
  • Each front-facing camera and rear-facing camera can be a fixed optical lens system or have a focal length and optical zoom capabilities.
  • Audio component 210 is configured to output and/or input audio signals.
  • audio component 210 includes a microphone (MIC) configured to receive external audio signals when device 200 is in operating modes, such as call mode, recording mode, and voice recognition mode. The received audio signals may be further stored in memory 204 or sent via communications component 216 .
  • audio component 210 also includes a speaker for outputting audio signals.
  • the I/O interface 212 provides an interface between the processing component 202 and a peripheral interface module, which may be a keyboard, a click wheel, a button, etc. These buttons may include, but are not limited to: Home button, Volume buttons, Start button, and Lock button.
  • Sensor component 214 includes one or more sensors for providing various aspects of status assessment for device 200 .
  • the sensor component 214 can detect the open/closed state of the device 200, the relative positioning of components, such as the display and keypad of the device 200, and the sensor component 214 can also detect a change in position of the device 200 or a component of the device 200. , the presence or absence of user contact with the device 200 , device 200 orientation or acceleration/deceleration and temperature changes of the device 200 .
  • Sensor assembly 214 may include a proximity sensor configured to detect the presence of nearby objects without any physical contact.
  • Sensor assembly 214 may also include a light sensor, such as a CMOS or CCD image sensor, for use in imaging applications.
  • the sensor component 214 may also include an acceleration sensor, a gyroscope sensor, a magnetic sensor, a pressure sensor, or a temperature sensor.
  • Communication component 216 is configured to facilitate wired or wireless communication between apparatus 200 and other devices.
  • Device 200 may access a wireless network based on a communication standard, such as WiFi, 2G or 3G, or a combination thereof.
  • the communication component 216 receives broadcast signals or broadcast related information from an external broadcast management system via a broadcast channel.
  • the communications component 216 also includes a near field communications (NFC) module to facilitate short-range communications.
  • NFC near field communications
  • the NFC module can be implemented based on radio frequency identification (RFID) technology, infrared data association (IrDA) technology, ultra-wideband (UWB) technology, Bluetooth (BT) technology and other technologies.
  • RFID radio frequency identification
  • IrDA infrared data association
  • UWB ultra-wideband
  • Bluetooth Bluetooth
  • apparatus 200 may be configured by one or more application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable Gate array (FPGA), controller, microcontroller, microprocessor or other electronic components are implemented for executing the above method.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGA field programmable Gate array
  • controller microcontroller, microprocessor or other electronic components are implemented for executing the above method.
  • the present disclosure also provides a non-transitory computer-readable storage medium including instructions, such as a memory 204 including instructions, which instructions can be executed by the processor 220 of the device 200 to complete the above method.
  • a non-transitory computer-readable storage medium may be ROM, random access memory (RAM), CD-ROM, magnetic tape, floppy disk, optical data storage device, etc.
  • “plurality” in this disclosure refers to two or more, and other quantifiers are similar.
  • “And/or” describes the relationship between related objects, indicating that there can be three relationships.
  • a and/or B can mean: A exists alone, A and B exist simultaneously, and B exists alone.
  • the character “/” generally indicates that the related objects are in an “or” relationship.
  • the singular forms “a”, “the” and “the” are intended to include the plural forms as well, unless the context clearly indicates otherwise.
  • first, second, etc. are used to describe various information, but such information should not be limited to these terms. These terms are only used to distinguish information of the same type from each other and do not imply a specific order or importance. In fact, expressions such as “first” and “second” can be used interchangeably.
  • first information may also be called second information, and similarly, the second information may also be called first information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本公开是关于一种图像处理方法、图像处理装置及存储介质，图像处理方法包括：确定待处理图像；确定所述待处理图像中的像素类型，所述像素类型包括运动像素和非运动像素；基于所述像素类型对所述待处理图像进行卷积增强处理；基于卷积增强处理后的图像，以及所述待处理图像，得到目标图像。通过本公开实施例，对待处理图像像素是否为运动像素的判断，来确认是否对待处理图像进行卷积增强处理，可以避免对噪声大的运动图像进行卷积增强处理，避免卷积增强处理后造成噪声的增强，进而提高运动图像处理的清晰度。

Description

一种图像处理方法、图像处理装置及存储介质 技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、图像处理装置及存储介质。
背景技术
随着智能手机等具有图像采集拍摄功能的智能终端不断升级，智能终端拍摄的图像像素越来越高，可以拍出更加精细、锐利的照片。为了满足用户不同的拍照需求，需要提升终端的变焦能力。超分算法在光学变焦的基础上，可以实现连续变焦和大倍率的数字变焦，让用户拍出更加清晰的照片。
相关技术中，手机变焦系统广泛应用的是多帧超分算法。用户按下拍照按钮后，手机会拍摄多帧图像，通过超分算法改善画质，完成多帧图像融合，得到一张高画质的图像。但是如果拍摄的是运动的模糊图像，对这类图像应用多帧超分算法并不能降低噪声，反而增大噪声，使图像更加模糊。
发明内容
为克服相关技术中存在的问题，本公开提供一种图像处理方法、图像处理装置及存储介质，用于改善图像画质，增强图像细节。
根据本公开实施例的第一方面，提供一种图像处理方法，应用于终端，包括：确定待处理图像；确定所述待处理图像中的像素类型，所述像素类型包括运动像素和非运动像素；基于所述像素类型对所述待处理图像进行卷积增强处理；基于卷积增强处理后的图像，以及所述待处理图像，得到目标图像。
在一种实施方式中，所述基于所述像素类型对所述待处理图像进行卷积增强处理，包括：若确定所述像素类型为非运动像素，则对所述待处理图像进行卷积增强处理。
在一种实施方式中，所述基于所述像素类型对所述待处理图像进行卷积增强处理，包括：若确定所述像素类型为运动像素，则确定融合帧数，所述融合帧数为对多帧图像进行融合时使用的帧数；基于所述融合帧数，对所述待处理图像进行卷积增强处理。
在一种实施方式中，所述基于所述融合帧数，对所述待处理图像进行卷积增强处理，包括：若所述融合帧数大于帧数阈值，则对所述待处理图像进行卷积增强处理。
在一种实施方式中，所述方法还包括：若所述融合帧数小于或等于帧数阈值，则取消对所述待处理图像进行卷积增强处理。
在一种实施方式中，所述对所述待处理图像进行卷积增强处理，包括：基于具有单层 卷积并具有设定卷积核大小的卷积神经网络模型，对所述待处理图像进行卷积增强处理。
在一种实施方式中，所述设定卷积核大小采用交替优化方式基于预设图像以及卷积增强处理结果确定。
在一种实施方式中，所述设定卷积核大小为7x7。
在一种实施方式中，所述基于卷积增强处理后的图像，以及所述待处理图像，得到目标图像，包括：基于设定的Alpha融合参数，对卷积增强处理后的图像，以及所述待处理图像进行Alpha融合，得到目标图像。
根据本公开实施例的第二方面，提供一种图像处理装置，应用于终端，包括：确定单元，用于确定待处理图像；并确定所述待处理图像中的像素类型，所述像素类型包括运动像素和非运动像素；处理单元，用于基于所述像素类型对所述待处理图像进行卷积增强处理；并基于卷积增强处理后的图像，以及所述待处理图像，得到目标图像。
在一种实施方式中，所述处理单元采用如下方式基于所述像素类型对所述待处理图像进行卷积增强处理：若确定所述像素类型为非运动像素，则对所述待处理图像进行卷积增强处理。
在一种实施方式中，所述处理单元采用如下方式基于所述像素类型对所述待处理图像进行卷积增强处理：若确定所述像素类型为运动像素，则确定融合帧数，所述融合帧数为对多帧图像进行融合时使用的帧数；基于所述融合帧数，对所述待处理图像进行卷积增强处理。
在一种实施方式中，所述处理单元采用如下方式基于所述融合帧数，对所述待处理图像进行卷积增强处理：若所述融合帧数大于帧数阈值，则对所述待处理图像进行卷积增强处理。
在一种实施方式中，若所述融合帧数小于或等于帧数阈值，则所述处理单元取消对所述待处理图像进行卷积增强处理。
在一种实施方式中，所述处理单元采用如下方式对所述待处理图像进行卷积增强处理：基于具有单层卷积并具有设定卷积核大小的卷积神经网络模型，对所述待处理图像进行卷积增强处理。
在一种实施方式中，所述设定卷积核大小采用交替优化方式基于预设图像以及卷积增强处理结果确定。
在一种实施方式中，所述设定卷积核大小为7x7。
在一种实施方式中，所述处理单元采用如下方式基于卷积增强处理后的图像，以及所述待处理图像，得到目标图像：基于设定的Alpha融合参数，对卷积增强处理后的图像， 以及所述待处理图像进行Alpha融合，得到目标图像。
根据本公开实施例的第三方面，提供一种图像处理装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为：执行第一方面任意一种实施方式中所述的图像处理的方法。
根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，所述存储介质中存储有指令，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行第一方面任意一种实施方式中所述的图像处理的方法。
本公开的实施例提供的技术方案可以包括以下有益效果：通过对待处理图像像素是否为运动像素的判断，来确认是否对待处理图像进行卷积增强处理，可以避免对噪声大的运动图像进行卷积增强处理，避免卷积增强处理后造成噪声的增强，进而提高运动图像处理的清晰度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种图像处理方法的流程图。
图2是根据一示例性实施例示出的一种图像处理方法的流程图。
图3是根据一示例性实施例示出的一种图像处理方法的流程图。
图4是根据一示例性实施例示出的一种图像处理方法的流程图。
图5是根据一示例性实施例示出的一种图像处理方法的流程图。
图6是根据一示例性实施例示出的一组图像处理方法的示例图。
图7是根据一示例性实施例示出的一种图像处理装置的框图。
图8是根据一示例性实施例示出的一种图像处理装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。
随着智能手机等具有图像采集拍摄功能的智能终端不断升级，智能终端拍摄的图像像素越来越高，可以拍出更加精细、锐利的照片。为了满足用户不同的拍照需求，需要提升终端的变焦能力。超分算法在光学变焦的基础上，可以实现连续变焦和大倍率的数字变焦， 让用户拍出更加清晰的照片。相关技术中，终端变焦系统广泛应用的是多帧超分算法。在应用多帧超分算法进行拍照时，用户按下拍照按钮，终端会连续拍摄多帧图像，从多帧图像中挑选参考帧，再进行多帧对齐和去鬼影处理，经过图像融合得到单帧图像。通过AI细节增强、降噪和锐化模块，计算出一张高画质的超分图像。超分图像经过上采样处理，将图像放大到预设尺寸得到最终所需图像。在AI细节增强的过程中，如果对运动图像进行增强，由于运动图像中存在的噪声较多，故会增强图像中的噪声，使图像更加不清晰，用户体验较差。
由此，本公开提供一种图像处理方法，可以应用于终端，图像处理方法包括：基于多帧图像融合的待处理图像确实是否为运动像素的像素类型，并根据像素类型确定结果判断是否对图像进行卷积增强处理，通过本公开的AI细节增强的处理方法，能够避免对噪声大的运动图像进行卷积增强处理，进而避免卷积增强处理后造成噪声的增强，提高运动图像的处理效果。
图1是根据一示例性实施例示出的一种图像处理方法的流程图，如图1所示，图像处理方法用于终端中，本公开实施例对图像处理方法所应用的终端种类不作限定。例如，终端的示例可以包括：手机、平板电脑、笔记本电脑、可穿戴设备等。图像处理方法包括以下步骤。
在步骤S11中，确定待处理图像。
在本公开实施例中，用户按下拍照按钮，终端会连续拍摄多帧图像，多帧图像经过参考帧选取、多帧对齐和去鬼影处理，并由图像融合算法完成多帧图像的融合，得到融合后的图像，后续称融合后的图像为待处理图像。
在步骤S12中，确定待处理图像中的像素类型，像素类型包括运动像素和非运动像素。
在本公开实施例中，用户拍摄的图像可以是静止图像，也可以是运动图像。其中，本公开实施例中主要针对运动图像进行处理。其中，终端根据待处理图像的像素类型，判断待处理图像是静止图像，还是运动图像。其中，静止图像的像素类型为非运动像素，运动图像的像素为运动像素。
在步骤S13中，基于像素类型对待处理图像进行卷积增强处理。
在本公开实施例中，根据待处理图像的不同像素类型匹配有不同的增强处理方案。通过对需要增强的图像进行卷积处理，可以让图像变得更清晰，给用户带来更好的视觉感受。
在步骤S14中，基于卷积增强处理后的图像，以及待处理图像，得到目标图像。
其中，本公开实施例中的目标图像可以理解为是进行AI增强处理后的图像。其中，AI增强处理可以按照设定需求强调图像的整体或局部特征，比如进行清晰度增强，以将不清 晰的图像增强为清晰图像，在例如也可以是对特定图像特征进行增强，扩大图像中不同物体特征之间的差别，提高图像的视觉效果。
其中，进行AI增强处理可以是基于AI增强模型进行增强。例如，基于卷积模型，进行增强。本公开实施例以下以AI增强处理采用卷积增强处理为例进行说明。
本公开实施例提供的图像处理方法，在进行卷积增强处理时，基于像素类型确定是否进行卷积增强处理，能够避免对噪声大的运动图像进行卷积增强处理，进而避免卷积增强处理后造成噪声的增强，提高运动图像的处理效果。
本公开实施例中若像素类型为非运动像素，则对待处理图像进行卷积增强处理。
图2是根据一示例性实施例示出的一种图像处理方法的流程图，如图2所示，图像处理方法可以用于终端中，本公开实施例对图像处理方法所应用的终端种类不作限定。图像处理方法包括步骤S21和步骤S22。其中，步骤S21和图1中步骤S11的执行步骤相类似，本公开在此不再赘述。
在步骤S22中，确定待处理图像中的像素类型为非运动像素，对待处理图像进行卷积增强处理。
在本公开实施例中，若待处理图像的像素类型为非运动像素，则判定该图像为静止图像，并对该静止图像进行增强处理，通过对图像进行卷积处理，可以让图像的暗部细节更多，细节更清晰，给用户带来更好的视觉感受。
本公开实施例中若像素类型为运动像素，则基于待处理图像融合时使用的帧数，对待处理图像进行卷积增强处理。
图3是根据一示例性实施例示出的一种图像处理方法的流程图，如图3所示，图像处理方法可以用于终端中，本公开实施例对图像处理方法所应用的终端种类不作限定。图像处理方法包括步骤S31、步骤S32和步骤S33。其中，步骤S31和图1中步骤S11的执行步骤相类似，本公开在此不再赘述。
在步骤S32中，确定待处理图像中的像素类型为运动像素，确定融合帧数。
其中，融合帧数为多帧图像进行融合时使用的帧数。其中，可以理解的是，拍摄图像为运动图像时，采集的多帧图像中会存在噪声比较大的部分帧，在后续图像融合过程中，不会使用这些噪声大的部分帧，只选取噪声小的帧。本公开实施例中融合帧数可以理解为是多帧图像融合时使用的噪声较小的帧的数量。
在本公开实施例中，若待处理图像的像素类型为运动像素，则判定该图像为运动图像。根据本公开实施例，将多帧图像融合成单帧图像的过程中，不同运动程度的图像所使用的帧数不同。其中，本公开实施例中融合所使用的帧数可以采用相关技术中的方式确定，本 公开实施例对此不做限定。一种实施方式中例如，通过确定多帧图像中其他帧相对于参考帧运动向量，确定融合的帧数。在融合的过程中，为了减少匹配误差，只选取运动向量小于阈值的帧作为融合时使用的帧。通过确定融合帧数来判断图像的运动程度。
在步骤S33中，基于融合帧数，对待处理图像进行卷积增强处理。
在本公开实施例中，多帧图像进行融合时使用的帧数可以用来判断图像的运动程度。
一种实施方式中，若在多帧图像进行融合时使用的帧数小于或等于设定帧数阈值，则判断待处理图像运动程度比较强，则取消对待处理图像进行卷积增强处理。
另一种实施方式中，若在多帧图像进行融合时使用的帧数大于设定帧数阈值，则判断待处理图像运动程度比较弱，则对待处理图像进行卷积增强处理。
图4是根据一示例性实施例示出的一种图像处理方法的流程图，如图4所示，图像处理方法可以用于终端中，本公开实施例对图像处理方法所应用的终端种类不作限定。其中，步骤S41和图3中步骤S31的执行步骤相类似，步骤S42和图3中步骤S32的执行步骤相类似，本公开在此不再赘述。
在步骤S43中，确定融合帧数是否大于帧数阈值。
其中，本公开实施例中涉及的帧数阈值，可以是预先设置的实验值，用于确定待处理图像的运动程度。
在步骤S44中，确定融合帧数大于帧数阈值，对待处理图像进行卷积增强处理。
在本公开实施例中，通过确定多帧图像进行融合时使用的帧数来判断图像的运动程度。若在多帧图像进行融合时使用的帧数大于设定帧数阈值，则判断待处理图像运动程度比较弱，可理解为静止图像，则对待处理图像进行卷积增强处理。
根据本公开实施例，对运动程度比较弱的待处理图像，可以理解为是静止图像，采用卷积增强处理的方式可以让图像暗部细节增多，细节更清晰，带来更好的视觉效果。
在步骤S45中，确定融合帧数小于或等于帧数阈值，取消对待处理图像进行卷积增强处理。
在本公开实施例中，通过确定多帧图像进行融合时使用的帧数来判断图像的运动程度。若在多帧图像进行融合时使用的帧数小于或等于设定帧数阈值，则判断待处理图像运动程度比较强，此时图像的噪声很大，如果对待处理图像进行卷积增强处理，则会增强噪声，让图像变得更不清晰。因此，当判断待处理图像运动程度比较强时，取消对待处理图像进行卷积增强处理。
本公开实施例中，取消对待处理图像进行卷积增强处理，可以是将待处理图像直接作为后续输出目标图像的前期处理。例如，在进行AI增强处理时，需要对多帧图像进行融合 处理，此处可以将待处理图像直接进行融合处理，得到目标图像。
本公开实施例以下对卷积增强处理的过程进行说明。其中，在本公开实施例中，对待处理图像进行卷积增强处理的卷积神经网络模型为单层卷积。相比于深度卷积网络中的多层卷积的设计思想，单层卷积可以减少计算量，加快计算速度。通过在终端预先配置好固定大小的卷积核，对待处理图像进行卷积增强处理。
在本公开实施例中，根据预设图像以及卷积增强的结果，采用交替优化的方式来确定卷积核的大小。
本公开实施例以下对采用交替优化方法确定卷积核大小的实施过程进行说明。
假设计算卷积核采用模型：
v＝u×k+n
其中v代表预设图像，u代表卷积增强的结果，k代表卷积核，n代表误差项。其中，误差项可以理解为是增强结果与卷积核相乘得到的图像结果与预设图像之间的误差。其中，误差项对应的误差值越小，求得的卷积核越精确。在确定神经网络模型中卷积核的大小时，需要不断输入预设图像。其中，预设图像可以是终端拍摄的图像，包括静止图像和运动图像。本公开实施例对图像种类不作限定。例如，图像的示例可以包括：文字、建筑、人脸、路面、草地等。本公开实施例确定增强效果最佳且误差最小时对应的卷积核，该卷积核被最终配置于终端，以进行卷积增强处理。
故，在确定卷积核时，可以采用如下公式进行确定：
Figure PCTCN2022099861-appb-000001
上式中，
Figure PCTCN2022099861-appb-000002
为保真项。求解(u×k-v)的最小值，让误差接近为0，即可实现保真。
Figure PCTCN2022099861-appb-000003
可以保证卷积核的稳定，在求解过程中，k值过大会导致异常，所以通过获取k的最小的值来保证卷积核的稳定，其中γ为预先配置的常量系数。基于
Figure PCTCN2022099861-appb-000004
计算出增强结果图像u的梯度并获取最小值，保证图像的稀疏性，其中λ为预先配置的常量系数。上式中存在两个未知项k和u。故，为了求解卷积核k值，本公开实施例一种实施方式中，采用交替优化的方式来确定卷积核k值。
例如，将未知项k和u采用如下算式进行表示：
Figure PCTCN2022099861-appb-000005
Figure PCTCN2022099861-appb-000006
交替优化确定卷积核k值时，可以在求解的过程中，引入中间变量g：
Figure PCTCN2022099861-appb-000007
Figure PCTCN2022099861-appb-000008
其中，g为辅助的变量，用来代替求解过程中生成的值，方便下一步求解。
Figure PCTCN2022099861-appb-000009
代表向量，t代表交替求解的次数。通过为k设定一个初始值，可以得到如下关系：
Figure PCTCN2022099861-appb-000010
其中，β为预先配置的常量系数，T代表预先定义的函数，该函数被定义为
Figure PCTCN2022099861-appb-000011
将该函数T带入到上式
Figure PCTCN2022099861-appb-000012
中，其中，α代替式中
Figure PCTCN2022099861-appb-000013
代替式中
Figure PCTCN2022099861-appb-000014
进而求解出u (t+1)的值：
Figure PCTCN2022099861-appb-000015
进一步的，根据u (t+1)的值，求解出k值：
Figure PCTCN2022099861-appb-000016
其中，x和y代表图像的像素坐标，c为预先配置的常量系数。
根据本公开实施例，通过采用交替优化的方法，先给定一个初始值，让所有的结果可以计算出来，然后不断迭代，将上述的式子交替计算，直到结果达到想要的效果为止，求解出的卷积核精度更高。
在本公开实施例中，设定卷积核的大小为7x7。相比于3x3、5x5的小尺寸卷积核，7x7的卷积核尺寸更大，能够带来更大尺寸的感受野，增强效果也更加突出，单层的7x7卷积可以减少计算量，加快计算速度。
在本公开实施例中，可以对卷积增强处理后的图像，以及待处理图像进行Alpha融合，得到目标图像并输出，以便于全面细致配合用户主观倾向。
在本公开实施例中，对卷积增强处理后的图像，以及待处理图像进行Alpha融合，用户可以设定Alpha融合参数，修改卷积增强处理后的图像以及待处理图像的权重，来调节增强效果的强弱，实现个性化的调整。融合的计算过程，可以采用如下数学表达式来表示：
I out＝αI enhanced+(1-α)I input,α∈[0,1]
其中，I enhanced代表卷积增强处理后的图像，I input代表待处理图像，α为用户设定的Alpha融合参数。
本公开实施例中，对卷积增强处理后的图像，以及待处理图像进行Alpha融合，即将AI增强处理后的图像，与原输入图像进行Alpha融合，Alpha融合参数可以根据AI增强处理结果的需要进行调节。
以下结合示例对本公开上述实施例涉及的图像处理方法进行说明。其中，本公开实施例中主要是以终端的图像拍照过程为例进行说明。
根据本公开实施例，用户按下拍照按钮，终端会连续拍摄多帧图像，首先要从多帧图像中挑选参考帧，再进行多帧对齐和去鬼影，经过图像融合模块得到待处理图像。通过AI细节增强、降噪和锐化模块，计算出一张高画质的超分图像。最后经过上采样模块的处理，把图像放大到需要的尺寸，将放大的结果输出，作为最终图像。本公开在AI细节增强的过程中，采用了本公开上述实施例涉及的图像处理方法，以避免对噪声大的运动图像进行卷积增强处理，进而避免卷积增强处理后造成噪声的增强，提高运动图像的处理效果。
图5是根据一示例性实施例示出的一种图像处理方法的流程图，如图5所示，图像处理方法用于终端中，本公开实施例对图像处理方法所应用的终端种类不作限定。
参照图5，确定待处理图像中的像素类型，判断图像是否为运动图像，如果不是运动图像，则对待处理图像进行卷积增强处理，得到细节增强的目标图像。如果判断图像为运动图像，再根据图像运动的强度来判断是否对运动图像进行卷积增强处理。基于多帧图像融合时使用的图像帧数，来判断运动图像的运动强弱，若融合时使用的帧数小于或等于设定帧数阈值，则判断待处理图像运动程度比较强，取消对运动图像进行卷积增强处理。若在多帧图像进行融合时使用的帧数大于设定帧数阈值，则判断运动图像运动程度比较弱，可以理解为是静止图像，对其进行卷积增强处理，增强图像细节。根据本公开实施例可以避免对噪声大的运动图像进行卷积增强处理，避免卷积增强处理后造成噪声的增强，进而提高运动图像处理的清晰度。
图6是根据一示例性实施例示出一组应用本公开实施例进行图像处理方法进行图像处理的示例图。在图6中，左图是预设图像，中间的图是卷积增强的结果，右边的图是卷积核。通过将卷积核的反卷积应用到预设图像，可以计算出对应的卷积增强的结果图。在预设图像相邻元素之间填充0，将卷积核参数上下、左右翻转，得到反卷积。将反卷积与填充后的图像进行卷积计算，得到内容更丰富的增强图像。经过卷积增强后的图像，暗部细节多，细节清晰。
本公开提供的图像处理方法，在AI细节增强的过程中，基于运动图像的判别进行卷积增强处理与否的判决，能够避免对噪声大的运动图像进行卷积增强处理，进而避免卷积增强处理后造成噪声的增强，提高运动图像的处理效果。
需要说明的是，本领域内技术人员可以理解，本公开实施例上述涉及的各种实施方式/实施例中可以配合前述的实施例使用，也可以是独立使用。无论是单独使用还是配合前述的实施例一起使用，其实现原理类似。本公开实施中，部分实施例中是以一起使用的实施方式进行说明的。当然，本领域内技术人员可以理解，这样的举例说明并非对本公开实施例的限定。
基于相同的构思，本公开实施例还提供一种图像处理装置。
可以理解的是，本公开实施例提供的图像处理装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本公开实施例中所公开的各示例的单元及算法步骤，本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本公开实施例的技术方案的范围。
图7是根据一示例性实施例示出的一种图像处理装置框图100。参照图7，该装置包括确定单元101和处理单元102。
该确定单元101被配置为确定待处理图像；并确定待处理图像中的像素类型，像素类型包括运动像素和非运动像素。
该处理单元102被配置为基于像素类型对待处理图像进行卷积增强处理；并基于卷积增强处理后的图像，以及待处理图像，得到目标图像。
在本公开实施例中，处理单元102采用如下方式基于像素类型对待处理图像进行卷积增强处理：若确定像素类型为非运动像素，则对待处理图像进行卷积增强处理。
在本公开实施例中，处理单元102采用如下方式基于像素类型对待处理图像进行卷积增强处理：若确定像素类型为运动像素，则确定融合帧数，融合帧数为对多帧图像进行融合时使用的帧数；基于所述融合帧数，对待处理图像进行卷积增强处理。。
在本公开实施例中，处理单元102采用如下方式基于融合帧数，对待处理图像进行卷积增强处理：若融合帧数大于帧数阈值，则对待处理图像进行卷积增强处理。
在本公开实施例中，若融合帧数小于或等于帧数阈值，则处理单元102取消对待处理图像进行卷积增强处理。
在本公开实施例中，处理单元102采用如下方式对待处理图像进行卷积增强处理：基于具有单层卷积并具有设定卷积核大小的卷积神经网络模型，对待处理图像进行卷积增强处理。
在本公开实施例中，设定卷积核大小采用交替优化方式基于预设图像以及卷积增强处 理结果确定。
在本公开实施例中，设定卷积核大小为7x7。
在本公开实施例中，处理单元102采用如下方式基于卷积增强处理后的图像，以及待处理图像，得到目标图像：基于设定的Alpha融合参数，对卷积增强处理后的图像，以及待处理图像进行Alpha融合，得到目标图像。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图8是根据一示例性实施例示出的一种用于图像处理的装置200的框图。例如，装置200可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图8，装置200可以包括以下一个或多个组件：处理组件202，存储器204，电力组件206，多媒体组件208，音频组件210，输入/输出(I/O)接口212，传感器组件214，以及通信组件216。
处理组件202通常控制装置200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件202可以包括一个或多个处理器220来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件202可以包括一个或多个模块，便于处理组件202和其他组件之间的交互。例如，处理组件202可以包括多媒体模块，以方便多媒体组件208和处理组件202之间的交互。
存储器204被配置为存储各种类型的数据以支持在装置200的操作。这些数据的示例包括用于在装置200上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件206为装置200的各种组件提供电力。电力组件206可以包括电源管理系统，一个或多个电源，及其他与为装置200生成、管理和分配电力相关联的组件。
多媒体组件208包括在所述装置200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中， 多媒体组件208包括一个前置摄像头和/或后置摄像头。当装置200处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件210被配置为输出和/或输入音频信号。例如，音频组件210包括一个麦克风(MIC)，当装置200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器204或经由通信组件216发送。在一些实施例中，音频组件210还包括一个扬声器，用于输出音频信号。
I/O接口212为处理组件202和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件214包括一个或多个传感器，用于为装置200提供各个方面的状态评估。例如，传感器组件214可以检测到装置200的打开/关闭状态，组件的相对定位，例如所述组件为装置200的显示器和小键盘，传感器组件214还可以检测装置200或装置200一个组件的位置改变，用户与装置200接触的存在或不存在，装置200方位或加速/减速和装置200的温度变化。传感器组件214可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件214还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件214还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件216被配置为便于装置200和其他设备之间有线或无线方式的通信。装置200可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件216还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置200可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，本公开还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器204，上述指令可由装置200的处理器220执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
进一步可以理解的是，本公开中“多个”是指两个或两个以上，其它量词与之类似。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
进一步可以理解的是，术语“第一”、“第二”等用于描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。
进一步可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利范围来限制。

Claims (20)

  1. 一种图像处理方法，其特征在于，应用于终端，所述方法包括：
    确定待处理图像；
    确定所述待处理图像中的像素类型，所述像素类型包括运动像素和非运动像素；
    基于所述像素类型对所述待处理图像进行卷积增强处理；
    基于卷积增强处理后的图像，以及所述待处理图像，得到目标图像。
  2. 根据权利要求1所述的方法，其特征在于，所述基于所述像素类型对所述待处理图像进行卷积增强处理，包括：
    若确定所述像素类型为非运动像素，则对所述待处理图像进行卷积增强处理。
  3. 根据权利要求1所述的方法，其特征在于，所述基于所述像素类型对所述待处理图像进行卷积增强处理，包括：
    若确定所述像素类型为运动像素，则确定融合帧数，所述融合帧数为对多帧图像进行融合时使用的帧数；
    基于所述融合帧数，对所述待处理图像进行卷积增强处理。
  4. 根据权利要求3所述的方法，其特征在于，所述基于所述融合帧数，对所述待处理图像进行卷积增强处理，包括：
    若所述融合帧数大于帧数阈值，则对所述待处理图像进行卷积增强处理。
  5. 根据权利要求3所述的方法，其特征在于，所述方法还包括：
    若所述融合帧数小于或等于帧数阈值，则取消对所述待处理图像进行卷积增强处理。
  6. 根据权利要求1至4中任意一项所述的方法，其特征在于，所述对所述待处理图像进行卷积增强处理，包括：
    基于具有单层卷积并具有设定卷积核大小的卷积神经网络模型，对所述待处理图像进行卷积增强处理。
  7. 根据权利要求6所述的方法，其特征在于，所述设定卷积核大小采用交替优化方式基于预设图像以及卷积增强处理结果确定。
  8. 根据权利要求6或7所述的方法，其特征在于，所述设定卷积核大小为7x7。
  9. 根据权利要求1所述的方法，其特征在于，所述基于卷积增强处理后的图像，以及所述待处理图像，得到目标图像，包括：
    基于设定的Alpha融合参数，对卷积增强处理后的图像，以及所述待处理图像进行Alpha融合，得到目标图像。
  10. 一种图像处理装置，其特征在于，应用于终端，所述装置包括：
    确定单元，用于确定待处理图像；并确定所述待处理图像中的像素类型，所述像素类型包括运动像素和非运动像素；
    处理单元，用于基于所述像素类型对所述待处理图像进行卷积增强处理；并基于卷积增强处理后的图像，以及所述待处理图像，得到目标图像。
  11. 根据权利要求10所述的装置，其特征在于，所述处理单元采用如下方式基于所述像素类型对所述待处理图像进行卷积增强处理：
    若确定所述像素类型为非运动像素，则对所述待处理图像进行卷积增强处理。
  12. 根据权利要求10所述的装置，其特征在于，所述处理单元采用如下方式基于所述像素类型对所述待处理图像进行卷积增强处理：
    若确定所述像素类型为运动像素，则确定融合帧数，所述融合帧数为对多帧图像进行融合时使用的帧数；
    基于所述融合帧数，对所述待处理图像进行卷积增强处理。
  13. 根据权利要求12所述的装置，其特征在于，所述处理单元采用如下方式基于所述融合帧数，对所述待处理图像进行卷积增强处理：
    若所述融合帧数大于帧数阈值，则对所述待处理图像进行卷积增强处理。
  14. 根据权利要求12所述的装置，其特征在于，
    若所述融合帧数小于或等于帧数阈值，则所述处理单元取消对所述待处理图像进行卷积增强处理。
  15. 根据权利要求10至13中任意一项所述的装置，其特征在于，所述处理单元采用如下方式对所述待处理图像进行卷积增强处理：
    基于具有单层卷积并具有设定卷积核大小的卷积神经网络模型，对所述待处理图像进行卷积增强处理。
  16. 根据权利要求15所述的装置，其特征在于，所述设定卷积核大小采用交替优化方式基于预设图像以及卷积增强处理结果确定。
  17. 根据权利要求15或16所述的装置，其特征在于，所述设定卷积核大小为7x7。
  18. 根据权利要求10所述的装置，其特征在于，所述处理单元采用如下方式基于卷积增强处理后的图像，以及所述待处理图像，得到目标图像：
    基于设定的Alpha融合参数，对卷积增强处理后的图像，以及所述待处理图像进行Alpha融合，得到目标图像。
  19. 一种图像处理装置，其特征在于，包括：
    处理器；
    用于存储处理器可执行指令的存储器；
    其中，所述处理器被配置为：执行权利要求1至9中任一项所述的图像处理方法。
  20. 一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行权利要求1至9中任一项所述的图像处理方法。
PCT/CN2022/099861 2022-06-20 2022-06-20 一种图像处理方法、图像处理装置及存储介质 WO2023245343A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2022/099861 WO2023245343A1 (zh) 2022-06-20 2022-06-20 一种图像处理方法、图像处理装置及存储介质
CN202280004334.9A CN117716705A (zh) 2022-06-20 2022-06-20 一种图像处理方法、图像处理装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2022/099861 WO2023245343A1 (zh) 2022-06-20 2022-06-20 一种图像处理方法、图像处理装置及存储介质

Publications (1)

Publication Number Publication Date
WO2023245343A1 true WO2023245343A1 (zh) 2023-12-28

Family

ID=89378991

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/099861 WO2023245343A1 (zh) 2022-06-20 2022-06-20 一种图像处理方法、图像处理装置及存储介质

Country Status (2)

Country Link
CN (1) CN117716705A (zh)
WO (1) WO2023245343A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160373653A1 (en) * 2015-06-19 2016-12-22 Samsung Electronics Co., Ltd. Method for processing image and electronic device thereof
CN109379625A (zh) * 2018-11-27 2019-02-22 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备和计算机可读介质
CN109889695A (zh) * 2019-02-27 2019-06-14 努比亚技术有限公司 一种图像区域确定方法、终端及计算机可读存储介质
CN111353948A (zh) * 2018-12-24 2020-06-30 Tcl集团股份有限公司 一种图像降噪方法、装置及设备
CN112634160A (zh) * 2020-12-25 2021-04-09 北京小米松果电子有限公司 拍照方法及装置、终端、存储介质
CN113129229A (zh) * 2021-03-29 2021-07-16 影石创新科技股份有限公司 图像处理方法、装置、计算机设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160373653A1 (en) * 2015-06-19 2016-12-22 Samsung Electronics Co., Ltd. Method for processing image and electronic device thereof
CN109379625A (zh) * 2018-11-27 2019-02-22 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备和计算机可读介质
CN111353948A (zh) * 2018-12-24 2020-06-30 Tcl集团股份有限公司 一种图像降噪方法、装置及设备
CN109889695A (zh) * 2019-02-27 2019-06-14 努比亚技术有限公司 一种图像区域确定方法、终端及计算机可读存储介质
CN112634160A (zh) * 2020-12-25 2021-04-09 北京小米松果电子有限公司 拍照方法及装置、终端、存储介质
CN113129229A (zh) * 2021-03-29 2021-07-16 影石创新科技股份有限公司 图像处理方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHENG PENG: "Enhancement of Conference Video Definition Based on Motion Region Detection", DIANSHI-JISHU: YUEKAN - VIDEO ENGINEERING, BEIJING DIANSHI DIANSHENG ZAZHISHE, CN, vol. 45, no. 3, 1 January 2021 (2021-01-01), CN , pages 18 - 20, XP093121115, ISSN: 1002-8692, DOI: 10.16280/j.videoe.2021.03.006 *

Also Published As

Publication number Publication date
CN117716705A (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
CN111328448B (zh) 图像处理的方法和设备
CN107798669B (zh) 图像去雾方法、装置及计算机可读存储介质
WO2020042826A1 (zh) 视频流降噪方法和装置、电子设备及存储介质
CN109118430B (zh) 超分辨率图像重建方法及装置、电子设备及存储介质
CN108154465B (zh) 图像处理方法及装置
CN107798654B (zh) 图像磨皮方法及装置、存储介质
CN110580688B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN107341777B (zh) 图片处理方法及装置
CN108154466B (zh) 图像处理方法及装置
WO2022227394A1 (zh) 图像处理方法、装置、设备、存储介质及程序
CN112614064B (zh) 图像处理方法、装置、电子设备及存储介质
WO2020114097A1 (zh) 一种边界框确定方法、装置、电子设备及存储介质
CN114500821B (zh) 拍照方法及装置、终端及存储介质
KR102273059B1 (ko) 얼굴 이미지를 강화하는 방법 및 장치, 전자 기기
CN112634160A (zh) 拍照方法及装置、终端、存储介质
KR102366995B1 (ko) 이미지 처리 모델의 훈련 방법, 장치 및 매체
WO2023019870A1 (zh) 视频处理方法及装置、电子设备、存储介质、计算机程序、计算机程序产品
WO2020078102A1 (zh) 图像增强方法、装置和计算机可读存储介质
CN113313788A (zh) 图像处理方法和装置、电子设备以及计算机可读存储介质
CN107563957B (zh) 眼部图像处理方法及装置
US9665925B2 (en) Method and terminal device for retargeting images
CN111741187B (zh) 图像处理方法、装置及存储介质
CN114723603A (zh) 图像处理方法、图像处理装置及存储介质
CN112288657A (zh) 图像处理方法、图像处理装置及存储介质
WO2023245343A1 (zh) 一种图像处理方法、图像处理装置及存储介质

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 202280004334.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22947124

Country of ref document: EP

Kind code of ref document: A1