WO2022000347A1 - 图像处理方法、显示处理装置和计算机可读存储介质 - Google Patents

图像处理方法、显示处理装置和计算机可读存储介质 Download PDF

Info

Publication number
WO2022000347A1
WO2022000347A1 PCT/CN2020/099593 CN2020099593W WO2022000347A1 WO 2022000347 A1 WO2022000347 A1 WO 2022000347A1 CN 2020099593 W CN2020099593 W CN 2020099593W WO 2022000347 A1 WO2022000347 A1 WO 2022000347A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
target image
processing
target
image processing
Prior art date
Application number
PCT/CN2020/099593
Other languages
English (en)
French (fr)
Inventor
阮肇夏
赵文军
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to CN202080007162.1A priority Critical patent/CN113228095A/zh
Priority to PCT/CN2020/099593 priority patent/WO2022000347A1/zh
Publication of WO2022000347A1 publication Critical patent/WO2022000347A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management

Definitions

  • This specification relates to the technical field of image processing, and in particular, to an image processing method, a display processing device, and a computer-readable storage medium.
  • Image and video information is the main source and direct way for people to obtain information in the objective world.
  • digital image and video technology is constantly being promoted and improved, and has been widely used in scientific research, industrial production, communication, medical treatment. , education, entertainment and other fields have a wide range of applications.
  • people's requirements for image and video applications are getting higher and higher, so that high-speed, integrated and intelligent high-performance digital image and video processing equipment has become the main development trend of current image and video equipment.
  • the Display Processing Unit (Distributed Processing Unit, DPU) is designed to meet the needs of display processing. It has stronger performance and can improve the display output capability, but the means of image processing by the display processing unit is relatively simple.
  • the present application provides an image processing method, a display processing device, and a computer-readable storage medium, which aim to solve the technical problems that the display processing unit has relatively single means for image processing.
  • an embodiment of the present application provides an image processing method, which is used for a display processing unit in a display processing apparatus, and the display processing apparatus further includes a coprocessor connected to the display processing unit;
  • the method includes:
  • the processed target image is stored in the target memory and/or the processed target image is output through the output interface.
  • an embodiment of the present application provides a display processing device, the device comprising:
  • the data loading unit is used to obtain a target image
  • the image processing unit is connected with the data loading unit, and is used for performing first image processing on the target image;
  • the data loading unit is further configured to transmit the target image to a co-processor, so that the co-processor performs second image processing on the target image and returns it to the image processing unit;
  • An output interface unit which is connected to the image processing unit and used for receiving and outputting the processed target image from the image processing unit.
  • an embodiment of the present application provides a display processing chip, the chip includes
  • the data loading circuit is used to acquire a target image
  • the image processing circuit is connected to the data loading circuit, and is used for performing the first image processing on the target image;
  • the data loading circuit can be connected to a coprocessor, and is further configured to transmit the target image to the coprocessor, so that the coprocessor performs second image processing on the target image and returns it to the coprocessor image processing circuit;
  • the output interface circuit is connected to the output processing circuit and the image processing circuit, and is used for receiving and outputting the processed target image from the image processing circuit.
  • an embodiment of the present application provides a display processing device, where the display processing device includes a display processing unit and a coprocessor connected to the display processing unit; wherein the display processing unit is configured to implement the following steps:
  • the processed target image is stored in the target memory and/or the processed target image is output through the output interface.
  • an embodiment of the present application provides a display processing system, the display processing system includes a display processing unit, a coprocessor connected to the display processing unit, a memory, and a display device; wherein the display processing unit uses To achieve the following steps:
  • the processed target image is stored in the memory and/or the processed target image is output to the display device through an output interface.
  • an embodiment of the present application provides a terminal device, where the terminal device includes a display processing unit, a coprocessor connected to the display processing unit, a memory, and a display device; wherein the display processing unit is used to implement follows the steps below:
  • the processed target image is stored in the memory and/or the processed target image is output to the display device through an output interface.
  • an embodiment of the present application provides a movable platform, where the movable platform includes a display processing unit and a coprocessor connected to the display processing unit; wherein the display processing unit is configured to implement the following steps:
  • the processed target image is stored in the target memory and/or the processed target image is output through the output interface.
  • an embodiment of the present application provides a computer-readable storage medium, where the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, the processor implements the foregoing method.
  • Embodiments of the present application provide an image processing method, a display processing device, and a computer-readable storage medium, by performing first image processing on an acquired target image and/or transmitting the acquired target image to a coordinator connected to the display processing unit
  • the processor enables the co-processor to perform second image processing on the target image and returns it to the display processing unit, and stores the processed target image in the target memory and/or outputs the processed target image through the output interface.
  • the display processing unit can use the coprocessor to realize more kinds of image processing, which can improve the display effect of the image, reduce the computing pressure of the display processing unit, and improve the high-speed and real-time performance of image processing.
  • FIG. 1 is a schematic flowchart of an image processing method provided by an embodiment of the present application.
  • FIG. 2 is a schematic diagram of an application scenario of an image processing method in one embodiment
  • FIG. 3 is a schematic block diagram of a display processing apparatus provided by an embodiment of the present application.
  • FIG. 4 is a schematic block diagram of a display processing apparatus provided by an embodiment of the present application.
  • FIG. 5 is a schematic block diagram of a display processing chip provided by an embodiment of the present application.
  • FIG. 6 is a schematic block diagram of a display processing apparatus provided by an embodiment of the present application.
  • FIG. 7 is a schematic block diagram of a display processing system provided by an embodiment of the present application.
  • FIG. 8 is a schematic block diagram of a movable platform provided by an embodiment of the present application.
  • FIG. 9 is a schematic block diagram of a terminal device provided by an embodiment of the present application.
  • FIG. 1 is a schematic flowchart of an image processing method provided by an embodiment of the present application.
  • the image processing method can be applied to a display processing unit (Distributed Processing Unit, DPU) for processing images, for example, processes such as effect enhancement processing for push direction.
  • DPU Display Processing Unit
  • a complete image and video processing and display system not only needs to have real-time display of image and video signals, but also needs to complete the analysis and processing algorithms of image signals (such as image codec, image enhancement, etc.) and the feedback control of image processing results.
  • image signals such as image codec, image enhancement, etc.
  • image processing algorithms have a large amount of computation, and at the same time, they must meet the requirements of real-time processing and display.
  • SoC System on Chip, system-on-chip
  • the processing speed is faster than that of PC, DSP chip and FPGA, so it is more and more used in the chips of image and video related products.
  • the image processing method of the embodiments of the present application can be used in a display processing unit in an SoC chip. Compared with the traditional display solution, the image and video processing and display functions are highly integrated, and the functions are more abundant. Processing performance can meet the needs of high-speed real-time.
  • the display processing unit By setting the display processing unit in the system-on-chip, some display data such as VR application data can be better processed.
  • the display processing unit can limit the resolution, frame rate, color number, HDR (High-Dynamic Range, high dynamic range), support VR and other functions, which play a key role in the image and video processing and display performance of the system-on-chip.
  • the display processing unit is designed to meet the needs of display processing. When applied to image processing, the performance is stronger, and the functions can be customized, occupying a smaller area in the system-on-chip.
  • the display processing unit may be applied to a display processing apparatus, and the display processing apparatus may include, for example, a terminal device, a movable platform, and the like.
  • the terminal equipment may include at least one of VR equipment, mobile phones, tablet computers, notebook computers, desktop computers, photographing devices, televisions, set-top boxes, personal digital assistants, wearable devices, remote controls, etc.
  • the mobile platform may include At least one of a human aircraft, a gimbal, an unmanned aerial vehicle, and the like.
  • the unmanned aerial vehicle may be a rotary-wing drone, such as a quad-rotor drone, a hexa-rotor drone, an octa-rotor drone, or a fixed-wing drone.
  • a display processing device such as a mobile phone, a computer, a TV, a set-top box, etc., can acquire images stored locally or acquire images from the Internet, process the images according to an image processing method, and also store and/or display the processed images. post image.
  • the movable platform 10 is equipped with a photographing device 11 , such as a camera.
  • the movable platform 10 is also capable of communicating with the terminal device 20 .
  • the photographing device 11 may photograph an image, process the photographed image according to an image processing method, and may also send the processed image to the terminal device 20 through the movable platform 10 so that the terminal device 20 can store and/or display the image. processed image.
  • the photographing device 11 may photograph an image, and transmit the photographed image to the movable platform 10 .
  • the movable platform 10 processes the image according to the image processing method, and sends the processed image to the terminal device 20 so that the terminal device 20 stores and/or displays the processed image.
  • the movable platform 10 sends the image captured by the photographing device 11 to the terminal device 20, and the terminal device 20 processes the image according to the image processing method.
  • the terminal device 20 may store and/or display the processed image.
  • the photographing apparatus 11 may photograph an image and process the photographed image according to an image processing method; the photographing apparatus 11 may also send the processed image to the terminal device 20 so that the terminal device 20 can store and/or display the image. processed image.
  • the photographing device 11 can photograph an image and send the photographed image to the terminal device 20, and the terminal device 20 can process the image according to the image processing method, and can also store and/or display the processed image.
  • the display processing apparatus further includes a coprocessor (Coprocessor) connected to the display processing unit.
  • the coprocessor can complete the transformation and enhancement of image/video data through software calculation, and can assist the display processing unit to realize more kinds of image processing means.
  • the coprocessor is configured to execute a preset image processing (Image Signal Processor, ISP) algorithm.
  • ISP Image Signal Processor
  • the coprocessor can provide rich image/video processing algorithms, so it can solve the problem of a single image processing method in the display processing unit, reduce the computing pressure of the display processing unit, and improve the high-speed and real-time performance of image processing.
  • the coprocessor may include an ISP processor, also known as an image signal processor.
  • the image processing method of the embodiment of the present application includes steps S110 to S130.
  • the target image may be obtained from a target memory.
  • an image captured by the photographing device may be acquired as the target image, or an image in a video on the Internet may be acquired as the target image.
  • the display processing device may be equipped with a memory
  • the memory includes, for example, a memory built into the display processing device and/or an externally connected memory.
  • the memory may include, for example, a hard disk or a memory, and may also include a plug-in hard disk equipped on the display processing device, a smart memory card (Smart Media Card, SMC), a secure digital (Secure Digital, SD) card, and a flash memory card (Flash Card). )Wait.
  • a memory may be determined as a target memory according to a preset or according to a user's operation, and the target memory stores an image that needs to be processed, and the image may be referred to as a target image.
  • the target memory includes DDR memory (Double Rate Synchronous Dynamic Random Access Memory), which has a faster rate of accessing data.
  • the target storage may acquire images from other storages or from the Internet, and determine the acquired images as the target images.
  • the AXI (Advanced eXtensible Interface) interface of the display processing unit is connected to the target memory.
  • the data loading (Data Loader) unit of the display processing unit is connected to the target memory through the AXI interface.
  • the data loading unit is used for acquiring the target image.
  • the acquiring the target image includes: acquiring compressed image data, decompressing the image data, and obtaining the target image.
  • the target memory stores the image data obtained by frame buffer compression (Frame Buffer Compression, FBC). It is understandable that the target memory stores the compressed code stream data, which can reduce the storage pressure of the target memory and reduce the The amount of data that needs to be transmitted during the reading and writing process of the target memory, the requirement for bandwidth when acquiring image data from the target memory is low, and the bandwidth occupation of the target memory is reduced.
  • the target image can be obtained by performing frame buffer decompression (Frame Buffer Decompression, FBD) on the image data.
  • the data loading unit is further configured to acquire compressed image data from a target memory, and decompress the image data to obtain the target image.
  • the data loading unit includes a decoder, which decodes the compressed image data to obtain the target image.
  • only the first image processing may be performed on the target image, and the second image processing may not be performed on the target image.
  • the display processing apparatus includes an image processing unit, the image processing unit is connected to the data loading unit, and the image processing unit is configured to perform first image processing on the target image.
  • the first image processing includes at least one of scaling, fusion, rotation, inversion, color format and color space conversion, and joint processing of left and right views.
  • the second image processing may only be performed on the target image transmission.
  • the data loading unit of the display processing unit is connected to the coprocessor, and the data loading unit can transmit the acquired target image to the coprocessor, so that the coprocessor can perform the processing on the target.
  • the image undergoes second image processing.
  • the computing power or computing complexity required for the first image processing is lower than that for the second image processing.
  • the image processing process with high computational load is performed by the coprocessor to reduce the computational pressure on the display processing unit.
  • the coprocessor is further connected to the image processing unit of the display processing unit, and the coprocessor performs second image processing on the target image and returns it to the display processing unit.
  • the data loading unit is connected to the coprocessor through the image processing unit, and the data loading unit is configured to transmit the acquired target image to the coprocessor through the image processing unit. the coprocessor, so that the coprocessor performs second image processing on the target image and returns it to the display processing unit.
  • the image processing unit is further configured to transmit the target image acquired by the data loading unit to the coprocessor.
  • the image processing unit directly transmits the target image to the coprocessor for second image processing.
  • the display processing apparatus further includes a data transmission unit, and the data loading unit and/or the image processing unit may be connected to the coprocessor through the data transmission unit.
  • the data transmission unit includes a data interface connected to the data loading unit and a data interface connected to the image processing unit.
  • the data transmission unit can also be used to implement data caching, distribution, and the like.
  • the first image processing and the second image processing may be performed on the target image.
  • the image processing unit is further configured to transmit the target image processed by the first image to the co-processor, so that the co-processor performs second processing on the target image processed by the first image.
  • Image Processing is further configured to transmit the target image processed by the first image to the co-processor, so that the co-processor performs second processing on the target image processed by the first image.
  • the processed target image may be stored to the target memory.
  • the storing the processed target image in the target memory includes: compressing the processed target image to obtain compressed image data; and storing the image data in the target memory.
  • the data loading unit may compress the processed target image to obtain compressed image data, and store the image data in the target memory.
  • the target image after the first image processing and/or the second image processing is subjected to frame buffer compression to obtain image data, and the image data is stored in the target memory.
  • the target memory stores the compressed stream data, which can reduce the storage pressure of the target memory, and reduce the amount of data that needs to be transmitted during the reading and writing process of the target memory, and the bandwidth requirements when writing image data to the target memory. lower, reducing the bandwidth usage of the target memory.
  • the processed target image may be output through an output interface.
  • the output interface includes HDMI interface (High Definition Multimedia Interface, high-definition multimedia interface), MIPI interface (mobile industry processor interface, mobile industry processor interface), DSI interface (Display Serial Interface, display serial interface). at least one of.
  • HDMI interface High Definition Multimedia Interface, high-definition multimedia interface
  • MIPI interface mobile industry processor interface, mobile industry processor interface
  • DSI interface Display Serial Interface, display serial interface
  • the processed target image may be output to the display device through the output interface.
  • the display processing device is equipped with a display device, and the display processing unit can output the target image after the first image processing and/or the second image processing to the display device for display.
  • the display processing device further includes a chip connected to the display processing unit in cascade, for example, the chip includes at least one of an AI chip, a CPU chip, and a GPU chip, so as to realize data transmission between different chips, which is beneficial to improve the performance of the display processing unit.
  • the processing power of the DPU system can output the processed target image to the chip through the output interface, so that the chip can process the processed target image, such as image recognition.
  • the display processing unit further includes an output interface unit, the output interface unit is connected to the image processing unit, and is configured to receive and output the processed target image from the image processing unit.
  • the output interface unit includes one or more output interfaces, for example, the types of the multiple output interfaces may be the same or different.
  • the output interface unit is connected to the coprocessor through the image processing unit, and is configured to receive the target image after the second image processing is performed.
  • the output interface unit is further configured to perform format conversion on the target image received from the image processing unit.
  • the output interface unit can convert the processed target image into a format that meets the requirements of the HDMI interface protocol, so as to output the image through the HDMI interface.
  • the method further includes: outputting the acquired target image through an output interface according to the direct output instruction corresponding to the target image.
  • the image processing unit may not perform the first image processing on the target image obtained by the data loading unit, but directly output the target image obtained by the data loading unit through the output interface, for example, after the output interface unit performs format conversion on the target image. output.
  • the first image processing may be performed on the target image and/or the target image may be transmitted to the coprocessor according to the processing instruction corresponding to the target image, so that the coprocessor can perform the first image processing on the target image.
  • the target image is sent back to the display processing unit after the second image processing is performed.
  • the display processing unit may receive the processing instruction corresponding to the target image from the CPU or GPU of the display processing apparatus.
  • the CPU or GPU can determine the image information of the currently processed target image, such as the position of the target image in the video, the brightness, contrast, histogram of the target image, etc., so that the processing instruction can be determined according to the image information of the target image,
  • the processing instruction is used to control the display processing unit to perform the first image processing on the target image and/or to control the display processing unit to send the target image to the coprocessor to perform the second image processing.
  • first image processing is performed on the target image.
  • the target image is transmitted to the coprocessor, so that the coprocessor performs second image processing on the target image and returns it to the coprocessor. the display processing unit.
  • the processing instruction includes a first image processing requirement and a second image processing requirement
  • first image processing is performed on the target image
  • the target image after the first image processing is transmitted to the coprocessor.
  • the coprocessor performs second image processing on the target image processed by the first image and then returns the target image processed by the second image to the display processing unit.
  • the target image may be transmitted to the coprocessor, so that the coprocessor performs second image processing on the target image and then returns the target image after the second image processing to the display.
  • a processing unit and the display processing unit performs first image processing on the target image processed by the second image.
  • the image processing unit of the display processing unit is further configured to perform first image processing on the target image returned by the coprocessor.
  • the first image processing includes at least one of scaling, blending, rotating, flipping, color format and color space conversion, and joint left and right view processing.
  • the display processing unit includes one or more image processing units. As shown in FIG. 3 , the display processing unit includes two image processing units, namely image processing unit 1 and image processing unit 2 .
  • the display processing unit is configured to process images acquired by multiple cameras or GUI interface images.
  • different image processing units in the display processing unit are used for processing different layers.
  • different image processing units can be used to independently process data processing of different layers, such as background, logo, window, image, etc. layers.
  • the GUI interface includes multiple layers such as an image layer, a RGB three-channel histogram, and a file information layer. Therefore, the information displayed on the GUI interface can be enriched, and the display agility can be improved.
  • different image processing units in the display processing unit are used for processing target images collected by different cameras.
  • the display processing device processes a first target image and a second target image collected by a dual-camera device; wherein the first target image is collected by one of the cameras of the dual-camera device, and the second target image is collected by one of the cameras of the dual-camera device.
  • the target image is captured by the other camera of the dual-camera device.
  • the left and right cameras of the dual cameras collect the left half and right half of the scene respectively to obtain left view data and right view data
  • the image processing unit 1 and the image processing unit 2 are used to process the left and right view data of the dual cameras. view data.
  • the outputting the processed target image to the display device through the output interface includes: outputting the processed first target image and the processed second target image to the display device through the output interface.
  • the processed first target image is output through one of the output interfaces
  • the processed second target image is output through the other output interface, so as to realize the data transmission of the left and right views captured by the dual cameras.
  • performing the first image processing on the target image includes: fusing the first target image and the second target image to obtain a target image after the first image processing, the first image
  • the viewing angle of the processed target image is wider than the viewing angle of the first target image or the viewing angle of the second target image.
  • the coprocessor is configured to perform at least one of the following image processing on the image: backlight adjustment processing, high-dynamic range (High-Dynamic Range, HDR) processing, gamma correction, color correction, peak determination and/or At least one of histogram distribution, enhancement processing, intelligent parameter adjustment, super-resolution processing, image inpainting, debounce processing, random noise addition processing, and augmented reality processing.
  • image processing on the image: backlight adjustment processing, high-dynamic range (High-Dynamic Range, HDR) processing, gamma correction, color correction, peak determination and/or At least one of histogram distribution, enhancement processing, intelligent parameter adjustment, super-resolution processing, image inpainting, debounce processing, random noise addition processing, and augmented reality processing.
  • HDR High-Dynamic Range
  • the backlight adjustment processing can be realized, for example, by the Assertive Display algorithm, which adjusts the brightness of different areas in the screen by detecting ambient light, which is mainly used to improve the display effect under strong light, and can reduce power consumption while maintaining the original visual effect.
  • High dynamic range processing can improve the contrast of the brightest and darkest frames in the image, allowing users to see more details in the image, such as HDR images obtained by registering and fusing multiple images under different exposure conditions.
  • Gamma correction can stretch the areas with higher gray levels and compress the parts with lower gray levels in the image.
  • the processed image is more in line with the nonlinear vision of the human eye and is more sensitive to changes in dark parts.
  • Color correction removes chromatic aberration, restores and enhances the color of an image with a color correction matrix.
  • the coprocessor can analyze the numerical distribution of the target image, calculate the peak value and histogram distribution of the current image, and return the determined peak value and/or histogram distribution to the display processing unit, wherein the peak value data is used for For marking the overexposed area in the image, the histogram is used to present the distribution of the dark and bright parts of the image, and the display processing unit can superimpose the peak value and/or the histogram distribution to the target image.
  • Enhancement processing also known as image sharpening, is an image processing method to make the edge of the image clearer. The common practice is to extract the high-frequency components of the image and superimpose them on the original image.
  • the extraction of the high-frequency components of the image There are two methods, one is to use a high-pass filter to obtain high-frequency components.
  • the common method is to extract high-frequency components through the Sobel operator and Laplcian operator, and the other is to use low-pass filtering to reduce low-frequency components with the original image.
  • Frequency also known as unsharp mask, is commonly used to filter the image through a Gaussian or bilateral low-pass filter.
  • the image edge information is extracted through enhancement processing, and the image edge information is superimposed on the original image to realize image enhancement and improve the display effect.
  • Super-resolution processing refers to reconstructing a corresponding high-resolution image from an observed low-resolution image, and performing super-resolution processing on the input image/video based on a reconstruction algorithm or machine learning algorithm can increase the detailed information of the image/video.
  • image inpainting can use the edge information of the area to be repaired in the image, that is, the color and structure of the edge, to infer the information content of the area to be repaired and fill in, and finally obtain the desired subjective effect, which can be used to repair the image that cannot be captured by the shooting equipment. Or damaged areas, such as filling in missing edges in wide-angle or panoramic imaging.
  • Random noise addition processing is a method of randomizing the quantization error by using noise to reduce the banding problem caused when the image accuracy is greatly intercepted.
  • Augmented Reality (AR) processing can add layers of virtual objects and display information to images/videos to enhance users' understanding of real-world information.
  • the method further includes: adding, modifying or deleting image processing algorithms of the coprocessor.
  • a coprocessor can be accessed through a custom bus interface to add, modify or delete image processing algorithms of the coprocessor.
  • the image processing algorithm of the coprocessor can be iterated and expanded to provide a more flexible image processing method, which can meet the user's rich needs for image processing in terms of display.
  • the computational complexity of the second image processing is not lower than that of the first image processing.
  • an image processing process with a relatively high amount of calculation may be allocated to be executed by the coprocessor, so as to reduce the calculation pressure of the display processing unit.
  • the coprocessor can assist the display processing unit to complete rich image processing through software calculation, which can improve the display effect of the image, and the image processing algorithm in the coprocessor supports iteration and expansion, which can provide a more flexible image processing method.
  • the first image processing is performed on the acquired target image and/or the acquired target image is transmitted to a coprocessor connected to the display processing unit, so that the coprocessor can perform the first image processing on the acquired target image.
  • the second image processing is performed on the target image, it is returned to the display processing unit, and the processed target image is stored in the target memory and/or the processed target image is output through the output interface.
  • the display processing unit can be implemented by using a coprocessor More types of image processing can improve the display effect of the image, reduce the computational pressure of the display processing unit, and improve the high-speed and real-time performance of image processing.
  • the image processing algorithm in the coprocessor is easy to iterate and expand, and can provide a more flexible image processing method.
  • DPU the key unit that really determines the output capability of the main control display is the DPU, which limits the resolution, frame rate, color number, HDR, VR support and other functions. It plays a key role in video processing and display performance.
  • the GPU is lacking in performance and functions compared with the DPU used in the embodiments of the present application.
  • the dedicated DPU is designed to meet the needs of display processing, so it has higher performance and can be customized, and occupies a smaller area in the SoC system.
  • the embodiments of the present application can reduce the load pressure of image and video processing and display in the CPU and GPU, which is beneficial to realize real-time and high-speed image and video processing and display, and improve the overall performance of the SoC chip. Compared with the traditional display solution, it achieves a high degree of integration of image and video processing and display functions, is more functional, and can meet the needs of high-speed real-time processing in terms of processing performance.
  • a complete image and video processing and display system not only needs to have real-time display of image and video signals, but also needs to complete the analysis and processing algorithms of image signals (such as image codec, image enhancement, etc.) and the feedback control of image processing results.
  • image signals such as image codec, image enhancement, etc.
  • the embodiments of the present application can implement functions such as storage, processing, display, and transmission, wherein the data loading unit can reduce the read and write bandwidth occupation of the target memory by using FBC/FBD, and the image processing unit can realize multi-layer processing and display, and coordinate
  • the processor can provide rich ISP algorithms, and the output interface unit can support a variety of display interfaces and data interaction between chips.
  • the whole system has a high degree of integration, which satisfies the functions of real-time processing and display, and improves the reliability of the system.
  • FIG. 4 is a schematic block diagram of a display processing apparatus 400 provided by an embodiment of the present application.
  • the display processing apparatus 400 may be an SoC chip, or a part of a circuit on the SoC chip.
  • the display processing apparatus 400 includes:
  • the data loading unit 410 is used to obtain the target image
  • the image processing unit 420 is connected with the data loading unit 410, and is used for performing the first image processing on the target image;
  • the data loading unit 410 is further configured to transmit the target image to the co-processor 401, so that the co-processor 401 performs second image processing on the target image and returns it to the image processing unit 420;
  • the output interface unit 430 which is connected to the image processing unit 420, is used for receiving and outputting the processed target image from the image processing unit 420.
  • the data loading unit 410, the image processing unit 420, and the output interface unit 430 may be hardware circuits.
  • the data loading unit 410 is further configured to obtain the compressed image data from the target memory 402, and decompress the image data to obtain the target image.
  • the data loading unit 410 is further configured to compress the processed target image to obtain compressed image data, and store the image data to the target memory 402 .
  • the data loading unit 410 is connected to the coprocessor 401 through the image processing unit 420 , and the data loading unit 410 is configured to transmit the acquired target image to the coprocessor 401 through the image processing unit 420 .
  • the apparatus further includes a data transmission unit 440 , and the data loading unit 410 and/or the image processing unit 420 are connected with the coprocessor 401 through the data transmission unit 440 .
  • the image processing unit 420 is further configured to transmit the target image acquired by the data loading unit 410 or the target image processed by the first image to the coprocessor 401 .
  • the image processing unit 420 is further configured to perform first image processing on the target image returned by the coprocessor 401 .
  • the output interface unit 430 is connected to the coprocessor 401 through the image processing unit 420, and is configured to receive the target image after the second image processing is performed.
  • the output interface unit 430 is further configured to perform format conversion on the target image received from the image processing unit 420 .
  • FIG. 5 is a schematic block diagram of a display processing chip 500 provided by an embodiment of the present application.
  • the display processing chip 500 includes:
  • the data loading circuit 510 is used to acquire a target image
  • an image processing circuit 520 the image processing circuit 520 is connected to the data loading circuit 510, and is used for the first image processing of the target image;
  • the data loading circuit 510 can be connected to the coprocessor 501, and is further used for transmitting the target image to the coprocessor 501, so that the coprocessor 501 performs the second image processing on the target image and returns it to the image processing circuit 520;
  • the output interface circuit 530 is connected to the output processing circuit and the image processing circuit 520, and is used for receiving the processed target image from the image processing circuit 520 and outputting it.
  • the data loading circuit 510 can be connected to the target memory 502, and is further configured to obtain compressed image data from the target memory 502, and decompress the image data to obtain the target image.
  • the data loading circuit 510 is further configured to compress the processed target image to obtain compressed image data, and store the image data in the target memory 502 .
  • the data loading circuit 510 can be connected to the coprocessor 501 through the image processing circuit 520 , and the data loading circuit 510 is configured to transmit the acquired target image to the coprocessor 501 through the image processing circuit 520 .
  • the chip further includes a data transmission circuit 540 , and the data loading circuit 510 and/or the image processing circuit 520 can be connected to the coprocessor 501 through the data transmission circuit 540 .
  • the image processing circuit 520 is configured to transmit the target image acquired by the data loading circuit 510 or the target image processed by the first image to the coprocessor 501 .
  • the image processing circuit 520 is further configured to perform first image processing on the target image returned by the coprocessor 501 .
  • the output interface circuit 530 can be connected with the coprocessor 501 through the image processing circuit 520, and is used for receiving the target image after the second image processing.
  • the output interface circuit 530 is also used for format conversion of the target image received from the image processing circuit 520 .
  • FIG. 6 is a schematic block diagram of a display processing apparatus 600 provided by an embodiment of the present application.
  • the display processing apparatus 600 includes a display processing unit 601 and a coprocessor 602 connected to the display processing unit 601 .
  • the display processing unit 601 is used to implement the steps of the aforementioned image processing method.
  • the display processing unit 601 is configured to implement the following steps:
  • the processed target image is stored in the target memory and/or the processed target image is output through the output interface.
  • FIG. 7 is a schematic block diagram of a display processing system 700 provided by an embodiment of the present application.
  • the display processing system 700 includes a display processing unit 701 , a coprocessor 702 connected to the display processing unit 701 , a memory 703 , and a display device 704 .
  • the display processing unit 701 is used to implement the steps of the aforementioned image processing method.
  • the display processing unit 701 is configured to implement the following steps:
  • the processed target image is stored in the target memory and/or the processed target image is output through the output interface.
  • FIG. 8 is a schematic block diagram of a movable platform 800 provided by an embodiment of the present application.
  • the movable platform 800 includes a display processing unit 801 and a coprocessor 802 connected to the display processing unit 801 .
  • the display processing unit 801 is used to implement the steps of the aforementioned image processing method.
  • the display processing unit 801 is configured to implement the following steps:
  • the processed target image is stored in the target memory and/or the processed target image is output through the output interface.
  • FIG. 9 is a schematic block diagram of a terminal device 900 provided by an embodiment of the present application.
  • the terminal device 900 includes a display processing unit 901 , a coprocessor 902 connected to the display processing unit 901 , a memory 903 , and a display device 904 .
  • the display processing unit 901 is used to implement the steps of the aforementioned image processing method.
  • the display processing unit 901 is configured to implement the following steps:
  • the processed target image is stored in the target memory and/or the processed target image is output through the output interface.
  • Embodiments of the present application further provide a computer-readable storage medium, where a computer program is stored in the computer-readable storage medium, the computer program includes program instructions, and when the computer program is executed by a processor, the processor implements the The steps of the image processing method provided by the above embodiments.
  • the computer-readable storage medium may be an internal storage unit of any one of the display processing apparatus, display processing system, terminal device, and removable platform described in the foregoing embodiments, such as a hard disk or memory of the display processing apparatus .
  • the computer-readable storage medium may also be an external storage device of any one of the display processing device, display processing system, terminal device, and removable platform, such as a plug-in hard disk equipped on the display processing device, Smart Media Card (SMC), Secure Digital (SD) card, Flash Card, etc.
  • SMC Smart Media Card
  • SD Secure Digital

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种图像处理方法，包括:获取目标图像(S110)；对目标图像进行第一图像处理和/或将目标图像传输给协处理器以使协处理器对目标图像进行第二图像处理后回传给显示处理单元(S120)；将处理后的目标图像存储至目标存储器和/或通过输出接口输出处理后的目标图像(S130)。能够增加基于DPU进行图像处理的种类，还提供了装置、存储介质。

Description

图像处理方法、显示处理装置和计算机可读存储介质 技术领域
本说明书涉及图像处理技术领域，尤其涉及一种图像处理方法、显示处理装置和计算机可读存储介质。
背景技术
图像和视频信息是人们获取客观世界信息的主要来源和直接方式，随着多媒体和数据通信技术的发展，数字图像和视频技术在不断地推进和完善，并在科学研究、工业生产、通信、医疗、教育、娱乐等多个领域有着广泛的应用。同时，人们对图像视频应用的要求也越来越高，从而使得高速、集成和智能化的高性能数字图像视频处理设备成为当前图像视频设备的主要发展趋势。
显示处理单元(Distributed Processing Unit，DPU)是应对显示处理需求而设计的，性能更强，可以提高显示输出能力，但是显示处理单元进行图像处理的手段较为单一。
发明内容
基于此，本申请提供了一种图像处理方法、显示处理装置和计算机可读存储介质，旨在解决显示处理单元进行图像处理的手段较为单一等技术问题。
第一方面，本申请实施例提供了一种图像处理方法，用于显示处理装置中的显示处理单元，所述显示处理装置还包括连接所述显示处理单元的协处理器；
所述方法包括：
获取目标图像；
对所述目标图像进行第一图像处理和/或将所述目标图像传输给所述协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述显示处理单元；
将处理后的目标图像存储至目标存储器和/或通过输出接口输出处理后的目标图像。
第二方面，本申请实施例提供了一种显示处理装置，所述装置包括：
数据加载单元，所述数据加载单元用于获取目标图像；
图像处理单元，所述图像处理单元与所述数据加载单元连接，用于对所述目标图像进行第一图像处理；
所述数据加载单元还用于将所述目标图像传输给协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述图像处理单元；
输出接口单元，所述输出接口单元与所述图像处理单元连接，用于从所述图像处理单元接收进行处理后的目标图像并输出。
第三方面，本申请实施例提供了一种显示处理芯片，所述芯片包括
数据加载电路，所述数据加载电路用于获取目标图像；
图像处理电路，所述图像处理电路与所述数据加载电路连接，用于所述目标图像进行第一图像处理；
所述数据加载电路能够与协处理器连接，还用于将所述目标图像传输给所述协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述图像处理电路；
输出接口电路，与所述输出处理电路和所述图像处理电路连接，用于从所述图像处理电路接收进行处理后的目标图像并输出。
第四方面，本申请实施例提供了一种显示处理装置，所述显示处理装置包括显示处理单元和连接所述显示处理单元的协处理器；其中，所述显示处理单元用于实现如下步骤：
获取目标图像；
对所述目标图像进行第一图像处理和/或将所述目标图像传输给所述协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述显示处理单元；
将处理后的目标图像存储至目标存储器和/或通过输出接口输出处理后的目标图像。
第五方面，本申请实施例提供了一种显示处理系统，所述显示处理系统包括显示处理单元和连接所述显示处理单元的协处理器、存储器、显示装置；其 中，所述显示处理单元用于实现如下步骤：
获取目标图像；
对所述目标图像进行第一图像处理和/或将所述目标图像传输给所述协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述显示处理单元；
将处理后的目标图像存储至所述存储器和/或通过输出接口输出处理后的目标图像给所述显示装置。
第六方面，本申请实施例提供了一种终端设备，所述终端设备包括显示处理单元和连接所述显示处理单元的协处理器、存储器、显示装置；其中，所述显示处理单元用于实现如下步骤：
获取目标图像；
对所述目标图像进行第一图像处理和/或将所述目标图像传输给所述协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述显示处理单元；
将处理后的目标图像存储至所述存储器和/或通过输出接口输出处理后的目标图像给所述显示装置。
第七方面，本申请实施例提供了一种可移动平台，所述可移动平台包括显示处理单元和连接所述显示处理单元的协处理器；其中，所述显示处理单元用于实现如下步骤：
获取目标图像；
对所述目标图像进行第一图像处理和/或将所述目标图像传输给所述协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述显示处理单元；
将处理后的目标图像存储至目标存储器和/或通过输出接口输出处理后的目标图像。
第八方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现上述的方法。
本申请实施例提供了一种图像处理方法、显示处理装置和计算机可读存储介质，通过对获取的目标图像进行第一图像处理和/或将获取的目标图像传输给 与显示处理单元连接的协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述显示处理单元，以及将处理后的目标图像存储至目标存储器和/或通过输出接口输出处理后的目标图像，显示处理单元可以利用协处理器实现更多种类的图像处理，可以提高图像的显示效果，还可以降低显示处理单元的运算压力，提升图像处理的高速性和实时性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请实施例的公开内容。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像处理方法的流程示意图；
图2是图像处理方法在一实施方式中的应用场景示意图；
图3是本申请实施例提供的一种显示处理装置的示意性框图；
图4是本申请实施例提供的一种显示处理装置的示意性框图；
图5是本申请实施例提供的一种显示处理芯片的示意性框图；
图6是本申请实施例提供的一种显示处理装置的示意性框图；
图7是本申请实施例提供的一种显示处理系统的示意性框图；
图8是本申请实施例提供的一种可移动平台的示意性框图；
图9是本申请实施例提供的一种终端设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤， 也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参阅图1，图1是本申请实施例提供的一种图像处理方法的流程示意图。所述图像处理方法可以应用在显示处理单元(Distributed Processing Unit，DPU)，用于对图像进行处理，例如对推向进行效果强化方面的处理等过程。
一个完整的图像视频处理和显示系统不但要具备图像视频信号的实时显示，且要求完成对图像信号的分析和处理算法(如图像编解码、图像增强等)以及图像处理结果的反馈控制。通常这些算法的运算量大，同时又要满足实时处理、显示的要求。
随着如今半导体工艺的不断发展，SoC(System on Chip，片上系统)技术成为当前大规模集成电路的发展趋势，其硬件资源集成度高,同时性能也得到显著提升，是当前集成电路技术的主流，处理速度相对于PC机、DSP芯片、FPGA要快，因此越来越多地被运用到图像视频相关产品的芯片中。在一些实施方式中，本申请实施例的图像处理方法可以用于SoC芯片中的显示处理单元，相比传统显示方案实现了图像视频处理和显示等功能的高度集成，功能上更加丰富，并且在处理性能上可以满足高速实时的需求。
通过在片上系统中设置显示处理单元，可以更好地处理一些显示数据如VR应用的数据。实际运用中，显示处理单元可以限定分辨率、帧率、色彩数量、HDR(High-Dynamic Range，高动态范围)、支持VR等功能，对于片上系统的图像视频处理和显示性能起到了关键的作用。显示处理单元是应对显示处理需求而设计的，应用于图像处理时性能更强，且功能可定制化，在片上系统中占用面积更小。
示例性的，所述显示处理单元可以应用于显示处理装置中，显示处理装置例如可以包括终端设备、可移动平台等。其中终端设备可以包括VR设备、手机、平板电脑、笔记本电脑、台式电脑、拍摄装置、电视机、机顶盒、个人数字助理、穿戴式设备、遥控器等中的至少一项；可移动平台可以包括无人飞行器、云台、无人机等中的至少一种。进一步而言，无人飞行器可以为旋翼型无人机，例如四旋翼无人机、六旋翼无人机、八旋翼无人机，也可以是固定翼无人机。
在一些实施方式中，显示处理装置，如手机、电脑、电视、机顶盒等可以获取本地存储的图像或者从互联网上获取图像，以及根据图像处理方法对图像进行处理，还可以储存和/或显示处理后的图像。
在一些实施方式中，如图2所示，可移动平台10搭载有拍摄装置11，如相机。可移动平台10还能够与终端设备20通信连接。
示例性的，拍摄装置11可以拍摄图像，以及根据图像处理方法对拍摄的图像进行处理，还可以将处理后的图像通过可移动平台10发送给终端设备20，以便终端设备20储存和/或显示处理后的图像。
示例性的，拍摄装置11可以拍摄图像，以及将拍摄的图像的发送给可移动平台10。可移动平台10根据图像处理方法对图像进行处理，以及将处理后的图像发送给终端设备20，以便终端设备20储存和/或显示处理后的图像。
示例性的，可移动平台10将拍摄装置11拍摄的图像发送给终端设备20，由终端设备20根据图像处理方法对图像进行处理。终端设备20可以储存和/或显示处理后的图像。
在一些实施方式中，拍摄装置11可以拍摄图像，以及根据图像处理方法对拍摄的图像进行处理；拍摄装置11还可以将处理后的图像发送给终端设备20，以便终端设备20储存和/或显示处理后的图像。或者拍摄装置11可以拍摄图像，以及将拍摄的图像的发送给终端设备20，终端设备20可以根据图像处理方法对图像进行处理，还可以储存和/或显示处理后的图像。
在一些实施方式中，如图3所示，所述显示处理装置还包括连接所述显示处理单元的协处理器(Coprocessor)。该协处理器能够通过软件计算完成图像/视频数据的变换和增强等处理，可以协助显示处理单元实现更多种类的图像处理手段。
示例性的，所述协处理器用于执行预设的图像处理(Image Signal Processor，ISP)算法。协处理器可以提供丰富的图像/视频处理算法，因此可以解决显示处理单元图像处理手段单一的问题，还可以降低显示处理单元的运算压力，提升图像处理的高速性和实时性。例如，所述协处理器可以包括ISP处理器，又可称为图像信号处理器。
如图1所示，本申请实施例的图像处理方法包括步骤S110至步骤S130。
S110、获取目标图像。
在一些实施方式中，可以从目标存储器获取所述目标图像。在另一些实施方式中，可以获取拍摄装置拍摄的图像为目标图像，或者获取互联网上视频中的图像作为目标图像。
示例性的，如图3所示，显示处理装置可以搭载存储器，存储器例如包括显示处理装置内置的存储器和/或外部连接的存储器。存储器例如可以包括硬盘或内存，也可以包括所述显示处理装置上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
示例性的，可以根据预先设定或根据用户的操作确定一存储器为目标存储器，目标存储器存储需要进行图像处理的图像，该图像可称为目标图像。
示例性的，目标存储器包括DDR存储器(双倍速率同步动态随机存储器)，访问数据的速率较快。例如，目标存储器可以从其他存储器或者从互联网获取图像，并将获取的图像确定为目标图像。
示例性的，如图3所示，显示处理单元的AXI(Advanced eXtensible Interface)接口连接目标存储器。例如显示处理单元的数据加载(Data Loader)单元通过AXI接口连接目标存储器。所述数据加载单元用于获取目标图像。
在一些实施方式中，所述获取目标图像，包括：获取压缩的图像数据，解压缩所述图像数据，得到所述目标图像。
示例性的，目标存储器存储图像经帧缓冲压缩(Frame Buffer Compression，FBC)得到的图像数据，可以理解的，目标存储器存储的是压缩后的码流数据，可以减轻目标存储器的存储压力，而且减少目标存储器读写过程所需传输的数据量，从目标存储器获取图像数据时对带宽的要求较低，降低了目标存储器的带宽占用。通过对图像数据进行帧缓冲解压缩(Frame Buffer Decompression，FBD)可以得到所述目标图像。
示例性的，所述数据加载单元还用于从目标存储器获取压缩的图像数据，以及解压缩所述图像数据，得到所述目标图像。例如，数据加载单元包括解码器，在获取压缩的图像数据后进行解码得到目标图像。
S120、对所述目标图像进行第一图像处理和/或将所述目标图像传输给所述协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述显示处理单元。
在一些实施方式中，可以仅对目标图像进行第一图像处理，而不对目标图像进行第二图像处理。
示例性的，如图3所示，显示处理装置包括图像处理单元，所述图像处理单元与所述数据加载单元连接，图像处理单元用于对所述目标图像进行第一图像处理。
示例性的，所述第一图像处理包括缩放、融合、旋转、翻转、色彩格式与色彩空间转换、左右视图联合处理中的至少一种。
在另一些实施方式中，可以仅对目标图像传输进行第二图像处理。
示例性的，如图3所示，显示处理单元的数据加载单元与协处理器连接，数据加载单元可以将获取的目标图像传输给所述协处理器以使所述协处理器对所述目标图像进行第二图像处理。
示例性的，第一图像处理所需算力或计算复杂度均低于所述第二图像处理。例如，计算量较高的图像处理过程由协处理器执行，以降低显示处理单元的计算压力。
示例性的，如图3所示，协处理器还连接显示处理单元的图像处理单元，协处理器对所述目标图像进行第二图像处理后回传给所述显示处理单元。
示例性的，如图3所示，所述数据加载单元通过所述图像处理单元与所述协处理器连接，所述数据加载单元用于将获取的目标图像通过所述图像处理单元传输给所述协处理器，以使所述协处理器对所述目标图像进行第二图像处理后回传给所述显示处理单元。
示例性的，所述图像处理单元还用于将所述数据加载单元获取的目标图像传输给所述协处理器。例如数据加载单元将获取的目标图像传输给图像处理单元后，图像处理单元直接将该目标图像传输给协处理器进行第二图像处理。
示例性的，如图3所示，显示处理装置还包括数据传输单元，所述数据加载单元和/或所述图像处理单元可以通过所述数据传输单元与所述协处理器连接。例如，数据传输单元包括连接数据加载单元的数据接口和连接所述图像处理单元的数据接口，例如数据传输单元还可以用于实现数据缓存、分发等。
在其他一些实施方式中，可以对目标图像进行第一图像处理以及第二图像处理。
示例性的，所述图像处理单元还用于将第一图像处理后的目标图像传输给 所述协处理器，以使所述协处理器对所述第一图像处理后的目标图像进行第二图像处理。
S130、将处理后的目标图像存储至目标存储器和/或通过输出接口输出处理后的目标图像。
在一些实施方式中，可以将处理后的目标图像存储至目标存储器。
示例性的，所述将处理后的目标图像存储至目标存储器，包括：将处理后的目标图像进行压缩，得到压缩的图像数据；将所述图像数据存储至所述目标存储器。例如，所述数据加载单元可以将进行处理后的目标图像进行压缩得到压缩的图像数据，以及将所述图像数据存储至所述目标存储器。
示例性的，将经第一图像处理和/或第二图像处理后的目标图像进行图像经帧缓冲压缩，得到图像数据，以及将所述图像数据存储至所述目标存储器。可以理解的，目标存储器存储的是压缩后的码流数据，可以减轻目标存储器的存储压力，而且减少目标存储器读写过程所需传输的数据量，向目标存储器写入图像数据时对带宽的要求较低，降低了目标存储器的带宽占用。
在一些实施方式中，可以通过输出接口输出处理后的目标图像。
示例性的，输出接口包括HDMI接口(High Definition Multimedia Interface，高清晰度多媒体接口)、MIPI接口(mobile industry processor interface，移动产业处理器接口)、DSI接口(Display Serial Interface，显示器串行接口)中的至少一种。
示例性的，可以通过输出接口输出处理后的目标图像至显示装置。如图3所示，显示处理装置搭载显示装置，显示处理单元可以将经第一图像处理和/或第二图像处理后的目标图像输出给显示装置进行显示。
示例性的，显示处理装置还包括至与所述显示处理单元级联的芯片，该芯片例如包括AI芯片、CPU芯片、GPU芯片中的至少一项，实现不同芯片间的数据传输，有利于提高DPU系统的处理能力。显示处理单元可以通过输出接口输出处理后的目标图像给该芯片，以由该芯片对处理后的目标图像进行处理，例如进行图像识别等。
示例性的，如图3所示，显示处理单元还包括输出接口单元，所述输出接口单元与所述图像处理单元连接，用于从所述图像处理单元接收进行处理后的目标图像并输出。
示例性的，所述输出接口单元包括一个或多个输出接口，例如，多个输出接口的类型可以相同也可以不相同。
示例性的，所述输出接口单元通过所述图像处理单元与所述协处理器连接，用于接收进行第二图像处理后的目标图像。
示例性的，所述输出接口单元还用于对从所述图像处理单元接收的目标图像进行格式转换。例如输出接口单元可以将处理后的目标图像转换为符合HDMI接口协议要求的格式，以便通过HDMI接口输出图像。
在其他一些实施方式中，所述方法还包括：根据所述目标图像对应的直接输出指令，将获取的目标图像通过输出接口输出。
示例性的，图像处理单元可以不对数据加载单元获取的目标图像进行第一图像处理，而直接将数据加载单元获取的目标图像通过输出接口输出，例如由输出接口单元对该目标图像进行格式转换后输出。
在一些实施方式中，可以根据所述目标图像对应的处理指令，对所述目标图像进行第一图像处理和/或将所述目标图像传输给所述协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述显示处理单元。
示例性的，显示处理单元可以从显示处理装置的CPU或GPU接收所述目标图像对应的处理指令。
例如，CPU或GPU可以确定当前处理的目标图像的图像信息，例如目标图像在视频中的位置、目标图像的亮度、对比度、直方图等，从而可以根据目标图像的图像信息确定所述处理指令，所述处理指令用于控制显示处理单元对目标图像进行第一图像处理和/或控制显示处理单元将目标图像发送给协处理器进行第二图像处理。
示例性的，若所述处理指令包括第一图像处理需求，对所述目标图像进行第一图像处理。
示例性的，若所述处理指令包括第二图像处理需求，则将所述目标图像传输给所述协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述显示处理单元。
示例性的，若所述处理指令包括第一图像处理需求和第二图像处理需求，对所述目标图像进行第一图像处理，并将第一图像处理后的目标图像传输给所述协处理器，以使所述协处理器对所述第一图像处理后的目标图像进行第二图 像处理后将第二图像处理后的目标图像回传给所述显示处理单元。
示例性的，可以将所述目标图像传输给所述协处理器以使所述协处理器对所述目标图像进行第二图像处理后将第二图像处理后的目标图像回传给所述显示处理单元，以及所述显示处理单元对所述第二图像处理后的目标图像进行第一图像处理。例如所述显示处理单元的图像处理单元还用于对所述协处理器回传的目标图像进行第一图像处理。
在一些实施方式中，所述第一图像处理包括缩放、融合、旋转、翻转、色彩格式与色彩空间转换、左右视图联合处理中的至少一种。
示例性的，所述显示处理单元包括一个或多个图像处理单元，如图3所示，显示处理单元包括两个图像处理单元，分别为图像处理单元1和图像处理单元2。
示例性的，所述显示处理单元用于处理多摄像头获取的图像或GUI界面图像。
示例性的，所述显示处理单元中不同的图像处理单元用于处理不同的图层。例如，不同的图像处理单元可用于独立处理不同图层的数据处理，如背景、logo、窗口、图像等图层。例如，GUI界面包括图像层、RGB三通道直方图、文件信息层等多个图层。从而可以丰富GUI界面展现的信息，提升显示的敏捷性。
示例性的，所述显示处理单元中不同的图像处理单元用于处理不同摄像头采集的目标图像。
示例性的，所述显示处理装置处理双摄像头装置采集的第一目标图像和第二目标图像；其中，所述第一目标图像是所述双摄像头装置的其中一个摄像头采集的，所述第二目标图像是所述双摄像头装置的另一个摄像头采集的。
例如，双摄像头的左右摄像头分别对场景的左半部分和右半部分进行采集，得到左视图数据和右视图数据，图像处理单元1和图像处理单元2用于处理双摄像头的左视图数据和右视图数据。
示例性的，所述通过输出接口输出处理后的目标图像至显示装置，包括：通过输出接口输出处理后的第一目标图像和处理后的第二目标图像至显示装置。例如，通过其中一个输出接口输出处理后的第一目标图像，通过另一个输出接口输出处理后的第二目标图像，实现双摄像头采集的左右视图的数据传输。
示例性的，所述对所述目标图像进行第一图像处理，包括：将所述第一目 标图像和所述第二目标图像融合，得到第一图像处理后的目标图像，所述第一图像处理后的目标图像的视角比所述第一目标图像的视角或所述第二目标图像的视角广。通过对双摄像头采集的左右图像进行融合，从而得到一幅广角效果的图像。
示例性的，所述协处理器用于对图像进行以下图像处理中的至少一种：背光调整处理、高动态范围(High-Dynamic Range，HDR)处理、Gamma矫正、颜色矫正、确定峰值和/或直方图分布、增强处理、智能调参、超分辨率处理、图像修补、去抖动处理、随机噪声加入处理、增强现实处理中的至少一种。
其中，背光调整处理例如可以通过Assertive Display算法实现，通过检测环境光来调节屏幕中不同区域的亮度，主要用于提高强光下的显示效果，在保持原有视觉效果的同时还能降低功耗。高动态范围处理可以提升图像中最亮和最暗画面的对比度，使得用户能看到图像中更多的细节，例如通过多幅不同曝光条件下的图像进行配准和融合得到HDR图像。Gamma矫正可以拉伸图像中灰度级较高的区域和压缩灰度级较低的部分，处理后的图像更符合人眼的非线性视觉，和对于暗部的变化更加敏感的特点。颜色矫正可以通过颜色矫正矩阵消除色差，恢复和增强图像的色彩。
示例性的，协处理器可以分析目标图像的数值分布，计算出当前图像的峰值和直方图分布图，并将确定的峰值和/或直方图分布回传给显示处理单元，其中，峰值数据用于标记图像中的过曝区域，直方图用于呈现图像暗部和亮部的分布情况，显示处理单元可以将峰值和/或直方图分布叠加至目标图像。增强处理，又可称为图像锐化，是使图像边缘更清晰的一种图像处理方法，常用的做法是提取图像的高频分量，将其叠加到原图上，其中图像高频分量的提取有两种做法，一种是用高通滤波器，得到高频分量，常用方法是通过Sobel算子和Laplcian算子提取高频分量，另一种是通过低通滤波，用原图减低频得以高频，也称为非锐化掩模，常用方法是通过高斯或双边低通滤波器对图像进行滤波。协处理器中通过增强处理提取图像边缘信息，并将图像边缘信息叠加到原图上以实现图像增强，提高显示效果。超分辨率处理指从观测到的低分辨率图像重建出相应的高分辨率图像，基于重建算法或机器学习算法对输入图像/视频进行超分辨率处理，可以增加图像/视频的细节信息。图像修补例如可以利用图像中待修补区域的边缘信息，即边缘的颜色和结构，去推断出待修补区域的信息内 容并进行填补，最终得到所需的主观效果，可用于修补拍摄设备无法拍摄到或是受损的区域，如填充广角或全景成像中的缺失边缘。随机噪声加入处理是一种使用噪声对量化误差进行随机化，以减轻大幅度截取图像精度时导致的条带问题。增强现实(Augmented Reality，AR)处理可以在图像/视频中增加虚拟物体和显示信息等图层，增强用户对于现实信息的理解。
示例性的，所述方法还包括：增加、修改或删除所述协处理器的图像处理算法。例如可以通过自定义总线接口可以访问协处理器增加、修改或删除所述协处理器的图像处理算法。从而协处理器的图像处理算法能够进行迭代和扩展，提供更加灵活的图像处理方式，可以满足用户对于显示方面图像处理的丰富需求。
在一些实施方式中，所述第二图像处理的计算量不低于所述第一图像处理的计算量。示例性的，可以分配计算量较高的图像处理过程由协处理器执行，以降低显示处理单元的计算压力。而且协处理器可以通过软件计算协助显示处理单元可以完成丰富的图像处理，可以提高图像的显示效果，而且协处理器中的图像处理算法支持迭代和扩展，可以提供更加灵活的图像处理方式。
本申请实施例提供的图像处理方法，通过对获取的目标图像进行第一图像处理和/或将获取的目标图像传输给与显示处理单元连接的协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述显示处理单元，以及将处理后的目标图像存储至目标存储器和/或通过输出接口输出处理后的目标图像，显示处理单元可以利用协处理器实现更多种类的图像处理，可以提高图像的显示效果，还可以降低显示处理单元的运算压力，提升图像处理的高速性和实时性。协处理器中的图像处理算法方便迭代和扩展，可以提供更加灵活的图像处理方式。
近年来，由于GPU在浮点计算和并行计算上拥有极其出色的性能，甚至超越了传统CPU的数十倍，使其被广泛使用在数据挖掘，深度学习等需要大量重复计算的工程之中。然而GPU的主要应用是在绘图和矩阵计算，而不是图像/视频的显示方面，若SoC系统中缺少DPU协助，可能导致处理一些显示数据如VR应用等装置时比较耗时和费力。实际运用中，对于SoC系统而言，真正决定主控显示输出能力的关键单元是DPU，它限定了分辨率、帧率、色彩数量、HDR、支持VR等功能，因此可见DPU对于SoC芯片的图像视频处理和显示性能中起到 了关键的作用。而且GPU作为通用计算模块，与本申请实施例中采用的DPU相比在性能和功能方面都有所欠缺。专用DPU是应对显示处理需求而设计的，因此性能更强，且功能可定制化，在SoC系统中占用面积更小。
本申请实施例可以减轻CPU和GPU中图像视频处理和显示负载压力，有利于实现图像视频处理和显示的实时化和高速化，提高SoC芯片整体效能。相比传统显示方案实现了图像视频处理和显示等功能的高度集成，功能上更加丰富，并且在处理性能上可以满足高速实时的需求。
一个完整的图像视频处理和显示系统不但要具备图像视频信号的实时显示，且要求完成对图像信号的分析和处理算法(如图像编解码、图像增强等)以及图像处理结果的反馈控制。通常这些算法的运算量大，同时又要满足实时处理、显示的要求。本申请实施例可以实现存储、处理、显示及传输等功能，其中，数据加载单元可以通过采用FBC/FBD降低目标存储器的读写带宽占用，图像处理单元能实现多图层的处理和显示，协处理器可以提供了丰富的ISP算法，以及输出接口单元能够支持多种显示接口和芯片间数据交互。整个系统集成化程度较高，满足实时处理和显示的功能，且提高了系统的可靠性。
请结合上述实施例参阅图4，图4是本申请实施例提供的显示处理装置400的示意性框图。
示例性的，所述显示处理装置400可以为SoC芯片，或SoC芯片上的一部分电路。
如图4所示，显示处理装置400包括：
数据加载单元410，数据加载单元410用于获取目标图像；
图像处理单元420，图像处理单元420与数据加载单元410连接，用于对目标图像进行第一图像处理；
数据加载单元410还用于将目标图像传输给协处理器401以使协处理器401对目标图像进行第二图像处理后回传给图像处理单元420；
输出接口单元430，输出接口单元430与图像处理单元420连接，用于从图像处理单元420接收进行处理后的目标图像并输出。
在一些实施方式中，数据加载单元410、图像处理单元420、输出接口单元430可以是硬件电路。
在一些实施方式中，数据加载单元410还用于从目标存储器402获取压缩 的图像数据，以及解压缩图像数据，得到目标图像。
在一些实施方式中，数据加载单元410还用于将进行处理后的目标图像进行压缩得到压缩的图像数据，以及将图像数据存储至目标存储器402。
在一些实施方式中，数据加载单元410通过图像处理单元420与协处理器401连接，数据加载单元410用于将获取的目标图像通过图像处理单元420传输给协处理器401。
在一些实施方式中，装置还包括数据传输单元440，数据加载单元410和/或图像处理单元420通过数据传输单元440与协处理器401连接。
在一些实施方式中，图像处理单元420还用于将数据加载单元410获取的目标图像或将第一图像处理后的目标图像传输给协处理器401。
在一些实施方式中，图像处理单元420还用于对协处理器401回传的目标图像进行第一图像处理。
在一些实施方式中，输出接口单元430通过图像处理单元420与协处理器401连接，用于接收进行第二图像处理后的目标图像。
在一些实施方式中，输出接口单元430还用于对从图像处理单元420接收的目标图像进行格式转换。
本申请实施例提供的显示处理装置的具体原理和实现方式均与前述实施例的图像处理方法类似，此处不再赘述。
请结合上述实施例参阅图5，图5是本申请实施例提供的显示处理芯片500的示意性框图。
如图5所示，显示处理芯片500包括：
数据加载电路510，数据加载电路510用于获取目标图像；
图像处理电路520，图像处理电路520与数据加载电路510连接，用于目标图像进行第一图像处理；
数据加载电路510能够与协处理器501连接，还用于将目标图像传输给协处理器501以使协处理器501对目标图像进行第二图像处理后回传给图像处理电路520；
输出接口电路530，与输出处理电路和图像处理电路520连接，用于从图像处理电路520接收进行处理后的目标图像并输出。
在一些实施方式中，数据加载电路510能够连接目标存储器502，还用于 从目标存储器502获取压缩的图像数据，以及解压缩图像数据，得到目标图像。
在一些实施方式中，数据加载电路510还用于将进行处理后的目标图像进行压缩得到压缩的图像数据，以及将图像数据存储至目标存储器502。
在一些实施方式中，数据加载电路510通过图像处理电路520能够与协处理器501连接，数据加载电路510用于将获取的目标图像通过图像处理电路520传输给协处理器501。
在一些实施方式中，芯片还包括数据传输电路540，数据加载电路510和/或图像处理电路520通过数据传输电路540能够与协处理器501连接。
在一些实施方式中，图像处理电路520该用于将数据加载电路510获取的目标图像或将第一图像处理后的目标图像传输给协处理器501。
在一些实施方式中，图像处理电路520还用于对协处理器501回传的目标图像进行第一图像处理。
在一些实施方式中，输出接口电路530通过图像处理电路520能够与协处理器501连接，用于接收进行第二图像处理后的目标图像。
在一些实施方式中，输出接口电路530还用于对从图像处理电路520接收的目标图像进行格式转换。
本申请实施例提供的显示处理芯片的具体原理和实现方式均与前述实施例的图像处理方法类似，此处不再赘述。
请结合上述实施例参阅图6，图6是本申请实施例提供的显示处理装置600的示意性框图。该显示处理装置600包括显示处理单元601和连接显示处理单元601的协处理器602。
具体地，显示处理单元601用于实现前述的图像处理方法的步骤。
示例性的，显示处理单元601用于实现如下步骤：
获取目标图像；
对目标图像进行第一图像处理和/或将目标图像传输给协处理器以使协处理器对目标图像进行第二图像处理后回传给显示处理单元；
将处理后的目标图像存储至目标存储器和/或通过输出接口输出处理后的目标图像。
本申请实施例提供的显示处理装置的具体原理和实现方式均与前述实施例的图像处理方法类似，此处不再赘述。
请结合上述实施例参阅图7，图7是本申请实施例提供的显示处理系统700的示意性框图。显示处理系统700包括显示处理单元701和连接显示处理单元701的协处理器702、存储器703、显示装置704。
具体地，显示处理单元701用于实现前述的图像处理方法的步骤。
示例性的，显示处理单元701用于实现如下步骤：
获取目标图像；
对目标图像进行第一图像处理和/或将目标图像传输给协处理器以使协处理器对目标图像进行第二图像处理后回传给显示处理单元；
将处理后的目标图像存储至目标存储器和/或通过输出接口输出处理后的目标图像。
本申请实施例提供的显示处理系统的具体原理和实现方式均与前述实施例的图像处理方法类似，此处不再赘述。
请结合上述实施例参阅图8，图8是本申请实施例提供的可移动平台800的示意性框图。该可移动平台800包括显示处理单元801和连接显示处理单元801的协处理器802。
具体地，显示处理单元801用于实现前述的图像处理方法的步骤。
示例性的，显示处理单元801用于实现如下步骤：
获取目标图像；
对目标图像进行第一图像处理和/或将目标图像传输给协处理器以使协处理器对目标图像进行第二图像处理后回传给显示处理单元；
将处理后的目标图像存储至目标存储器和/或通过输出接口输出处理后的目标图像。
本申请实施例提供的可移动平台的具体原理和实现方式均与前述实施例的图像处理方法类似，此处不再赘述。
请结合上述实施例参阅图9，图9是本申请实施例提供的终端设备900的示意性框图。终端设备900包括显示处理单元901和连接显示处理单元901的协处理器902、存储器903、显示装置904。
具体地，显示处理单元901用于实现前述的图像处理方法的步骤。
示例性的，显示处理单元901用于实现如下步骤：
获取目标图像；
对目标图像进行第一图像处理和/或将目标图像传输给协处理器以使协处理器对目标图像进行第二图像处理后回传给显示处理单元；
将处理后的目标图像存储至目标存储器和/或通过输出接口输出处理后的目标图像。
本申请实施例提供的终端设备的具体原理和实现方式均与前述实施例的图像处理方法类似，此处不再赘述。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述计算机程序被处理器执行时使所述处理器实现上述实施例提供的图像处理方法的步骤。
其中，所述计算机可读存储介质可以是前述实施例所述的显示处理装置、显示处理系统、终端设备、可移动平台中任一项的内部存储单元，例如所述显示处理装置的硬盘或内存。所述计算机可读存储介质也可以是所述的显示处理装置、显示处理系统、终端设备、可移动平台中任一项的外部存储设备，例如所述显示处理装置上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
应当理解，在此本申请中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。
还应当理解，在本申请和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (42)

  1. 一种图像处理方法，其特征在于，用于显示处理装置中的显示处理单元，所述显示处理装置还包括连接所述显示处理单元的协处理器；
    所述方法包括：
    获取目标图像；
    对所述目标图像进行第一图像处理和/或将所述目标图像传输给所述协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述显示处理单元；
    将处理后的目标图像存储至目标存储器和/或通过输出接口输出处理后的目标图像。
  2. 根据权利要求1所述的方法，其特征在于，所述获取目标图像，包括：
    从所述目标存储器获取所述目标图像。
  3. 根据权利要求1或2所述的方法，其特征在于，所述获取目标图像，包括：
    获取压缩的图像数据；
    解压缩所述图像数据，得到所述目标图像。
  4. 根据权利要求1-3中任一项所述的方法，其特征在于，所述对所述目标图像进行第一图像处理和/或将所述目标图像传输给所述协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述显示处理单元，包括：
    根据所述目标图像对应的处理指令，对所述目标图像进行第一图像处理和/或将所述目标图像传输给所述协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述显示处理单元。
  5. 根据权利要求4所述的方法，其特征在于，若所述处理指令包括第一图像处理需求，对所述目标图像进行第一图像处理。
  6. 根据权利要求4所述的方法，其特征在于，若所述处理指令包括第二图像处理需求，将所述目标图像传输给所述协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述显示处理单元。
  7. 根据权利要求4所述的方法，其特征在于，若所述处理指令包括第一图 像处理需求和第二图像处理需求，对所述目标图像进行第一图像处理，并将第一图像处理后的目标图像传输给所述协处理器，以使所述协处理器对所述第一图像处理后的目标图像进行第二图像处理后将第二图像处理后的目标图像回传给所述显示处理单元。
  8. 根据权利要求4所述的方法，其特征在于，若所述处理指令包括第一图像处理需求和第二图像处理需求，将所述目标图像传输给所述协处理器以使所述协处理器对所述目标图像进行第二图像处理后将第二图像处理后的目标图像回传给所述显示处理单元，以及对所述第二图像处理后的目标图像进行第一图像处理。
  9. 根据权利要求1-8中任一项所述的方法，其特征在于，所述方法还包括：
    根据所述目标图像对应的直接输出指令，将获取的目标图像通过输出接口输出。
  10. 根据权利要求1-8中任一项所述的方法，其特征在于，所述协处理器用于执行预设的图像处理算法。
  11. 根据权利要求10所述的方法，其特征在于，所述方法还包括：
    增加、修改或删除所述协处理器的图像处理算法。
  12. 根据权利要求1-8中任一项所述的方法，其特征在于，所述第二图像处理包括背光调整处理、高动态范围处理、Gamma矫正、颜色矫正、确定峰值和/或直方图分布、增强处理、智能调参、超分辨率处理、图像修补、去抖动处理、随机噪声加入处理、增强现实处理中的至少一种。
  13. 根据权利要求1-12中任一项所述的方法，其特征在于，所述第一图像处理包括缩放、融合、旋转、翻转、色彩格式与色彩空间转换、左右视图联合处理中的至少一种。
  14. 根据权利要求1-12中任一项所述的方法，其特征在于，所述显示处理装置处理双摄像头装置采集的第一目标图像和第二目标图像；
    其中，所述第一目标图像是所述双摄像头装置的其中一个摄像头采集的，所述第二目标图像是所述双摄像头装置的另一个摄像头采集的。
  15. 根据权利要求14所述的方法，其特征在于，所述对所述目标图像进行第一图像处理，包括：
    将所述第一目标图像和所述第二目标图像融合，得到第一图像处理后的目 标图像，所述第一图像处理后的目标图像的视角比所述第一目标图像的视角或所述第二目标图像的视角广。
  16. 根据权利要求1-12中任一项所述的方法，其特征在于，所述显示处理单元包括一个或多个图像处理单元。
  17. 根据权利要求16所述的方法，其特征在于，所述显示处理单元中不同的图像处理单元用于处理不同的图层，或者用于处理不同摄像头采集的目标图像。
  18. 根据权利要求1-17中任一项所述的方法，其特征在于，所述第二图像处理的计算量不低于所述第一图像处理的计算量。
  19. 根据权利要求1-18中任一项所述的方法，其特征在于，所述将处理后的目标图像存储至目标存储器，包括：
    将处理后的目标图像进行压缩，得到压缩的图像数据；
    将所述图像数据存储至所述目标存储器。
  20. 根据权利要求1-18中任一项所述的方法，其特征在于，所述通过输出接口输出处理后的目标图像，包括：
    通过输出接口输出处理后的目标图像至显示装置；和/或
    通过输出接口输出处理后的目标图像至与所述显示处理单元级联的芯片。
  21. 根据权利要求20所述的方法，其特征在于，所述通过输出接口输出处理后的目标图像至显示装置，包括：
    通过输出接口输出处理后的第一目标图像和处理后的第二目标图像至显示装置。
  22. 一种显示处理装置，其特征在于，所述装置包括：
    数据加载单元，所述数据加载单元用于获取目标图像；
    图像处理单元，所述图像处理单元与所述数据加载单元连接，用于对所述目标图像进行第一图像处理；
    所述数据加载单元还用于将所述目标图像传输给协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述图像处理单元；
    输出接口单元，所述输出接口单元与所述图像处理单元连接，用于从所述图像处理单元接收进行处理后的目标图像并输出。
  23. 根据权利要求22所述的装置，其特征在于，所述数据加载单元还用于 从目标存储器获取压缩的图像数据，以及解压缩所述图像数据，得到所述目标图像。
  24. 根据权利要求23所述的装置，其特征在于，所述数据加载单元还用于将进行处理后的目标图像进行压缩得到压缩的图像数据，以及将所述图像数据存储至所述目标存储器。
  25. 根据权利要求22-24中任一项所述的装置，其特征在于，所述数据加载单元通过所述图像处理单元与所述协处理器连接，所述数据加载单元用于将获取的目标图像通过所述图像处理单元传输给所述协处理器。
  26. 根据权利要求22-25中任一项所述的装置，其特征在于，所述装置还包括数据传输单元，所述数据加载单元和/或所述图像处理单元通过所述数据传输单元与所述协处理器连接；
    所述图像处理单元还用于将所述数据加载单元获取的目标图像或将第一图像处理后的目标图像传输给所述协处理器。
  27. 根据权利要求22-26中任一项所述的装置，其特征在于，所述图像处理单元还用于对所述协处理器回传的目标图像进行第一图像处理。
  28. 根据权利要求22-26中任一项所述的装置，其特征在于，所述输出接口单元通过所述图像处理单元与所述协处理器连接，用于接收进行第二图像处理后的目标图像。
  29. 根据权利要求22-28中任一项所述的装置，其特征在于，所述输出接口单元还用于对从所述图像处理单元接收的目标图像进行格式转换。
  30. 一种显示处理芯片，其特征在于，所述芯片包括
    数据加载电路，所述数据加载电路用于获取目标图像；
    图像处理电路，所述图像处理电路与所述数据加载电路连接，用于所述目标图像进行第一图像处理；
    所述数据加载电路能够与协处理器连接，还用于将所述目标图像传输给所述协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述图像处理电路；
    输出接口电路，与所述输出处理电路和所述图像处理电路连接，用于从所述图像处理电路接收进行处理后的目标图像并输出。
  31. 根据权利要求30所述的芯片，其特征在于，所述数据加载电路能够连 接目标存储器，还用于从所述目标存储器获取压缩的图像数据，以及解压缩所述图像数据，得到所述目标图像。
  32. 根据权利要求31所述的芯片，其特征在于，所述数据加载电路还用于将进行处理后的目标图像进行压缩得到压缩的图像数据，以及将所述图像数据存储至所述目标存储器。
  33. 根据权利要求30-32中任一项所述的芯片，其特征在于，所述数据加载电路通过所述图像处理电路能够与所述协处理器连接，所述数据加载电路用于将获取的目标图像通过所述图像处理电路传输给所述协处理器。
  34. 根据权利要求30-33中任一项所述的芯片，其特征在于，所述芯片还包括数据传输电路，所述数据加载电路和/或所述图像处理电路通过所述数据传输电路能够与所述协处理器连接；
    所述图像处理电路该用于将所述数据加载电路获取的目标图像或将第一图像处理后的目标图像传输给所述协处理器。
  35. 根据权利要求30-34中任一项所述的芯片，其特征在于，所述图像处理电路还用于对所述协处理器回传的目标图像进行第一图像处理。
  36. 根据权利要求30-34中任一项所述的芯片，其特征在于，所述输出接口电路通过所述图像处理电路能够与所述协处理器连接，用于接收进行第二图像处理后的目标图像。
  37. 根据权利要求30-36中任一项所述的芯片，其特征在于，所述输出接口电路还用于对从所述图像处理电路接收的目标图像进行格式转换。
  38. 一种显示处理装置，其特征在于，所述显示处理装置包括显示处理单元和连接所述显示处理单元的协处理器；其中，所述显示处理单元用于实现如下步骤：
    获取目标图像；
    对所述目标图像进行第一图像处理和/或将所述目标图像传输给所述协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述显示处理单元；
    将处理后的目标图像存储至目标存储器和/或通过输出接口输出处理后的目标图像。
  39. 一种显示处理系统，其特征在于，所述显示处理系统包括显示处理单元 和连接所述显示处理单元的协处理器、存储器、显示装置；其中，所述显示处理单元用于实现如下步骤：
    获取目标图像；
    对所述目标图像进行第一图像处理和/或将所述目标图像传输给所述协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述显示处理单元；
    将处理后的目标图像存储至所述存储器和/或通过输出接口输出处理后的目标图像给所述显示装置。
  40. 一种终端设备，其特征在于，所述终端设备包括显示处理单元和连接所述显示处理单元的协处理器、存储器、显示装置；其中，所述显示处理单元用于实现如下步骤：
    获取目标图像；
    对所述目标图像进行第一图像处理和/或将所述目标图像传输给所述协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述显示处理单元；
    将处理后的目标图像存储至所述存储器和/或通过输出接口输出处理后的目标图像给所述显示装置。
  41. 一种可移动平台，其特征在于，所述可移动平台包括显示处理单元和连接所述显示处理单元的协处理器；其中，所述显示处理单元用于实现如下步骤：
    获取目标图像；
    对所述目标图像进行第一图像处理和/或将所述目标图像传输给所述协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述显示处理单元；
    将处理后的目标图像存储至目标存储器和/或通过输出接口输出处理后的目标图像。
  42. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1-21中任一项所述的图像处理方法。
PCT/CN2020/099593 2020-06-30 2020-06-30 图像处理方法、显示处理装置和计算机可读存储介质 WO2022000347A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080007162.1A CN113228095A (zh) 2020-06-30 2020-06-30 图像处理方法、显示处理装置和计算机可读存储介质
PCT/CN2020/099593 WO2022000347A1 (zh) 2020-06-30 2020-06-30 图像处理方法、显示处理装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/099593 WO2022000347A1 (zh) 2020-06-30 2020-06-30 图像处理方法、显示处理装置和计算机可读存储介质

Publications (1)

Publication Number Publication Date
WO2022000347A1 true WO2022000347A1 (zh) 2022-01-06

Family

ID=77086027

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/099593 WO2022000347A1 (zh) 2020-06-30 2020-06-30 图像处理方法、显示处理装置和计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN113228095A (zh)
WO (1) WO2022000347A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113628304B (zh) * 2021-10-09 2021-12-03 湖北芯擎科技有限公司 图像处理方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105445514A (zh) * 2014-09-23 2016-03-30 史树元 一种基于fpga多处理器的数字存储示波器
US20180189097A1 (en) * 2017-01-03 2018-07-05 Arm Limited Data processing
CN109286753A (zh) * 2018-09-29 2019-01-29 南昌黑鲨科技有限公司 图像处理方法、系统及计算机可读存储介质
US20190349558A1 (en) * 2018-05-14 2019-11-14 Arm Limited Media processing systems
CN110915173A (zh) * 2017-07-10 2020-03-24 芬基波尔有限责任公司 用于计算节点和存储节点的数据处理单元
CN111161660A (zh) * 2018-11-07 2020-05-15 Arm有限公司 数据处理系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014160516A (ja) * 2014-06-09 2014-09-04 Univ Of Tokyo 画像処理装置及び画像処理方法
CN106937052B (zh) * 2017-03-29 2019-01-22 维沃移动通信有限公司 一种图像数据的处理方法及移动终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105445514A (zh) * 2014-09-23 2016-03-30 史树元 一种基于fpga多处理器的数字存储示波器
US20180189097A1 (en) * 2017-01-03 2018-07-05 Arm Limited Data processing
CN110915173A (zh) * 2017-07-10 2020-03-24 芬基波尔有限责任公司 用于计算节点和存储节点的数据处理单元
US20190349558A1 (en) * 2018-05-14 2019-11-14 Arm Limited Media processing systems
CN109286753A (zh) * 2018-09-29 2019-01-29 南昌黑鲨科技有限公司 图像处理方法、系统及计算机可读存储介质
CN111161660A (zh) * 2018-11-07 2020-05-15 Arm有限公司 数据处理系统

Also Published As

Publication number Publication date
CN113228095A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN106331850B (zh) 浏览器直播客户端、浏览器直播系统及浏览器直播方法
US20140071245A1 (en) System and method for enhanced stereo imaging
US20200167896A1 (en) Image processing method and device, display device and virtual reality display system
CN112348747A (zh) 图像增强方法、装置及存储介质
US20170061677A1 (en) Disparate scaling based image processing device, method of image processing, and electronic system including the same
CN111429371A (zh) 图像处理方法、装置及终端设备
CN113658065B (zh) 图像降噪方法及装置、计算机可读介质和电子设备
US20190171916A1 (en) Increasing network transmission capacity and data resolution quality and computer systems and computer-implemented methods for implementing thereof
CN109219833B (zh) 使用深度信息增强图像中的边缘
JP2020173771A (ja) 映像処理装置及び映像処理方法
CN111696034B (zh) 图像处理方法、装置及电子设备
US20230300475A1 (en) Image processing method and apparatus, and electronic device
WO2022000347A1 (zh) 图像处理方法、显示处理装置和计算机可读存储介质
CN118382876A (zh) 使用运动数据生成更高分辨率图像
WO2022261849A1 (en) Method and system of automatic content-dependent image processing algorithm selection
WO2021128835A1 (zh) 图像处理方法及装置、视频处理方法及装置、电子设备和存储介质
CN117132515A (zh) 一种图像处理方法及电子设备
CN114727029B (zh) 视频的处理方法、装置、电子设备及存储介质
CN112950516B (zh) 图像局部对比度增强的方法及装置、存储介质及电子设备
CN110070494B (zh) 图像处理方法、装置和电子设备
CN108769520B (zh) 电子装置、图像处理方法和计算机可读存储介质
US20080170805A1 (en) Method and system for adding dynamic pictures to real-time image
US20230153948A1 (en) Image signal processor, operating method of the image signal processor, and application processor including the image signal processor
CN116309160B (zh) 图像分辨率修复方法、装置、设备及存储介质
Huang et al. Attention-based dual-color space fusion network for low-light image enhancement

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20942899

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20942899

Country of ref document: EP

Kind code of ref document: A1