WO2025067090A1 - 图像处理方法、装置、电子设备及介质 - Google Patents

图像处理方法、装置、电子设备及介质 Download PDF

Info

Publication number
WO2025067090A1
WO2025067090A1 PCT/CN2024/120257 CN2024120257W WO2025067090A1 WO 2025067090 A1 WO2025067090 A1 WO 2025067090A1 CN 2024120257 W CN2024120257 W CN 2024120257W WO 2025067090 A1 WO2025067090 A1 WO 2025067090A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
task
processing
processor
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/CN2024/120257
Other languages
English (en)
French (fr)
Inventor
王林博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Publication of WO2025067090A1 publication Critical patent/WO2025067090A1/zh
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • the present application belongs to the field of image processing technology, and specifically relates to an image processing method, device, electronic equipment and medium.
  • the purpose of the embodiments of the present application is to provide an image processing method, device, electronic device and medium, which can solve the problem of omissions or errors caused by the high complexity of image processing tasks.
  • the image processing method includes a plurality of image processing algorithms
  • the image sequence includes the first image, the first task includes one or more of the multiple image processing algorithms, and the second task includes one or more of the multiple image processing algorithms except the first task.
  • an image processing device including:
  • a first processing module used to determine an image processing method for the first image, wherein the image processing method includes a plurality of image processing algorithms
  • a second processing module used for generating a first task and a second task according to a frame rate of the image sequence and a processing time of each of the image processing algorithms
  • a third processing module used for processing the first image according to the first task to obtain a second image and store it in a cache area
  • a fourth processing module configured to process the second image according to the second task to obtain a third image
  • the image sequence includes the first image, the first task includes one or more of the multiple image processing algorithms, and the second task includes one or more of the multiple image processing algorithms except the first task.
  • an embodiment of the present application provides an electronic device, which includes a processor and a memory, wherein the memory stores programs or instructions that can be run on the processor, and when the program or instructions are executed by the processor, the steps of the method described in the first aspect are implemented.
  • a first task and a second task can be generated by combining the frame rate of the image sequence and the processing time of each image processing algorithm in the image processing method; then, the first task is executed to process the first image to obtain the second image, the second image is stored in a cache area, and then the second task is executed to process the second image to obtain a third image.
  • the multiple image processing algorithms can be decomposed into multiple tasks to achieve more refined image processing and avoid omissions or errors in the processing of the first image.
  • FIG2 is a schematic diagram of an application of an image processing method according to an embodiment of the present application.
  • FIG3 is a schematic diagram of a module structure of an image processing device according to an embodiment of the present application.
  • FIG4 is a schematic diagram of the structure of an electronic device according to an embodiment of the present application.
  • FIG. 5 is a schematic structural diagram of an electronic device according to another embodiment of the present application.
  • first, second, etc. in the specification and claims of this application are used to distinguish similar objects, rather than to describe a specific order or sequence. It should be understood that the terms used in this way can be interchanged where appropriate, so that the embodiments of the present application can be implemented in an order other than those illustrated or described herein, and the terms “first”, “second”, etc. are used to distinguish similar objects, rather than to describe a specific order or sequence.
  • the objects distinguished by the above are usually of one type, and the number of objects is not limited.
  • the first object can be one or more.
  • “and/or” in the specification and claims means at least one of the connected objects, and the character “/" generally means that the related objects are in an "or” relationship.
  • Main image processor refers to the image signal processing module that comes with the main chip of a mobile device, such as the image signal processing (ISP) module of Qualcomm series chips.
  • ISP image signal processing
  • Fps frames per Second
  • an image processing method includes:
  • Step 101 determine an image processing method for a first image, where the image processing method includes one or more image processing algorithms.
  • the image processing method for the first image may be determined specifically based on user needs.
  • User needs refer to the user's processing requirements for the first image (the image to be processed), such as requiring the image to be denoised or blurred; the image processing method includes multiple image processing algorithms executed on the first image.
  • the image processing method for the first image is determined, so that the image processing that meets the user's needs can be completed in the subsequent process according to the image processing method.
  • Step 102 Generate a first task and a second task according to the frame rate of the image sequence and the processing time of each of the image processing algorithms.
  • the image sequence includes the first image, the first task includes one or more of the multiple image processing algorithms, and the second task includes image processing algorithms other than the first task among the multiple image processing algorithms.
  • the image processing task is divided into two tasks based on the frame rate of the image sequence and the processing time of each image processing algorithm in the image processing method.
  • the first image is processed for the first task to obtain a processed second image, and the second image is stored in a buffer area.
  • Step 104 processing the second image according to the second task to obtain a third image
  • the second image is further processed for the second task to obtain a processed third image.
  • the electronic device executing the method of the embodiment of the present application can, based on user needs, after determining the image processing method for the first image, generate a first task and a second task by combining the frame rate of the image sequence and the processing time of each image processing algorithm in the image processing method; then, first execute the first task to process the first image to obtain the second image, store the second image in a cache area, and then execute the second task to process the second image to obtain the third image. Therefore, when faced with image processing involving multiple image processing algorithms, the multiple image processing algorithms can be decomposed into multiple tasks to achieve more refined image processing and avoid omissions or errors in the processing of the first image.
  • the image sequence can be an image sequence collected by shooting a video, or an image sequence collected in a preview mode.
  • the image sequence can be an image sequence of video playback, etc., which will not be repeated here.
  • two buffer areas can also be set, and three tasks can be generated accordingly, and the images obtained by the first two tasks can be stored in the corresponding buffer areas.
  • more buffer areas can be set and a corresponding number of tasks can be generated to complete image processing that meets user needs, which will not be listed here one by one.
  • the method of this embodiment is applied to an electronic device, wherein the electronic device includes a first image processor and a second image processor;
  • the first image processor receives the image sequence transmitted by the second image processor, the first image processor executes the plurality of image processing algorithms on the image sequence;
  • the method further includes:
  • the fourth image is an image subsequent to the first image in the image sequence.
  • the first image processor is an external image processor; the first image processor and the second image processor are connected as a main image processor.
  • the first image processor is a processor with certain image processing algorithms specifically designed for complex image processing scenarios.
  • the next frame image can also be processed according to the first task; and for the second image in the buffer area, the second image is processed according to the second task, and similarly, the fifth image can also be processed according to the second task. Therefore, according to user needs, the image processing time for each frame image can be free from the image frame rate.
  • a video that meets the user's needs can be obtained.
  • generating the first task and the second task according to the frame rate of the image sequence and the processing time of each of the image processing algorithms includes:
  • the processing time of the first task is less than or equal to the total duration; the processing time of the second task is less than or equal to the total duration.
  • the processing time of the first task refers to the processing time of one or more image processing algorithms included in the first task
  • the processing time of the second task refers to the processing time of one or more image processing algorithms included in the second task.
  • the processing time of the first task is less than or equal to the total duration calculated based on the frame rate of the image sequence
  • the processing time of the second task is less than or equal to the total duration, ensuring that the processing time of the first task and the processing time of the second task will not exceed the frame interval of the original image stream (image sequence).
  • the image processing method includes a beauty algorithm (function), a blur function, a drawing function, and a filter function.
  • the beauty processing takes 20ms
  • the blur processing takes 10ms
  • the drawing processing takes 25ms
  • the image is placed in the cache area, and then the next frame of the image can be beautified and blurred. At the same time, the image is obtained from the cache area, and brushing and filtering are performed. In this way, a frame of image is received and processed every 30ms, meeting the processing requirements of an image frame rate of 30fps.
  • the image processing algorithms assigned to the first task and the second task not only meet the above time requirements, but also need to make the functions logical. For example, functions that have no logical relationship are evenly assigned to the first task and the second task according to the processing time.
  • processing the first image according to the first task to obtain the second image and storing it in a cache area includes:
  • the second image is stored in a buffer area of the first image processor.
  • the first image processor is an external image processor, which is connected to the second image processor, which is the main image processor, and receives the frame image output by the second image processor for image processing.
  • a cache area is set in the first image processor, and the cache area can realize a ping-pong buffer, that is, it is composed of two independent storage bodies, which can achieve greater flexibility in terms of speed and capacity.
  • the first task can be understood as the pre-processing of the first image processor. Therefore, after the first image processor receives the frame image output by the second image processor, it executes the image processing algorithm according to the first task, completes the pre-processing of the first image, obtains the second image, and stores the second image in the ping-pong buffer.
  • the main image processor After the main image processor receives the original image stream from the image sensor, it first converts it into an image in YUV format, and then performs corresponding anti-shake, face detection and other algorithm processing, and then sends the processed image to the external image processor.
  • the external image processor After receiving the image, the external image processor performs the image processing algorithm in the first task. After the processing is completed, the image is temporarily stored in the ping-pong buffer, and then the external processor pre-processing can receive the next frame of the image for processing.
  • Step 204 the external image processor post-processes and returns the image
  • the external image processor obtains the pre-processed image from the ping-pong buffer and clears the ping-pong buffer. Then, the obtained image is processed by the image processing algorithm in the second task. At this point, the external image processor completes the processing and sends the processed image back to the main image processor.
  • Step 204 save and display the recorded video
  • the main image processor After the main image processor receives the image, it sends it to the encoder to be stored as a video file, and to the display for real-time preview.
  • the method of the embodiment of the present application solves the limitation of the frame rate of the image sequence on the transmission processing time requirement of the external image processor, so that the external image processing chip can support more and more complex algorithms, and can also support video processing with higher frame rates, which is equivalent to improving the performance of the chip in disguise.
  • an image processing device 300 includes:
  • a first processing module 310 configured to determine an image processing method for a first image, wherein the image processing method includes a plurality of image processing algorithms;
  • a second processing module 320 configured to generate a first task and a second task according to a frame rate of the image sequence and a processing time of each of the image processing algorithms
  • a third processing module 330 is used to process the first image according to the first task to obtain a second image and store it in a cache area;
  • a fourth processing module 340 configured to process the second image according to the second task to obtain a third image
  • the image sequence includes the first image, the first task includes one or more of the multiple image processing algorithms, and the second task includes one or more of the multiple image processing algorithms except the first task.
  • the second processing module includes:
  • a first processing unit configured to calculate a total duration of processing each frame of the image according to a frame rate of the image sequence
  • a second processing unit configured to generate the first task and the second task according to the total duration and the processing time of each of the image processing algorithms
  • the processing time of the first task is less than or equal to the total duration; the processing time of the second task is less than or equal to the total duration.
  • the third processing module includes:
  • a first control unit configured to control a first image processor to execute a corresponding image processing algorithm according to the first task on the first image, so as to obtain the second image;
  • the third processing unit is used to store the second image in the cache area of the first image processor.
  • the fourth processing module includes:
  • a fourth processing unit configured to obtain the second image in the buffer area
  • the second control unit is used to control the first image processor to execute the corresponding image processing algorithm according to the second task for the second image, so as to obtain the third image.
  • the device further comprises:
  • the apparatus comprises a first image processor and a second image processor;
  • the first image processor receives the image sequence transmitted by the second image processor, the first image processor executes the plurality of image processing algorithms on the image sequence;
  • the image processing device in the embodiment of the present application can be an electronic device or a component in the electronic device, such as an integrated circuit or a chip.
  • the electronic device can be a terminal or other devices other than a terminal.
  • the electronic device can be a mobile phone, a tablet computer, a laptop computer, a PDA, a vehicle-mounted electronic device, a mobile Internet device (Mobile Internet Device, MID), an augmented reality (augmented reality, AR)/virtual reality (virtual reality, VR) device, a robot, a wearable device, an ultra-mobile personal computer (ultra-mobile personal computer, UMPC), a netbook or a personal digital assistant (personal digital assistant, PDA), etc.
  • the processing time of the first task is less than or equal to the total duration; the processing time of the second task is less than or equal to the total duration.
  • the processor 510 is further configured to control the first image processor to execute a corresponding image processing algorithm according to the first task on the first image to obtain the second image;
  • the second image is stored in a buffer area of the first image processor.
  • the processor 510 is further configured to obtain the second image in the buffer area
  • the processor 510 is further configured to delete the second image from the cache area after extracting the second image.
  • the electronic device includes a first image processor and a second image processor;
  • the first image processor receives the image sequence transmitted by the second image processor, the first image processor executes the plurality of image processing algorithms on the image sequence;
  • the processor 510 is further configured to process the fourth image according to the first task to obtain a fifth image and store the fifth image in a cache area;
  • the fourth image is an image subsequent to the first image in the image sequence.
  • the input unit 504 may include a graphics processing unit (GPU) 5041 and a microphone 5042, and the graphics processor 5041 processes the image data of the static picture or video obtained by the image capture device (such as a camera) in the video capture mode or the image capture mode.
  • the display unit 506 may include a display panel 5061, and the display panel 5061 may be configured in the form of a liquid crystal display, an organic light emitting diode, etc.
  • the user input unit 507 includes a touch panel 5071 and at least one of other input devices 5072.
  • the touch panel 5071 is also called a touch screen.
  • the touch panel 5071 may include two parts: a touch detection device and a touch controller.
  • Other input devices 5072 may include, but are not limited to, a physical keyboard, function keys (such as a volume control key, a switch key, etc.), a trackball, a mouse, and a joystick, which will not be repeated here.
  • the memory 509 can be used to store software programs and various data.
  • the memory 509 can mainly include storage programs or instructions.
  • the first storage area may store an operating system, an application program or instructions required for at least one function (such as a sound playback function, an image playback function, etc.), etc.
  • the memory 509 may include a volatile memory or a non-volatile memory, or the memory 509 may include both volatile and non-volatile memories.
  • the non-volatile memory may be a read-only memory (ROM), a programmable read-only memory (PROM), an erasable programmable read-only memory (EPROM), an electrically erasable programmable read-only memory (EEPROM), or a flash memory.
  • the volatile memory may be a random access memory (RAM), a static random access memory (SRAM), a dynamic random access memory (DRAM), a synchronous dynamic random access memory (SDRAM), a double data rate synchronous dynamic random access memory (DDRSDRAM), an enhanced synchronous dynamic random access memory (ESDRAM), a synchronous link dynamic random access memory (SLDRAM) and a direct memory bus random access memory (DRRAM).
  • RAM random access memory
  • SRAM static random access memory
  • DRAM dynamic random access memory
  • SDRAM synchronous dynamic random access memory
  • DDRSDRAM double data rate synchronous dynamic random access memory
  • ESDRAM enhanced synchronous dynamic random access memory
  • SLDRAM synchronous link dynamic random access memory
  • DRRAM direct memory bus random access memory
  • the processor 510 may include one or more processing units; optionally, the processor 510 integrates an application processor and a modem processor, wherein the application processor mainly processes operations related to an operating system, a user interface, and application programs, and the modem processor mainly processes wireless communication signals, such as a baseband processor. It is understandable that the modem processor may not be integrated into the processor 510.
  • An embodiment of the present application also provides a readable storage medium, on which a program or instruction is stored.
  • a program or instruction is stored.
  • the program or instruction is executed by a processor, each process of the above-mentioned image processing method embodiment is implemented, and the same technical effect can be achieved. To avoid repetition, it will not be repeated here.
  • the processor is the processor in the electronic device described in the above embodiment.
  • the readable storage medium includes a computer readable storage medium, such as a computer read-only memory ROM, a random access memory RAM, a magnetic disk or an optical disk.
  • An embodiment of the present application further provides a chip, which includes a processor and a communication interface, wherein the communication interface is coupled to the processor, and the processor is used to run programs or instructions to implement the various processes of the above-mentioned image processing method embodiment, and can achieve the same technical effect. To avoid repetition, it will not be repeated here.
  • the chip mentioned in the embodiments of the present application can also be called a system-level chip, a system chip, a chip system or a system-on-chip chip, etc.
  • An embodiment of the present application provides a computer program product, which is stored in a storage medium.
  • the program product is executed by at least one processor to implement the various processes of the above-mentioned image processing method embodiment and can achieve the same technical effect. To avoid repetition, it will not be repeated here.
  • the technical solution of the present application can be embodied in the form of a computer software product, which is stored in a storage medium (such as ROM/RAM, a disk, or an optical disk), and includes a number of instructions for a terminal (which can be a mobile phone, a computer, a server, or a network device, etc.) to execute the methods described in each embodiment of the present application.
  • a storage medium such as ROM/RAM, a disk, or an optical disk
  • a terminal which can be a mobile phone, a computer, a server, or a network device, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像处理方法、装置、电子设备及介质,属于图像处理技术领域。本申请的方法包括:确定第一图像的图像处理方式,所述图像处理方式包括多个图像处理算法;根据图像序列的帧率和每个所述图像处理算法的处理时间,生成第一任务和第二任务;根据所述第一任务对所述第一图像进行处理,得到第二图像并存储至缓存区;根据所述第二任务对所述第二图像进行处理,得到第三图像;其中,所述图像序列包括所述第一图像,所述第一任务包括所述多个图像处理算法中的一个或多个,所述第二任务包括所述多个图像处理算法中除所述第一任务之外的一个或多个图像处理算法。

Description

图像处理方法、装置、电子设备及介质
相关申请的交叉引用
本申请主张在2023年09月27日在中国提交的中国专利申请No.202311267644.2的优先权,其全部内容通过引用包含于此。
技术领域
本申请属于图像处理技术领域,具体涉及一种图像处理方法、装置、电子设备及介质。
背景技术
随着移动电子设备的快速发展,用户对设备相机,在各种复杂场景下成像质量的要求也越来越高。而目前针对于夜景、人像等复杂场景,图像处理通常会需要较长时间才能满足用户对图像的降噪、美颜等效果的需求。
然而,若面临一些庞大的图像处理任务,容易出现处理遗漏或错漏。
发明内容
本申请实施例的目的是提供一种图像处理方法、装置、电子设备及介质,能够解决因图像处理任务复杂度高存在遗漏或错漏的问题。
第一方面,本申请实施例提供了一种图像处理方法,包括:
确定第一图像的图像处理方式,所述图像处理方式包括多个图像处理算法;
根据图像序列的帧率和每个所述图像处理算法的处理时间,生成第一任务和第二任务;
根据所述第一任务对所述第一图像进行处理,得到第二图像并存储至缓存区;
根据所述第二任务对所述第二图像进行处理,得到第三图像;
其中,所述图像序列包括所述第一图像,所述第一任务包括所述多个图像处理算法中的一个或多个,所述第二任务包括所述多个图像处理算法中除所述第一任务之外的一个或多个图像处理算法。
第二方面,本申请实施例提供了一种图像处理装置,包括:
第一处理模块,用于确定第一图像的图像处理方式,所述图像处理方式包括多个图像处理算法;
第二处理模块,用于根据图像序列的帧率和每个所述图像处理算法的处理时间,生成第一任务和第二任务;
第三处理模块,用于根据所述第一任务对所述第一图像进行处理,得到第二图像并存储至缓存区;
第四处理模块,用于根据所述第二任务对所述第二图像进行处理,得到第三图像;
其中,所述图像序列包括所述第一图像,所述第一任务包括所述多个图像处理算法中的一个或多个,所述第二任务包括所述多个图像处理算法中除所述第一任务之外的一个或多个图像处理算法。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
第六方面,本申请实施例提供一种计算机程序/程序产品,该计算机程序/程序产品被存储在存储介质中,该计算机程序/程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请实施例中,能够针对用户需求,在确定第一图像的图像处理方式后,结合图像序列的帧率和该图像处理方式中每个图像处理算法的处理时间,生成第一任务和第二任务;然后,先执行第一任务对第一图像进行处理,得到第二图像,将第二图像存储到缓存区,再执行第二任务对第二图像进行处理,得到第三图像,从而,能够在面对涉及多个图像处理算法的图像处理时,将该多个图像处理算法分解为多个任务,实现更精细地图像处理,避免对第一图像处理的遗漏或错漏。
附图说明
图1为本申请实施例的图像处理方法的流程示意图;
图2为本申请实施例的图像处理方法的应用示意图;
图3为本申请实施例的图像处理装置的模块结构示意图;
图4为本申请实施例的电子设备的结构示意图;
图5为本申请另一实施例的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二” 等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
为了方便理解,以下对本申请实施例涉及的一些内容进行说明:
主图像处理器:指移动设备主芯片自带的图像信号处理模块,如高通系列的芯片的图像信号处理(Image Signal Processing,ISP)模块。
外挂图像处理器:指移动设备厂商自研的图像信号处理模块,其作为单独的一个芯片外接到设备的主芯片上。
外挂图像处理器的传输和处理过程都被认为是视频图像处理流水线上的一个节点。如果用户想录制一段帧率为30画面每秒传输帧数(Frame Per Second,Fps)的视频,即图像传感器每1000/30=33.33毫秒产生一帧图像交由图像信号处理器流水线处理。如果该流水线中的某个节点的处理时间超过33.33毫秒,则会导致流水线处理拥堵,从而导致视频丢帧。而外挂图像处理器作为流水线上的一个节点,其传输加上处理时间,一般很难在33.33毫秒内完成,尤其是对于4k等高分辨率的视频图像。而通常只能通过限制外挂处理节点图像的分辨率,或者简化处理算法的能力来将该节点的处理时间限制在33.33毫秒以内。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。
如图1所示,本申请实施例的一种图像处理方法,包括:
步骤101,确定第一图像的图像处理方式,所述图像处理方式包括一个或多个图像处理算法。
其中,确定第一图像的图像处理方式具体可以是针对用户需求进行的。用户需求即用户对第一图像(待处理图像)的处理需求,如需要图像进行降噪、虚化等;图像处理方式则包括对该第一图像执行的多个图像处理算法。本步骤中,确定第一图像的图像处理方式,将能够使得后续按照该图像处理方式完成满足用户需求的图像处理。
步骤102,根据图像序列的帧率和每个所述图像处理算法的处理时间,生成第一任务和第二任务。
其中,图像序列包括所述第一图像,所述第一任务包括所述多个图像处理算法中的一个或多个,所述第二任务包括所述多个图像处理算法中除所述第一任务之外的图像处理算法。本步骤中,会结合图像序列的帧率和图像处理方式中每个图像处理算法的处理时间,将图像处理的任务分为两个任务。
步骤103,根据所述第一任务对所述第一图像进行处理,得到第二图像并存储至缓存区。
本步骤中,会针对第一任务,对第一图像进行处理,得到处理后的第二图像,并将该第二图像存储在缓存区。
步骤104,根据所述第二任务对所述第二图像进行处理,得到第三图像;
本步骤中,会针对第二任务,进一步对第二图像进行处理,得到处理后的第三图像。
如此,按照上述步骤101-104,执行本申请实施例方法的电子设备,能够针对用户需求,在确定第一图像的图像处理方式后,结合图像序列的帧率和该图像处理方式中每个图像处理算法的处理时间,生成第一任务和第二任务;然后,先执行第一任务对第一图像进行处理,得到第二图像,将第二图像存储到缓存区,再执行第二任务对第二图像进行处理,得到第三图像,从而,能够在面对涉及多个图像处理算法的图像处理时,将该多个图像处理算法分解为多个任务,实现更精细地图像处理,避免对第一图像处理的遗漏或错漏。
该实施例中,对于相机图像信号,图像序列可以是拍摄视频所采集的图像序列,或者预览模式下的采集的图像序列。当然,对于电子设备的其它图像信号,图像序列可以是视频播放的图像序列等等,在此不再赘述。
该实施例中,也可以设置两个缓存区,则相应可以生成三个任务,将前两个任务所得的图像存储至对应的缓存区。当然,还可设置更多缓存区以及生成相应数量的任务,完成满足用户需求的图像处理,在此不再一一列举。
可选地,该实施例的方法,应用于电子设备,所述电子设备包括第一图像处理器和第二图像处理器;
在所述第一图像处理器接收到所述第二图像处理器传输的图像序列的情况下,所述第一图像处理器对所述图像序列执行所述多个图像处理算法;
所述根据所述第一任务对所述第一图像进行处理,得到第二图像并存储至缓存区之后,还包括:
根据所述第一任务对第四图像进行处理,得到第五图像并存储至缓存区;
所述第四图像为所述图像序列中所述第一图像的后一图像。
这里,第一图像处理器是外挂图像处理器;第一图像处理器与第二图像处理器,是主图像处理器连接。第一图像处理器是针对复杂图像处理场景,特定的具有某些图像处理算法的处理器。
这样,针对图像序列中的某帧图像,在根据第一任务对该帧图像进行处理,并将所得的第二图像放入缓存区存储后,还能够根据第一任务对下一帧图像进行处理;而对于缓存区中的第二图像,根据第二任务对该第二图像进行处理,同样的,亦可以根据第二任务对第五图像进行处理。因此,针对用户需求,对于每帧图像的图像处理时长就能够不受图像帧率的限制。当然,图像序列的所有帧图像完成图像处理后,可得到满足用户需求的视频。
可选地,所述根据图像序列的帧率和每个所述图像处理算法的处理时间,生成第一任务和第二任务,包括:
根据所述图像帧率计算每帧图像处理的总时长;
根据所述总时长和每个所述图像处理算法的处理时间,生成所述第一任务和所述第二任务;
其中,所述第一任务的处理时间小于或等于所述总时长;所述第二任务的处理时间小于或等于所述总时长。
这里,第一任务的处理时间,即第一任务包括的一个或多个图像处理算法的处理时间;第二任务的处理时间,即第二任务包括的一个或多个图像处理算法的处理时间。
也就是说,第一任务的处理时间小于或等于基于图像序列的帧率所计算的总时长,第二任务的处理时间小于或等于该总时长,保证了第一任务的处理时间和第二任务的处理时间都不会超过原始图像流(图像序列)的出帧间隔。
例如,图像处理方式包括美颜算法(功能)、虚化功能、拉丝功能以及滤镜功能,美颜处理需要20ms,虚化处理需要10ms,拉丝处理需要25ms,滤镜处理需要5ms,若执行按照图像处理方式进行处理,只有当这四个功能处理完成后,才能处理下一帧的图像。这样一帧图像的处理时间就需要20+10+25+5=60ms,也就是说需要每隔60ms才能接收并处理一帧图像。若将美颜功能和虚化功能划分为第一任务,拉丝功能和滤镜功能放入第二任务。按照第一任务做完美颜和虚化后(耗时30ms),将图像放入缓存区后,就可以对下一帧图像进行美颜和虚化。同时,从缓存区获取图像,并进行拉丝和滤镜。这样,每隔30ms接收一帧图像并处理,满足图像帧率为30fps的处理需求。
在一些实施例中,第一任务和第二任务分配的图像处理算法除满足上述的时间要求之外,还需要使得各功能之间符合逻辑。例如,将没有前后逻辑关系的功能,按照处理时间,均匀的分配到第一任务和第二任务。
可选地,在一些实施例中,所述根据所述第一任务对所述第一图像进行处理,得到第二图像并存储至缓存区,包括:
对所述第一图像,控制第一图像处理器按照所述第一任务执行对应的图像处理算法,得到所述第二图像;
将所述第二图像存储至所述第一图像处理器的缓存区。
这里,第一图像处理器即外挂图像处理器,第一图像处理器与第二图像处理器也就是主图像处理器连接,接收第二图像处理器输出的帧图像进行图像处理。第一图像处理器中设置了缓存区,该缓存区可以实现乒乓缓存(ping-pong buffer),即由两个相互独立存储体构成,能够在速度、容量等方面实现更大的灵活性。第一任务可以理解为第一图像处理器的前处理,故,第一图像处理器接收第二图像处理器输出的帧图像后,按照第一任务执行图像处理算法,完成对第一图像的前处理,得到第二图像,并存储该第二图像至ping-pong buffer。
其中,第一图像处理器支持的图像处理算法是预先设置的,该图像处理算法可以包括对相机图像信号的处理功能,如美颜功能、虚化功能、拉丝功能以及滤镜功能等;该图像处理算法还可以包括对其它图像信号的处理功能,如防抖功能、降噪功能、3D渲染功能、图像融合功能等。
可选地,在一些实施例中,所述根据所述第二任务对所述第二图像进行处理,得到第三图像,包括:
获取所述缓存区中的所述第二图像;
对所述第二图像,控制所述第一图像处理器按照所述第二任务执行对应的图像处理算 法,得到所述第三图像。
第二任务可以理解为第一图像处理器的后处理,故,第一图像处理器提取ping-pong buffer的第二图像后,按照第二任务执行对应的图像处理算法,完成对第二图像的后处理,得到第三图像。
可选地,在一些实施例中,所述方法还包括:
在提取所述第二图像之后,将所述第二图像从所述缓存区中删除。
即,在第二图像被提取后,会及时将其从缓存区中删除,减少存储空间的消耗。
下面,结合具体场景说明本申请实施例的方法的应用:
步骤201、图像传感器出图;
图像传感器根据当前场景,按固定图像序列的帧率生成连续原始图像流,并交给主图像传感器进行前端处理。
步骤202、主图像处理器处理;
主图像处理器收到图像传感器传来的原始图像流后,首先将其转换为YUV格式的图像,并进行相应地防抖,人脸检测等算法处理后,将处理好的图像发给外挂图像处理器。
步骤203、外挂图像处理器接收图像并做前处理;
外挂图像处理器接收到图像后,进行第一任务中图像处理算法的处理。处理结束后将图像放入ping-pong buffer中临时保存,然后外挂处理器的前处理就可以接收下一帧的图像进行处理了。
步骤204、外挂图像处理器后处理并回传图像;
外挂图像处理器从ping-pong buffer中获取前处理后的图像,并清空ping-pong buffer。然后对获取的图像,进行第二任务中图像处理算法的处理。至此外挂图像处理器处理完成,将处理后的图像回传给主图像处理器。
步骤204、保存并显示录像视频;
主图像处理器接收到图像后,一方面送给编码器报存为录像文件,一方面送给显示器作为实时预览。
综上,本申请实施例的方法,解决了图像序列的帧率对外挂图像处理器传输处理时间要求的限制,使得外挂图像处理芯片可以支持更多更复杂的算法,同时也可以支持更高帧率的视频处理,相当于变相的提升了芯片的性能。
本申请实施例提供的图像处理方法,执行主体可以为图像处理装置。本申请实施例中以图像处理装置执行图像处理方法为例,说明本申请实施例提供的图像处理装置。
如图3所示,本申请实施例的一种图像处理装置300,包括:
第一处理模块310,用于确定第一图像的图像处理方式,所述图像处理方式包括多个图像处理算法;
第二处理模块320,用于根据图像序列的帧率和每个所述图像处理算法的处理时间,生成第一任务和第二任务;
第三处理模块330,用于根据所述第一任务对所述第一图像进行处理,得到第二图像并存储至缓存区;
第四处理模块340,用于根据所述第二任务对所述第二图像进行处理,得到第三图像;
其中,所述图像序列包括所述第一图像,所述第一任务包括所述多个图像处理算法中的一个或多个,所述第二任务包括所述多个图像处理算法中除所述第一任务之外的一个或多个图像处理算法。
可选地,所述第二处理模块包括:
第一处理单元,用于根据所述图像序列的帧率计算每帧图像处理的总时长;
第二处理单元,用于根据所述总时长和每个所述图像处理算法的处理时间,生成所述第一任务和所述第二任务;
其中,所述第一任务的处理时间小于或等于所述总时长;所述第二任务的处理时间小于或等于所述总时长。
可选地,所述第三处理模块包括:
第一控制单元,用于对所述第一图像,控制第一图像处理器按照所述第一任务执行对应的图像处理算法,得到所述第二图像;
第三处理单元,用于将所述第二图像存储至所述第一图像处理器的缓存区。
可选地,所述第四处理模块包括:
第四处理单元,用于获取所述缓存区中的所述第二图像;
第二控制单元,用于对所述第二图像,控制所述第一图像处理器按照所述第二任务执行对应的图像处理算法,得到所述第三图像。
可选地,所述装置还包括:
第五处理模块,用于在提取所述第二图像之后,将所述第二图像从所述缓存区中删除。
可选地,所述装置包括第一图像处理器和第二图像处理器;
在所述第一图像处理器接收到所述第二图像处理器传输的图像序列的情况下,所述第一图像处理器对所述图像序列执行所述多个图像处理算法;
所述装置还包括:
第五处理模块,用于根据所述第一任务对第四图像进行处理,得到第五图像并存储至缓存区;
所述第四图像为所述图像序列中所述第一图像的后一图像。
该装置能够在确定第一图像的图像处理方式后,结合图像序列的帧率和该图像处理方式中每个图像处理算法的处理时间,生成第一任务和第二任务;然后,先执行第一任务对第一图像进行处理,得到第二图像,将第二图像存储到缓存区,再执行第二任务对第二图像进行处理,得到第三图像,从而,能够在面对涉及多个图像处理算法的图像处理时,将该多个图像处理算法分解为多个任务,实现更精细地图像处理,避免对第一图像处理的遗漏或错漏。
本申请实施例中的图像处理装置可以是电子设备,也可以是电子设备中的部件,例如集成电路或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device,MID)、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,还可以为服务器、网络附属存储器(Network Attached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的图像处理装置能够实现图1至图2的方法实施例实现的各个过程,为避免重复,这里不再赘述。
可选地,如图4所示,本申请实施例还提供一种电子设备400,包括处理器401和存储器402,存储器402上存储有可在所述处理器401上运行的程序或指令,该程序或指令被处理器401执行时实现上述图像处理方法实施例的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图5为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备500包括但不限于:射频单元501、网络模块502、音频输出单元503、输入单元504、传感器505、显示单元506、用户输入单元507、接口单元508、存储器509、以及处理器510等部件。
本领域技术人员可以理解,电子设备500还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器510逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图5中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,处理器510,用于确定第一图像的图像处理方式,所述图像处理方式包括多个图像处理算法;
根据图像序列的帧率和每个所述图像处理算法的处理时间,生成第一任务和第二任务;
根据所述第一任务对所述第一图像进行处理,得到第二图像并存储至缓存区;
根据所述第二任务对所述第二图像进行处理,得到第三图像;
其中,所述图像序列包括所述第一图像,所述第一任务包括所述多个图像处理算法中的一个或多个,所述第二任务包括所述多个图像处理算法中除所述第一任务之外的一个或多 个图像处理算法。
该设备能够针对用户需求,在确定第一图像的图像处理方式后,结合图像序列的帧率和该图像处理方式中每个图像处理算法的处理时间,生成第一任务和第二任务;然后,先执行第一任务对第一图像进行处理,得到第二图像,将第二图像存储到缓存区,再执行第二任务对第二图像进行处理,得到第三图像,从而,能够在面对涉及多个图像处理算法的图像处理时,将该多个图像处理算法分解为多个任务,实现更精细地图像处理,避免对第一图像处理的遗漏或错漏。
可选地,处理器510,还用于根据所述图像序列的帧率计算每帧图像处理的总时长;
根据所述总时长和每个所述图像处理算法的处理时间,生成所述第一任务和所述第二任务;
其中,所述第一任务的处理时间小于或等于所述总时长;所述第二任务的处理时间小于或等于所述总时长。
可选地,处理器510,还用于对所述第一图像,控制第一图像处理器按照所述第一任务执行对应的图像处理算法,得到所述第二图像;
将所述第二图像存储至所述第一图像处理器的缓存区。
可选地,处理器510,还用于获取所述缓存区中的所述第二图像;
对所述第二图像,控制所述第一图像处理器按照所述第二任务执行对应的图像处理算法,得到所述第三图像。
可选地,处理器510,还用于在提取所述第二图像之后,将所述第二图像从所述缓存区中删除。
可选地,,所述电子设备包括第一图像处理器和第二图像处理器;
在所述第一图像处理器接收到所述第二图像处理器传输的图像序列的情况下,所述第一图像处理器对所述图像序列执行所述多个图像处理算法;
处理器510,还用于根据所述第一任务对第四图像进行处理,得到第五图像并存储至缓存区;
所述第四图像为所述图像序列中所述第一图像的后一图像。
应理解的是,本申请实施例中,输入单元504可以包括图形处理器(Graphics Processing Unit,GPU)5041和麦克风5042,图形处理器5041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元506可包括显示面板5061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板5061。用户输入单元507包括触控面板5071以及其他输入设备5072中的至少一种。触控面板5071,也称为触摸屏。触控面板5071可包括触摸检测装置和触摸控制器两个部分。其他输入设备5072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
存储器509可用于存储软件程序以及各种数据。存储器509可主要包括存储程序或指 令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器509可以包括易失性存储器或非易失性存储器,或者,存储器509可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本申请实施例中的存储器509包括但不限于这些和任意其它适合类型的存储器。
处理器510可包括一个或多个处理单元;可选的,处理器510集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器510中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该 要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

Claims (12)

  1. 一种图像处理方法,包括:
    确定第一图像的图像处理方式,所述图像处理方式包括多个图像处理算法;
    根据图像序列的帧率和每个所述图像处理算法的处理时间,生成第一任务和第二任务;
    根据所述第一任务对所述第一图像进行处理,得到第二图像并存储至缓存区;
    根据所述第二任务对所述第二图像进行处理,得到第三图像;
    其中,所述图像序列包括所述第一图像,所述第一任务包括所述多个图像处理算法中的一个或多个,所述第二任务包括所述多个图像处理算法中除所述第一任务之外的一个或多个图像处理算法。
  2. 根据权利要求1所述的方法,其中,所述根据图像序列的帧率和每个所述图像处理算法的处理时间,生成第一任务和第二任务,包括:
    根据所述图像序列的帧率计算每帧图像处理的总时长;
    根据所述总时长和每个所述图像处理算法的处理时间,生成所述第一任务和所述第二任务;
    其中,所述第一任务的处理时间小于或等于所述总时长,所述第二任务的处理时间小于或等于所述总时长。
  3. 根据权利要求1所述的方法,其中,所述根据所述第一任务对所述第一图像进行处理,得到第二图像并存储至缓存区,包括:
    对所述第一图像,控制第一图像处理器按照所述第一任务执行对应的图像处理算法,得到所述第二图像;
    将所述第二图像存储至所述第一图像处理器的缓存区。
  4. 根据权利要求3所述的方法,其中,所述根据所述第二任务对所述第二图像进行处理,得到第三图像,包括:
    获取所述缓存区中的所述第二图像;
    对所述第二图像,控制所述第一图像处理器按照所述第二任务执行对应的图像处理算法,得到所述第三图像。
  5. 根据权利要求4所述的方法,其中,所述方法还包括:
    在获取所述第二图像之后,将所述第二图像从所述缓存区中删除。
  6. 根据权利要求1至5中任一项所述的方法,其中,应用于电子设备,所述电子设备包括第一图像处理器和第二图像处理器;
    在所述第一图像处理器接收到所述第二图像处理器传输的图像序列的情况下,所述第一图像处理器对所述图像序列执行所述多个图像处理算法;
    所述根据所述第一任务对所述第一图像进行处理,得到第二图像并存储至缓存区之后, 还包括:
    根据所述第一任务对第四图像进行处理,得到第五图像并存储至缓存区;
    所述第四图像为所述图像序列中所述第一图像的后一图像。
  7. 一种图像处理装置,包括:
    第一处理模块,用于确定第一图像的图像处理方式,所述图像处理方式包括多个图像处理算法;
    第二处理模块,用于根据图像序列的帧率和每个所述图像处理算法的处理时间,生成第一任务和第二任务;
    第三处理模块,用于根据所述第一任务对所述第一图像进行处理,得到第二图像并存储至缓存区;
    第四处理模块,用于根据所述第二任务对所述第二图像进行处理,得到第三图像;
    其中,所述图像序列包括所述第一图像,所述第一任务包括所述多个图像处理算法中的一个或多个,所述第二任务包括所述多个图像处理算法中除所述第一任务之外的一个或多个图像处理算法。
  8. 根据权利要求7所述的装置,其中,所述第二处理模块包括:
    第一处理单元,用于根据所述图像序列的帧率计算每帧图像处理的总时长;
    第二处理单元,用于根据所述总时长和每个所述图像处理算法的处理时间,生成所述第一任务和所述第二任务;
    其中,所述第一任务的处理时间小于或等于所述总时长;所述第二任务的处理时间小于或等于所述总时长。
  9. 一种电子设备,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-6任一项所述的图像处理方法的步骤。
  10. 一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-6任一项所述的图像处理方法的步骤。
  11. 一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如权利要求1至6任一项所述的图像处理方法。
  12. 一种计算机程序产品,所述程序产品被至少一个处理器执行以实现如权利要求1至6任一项所述的图像处理方法。
PCT/CN2024/120257 2023-09-27 2024-09-23 图像处理方法、装置、电子设备及介质 Pending WO2025067090A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202311267644.2A CN117271090A (zh) 2023-09-27 2023-09-27 图像处理方法、装置、电子设备及介质
CN202311267644.2 2023-09-27

Publications (1)

Publication Number Publication Date
WO2025067090A1 true WO2025067090A1 (zh) 2025-04-03

Family

ID=89210070

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2024/120257 Pending WO2025067090A1 (zh) 2023-09-27 2024-09-23 图像处理方法、装置、电子设备及介质

Country Status (2)

Country Link
CN (1) CN117271090A (zh)
WO (1) WO2025067090A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117271090A (zh) * 2023-09-27 2023-12-22 维沃移动通信有限公司 图像处理方法、装置、电子设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366338A (zh) * 2012-03-30 2013-10-23 富士胶片株式会社 图像处理装置和图像处理方法
CN109493318A (zh) * 2018-10-09 2019-03-19 广东仙童智能机器人科技有限公司 一种图像并行处理方法、装置和计算机存储介质
CN110278373A (zh) * 2019-06-26 2019-09-24 Oppo广东移动通信有限公司 图像处理器、图像处理方法、拍摄装置和电子设备
CN114119374A (zh) * 2021-11-29 2022-03-01 北京百度网讯科技有限公司 图像处理方法、装置、设备以及存储介质
WO2023160484A1 (zh) * 2022-02-22 2023-08-31 华为技术有限公司 一种图像处理的方法及相关装置和系统
CN117271090A (zh) * 2023-09-27 2023-12-22 维沃移动通信有限公司 图像处理方法、装置、电子设备及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366338A (zh) * 2012-03-30 2013-10-23 富士胶片株式会社 图像处理装置和图像处理方法
CN109493318A (zh) * 2018-10-09 2019-03-19 广东仙童智能机器人科技有限公司 一种图像并行处理方法、装置和计算机存储介质
CN110278373A (zh) * 2019-06-26 2019-09-24 Oppo广东移动通信有限公司 图像处理器、图像处理方法、拍摄装置和电子设备
CN114119374A (zh) * 2021-11-29 2022-03-01 北京百度网讯科技有限公司 图像处理方法、装置、设备以及存储介质
WO2023160484A1 (zh) * 2022-02-22 2023-08-31 华为技术有限公司 一种图像处理的方法及相关装置和系统
CN117271090A (zh) * 2023-09-27 2023-12-22 维沃移动通信有限公司 图像处理方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN117271090A (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
CN112714253B (zh) 视频录制方法、装置、电子设备和可读存储介质
KR20230133970A (ko) 사진촬영 방법, 장치 및 전자기기
CN114339071A (zh) 图像处理电路、图像处理方法及电子设备
CN115278047A (zh) 拍摄方法、装置、电子设备和存储介质
CN112422798A (zh) 拍照方法、装置、电子设备和存储介质
CN112954212B (zh) 视频生成方法、装置及设备
WO2025067090A1 (zh) 图像处理方法、装置、电子设备及介质
WO2026067173A1 (zh) 图像处理方法、装置及电子设备
WO2026067194A1 (zh) 图像处理方法、装置及电子设备
CN113596331B (zh) 拍摄方法、装置、设备和存储介质
WO2025119132A1 (zh) 拍照方法、装置及电子设备
CN114745504A (zh) 拍摄方法和电子设备
WO2025067041A1 (zh) 视频虚化处理方法及其装置
CN112887515A (zh) 视频生成方法及装置
CN114286002B (zh) 图像处理电路、方法、装置、电子设备及芯片
CN114125297B (zh) 视频拍摄方法、装置、电子设备及存储介质
CN114143455B (zh) 拍摄方法、装置及电子设备
CN115633251A (zh) 图像处理方法、电路及电子设备
CN117479024A (zh) 图像处理方法及其装置
CN112367470B (zh) 图像处理方法、装置及电子设备
CN114500852A (zh) 拍摄方法、拍摄装置、电子设备和可读存储介质
CN113596329A (zh) 拍摄方法和拍摄装置
CN119629469B (zh) 图像拍摄方法、装置及电子设备
CN112291474A (zh) 图像获取方法、装置及电子设备
CN119767126B (zh) 帧同步方法、装置及设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24870634

Country of ref document: EP

Kind code of ref document: A1