WO2024140589A1 - 一种图像处理方法及电子设备 - Google Patents

一种图像处理方法及电子设备 Download PDF

Info

Publication number
WO2024140589A1
WO2024140589A1 PCT/CN2023/141614 CN2023141614W WO2024140589A1 WO 2024140589 A1 WO2024140589 A1 WO 2024140589A1 CN 2023141614 W CN2023141614 W CN 2023141614W WO 2024140589 A1 WO2024140589 A1 WO 2024140589A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
result
electronic device
artificial intelligence
weighting factor
Prior art date
Application number
PCT/CN2023/141614
Other languages
English (en)
French (fr)
Inventor
郭家诚
袁源
张一涵
涂娇姣
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Publication of WO2024140589A1 publication Critical patent/WO2024140589A1/zh

Links

Abstract

本申请涉及图像处理技术领域,公开了一种图像处理方法及电子设备,用以提供一种风格可以调整的图像处理方法,满足更多人的不同风格喜好。该方法中,电子设备不仅可以采用人工智能技术对原始图像信息进行图像处理,还可以通过与传统滤波图像处理技术或与原始输入信息进行加权融合,从而可以通过调整加权参数,实现得到不同处理效果的目标图像;或者,电子设备还可以与用户配置的控制参数进行融合,从而可以实现对人工智能技术训练结果的调整,也可以得到不同处理效果的目标图像。

Description

一种图像处理方法及电子设备
相关申请的交叉引用
本申请要求在2022年12月28日提交中华人民共和国知识产权局、申请号为202211693271.0、发明名称为“一种图像处理方法及电子设备”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请实施例涉及图像处理技术领域,尤其涉及一种图像处理方法及电子设备。
背景技术
随着人们对高质量图像成像的不断追求,图像处理技术得到不断的发展和演进,从传统图像处理技术到神经网络技术,图像质量也得到不断的提升。
现在神经网络技术(neural network,NN)越来越多应用到像素级别的图像处理任务中,例如人工智能(artificial intelligence,AI)去噪(AI noise reduce,AINR),AI去马赛克(AI based demosaic,AIDM),AI动态范围压缩(AI based dynamic range compression,AIDRC)。但是,这些神经网络模型有一个特点,在执行图像处理任务的时候,无法做到跟传统图像处理技术一样可以通过对算法调整参数来实现风格调整。所以一个AI模型在训练结束后,往往风格就固定下来,因此只能做到一种风格,无法做到满足众多人的图像风格喜好。
发明内容
本申请实施例提供一种图像处理方法及电子设备,用以提供一种风格可以调整的图像处理方法,满足更多人的不同风格喜好。
第一方面,本申请实施例提供了一种图像处理方法。该方法中,确定采用人工智能技术对原始图像信息进行图像处理得到的第一结果;响应于第一用户操作,获取所述第一结果对应的第一加权因子;基于所述第一加权因子,将所述第一结果与第一参数进行加权求和,得到目标图像信息;所述第一参数为采用滤波技术对所述原始图像信息进行图像处理得到的第二结果,或者,所述第一参数为所述第一结果与所述原始图像信息的差值信息。
通过该方法,电子设备可以将人工智能技术进行图像处理与传统图像处理技术或原始图像信息进行融合,从而可以实现通过对加权因子的调整,实现目标图像的风格可调。因此,该方法可以实现在无需重新训练基于人工智能技术的模型的基础上,实现对原始图像信息的图像处理程度的改变。
在一种可能的设计中,当所述第一参数为所述第二结果,所述基于所述第一加权因子,将所述第一结果与第一参数进行加权求和之前,所述方法还包括:响应于第二用户操作,获取滤波参数;所述滤波参数用于确定所述第二结果。该设计中,在人工智能技术进行图像处理与传统图像处理技术进行融合的场景中,还可以通过对传统图像参数的调整,实现目标图像的风格可调。
在一种可能的设计中,所述响应于第一用户操作,获取所述第一结果对应的第一加权因子,包括:响应于所述第一用户操作,得到用户输入的所述第一加权因子;或者,响应于所述第一用户操作,得到用户输入的第二加权因子,基于所述第二加权因子得到所述第一加权因子。
在一种可能的设计中,所述第一加权因子为第一数值时,所述目标图像与所述第一结果的差为第一差值;所述第一加权因子为第二数值时,所述目标图像与所述第一结果的差为第二差值;所述第一数值大于所述第二数值,所述第一差值小于所述第二差值。该设计中,通过对加权因子的调整,可以改变目标图像受到基于人工智能技术得到的图像处理结果的影响程度,从而可以实现目标图像的风格可变性。
在一种可能的设计中,所述采用人工智能技术进行图像处理包括以下处理中的一种或组合:人工智能去噪、人工智能去马赛克、人工智能动态范围压缩、人工智能图像锐化。可以理解,该方法可以应用于人工智能技术进行的各种图像处理中。
第二方面,本申请实施例还提供一种图像处理方法。该方法中,响应于第一用户操作,获取第二参数;所述第二参数用于调整第一模型的处理强度,所述第一模型用于指示采用人工智能技术进行图像处理;将原始图像信息和所述第二参数作为所述第一模型的输入,得到目标图像信息。
通过该实施例,电子设备可以通过为AINR模型配置可调的控制参数,从而可以实现通过对控制参 数的调整,实现对AINR模型的图像处理结果的调整,从而可以实现基于人工智能技术的图像处理的风格可调性,从而可以满足更多的图像处理场景。
在一种可能的设计中,所述第一参数为第一数值时,所述目标图像与第一结果的差为第一差值;所述第一加权因子为第二数值时,所述目标图像与所述第一结果的差为第二差值;所述第一数值大于所述第二数值,所述第一差值大于所述第二差值;其中,所述第一结果为将所述原始图像信息作为所述第一模型的输入时得到的结果。该设计中,通过对第二参数的调整,可以实现目标图像的风格可变性。
在一种可能的设计中,所述采用人工智能技术进行图像处理包括以下处理中的一种或组合:人工智能去噪、人工智能去马赛克、人工智能动态范围压缩、人工智能图像锐化。可以理解,该方法可以应用于人工智能技术进行的各种图像处理中。
第三方面,本申请提供一种电子设备,所述电子设备包括多个功能模块;所述多个功能模块相互作用,实现上述第一方面及其各实施方式中电子设备所执行的方法,或实现上述第二方面及其各实施方式中电子设备所执行的方法。所述多个功能模块可以基于软件、硬件或软件和硬件的结合实现,且所述多个功能模块可以基于具体实现进行任意组合或分割。
第四方面,本申请提供一种电子设备,包括相互耦合的非易失性存储器和处理器,所述处理器调用存储在所述存储器中的程序代码以执行上述第一方面及其各实施方式中电子设备执行的方法,或执行上述第二方面及其各实施方式中电子设备执行的方法。
第五方面,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当所述计算机程序被计算机执行时,使得所述计算机执行上述任一方面及其各可能的设计中电子设备执行的方法。
第六方面,本申请提供了一种计算机程序产品,计算机程序产品包括:计算机程序(也可以称为代码,或指令),当计算机程序被运行时,使得计算机执行上述任一方面及其各可能的设计中电子设备的方法。
第七方面,本申请实施例还提供一种电子设备上的图形用户界面,该电子设备具有显示屏、一个或多个存储器、以及一个或多个处理器,所述一个或多个处理器用于执行存储在所述一个或多个存储器中的一个或多个计算机程序,所述图形用户界面包括所述电子设备执行上述任一方面及其各可能的设计时显示的图形用户界面。例如,电子设备可以显示包括目标图像的界面。
第八方面,本申请还提供一种芯片,所述芯片用于读取存储器中存储的计算机程序,执行上述任一方面及其各可能的设计中电子设备执行的方法。
第九方面,本申请还提供一种芯片系统,该芯片系统包括处理器,用于支持计算机装置实现上述任一方面及其各可能的设计中电子设备执行的方法。在一种可能的设计中,所述芯片系统还包括存储器,所述存储器用于保存该计算机装置必要的程序和数据。该芯片系统可以由芯片构成,也可以包含芯片和其他分立器件。
上述第三方面至第九方面中任一方面及其可能的设计的有益效果请具体参阅上述第一方面中各种可能的设计和上述第二方面中各种可能的设计的有益效果,在此不再赘述。
附图说明
图1为本申请实施例提供的一种AINR技术的流程示意图;
图2为本申请实施例提供的一种电子设备的硬件架构的示意图;
图3为本申请实施例提供的一种电子设备的软件系统架构框图;
图4为本申请实施例提供的一种图像处理方法的架构示意图之一;
图5为本申请实施例提供的一种图像处理方法的流程示意图之一;
图6为本申请实施例提供的一种图像处理方法的架构示意图之二;
图7为本申请实施例提供的一种图像处理方法的流程示意图之二;
图8为本申请实施例提供的一种图像处理方法的架构示意图之三;
图9为本申请实施例提供的一种图像处理方法的流程示意图之三;
图10为本申请实施例提供的一种图像处理方法的流程示意图之四。
具体实施方式
以下,对本申请实施例中的部分用语进行解释说明,以便于本领域技术人员理解。
(1)本申请实施例中的术语“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c,a-b,a-c,b-c,或a-b-c中任意一种情况可以包括单个a、单个b、单个c,也可以包括多个a、多个b、多个c。
以及,除非有相反的说明,本申请实施例提及“第一”、“第二”等序数词是用于对多个对象进行区分,不用于限定多个对象的顺序、时序、优先级或者重要程度。例如,第一优先级准则和第二优先级准则,只是为了区分不同的准则,而并不是表示这两种准则的内容、优先级或者重要程度等的不同。
此外,本申请实施例和权利要求书及附图中的术语“包括”和“具有”不是排他的。例如,包括了一系列步骤或模块/单元的过程、方法、系统、产品或设备,不限定于已列出的步骤或模块,还可以包括没有列出的步骤或模块/单元。
(2)AINR技术,一种采用AI技术可以对带有噪声的图像进行去噪处理的图像处理技术。参阅图1,为本申请实施例提供的一种AINR技术的流程示意图。在现有的AINR任务中,带噪声的原始图像101可作为用于AINR的模型102的输入,经过用于AINR的模型102进行图像处理之后,可以输出去噪声的目标图像103。其中,用于AINR的模型102是训练得到的。因此,用于AINR的模型102一旦训练完毕,用于AINR的模型102进行AINR的风格就固化下来,而且没有参数可以调试。
然而,针对不同的图像处理任务,或者不同的图像处理场景,或者不同人的喜好,需要得到不同的去除噪声的图像处理风格,例如有人想要得到去除噪声效果较好的目标图像,还有人想要得到保留一些原始图像的噪声的目标图像,也即去除噪声一般的目标图像。由于用于AINR的模型102训练完成之后的图形处理程度固定,因此当用户需要得到其他风格的目标图像时,通常需要为了实现不同程度的去除噪声任务,重新训练用于AINR的模型102。因此,每一种去除噪声的图像处理风格,都需要训练相对应的模型,导致模型的复用较差,无法满足更多图像处理场景的业务需求。
除了AINR以外,基于AI技术的图像处理算法还包括但不限于:AI去马赛克(AI based demosaic,AIDM),AI动态范围压缩(AI based dynamic range compression,AIDRC)、AI图像锐化(AI sharpen,)。
(3)传统图像处理算法,通常采用时域和空域的滤波来实现图像处理。在传统图像处理任务中,用户可以通过调整一个或多个滤波参数,来得到具有不同图像处理效果的目标图像。通常,在面向企业级客户业务(TO business,ToB)业务中,传统图像处理算法在交付软件开发工具包(software development kit,SDK)的时候,会设计一些应用程序接口(application programming interface,API),以提供给用户调试参数的入口,例如可以通过应用程序中的控件或悬浮工具等来接收用户的参数调试。然而,虽然传统图像处理算法可以实现不同的图像处理风格,但往往需要用户进行复杂的参数调试,才能实现图像处理,因此存在操作繁琐的问题。
可以理解,采用AI技术进行的图像处理,不同的参数通常可以通过权重参数(weight)来体现,而weight是通过训练得到的,无需用户手动调试。
有鉴于此,本申请实施例提供一种图像处理方法。该方法中,基于AI技术对原始图像的图像处理,还可以融合其他图像处理方式进行的图像处理,例如可以与传统图像处理算法的处理方式进行加权求和,或AI处理结果与原始图像之间的差值进行加权求和,以及还可以融合用户可调的控制参数等。这样,在进行图像处理过程中,无需重新训练AI模型,并且还可以通过融合其他图像处理方式来实现图像处理结果的风格可调,从而可以满足更多图像处理场景的需求。
下面将结合附图,对本申请实施例进行详细描述。
本申请实施例可以应用于诸如手机、PC、平板电脑、可穿戴设备(例如,手表、手环等)、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)、智能家居设备(例如,智能电视,智能音箱等)等具有图像处理功能的电子设备。可以理解的 是,本申请实施例对电子设备的具体类型不作任何限制。
本申请实施例可以应用到的电子设备,示例性实施例包括但不限于搭载 或者其它操作系统的电子设备。上述便携式电子设备也可以是其它便携式电子设备,诸如具有触敏表面(例如触控面板)的膝上型计算机(Laptop)等。
图2示出了一种可能的电子设备的硬件结构示意图。其中,所述电子设备200包括:射频(radio frequency,RF)电路210、电源220、处理器230、存储器240、输入单元250、显示单元260、音频电路270、通信接口280、以及无线保真(wireless-fidelity,Wi-Fi)模块290等部件。本领域技术人员可以理解,图2中示出的电子设备200的硬件结构并不构成对电子设备200的限定,本申请实施例提供的电子设备200可以包括比图示更多或更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。图2中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
下面结合图2对所述电子设备200的各个构成部件进行具体的介绍:
所述RF电路210可用于通信或通话过程中,数据的接收和发送。特别地,所述RF电路210在接收到基站的下行数据后,发送给所述处理器230处理;另外,将待发送的上行数据发送给基站。通常,所述RF电路210包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noise amplifier,LNA)、双工器等。
此外,RF电路210还可以通过无线通信网络和其他设备进行通信。所述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(global system of mobile communication,GSM)、通用分组无线服务(general packet radio service,GPRS)、码分多址(code division multiple access,CDMA)、宽带码分多址(wideband code division multiple access,WCDMA)、长期演进(long termevolution,LTE)、电子邮件、短消息服务(short messaging service,SMS)等。
所述电子设备200还能够实现通信业务,与其他电子设备实现交互,因此所述电子设备200需要具有数据传输功能,即所述电子设备200内部需要包含通信模块。虽然图2示出了所述RF电路210、所述Wi-Fi模块290、和所述通信接口280等通信模块,但是可以理解的是,所述电子设备200中存在上述部件中的至少一个或者其他用于实现通信的通信模块(如蓝牙模块),以进行数据传输。
例如,当所述电子设备200为手机时,所述电子设备200可以包含所述RF电路210,还可以包含所述Wi-Fi模块290,或可以包含蓝牙模块(图2中未示出);当所述电子设备200为计算机时,所述电子设备200可以包含所述通信接口280,还可以包含所述Wi-Fi模块290,或可以包含蓝牙模块(图2中未示出);当所述电子设备200为平板电脑时,所述电子设备200可以包含所述Wi-Fi模块,或可以包含蓝牙模块(图2中未示出)。
Wi-Fi技术属于短距离无线传输技术,所述电子设备200通过Wi-Fi模块290可以连接访问接入点(access point,AP),从而实现数据网络的访问。所述Wi-Fi模块290可用于通信过程中,数据的接收和发送。
所述电子设备200可以通过所述通信接口280与其他设备实现物理连接。可选的,所述通信接口280与所述其他设备的通信接口通过电缆连接,实现所述电子设备200和其他设备之间的数据传输。
所述存储器240可用于存储软件程序以及模块。所述处理器230通过运行存储在所述存储器240的软件程序以及模块,从而执行所述电子设备200的各种功能应用以及数据处理。可选的,所述存储器240可以主要包括存储程序区和存储数据区。其中,存储程序区可存储操作系统(主要包括内核层、系统层、应用程序框架层和应用程序层等各自对应的软件程序或模块)。
此外,所述存储器240可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。本申请实施例中,所述存储器240可以存储用于实现本申请实施例提供的图像处理方法的计算机程序指令等,例如存储AI模型的计算机程序指令。
所述输入单元250可用于接收用户输入的数字或字符信息等多种不同类型的数据对象的编辑操作,以及产生与所述电子设备200的用户设置以及功能控制有关的键信号输入。可选的,输入单元250可包括触控面板251以及其他输入设备252。
其中,所述触控面板251,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在所述触控面板251上或在所述触控面板251附近的操作),并根据预先设定的程序驱动相应的连接装置。本申请实施例中,所述触控面板251可以收集用户在显示界面上 的用户操作,例如可以为用户设置加权因子的操作、或还可以为用户设置用于图像处理的参数的操作。
可选的,所述其他输入设备252可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。例如,电子设备200为笔记本电脑时,其他输入设备252可以为鼠标和/或键盘。
所述显示单元260可用于显示由用户输入的信息或提供给用户的信息以及所述电子设备200的各种菜单。所述显示单元260即为所述电子设备200的显示系统,用于呈现界面,实现人机交互。所述显示单元260可以包括显示面板261。可选的,所述显示面板261可以采用液晶显示屏(liquid crystal display,LCD)、有机发光二极管(organic light-emitting diode,OLED)等形式来配置。
所述处理器230是所述电子设备200的控制中心,利用各种接口和线路连接各个部件,通过运行或执行存储在所述存储器240内的软件程序和/或模块,以及调用存储在所述存储器240内的数据,执行所述电子设备200的各种功能和处理数据,从而实现基于所述电子设备200的多种业务。本申请实施例中,处理器230可用来实现本申请实施例提供的图像处理方法。
所述电子设备200还包括用于给各个部件供电的电源220(比如电池)。可选的,所述电源220可以通过电源管理系统与所述处理器230逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗等功能。
如图2所示,电子设备200还包括音频电路270、麦克风271和扬声器272,可提供用户与电子设备200之间的音频接口。音频电路270可用于将音频数据转换为扬声器272能够识别的信号,并将信号传输到扬声器272,由扬声器272转换为声音信号输出。麦克风271用于收集外部的声音信号(如人说话的声音、或者其它声音等),并将收集的外部的声音信号转换为音频电路270能够识别的信号,发送给音频电路270。音频电路270还可用于将麦克风271发送的信号转换为音频数据,再将音频数据输出至RF电路210以发送给比如另一电子设备,或者将音频数据输出至存储器240以便后续进一步处理。
尽管未示出,所述电子设备200还可以包括摄像头、至少一种传感器等,在此不再赘述。至少一种传感器可以包含但不限于压力传感器、气压传感器、加速度传感器、距离传感器、指纹传感器、触摸传感器、温度传感器等。
本申请实施例涉及的操作系统(operating system,OS),是运行在电子设备200上的最基本的系统软件。电子设备200的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以采用分层架构的操作系统为例,示例性说明电子设备200的软件系统架构。
图3为本申请实施例提供的一种电子设备的软件系统架构框图。如图3所示,电子设备的软件系统架构可以是分层架构,例如可以将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将操作系统分为五层,从上至下分别为应用程序层,应用程序框架层(framework,FWK),运行时和系统库,内核层,以及硬件层。
应用程序层可以包括一系列应用程序包。如图3所示,应用程序层可以包括相机、设置、皮肤模块、用户界面(user interface,UI)、第三方应用程序等。其中,第三方应用程序可以包括无线局域网(wireless local area network,WLAN)、音乐、通话、蓝牙、视频、备忘录、便签等。
一种可能的实现方式中,应用程序可以使用java语言开发,通过调用应用程序框架层所提供的应用程序编程接口(application programming interface,API)来完成,开发者可以通过应用程序框架层来与操作系统的底层(例如硬件层、内核层等)进行交互,开发自己的应用程序。该应用程序框架层主要是操作系统的一系列的服务和管理系统。
应用程序框架层为应用程序层的应用程序提供应用编程接口和编程框架。应用程序框架层包括一些预定义函数。如图3所示,应用程序框架层可以包括活动管理器,窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
活动管理器用于管理各个应用程序生命周期并提供常用的导航回退功能,为所有程序的窗口提供交互的接口。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。 显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
运行时包括核心库和虚拟机。运行时负责操作系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是操作系统的核心库。应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体框架(media framework),三维图形处理库(例如:OpenGL ES),二维图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了二维和3D图层的融合。
媒体框架支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体框架可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
二维图形引擎是二维绘图的绘图引擎。
在一些实施例中,三维图形处理库可以用于绘制三维的运动轨迹图像,二维图形引擎可以用于绘制二维的运动轨迹图像。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
硬件层可以包括各类传感器,例如加速度传感器、重力传感器、触摸传感器等。
通常电子设备200可以同时运行多个应用程序。较为简单的,一个应用程序可以对应一个进程,较为复杂的,一个应用程序可以对应多个进程。每个进程具备一个进程号(进程ID)。
为了便于理解本申请提供的图像处理方法,以下结合图4至图10所示的内容,对采用本申请提供的方法的实现过程进行介绍。
本申请实施例提供的方法可以适用于涉及图像处理的各种场景中。例如,可以应用于图像采集的场景中,为了提升采集的图像的质量,可以对采集的图像进行图像处理之后,再显示给用户。以下实施例中以AINR作为示例进行介绍,可以理解,本申请提供的方法不限定于AINR中,也可以应用于AIDM、AIDRC、AI sharpen等基于AI技术的图像处理场景中。
一种可能的实施例中,可以采用AINR和传统NR算法进行结合的架构,通过传统NR参数和加权因子的可调性,可以控制目标图像的降噪效果。参阅图4,为本申请实施例提供的一种图像处理方法的一种架构示意图。该架构中可以包括原始图像信息400、AINR 401、传统NR 402、融合器403和目标图像信息404。其中,基于图4所示的架构的图像处理流程可参阅图5所示,至少包括以下步骤:
步骤501、将原始图像信息400分别作为传统NR 402和AINR 401的输入,得到传统NR 402输出的第二结果和AINR 401输出的第一结果。
示例性的,将原始图像信息400输入到传统NR402之后,电子设备可以向用户提供NR参数调整界面,该NR参数调整界面可用于对传统NR 402的去噪程度进行调整。可选的,电子设备可以显示第一界面;其中,第一界面中可以包括目标图像信息和NR参数调整界面。当电子设备检测到用于调整NR参数的用户操作之后,响应于该用户操作,电子设备可以基于传统NR 402重新进行传统去噪处理,得到更新之后的第二结果,进而可以输出更新之后的目标图像信息,便于用户及时地获知图像实时处理效果。
可选的,NR参数可以包括但不限于:时域滤波参数、空域滤波参数、高斯滤波参数等,本申请对NR参数不进行限定。另外,电子设备向用户提供的NR参数调整界面中的可调参数可以转换为便于用户理解的用户参数,例如磨皮程度、清晰程度等。然后电子设备再基于用户参数确定对应的NR参数。
另一示例性的,将原始图像信息400输入到AINR 401之后,可以得到第一结果。
步骤502,将所述第一结果和所述第二结果作为融合器403的输入,得到融合图像处理结果之后的目标图像信息404。
示例性的,电子设备还可以向用户提供加权因子配置界面,该加权因子配置界面可用于融合器403对第一结果和第二结果的融合处理方式。可选的,加权因子配置界面可用于配置第一结果对应的第一加权因子,此时融合器403还可以确定第二结果对应的第二加权因子;可以理解,第一加权因子和第二加权因子的总和为1。另一可选的,加权因子配置界面可用于配置第二结果对应的第二加权因子,此时融合器403也可以确定第一结果对应的第一加权因子。又一可选的,加权因子配置界面可用于配置第一加权因子和第二加权因子,此时融合器403可以直接根据用户的配置确定第一加权因子和第二加权因子。
然后,电子设备可以基于第一结果以及第一加权因子、第二结果以及第二加权因子,进行加权求和,得到目标图像信息404。一种可选的场景中,在加权因子不变的基础上,NR参数的值越大,则目标图像信息404与第一结果的差值越大;另一种可选的场景中,在NR参数不变的基础上,第一加权因子的值越大,则目标图像信息404与第一结果的差值越小。
通过该实施例,电子设备可以将AINR与传统NR进行融合,从而可以实现通过对传统NR参数的调整和对加权因子的调整,实现目标图像的风格可调,从而可以实现在无需重新训练AINR的模型的基础上,实现对原始图像信息的去噪程度的改变。
另一种可能的实施例中,还可以采用AINR和原始图像信息进行结合的结构,通过加权因子的可调性,也可以控制目标图像的降噪效果。参阅图5,为本申请实施例提供的一种图像处理方法的另一种架构示意图。该架构中与图4相同之处在于都可以包括原始图像信息400、AINR 401、融合器403和目标图像信息404之外,与图4不同之处在于还包括差值器601和噪声地图602。其中,基于图6所示的架构的图像处理流程可参阅图7所示,至少包括以下步骤:
步骤701、将原始图像信息400作为AINR 401的输入,得到AINR 401输出的第一结果。示例性的,步骤701的处理过程可参阅前述图5中介绍的步骤501的内容。
步骤702、将所述第一结果与原始图像信息400通过差值器601作差,得到噪声地图602。示例性的,将第一结果与原始图像信息400作差可以得到AINR 401执行的去噪处理之后,得到的噪声地图,也可以称为噪声图像。
步骤703、将所述第一结果和所述噪声地图602作为融合器403的输出,得到融合图像处理结果之后的目标图像信息404。示例性的,通过噪声地图602与第一结果进行加权求和,可以通过不同的加权因子,得到具有不同图像处理效果的目标图像信息404。其中,第一结果可以对应第一加权因子,噪声地图602可以对应第二加权因子,第一加权因子和/或第二加权因子的获取方式可参阅图5中介绍的内容,在此不再赘述。
通过该实施例,电子设备可以将AINR与原始图像信息进行融合,从而可以实现通过对加权因子的调整,实现目标图像的风格可调,从而可以实现在无需重新训练AINR的模型的基础上,实现对原始图像信息的去噪程度的改变。
又一种可能的实施例中,还可以将原始图像信息和控制信息作为AINR的输入,通过用户对控制信息的可调性,可以控制目标图像的降噪效果。参阅图8,为本申请实施例提供的又一种架构示意图。该架构除了可以包括原始图像信息400、AINR 401和目标图像信息404之外,还可以包括控制参数801。其中,基于图8所示的架构的图像处理流程可参阅图9所示,至少可以包括以下步骤:
步骤901、响应于第一用户操作,获取第二参数;所述第二参数用于调整第一模型的处理强度,所述第一模型用于指示采用人工智能技术进行图像处理。其中,第二参数例如可以为图8中示出的控制参数801。其中,用户可以调整该控制参数801的大小,来实现AINR 401达到不同的去噪程度。可选的,AINR 401在训练过程中可以学习控制参数801,从而可以实现学习不同控制参数801的场景的,AINR 401可以输出具有不同图像处理效果的目标图像信息404。一种可选的场景中,控制参数801的差别越大,则得到的目标图像信息404之间的差别越大。
步骤902、将原始图像信息和所述第二参数作为所述第一模型的输入,得到目标图像信息。
通过该实施例,电子设备可以通过为AINR模型配置可调的控制参数,从而可以实现通过对控制参 数的调整,实现对AINR模型的图像处理结果的调整,从而可以实现基于人工智能技术的图像处理的风格可调性,从而可以满足更多的图像处理场景。
参阅图10,为本申请实施例提供的一种图像处理方法的一种流程示意图。该流程可以包括以下步骤:
步骤1001、确定采用人工智能技术对原始图像信息进行图像处理得到的第一结果。
步骤1002、响应于第一用户操作,获取所述第一结果对应的第一加权因子。
步骤1003、基于所述第一加权因子,将所述第一结果与第一参数进行加权求和,得到目标图像信息;所述第一参数为采用滤波技术对所述原始图像信息进行图像处理得到的第二结果,例如图4中示出的传统NR 402输出的第二结果;或者,所述第一参数为所述第一结果与所述原始图像信息的差值信息,例如图6中示出的噪声地图602。
基于以上实施例,本申请还提供一种电子设备,所述电子设备包括多个功能模块;所述多个功能模块相互作用,实现本申请实施例所描述的各方法中电子设备所执行的功能。所述多个功能模块可以基于软件、硬件或软件和硬件的结合实现,且所述多个功能模块可以基于具体实现进行任意组合或分割。如执行图5所示实施例中电子设备执行的步骤501至502,或者还可执行如图7所示实施例中电子设备执行的步骤701至703;又或者还可执行如图9所示实施例中电子设备执行的步骤901至902;又或者还可执行如图10所示实施例中电子设备执行的步骤1001至1003。
基于以上实施例,本申请还提供一种电子设备,该电子设备包括至少一个处理器和至少一个存储器,所述至少一个存储器中存储计算机程序指令,所述电子设备运行时,所述至少一个处理器执行本申请实施例所描述的各方法中电子设备所执行的功能。如执行图5所示实施例中电子设备执行的步骤501至502,或者还可执行如图7所示实施例中电子设备执行的步骤701至703;又或者还可执行如图9所示实施例中电子设备执行的步骤901至902;又或者还可执行如图10所示实施例中电子设备执行的步骤1001至1003。
基于以上实施例,本申请还提供一种计算机程序产品,计算机程序产品包括:计算机程序(也可以称为代码,或指令),当计算机程序被运行时,使得计算机执行本申请实施例所描述的各方法。
基于以上实施例,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当所述计算机程序被计算机执行时,使得所述计算机执行本申请实施例所描述的各方法。
基于以上实施例,本申请还提供了一种芯片,所述芯片用于读取存储器中存储的计算机程序,实现本申请实施例所描述的各方法。
基于以上实施例,本申请提供了一种芯片系统,该芯片系统包括处理器,用于支持计算机装置实现本申请实施例所描述的各方法。在一种可能的设计中,所述芯片系统还包括存储器,所述存储器用于保存该计算机装置必要的程序和数据。该芯片系统,可以由芯片构成,也可以包含芯片和其他分立器件。本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提 供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的保护范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (12)

  1. 一种图像处理方法,其特征在于,包括:
    确定采用人工智能技术对原始图像信息进行图像处理得到的第一结果;
    响应于第一用户操作,获取所述第一结果对应的第一加权因子;
    基于所述第一加权因子,将所述第一结果与第一参数进行加权求和,得到目标图像信息;所述第一参数为采用滤波技术对所述原始图像信息进行图像处理得到的第二结果,或者,所述第一参数为所述第一结果与所述原始图像信息的差值信息。
  2. 根据权利要求1所述的方法,其特征在于,当所述第一参数为所述第二结果,所述基于所述第一加权因子,将所述第一结果与第一参数进行加权求和之前,所述方法还包括:
    响应于第二用户操作,获取滤波参数;所述滤波参数用于确定所述第二结果。
  3. 根据权利要求1或2所述的方法,其特征在于,所述响应于第一用户操作,获取所述第一结果对应的第一加权因子,包括:
    响应于所述第一用户操作,得到用户输入的所述第一加权因子;或者,
    响应于所述第一用户操作,得到用户输入的第二加权因子,基于所述第二加权因子得到所述第一加权因子。
  4. 根据权利要求1至3中任一项所述的方法,其特征在于,所述第一加权因子为第一数值时,所述目标图像与所述第一结果的差为第一差值;所述第一加权因子为第二数值时,所述目标图像与所述第一结果的差为第二差值;所述第一数值大于所述第二数值,所述第一差值小于所述第二差值。
  5. 根据权利要求1至4中任一项所述的方法,其特征在于,所述采用人工智能技术进行图像处理包括以下处理中的一种或组合:人工智能去噪、人工智能去马赛克、人工智能动态范围压缩、人工智能图像锐化。
  6. 一种图像处理方法,其特征在于,包括:
    响应于第一用户操作,获取第二参数;所述第二参数用于调整第一模型的处理强度,所述第一模型用于指示采用人工智能技术进行图像处理;
    将原始图像信息和所述第二参数作为所述第一模型的输入,得到目标图像信息。
  7. 根据权利要求6所述的方法,其特征在于,所述第一参数为第一数值时,所述目标图像与第一结果的差为第一差值;所述第一加权因子为第二数值时,所述目标图像与所述第一结果的差为第二差值;所述第一数值大于所述第二数值,所述第一差值大于所述第二差值;其中,所述第一结果为将所述原始图像信息作为所述第一模型的输入时得到的结果。
  8. 根据权利要求6或7所述的方法,其特征在于,所述采用人工智能技术进行图像处理包括以下处理中的一种或组合:人工智能去噪、人工智能去马赛克、人工智能动态范围压缩、人工智能图像锐化。
  9. 一种电子设备,其特征在于,包括:相互耦合的非易失性存储器和处理器,所述处理器调用存储在所述存储器中的程序代码以执行如权利要求1-5中任一项所述的方法。
  10. 一种电子设备,其特征在于,包括:相互耦合的非易失性存储器和处理器,所述处理器调用存储在所述存储器中的程序代码以执行如权利要求6-8中任一项所述的方法。
  11. 一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,当其在处理器上运行时,实现权利要求1-5或权利要求6-8中任一项所述的方法。
  12. 一种包含指令的计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1-5或权利要求6-8中任一项所述的方法。
PCT/CN2023/141614 2022-12-28 2023-12-25 一种图像处理方法及电子设备 WO2024140589A1 (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211693271.0 2022-12-28

Publications (1)

Publication Number Publication Date
WO2024140589A1 true WO2024140589A1 (zh) 2024-07-04

Family

ID=

Similar Documents

Publication Publication Date Title
US9881353B2 (en) Buffers for display acceleration
US11762529B2 (en) Method for displaying application icon and electronic device
EP2245589B1 (en) Multi-context graphics processing
US20140191979A1 (en) Operating System Signals to Applications Responsive to Double-Tapping
US20230213973A1 (en) Notification display method and terminal
CN111147660B (zh) 一种控件的操作方法及电子设备
US9747007B2 (en) Resizing technique for display content
US20240192835A1 (en) Display method and related apparatus
US20230024608A1 (en) Automatic software performance optimization
CN110673944B (zh) 执行任务的方法和装置
US20230119849A1 (en) Three-dimensional interface control method and terminal
KR20230011349A (ko) 디바이스의 후면 부분 상의 트랙패드
CN112835501A (zh) 一种显示方法及电子设备
US8843840B2 (en) Custom user interface presentation
CN110045958A (zh) 纹理数据生成方法、装置、存储介质及设备
CN111031377B (zh) 移动终端及视频制作方法
WO2024037068A1 (zh) 任务调度方法、电子设备及计算机可读存储介质
WO2024140589A1 (zh) 一种图像处理方法及电子设备
WO2017092019A1 (zh) 根据场景改变图形处理分辨率的方法和便携电子设备
CN118279128A (zh) 一种图像处理方法及电子设备
WO2024131584A1 (zh) 一种轨迹播放方法和装置
WO2022089512A1 (zh) 一种控制负载的方法、装置及设备
CN116088715B (zh) 消息提醒方法及电子设备
EP4210308A1 (en) Message prompting method and electronic device
EP3109755A1 (en) Activation of functions through dynamic association of attributes and functions and attribute-based selection of functions