WO2022127530A1 - 电子设备及其录像控制方法、装置及存储介质 - Google Patents
电子设备及其录像控制方法、装置及存储介质 Download PDFInfo
- Publication number
- WO2022127530A1 WO2022127530A1 PCT/CN2021/132361 CN2021132361W WO2022127530A1 WO 2022127530 A1 WO2022127530 A1 WO 2022127530A1 CN 2021132361 W CN2021132361 W CN 2021132361W WO 2022127530 A1 WO2022127530 A1 WO 2022127530A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- processing chip
- processor
- frequency
- video recording
- image signal
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 242
- 230000000694 effects Effects 0.000 claims description 110
- 230000035945 sensitivity Effects 0.000 claims description 14
- 230000001360 synchronised effect Effects 0.000 claims description 11
- 230000003796 beauty Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5012—Processor sets
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本公开涉及一种电子设备及其录像控制方法、装置及存储介质。所述方法包括:基于当前的录像场景,设置应用处理芯片和图像信号处理芯片中的各个处理器的频率;以及采用第一调度策略对应用处理芯片和图像信号处理芯片中的至少一个处理器的频率进行调节。
Description
相关申请的交叉引用
本公开要求于2020年12月14日提交的申请号为202011475970.9,名称为“电子设备及其录像控制方法、装置及存储介质”的中国专利申请的优先权,其全部内容通过引用结合在本公开中。
本公开涉及图像处理技术领域,特别是涉及一种电子设备及其录像控制方法、装置及存储介质。
目前,移动终端包括具有图像信号处理的主芯片以及位于主芯片之前的图像前处理芯片,通过主芯片和图像前处理芯片对图像信号进行相应的处理。
公开内容
本公开提供一种电子设备及其录像控制方法、装置及存储介质。
一种电子设备的录像控制方法,电子设备包括应用处理芯片和图像信号处理芯片,方法包括:
基于当前的录像场景,设置应用处理芯片和图像信号处理芯片中的各个处理器的频率;以及
采用第一调度策略对应用处理芯片和图像信号处理芯片中的至少一个处理器的频率进行调节。
一种计算机可读存储介质,其上存储有电子设备的录像控制程序,该电子设备的录像控制程序被处理器执行时实现上述的电子设备的录像控制方法。
一种电子设备,包括:应用处理芯片、图像信号处理芯片、存储器、处理器及存储在存储器上并可在处理器上运行的电子设备的录像控制程序,处理器执行录像控制程序时实现以下步骤:
基于当前的录像场景,设置应用处理芯片和图像信号处理芯片中的各个处理器的频率;以及
采用第一调度策略对应用处理芯片和图像信号处理芯片中的至少一个处理器的频率进行调节。
一种电子设备的录像控制装置,包括:
设置模块,用于基于当前的录像场景,设置应用处理芯片和图像信号处理芯片中的各个处理器的频率;以及
调节模块,用于采用第一调度策略对应用处理芯片和图像信号处理芯片中的至少一个处理器的频率进行调节。
图1为一个实施例中电子设备的录像控制方法的应用环境图;
图2为一个实施例中电子设备的录像控制方法的流程示意图;
图3为另一个实施例中电子设备的录像控制方法的流程示意图;
图4为又一个实施例中电子设备的录像控制方法的流程示意图;
图5为一个实施例中电子设备的录像控制方法的软件架构示意图;
图6为另一个实施例中电子设备的录像控制方法的软件架构示意图;
图7为一个实施例中中央处理器的能耗与能力关系图;
图8为一个实施例中优化前中央处理器的能力曲线图;
图9为一个实施例中优化前中央处理器的能力曲线图;
图10为一个实施例中电子设备的录像控制装置的结构框图。
为了使本公开的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本公开进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本公开,并不用于限定本公开。
目前,移动终端包括具有图像信号处理的主芯片以及位于主芯片之前的图像前处理芯片,通过主芯片和图像前处理芯片对图像信号进行相应的处理,但是由于图像前处理芯片包括中央处理器、网络处理器等处理器且各处理器的功耗较大,尤其是网络处理器的功耗非常大,导致整机功耗非常大。
相关技术中,通过使用小模型的网络处理器来降低功耗;或者,通过降低相机传感器的分辨率与帧率来降低图像前处理芯片中各处理器的计算量以达到降低功耗的目的,但是这些方式均会影响到相机效果。基于此,本公开提供了一种既能保证相机效果又能降低整机功耗的电子设备及其录像控制方法、装置及存储介质。
本公开提供的电子设备的录像控制方法,可以应用于如图1所示的电子设备中。电 子设备包括图像信号处理芯片和应用处理芯片。
其中,应用处理芯片主要用于处理传统图像处理算法,如坏点校正、时域降噪、3D降噪、白平衡、自动曝光等,具体可包括图像信号处理(Image Signal Processing,ISP)模块、中央处理器(Central Processing Unit,CPU)、图形处理器(Graphics Processing Unit,GPU)、数字信号处理器(Digital Signal Processing,DSP)以及双倍速率同步动态随机存储器(Double Data Rate,DDR)等,图像信号处理模块可包括图像前端处理器(Image Front End,IFE)、图像处理器(Image Processing Engine,IPE)以及拜尔处理器(Bayer Processing Segment,BPS)等。
图像信号处理芯片主要用来做差异化算法,如RAW(未经加工图像)域的逆光拍照、高动态范围图像(High Dynamic Range,HDR)拍照、预览以及视频效果加强等,具体可包括前期图像信号处理(Pre Image Signal Processing,PreISP)模块、中央处理器、双倍速率同步动态随机存储器以及移动行业处理器接口(Mobile Industry Processor Interface,MIPI)等,前期图像信号处理模块可包括前端处理器(Front End,FE)、网络处理器(Neural-network Processing Unit,NPU)以及后端处理器(Back End,BE)等。电子设备可以为手机、平板电脑以及智能相机等具有拍照或摄像功能的设备。
在电子设备录像时,电子设备基于当前的录像场景,设置应用处理芯片和图像信号处理芯片中的各个处理器的频率;以及采用第一调度策略对应用处理芯片和图像信号处理芯片中的至少一个处理器的频率进行调节。
可选的,电子设备还根据录像场景的负载,预先确定应用处理芯片和图像信号处理芯片中的至少一个处理器的频率;以及根据当前的录像场景查询相应的应用处理芯片和图像信号处理芯片中的各个处理器的频率。
可选的,电子设备还判断当前的录像场景是否叠加动态效果;以及如果确定叠加动态效果,则根据动态效果获取叠加频率,并将叠加频率增加至应用处理芯片和图像信号处理芯片中的各个处理器的已设置的频率,以及采用第二调度策略对应用处理芯片和图像信号处理芯片中的至少一个处理器的叠加后的频率进行调节。
可选的,图像信号处理芯片中的处理器包括:中央处理器CPU、网络处理器NPU和双倍速率同步动态随机存储器DDR。
可选的,应用处理芯片中的处理器包括:中央处理器CPU、图形处理器GPU和数字信号处理器DSP。
可选的,录像场景包括超级夜景模式、极夜模式、人像拍照模式和通用模式。
可选的,动态效果包括HDR效果、美颜处理效果、背景虚化处理效果、炫彩效果、 防抖效果和超画质效果。
可选的,第一调度策略对处理器频率的调节敏感度小于第二调度策略对处理器频率的调节敏感度。
可选的,至少一个处理器的频率的调节区间为[Freq*(1-10%),Freq*(1+10%)],其中,Freq为至少一个处理器的频率。
下面结合附图来详细描述本公开的电子设备的录像控制方法。
在一个实施例中,如图2所示,提供了一种电子设备的录像控制方法,以该方法应用于图1所示的电子设备为例进行说明,包括以下步骤:
步骤202,基于当前的录像场景,设置应用处理芯片和图像信号处理芯片中的各个处理器的频率。
举例而言,通常电子设备(如手机)中设置有相机应用程序,当用户通过电子设备拍照或录像时,打开相机应用程序,通过相机应用程序的应用设置界面进行相关设置,如对录像场景、是否延时摄影、是否添加滤镜等进行设置,其中录像场景包括但不限于是超级夜景模式、极夜模式、人像拍照模式和通用模式。在用户通过相机应用程序设置完成后,相机中间件获得录像场景。
在本公开中,不同的录像场景,应用处理芯片和图像信号处理芯片中的各个处理器对应不同的频率,且这些频率是相机性能(效果)和功耗达到平衡时对应的频率,这样既能满足相机性能需求又能满足功耗需求。在实际应用中,可预先通过计算及测试获得不同录像模式下相机性能和功耗达到最好平衡点时应用处理芯片和图像信号处理芯片中的各个处理器的频率,而后将各个录像场景以及对应的应用处理芯片和图像信号处理芯片中的各个处理器的频率对应存储至相机中间件中。
在一个实施例中,上述的电子设备的录像控制方法还包括:根据录像场景的负载,预先确定应用处理芯片和图像信号处理芯片中的至少一个处理器的频率;以及根据当前的录像场景查询相应的应用处理芯片和图像信号处理芯片中的各个处理器的频率。
本公开中,录像场景的负载是指相机传感器输出的分辨率和帧率,不同的录像场景对应不同的分辨率和帧率。在实际应用中,可先获取不同录像场景对应的相机传感器输出的分辨率和帧率,并根据相机传感器输出的分辨率和帧率,通过计算及测试获得不同录像场景下相机性能和功耗达到最好平衡点时应用处理芯片和图像信号处理芯片中各个处理器的频率,而后将各个录像场景以及对应的应用处理芯片和图像信号处理芯片中的各个处理器的频率对应存储至相机中间件中。
在相机中间件获得当前的录像场景后,可根据当前的录像场景查找获得与之对应的 应用处理芯片和图像信号处理芯片中的各个处理器的频率,并根据查找获得的频率对应用处理芯片和图像信号处理芯片中的各个处理器的频率进行设置。例如,根据查找获得的频率,通过内核提供的节点对图像信号处理芯片中相关处理器如中央处理器、网络处理器和双倍速率同步动态随机存储器等的频率、以及应用处理芯片中相关处理器如中央处理器、图形处理器和数字信号处理器等的频率进行设置,从而使得图像信号处理芯片和应用处理芯片中各个处理器的频率与当前录像场景相匹配,使得既能满足相机性能需求又能满足功耗需求。
步骤204,采用第一调度策略对应用处理芯片和图像信号处理芯片中的至少一个处理器的频率进行调节。
本公开中,第一调度策略也称惰性调度策略,具体是指对应用处理芯片和图像信号处理芯片中各个处理器的频率的调节敏感度,反应到调节参数上为频率的调节步长,该第一调度策略对应的调节步长为较小值。
在相机中间件基于当前的录像场景对应用处理芯片和图像信号处理芯片中的各个处理器的频率设置完成后,还采用第一调度策略对应用处理芯片和图像信号处理芯片中的至少一个处理器的频率进行调节。例如,各个录像场景采用相同的第一调度策略,即采用相同的调节步长;或者,不同录像场景采用不同的第一调度策略,即采用不同的调节步长,其中录像场景的负载越高,调节步长越大,录像场景的负载越低,调节步长越小。
在一个实施例中,至少一个处理器的频率调节区间为[Freq*(1-10%),Freq*(1+10%)],其中,Freq为处理器频率,也即基于当前的录像场景获得的。可以理解的是,由于录像场景对相机性能的需求较为稳定,因此可以设置上述各个处理器的最小频率为Freq*(1-10%),最大频率为Freq*(1+10%)。
上述实施例中,通过基于当前的录像场景,设置应用处理芯片和图像信号处理芯片中的各个处理器的频率,并采用第一调度策略对应用处理芯片和图像信号处理芯片中的至少一个处理器的频率进行调节,从而既能满足相机性能需求又能满足功耗需求,有效解决了通过使用小模型的图像处理器来降低功耗,或者通过降低相机传感器的分辨率与帧率来降低图像信号处理芯片中各处理器的计算量以达到降低功耗的目的导致的相机性能受到影响的问题,同时,针对不同的录像场景设置不同的频率且采用第一调度策略进行调节,能够有效避免所有录像场景均采用同一频率导致的功耗高或者相机性能受到影响的问题。
在一个实施例中,参考图3所示,电子设备的录像控制方法还包括:
步骤S302,判断当前的录像场景是否叠加动态效果。
用户在通过相机应用程序选择录像场景后,还可通过相机应用程序对录像场景添加相应的动态效果,其中动态效果包括但不限于是HDR效果、美颜处理效果、背景虚化处理效果、炫彩效果、防抖效果和超画质效果。在用户通过相机应用程序对录像场景以及相应的动态效果添加完成后,相机中间件将获得录像场景以及需要叠加的动态效果。
步骤S304,如果确定叠加动态效果,则根据动态效果获取叠加频率,并将叠加频率增加至应用处理芯片和图像信号处理芯片中的各个处理器的已设置的频率,以及采用第二调度策略对应用处理芯片和图像信号处理芯片中的至少一个处理器的叠加后的频率进行调节。
本公开中,第二调度策略也称敏感调度策略,具体是指对应用处理芯片和图像信号处理芯片中各个处理器的频率的调节敏感度,反应到调节参数上为频率的调节步长,该第二调度策略对应的调节步长为较大值。其中,第一调度策略对处理器频率的调节敏感度小于第二调度策略对处理器频率的调节敏感度。
不同的录像场景对应不同的动态效果,且不同的动态效果对应不同的叠加频率,具体可通过计算及测试获得。例如,可预先通过计算及测试获得超级夜景模式下HDR效果、防抖效果以及超画质效果等对应的叠加频率,通过计算及测试获得极夜模式下防抖效果以及超画质效果等对应的叠加频率,依次类推,直至完成对所有录像场景下每个动态效果对应的叠加频率的获取。而后,将录像场景、每个录像场景对应的动态效果、以及每个动态效果对应的叠加频率对应存储至相机中间件。
在相机中间件获得当前的录像场景以及需要叠加的动态效果后,可先根据录像场景对应的频率对应用处理芯片和图像信号处理芯片中相关处理器的频率进行设置,并利用第一调度策略对应用处理芯片和图像信号处理芯片中相关处理器的频率进行调节,而后根据需要叠加的动态效果获取对应的叠加频率,并将该叠加频率分别叠加至应用处理芯片和图像信号处理芯片中相关处理器的频率上,以及采用第二调度策略对应用处理芯片和图像信号处理芯片中相关处理器的频率进行调节。
作为一个具体示例,录像场景、动态效果以及相应调度策略可参考表1所示:
表1
需要说明的是,对于预览场景,由于其频率是浮动的,所以在相关预览场景下,各个处理器的频率和调度策略均与通用模式一致。
上述实施例中,通过基于当前的录像场景设置应用处理芯片和图像信号处理芯片中的各个处理器的频率,并采用第一调度策略对应用处理芯片和图像信号处理芯片中的至少一个处理器的频率进行调节,同时根据需要叠加的动态效果获取叠加频率,并将该叠加频率叠加至应用处理芯片和图像信号处理芯片中的各个处理器的已设置的频率,以及采用第二调度策略对应用处理芯片和图像信号处理芯片中的至少一个处理器的叠加后的频率进行调节,从而能够满足录像场景以及需要叠加的动态效果的不同需求,有效解决因动态效果有多项、且有些动态效果又具备可变等级,难以以静态场景评估每个场景所需要预设的场景频率的问题,且频率的设置既能满足相机性能需求又能满足功耗需求。
作为一个具体示例,参考图4所示,电子设备的录像控制方法包括:
步骤S402,确定录像场景。
在用户通过相机应用程序设置完录像场景和动态效果后,相机应用程序发起录像场景和动态效果的切换操作。
步骤S404,设置应用处理芯片和图像信号处理芯片中相关处理器的频率为A,且利用第一调度策略对相关处理器的频率A进行调节。
相机中间件存储有录像场景对应的频率、动态效果对应的叠加频率以及调度策略信息。相机中间件在获得录像场景时,可根据录像场景查找获得频率,并根据该频率通过内核提供的节点设置应用处理芯片和图像信号处理芯片中相关处理器的频率,假设频率为A,并利用第一调度策略通过内核提供的节点对相关处理器的频率A进行调节。
步骤S406,判断是否设置了动态效果。如果是,则执行步骤S410;否则,执行步骤S408。
在用户设置了动态效果后,相机中间件将确定需要叠加动态效果,此时执行步骤 S410;在用户未设置动态效果时,相机中间件将确定不需要叠加动态效果,此时执行步骤S408。
步骤S408,录像场景使用。
步骤S410,设置应用处理芯片和图像信号处理芯片中相关处理器的频率为A_dynamic,且利用第二调度策略对相关处理器的频率A_dynamic进行调节。
在相机中间件确定需要叠加动态效果后,依据动态效果查找获得叠加频率,并通过内核提供的节点将该叠加频率叠加至相关的处理器频率上,最终处理器频率为A_dynamic。而后,设置与动态效果相关的处理器为第二调度策略,即利用第二调度策略通过内核提供的节点对相关处理器频率A_dynamic进行调节。
步骤S412,判断是否关闭了所有动态效果。如果是,返回步骤S404;否则,返回步骤S410。
简言之,参考图5所示,电子设备的录像控制方法可包括:相机应用程序在接收到用户设置的录像场景和动态效果后,发起录像场景和动态效果的切换操作。相机中间件存储有录像场景和动态效果对应的频率信息,以及调度策略信息,相机中间件根据录像场景和动态效果查找相应的频率,并通过内核提供的节点设置对应频率和调节策略,其中内核提供设置对应频率与调度策略的节点,例如内核提供应用处理芯片中中央处理器的频率与调度策略的节点、应用处理芯片中图形处理器的频率与调度策略的节点等。
具体地,参考图6所示,电子设备的录像控制方法可包括:相机应用程序在接收到用户设置的录像场景和动态效果后,发起录像场景和动态效果的切换操作。软件层中的相机服务器在接收到录像场景和动态效果的切换操作后,将其传递给相机硬件抽象层中图像信号处理芯片的硬件抽象层的功耗管理层,功耗管理层存储有录像场景和动态效果对应的频率以及调度策略信息,同时内核驱动中的温度传感器提供图像信号处理芯片和整机的温度信息给功耗管理层。
图像信号处理芯片的硬件抽象层根据录像场景和动态效果查找相应的频率,包括录像场景对应的频率和动态效果对应的叠加频率,并将与图像信号处理芯片相关的频率传递给图像信号处理芯片的驱动,图像信号处理芯片的驱动根据接收的频率对相关处理器进行设置,如对图像信号处理芯片的双倍速率同步动态随机存储器和图像信号处理芯片的中央处理器进行设置,同时,将与应用处理芯片相关的频率传递给图像信号处理芯片的服务器,图像信号处理芯片的服务器将相关频率传递给功耗管理服务器,由功耗管理服务器通知给功耗硬件抽象层,通过功耗硬件抽象层对应用处理芯片的中央处理器和图形处理器进行设置。
在上述实施例中,基于录像场景和动态效果的性能需求,设置应用处理芯片和图像信号处理芯片中相关处理器的频率,且该频率是相机性能和功耗之间最好平衡点,并且针对录像场景和动态效果对相机性能需求稳定性不一致的情况,分别设置了第一和第二调度策略,从而能够在保证各个录像场景的性能需求下降低功耗。
为了验证本公开的有效性,下面参考图7-图9进行说明。该示例中,参考图7所示,中央处理器采用由小核、大核和超大核构成的三簇架构,包括四个小核、三个大核和一个超大核。其中,直线1表示功耗相同下,大核可以提供比超大核更多的性能,直线2表示功耗相同下,小核可以提供比大核更多的性能,这也是在录像模式下设置第一调度策略的原因。因为如果由于一些任务的冲突导致小核切换到大核,一是会导致中央处理器的任务迁移消耗,二是会导致任务在能效比更差的大核上运行,如图8所示。而在采用了本公开提供的方案后,即使出现一些任务冲突也不会发生任务迁移,虽然小核的任务会加重,但是整体功耗会减少,使得能效达到最优,从而既能保证相机效果又能降低整机功耗。
应该理解的是,虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-6中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,提供一种计算机可读存储介质,其上存储有电子设备的录像控制程序,该电子设备的录像控制程序被处理器执行时实现上述的电子设备的录像控制方法。
在一个实施例中,提供一种电子设备,包括:应用处理芯片、图像信号处理芯片、存储器、处理器及存储在存储器上并可在处理器上运行的电子设备的录像控制程序,处理器执行录像控制程序时实现以下步骤:
步骤A:基于当前的录像场景,设置应用处理芯片和图像信号处理芯片中的各个处理器的频率;以及
步骤B:采用第一调度策略对应用处理芯片和图像信号处理芯片中的至少一个处理器的频率进行调节。
在一个实施例中,处理器执行录像控制程序时还实现:根据录像场景的负载,预先 确定应用处理芯片和图像信号处理芯片中的至少一个处理器的频率;以及根据当前的录像场景查询相应的应用处理芯片和图像信号处理芯片中的各个处理器的频率。
在一个实施例中,处理器执行录像控制程序时还实现:判断当前的录像场景是否叠加动态效果;以及如果确定叠加动态效果,则根据动态效果获取叠加频率,并将叠加频率增加至应用处理芯片和图像信号处理芯片中的各个处理器的已设置的频率,以及采用第二调度策略对应用处理芯片和图像信号处理芯片中的至少一个处理器的叠加后的频率进行调节。
在一个实施例中,图像信号处理芯片中的处理器包括:中央处理器CPU、网络处理器NPU和双倍速率同步动态随机存储器DDR。
在一个实施例中,应用处理芯片中的处理器包括:中央处理器CPU、图形处理器GPU和数字信号处理器DSP。
在一个实施例中,录像场景包括超级夜景模式、极夜模式、人像拍照模式和通用模式。
在一个实施例中,动态效果包括HDR效果、美颜处理效果、背景虚化处理效果、炫彩效果、防抖效果和超画质效果。
在一个实施例中,第一调度策略对处理器频率的调节敏感度小于第二调度策略对处理器频率的调节敏感度。
在一个实施例中,至少一个处理器的频率的调节区间为[Freq*(1-10%),Freq*(1+10%)],其中,Freq为至少一个处理器的频率。
关于电子设备的具体限定可以参见上文中对于电子设备的录像控制方法的限定,在此不再赘述。
在一个实施例中,参考图10所示,提供一种电子设备的录像控制装置,包括:设置模块10和调节模块20。
其中,设置模块10用于基于当前的录像场景,设置应用处理芯片和图像信号处理芯片中的各个处理器的频率;调节模块20用于采用第一调度策略对应用处理芯片和图像信号处理芯片中的至少一个处理器的频率进行调节。
在一个实施例中,设置模块10还用于:根据录像场景的负载,预先确定应用处理芯片和图像信号处理芯片中的至少一个处理器的频率;以及根据当前的录像场景查询相应的应用处理芯片和图像信号处理芯片中的各个处理器的频率。
在一个实施例中,调节模块20还用于:判断当前的录像场景是否叠加动态效果;如果确定叠加动态效果,则根据动态效果获取叠加频率,并将叠加频率增加至应用处理 芯片和图像信号处理芯片中的各个处理器的已设置的频率,以及采用第二调度策略对应用处理芯片和图像信号处理芯片中的至少一个处理器的叠加后的频率进行调节。
在一个实施例中,图像信号处理芯片中的处理器包括:中央处理器CPU、网络处理器NPU和双倍速率同步动态随机存储器DDR。
在一个实施例中,应用处理芯片中的处理器包括:中央处理器CPU、图形处理器GPU和数字信号处理器DSP。
在一个实施例中,录像场景包括超级夜景模式、极夜模式、人像拍照模式和通用模式。
在一个实施例中,动态效果包括HDR效果、美颜处理效果、背景虚化处理效果、炫彩效果、防抖效果和超画质效果。
在一个实施例中,第一调度策略对处理器频率的调节敏感度小于第二调度策略对处理器频率的调节敏感度。
在一个实施例中,至少一个处理器的频率的调节区间为[Freq*(1-10%),Freq*(1+10%)],其中,Freq为至少一个处理器的频率。
关于电子设备的录像控制装置的具体限定可以参见上文中对于电子设备的录像控制方法的限定,在此不再赘述。上述电子设备的录像控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
上述电子设备及其录像控制方法、装置及存储介质,通过基于当前的录像场景,设置应用处理芯片和图像信号处理芯片中的各个处理器的频率,并采用第一调度策略对应用处理芯片和图像信号处理芯片中的至少一个处理器的频率进行调节,从而既能保证录像效果又能降低整机功耗。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本公开所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、 双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本公开的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对公开专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本公开构思的前提下,还可以做出若干变形和改进,这些都属于本公开的保护范围。因此,本公开专利的保护范围应以所附权利要求为准。
Claims (20)
- 一种电子设备的录像控制方法,所述电子设备包括应用处理芯片和图像信号处理芯片,所述方法包括:基于当前的录像场景,设置所述应用处理芯片和所述图像信号处理芯片中的各个处理器的频率;以及采用第一调度策略对所述应用处理芯片和所述图像信号处理芯片中的至少一个处理器的频率进行调节。
- 如权利要求1所述的方法,其中,所述方法还包括:根据录像场景的负载,预先确定所述应用处理芯片和所述图像信号处理芯片中的至少一个处理器的频率;以及根据所述当前的录像场景查询相应的应用处理芯片和图像信号处理芯片中的各个处理器的频率。
- 如权利要求1所述的方法,其中,还包括:判断所述当前的录像场景是否叠加动态效果;以及如果确定叠加所述动态效果,则根据所述动态效果获取叠加频率,并将所述叠加频率增加至所述应用处理芯片和所述图像信号处理芯片中的各个处理器的已设置的频率,以及采用第二调度策略对所述应用处理芯片和所述图像信号处理芯片中的至少一个处理器的叠加后的频率进行调节。
- 如权利要求1或2所述的方法,其中,所述图像信号处理芯片中的处理器包括:中央处理器CPU、网络处理器NPU和双倍速率同步动态随机存储器DDR。
- 如权利要求1或2所述的方法,其中,所述应用处理芯片中的处理器包括:中央处理器CPU、图形处理器GPU和数字信号处理器DSP。
- 如权利要求1或2所述的方法,其中,所述录像场景包括超级夜景模式、极夜模式、人像拍照模式和通用模式。
- 如权利要求3所述的方法,其中,所述动态效果包括HDR效果、美颜处理效果、背景虚化处理效果、炫彩效果、防抖效果和超画质效果。
- 如权利要求3所述的方法,其中,所述第一调度策略对处理器频率的调节敏感度小于所述第二调度策略对处理器频率的调节敏感度。
- 如权利要求1所述的方法,其中,所述至少一个处理器的频率的调节区间为[Freq*(1-10%),Freq*(1+10%)],其中,Freq为所述至少一个处理器的频率。
- 一种计算机可读存储介质,其上存储有电子设备的录像控制程序,该电子设备的录像控制程序被处理器执行时实现如权利要求1-9中任一项所述的电子设备的录像控制方法。
- 一种电子设备,包括:应用处理芯片、图像信号处理芯片、存储器、处理器及存储在存储器上并可在处理器上运行的电子设备的录像控制程序,所述处理器执行所述录像控制程序时实现以下步骤:基于当前的录像场景,设置所述应用处理芯片和所述图像信号处理芯片中的各个处理器的频率;以及采用第一调度策略对所述应用处理芯片和所述图像信号处理芯片中的至少一个处理器的频率进行调节。
- 如权利要求11所述的电子设备,其中,所述处理器执行所述录像控制程序时还实现:根据录像场景的负载,预先确定所述应用处理芯片和所述图像信号处理芯片中的至少一个处理器的频率;以及根据所述当前的录像场景查询相应的应用处理芯片和图像信号处理芯片中的各个处理器的频率。
- 如权利要求11所述的电子设备,其中,所述处理器执行所述录像控制程序时还实现:判断所述当前的录像场景是否叠加动态效果;以及如果确定叠加所述动态效果,则根据所述动态效果获取叠加频率,并将所述叠加频率增加至所述应用处理芯片和所述图像信号处理芯片中的各个处理器的已设置的频率,以及采用第二调度策略对所述应用处理芯片和所述图像信号处理芯片中的至少一个处理器的叠加后的频率进行调节。
- 如权利要求11或12所述的电子设备,其中,所述图像信号处理芯片中的处理器包括:中央处理器CPU、网络处理器NPU和双倍速率同步动态随机存储器DDR。
- 如权利要求11或12所述的电子设备,其中,所述应用处理芯片中的处理器包括:中央处理器CPU、图形处理器GPU和数字信号处理器DSP。
- 如权利要求11或12所述的电子设备,其中,所述录像场景包括超级夜景模式、极夜模式、人像拍照模式和通用模式。
- 如权利要求13所述的电子设备,其中,所述动态效果包括HDR效果、美颜处理效果、背景虚化处理效果、炫彩效果、防抖效果和超画质效果。
- 如权利要求13所述的电子设备,其中,所述第一调度策略对处理器频率的调节敏感度小于所述第二调度策略对处理器频率的调节敏感度。
- 如权利要求11所述的电子设备,其中,所述至少一个处理器的频率的调节区间为[Freq*(1-10%),Freq*(1+10%)],其中,Freq为所述至少一个处理器的频率。
- 一种电子设备的录像控制装置,其特征在于,包括:设置模块,用于基于当前的录像场景,设置所述应用处理芯片和所述图像信号处理芯片中的各个处理器的频率;以及调节模块,用于采用第一调度策略对所述应用处理芯片和图像信号处理芯片中的至少一个处理器的频率进行调节。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011475970.9 | 2020-12-14 | ||
CN202011475970.9A CN114625526A (zh) | 2020-12-14 | 2020-12-14 | 电子设备及其录像控制方法、装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022127530A1 true WO2022127530A1 (zh) | 2022-06-23 |
Family
ID=81897123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/CN2021/132361 WO2022127530A1 (zh) | 2020-12-14 | 2021-11-23 | 电子设备及其录像控制方法、装置及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114625526A (zh) |
WO (1) | WO2022127530A1 (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103955264A (zh) * | 2014-05-15 | 2014-07-30 | 乐视致新电子科技(天津)有限公司 | 动态调节处理器工作频率的方法及系统 |
CN104346226A (zh) * | 2013-08-09 | 2015-02-11 | 联想(北京)有限公司 | 处理器频率控制方法及电子设备 |
CN107678855A (zh) * | 2017-09-19 | 2018-02-09 | 中国电子产品可靠性与环境试验研究所 | 处理器动态调节方法、装置及处理器芯片 |
CN110035225A (zh) * | 2017-12-28 | 2019-07-19 | 豪威科技股份有限公司 | 用于智能相机系统的能量优化的质量驱动的动态频率调整 |
CN110209501A (zh) * | 2019-06-03 | 2019-09-06 | Oppo广东移动通信有限公司 | 图形处理器的频率调整方法、装置、终端及存储介质 |
-
2020
- 2020-12-14 CN CN202011475970.9A patent/CN114625526A/zh active Pending
-
2021
- 2021-11-23 WO PCT/CN2021/132361 patent/WO2022127530A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104346226A (zh) * | 2013-08-09 | 2015-02-11 | 联想(北京)有限公司 | 处理器频率控制方法及电子设备 |
CN103955264A (zh) * | 2014-05-15 | 2014-07-30 | 乐视致新电子科技(天津)有限公司 | 动态调节处理器工作频率的方法及系统 |
CN107678855A (zh) * | 2017-09-19 | 2018-02-09 | 中国电子产品可靠性与环境试验研究所 | 处理器动态调节方法、装置及处理器芯片 |
CN110035225A (zh) * | 2017-12-28 | 2019-07-19 | 豪威科技股份有限公司 | 用于智能相机系统的能量优化的质量驱动的动态频率调整 |
CN110209501A (zh) * | 2019-06-03 | 2019-09-06 | Oppo广东移动通信有限公司 | 图形处理器的频率调整方法、装置、终端及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114625526A (zh) | 2022-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102149187B1 (ko) | 전자 장치와, 그의 제어 방법 | |
US10467496B2 (en) | Temporal filtering of independent color channels in image data | |
US20160037060A1 (en) | Generating a high dynamic range image using a temporal filter | |
WO2021143300A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN109951639A (zh) | 摄像头防抖系统、方法、电子设备和计算机可读存储介质 | |
CN109978774B (zh) | 多帧连续等曝光图像的去噪融合方法及装置 | |
US20200342291A1 (en) | Neural network processing | |
WO2019170007A1 (zh) | 图像色彩调整方法及装置 | |
CN103905740B (zh) | 一种手动调整改善自动曝光效果的方法及装置 | |
US9299128B2 (en) | Delta interpolation for upsampling imaging solution | |
WO2016082347A1 (zh) | 亮度补偿方法、装置和计算机存储介质 | |
US20210082085A1 (en) | Methods and apparatus for optimized stitching of overcapture content | |
JP2023509744A (ja) | スーパー夜景画像の生成方法、装置、電子機器および記憶媒体 | |
WO2024007948A1 (zh) | 频闪图像处理方法、装置、电子设备和可读存储介质 | |
WO2022127530A1 (zh) | 电子设备及其录像控制方法、装置及存储介质 | |
CN107682611A (zh) | 对焦的方法、装置、计算机可读存储介质和电子设备 | |
CN116095502B (zh) | 一种多曝光图像融合的方法和装置 | |
US20210321030A1 (en) | Bandwidth and power reduction for staggered high dynamic range imaging technologies | |
US20140055639A1 (en) | Raw data processing apparatus, raw data processing method and imaging device | |
US20230086519A1 (en) | Multimedia processing chip, electronic device, and method for dynamic-image processing | |
JP6946966B2 (ja) | 画像生成装置及び方法 | |
CN110706162A (zh) | 一种图像处理方法、装置及计算机存储介质 | |
US11394880B2 (en) | Edge-based sharpness strength control circuit, image sensing device and operation method of the same | |
CN114727082B (zh) | 图像处理装置、图像信号处理器、图像处理方法和介质 | |
CN110874816A (zh) | 一种图像处理方法、装置、移动终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21905459 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21905459 Country of ref document: EP Kind code of ref document: A1 |