WO2021008420A1 - 图层合成方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种图层合成方法、装置、电子设备及存储介质。所述方法包括：获取待显示界面的多个图层；判断图形处理器的当前资源占用率是否小于预设阈值；若所述图形处理器的当前资源占用率小于预设阈值，通过所述图形处理器对所述多个图层进行合成，获得待显示界面用于显示；若所述图形处理器的当前资源占用率大于或等于预设阈值，通过所述图形处理器和多媒体显示处理器配合对所述多个图层进行合成，获得待显示界面用于显示，从而避免由于图形处理器的功耗较高而导致电子设备整体功耗较高。

Description

图层合成方法、装置、电子设备及存储介质

本申请要求于2019年7月17日提交的申请号为201910647102.5的中国专利申请的优先权，在此通过引用将其全部内容并入本文。

技术领域

本申请涉及图像处理技术领域，更具体地，涉及一种图层合成方法、装置、电子设备及存储介质。

背景技术

随着电子技术的发展，具有图像显示功能的电子设备(如手机或平板电脑等)越来越多，电子设备的显示界面通常有多个显示图层，通过对多个显示图层进行合成显示在电子设备上。但是，电子设备在合成图层时，功耗较高。

发明内容

鉴于上述问题，本申请提出了一种图层合成方法、装置、电子设备及存储介质，以改善上述问题。

第一方面，本申请实施例提供了一种图层合成方法，所述方法包括：获取待显示界面的多个图层；判断图形处理器(GPU，Graphics Processing Unit)的当前资源占用率是否小于预设阈值；若所述GPU的当前资源占用率小于预设阈值，通过所述GPU对所述多个图层进行合成，获得待显示界面用于显示；若所述GPU的当前资源占用率大于或等于预设阈值，通过所述GPU和多媒体显示处理器(MDP，Multimedia Display Processor)配合对所述多个图层进行合成，获得待显示界面用于显示。

第二方面，本申请实施例提供了一种图层合成装置，所述装置包括：图层获取模块，用于获取待显示界面的多个图层；判断模块，用于判断图形处理器(GPU，Graphics Processing Unit)的当前资源占用率是否小于预设阈值；第一合成模块，用于若所述GPU的当前资源占用率小于预设阈值，通过所述GPU对所述多个图层进行合成，获得待显示界面用于显示；第二合成模块， 用于若所述GPU的当前资源占用率大于或等于预设阈值，通过所述GPU和多媒体显示处理器(MDP，Multimedia Display Processor)配合对所述多个图层进行合成，获得待显示界面用于显示。

第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器、图形处理器(GPU，Graphics Processing Unit)以及多媒体显示处理器(MDP，Multimedia Display Processor)，所述存储器、GPU以及MDP耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时，所述处理器执行上述的方法，所述GPU和所述MDP执行上述方法中的图层合成。。

第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述的方法。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提供的图像处理的逻辑框架图。

图2示出了本申请实施例提供的一种显示界面示意图。

图3示出了图2所示的显示界面对应的图层示意图。

图4示出了本申请实施例提供的图层合成方法的一种流程图。

图5示出了本申请实施例提供的图层合成方法的另一种流程图。

图6示出了本申请实施例提供的图层合成方法部分步骤的流程图。

图7示出了本申请实施例提供的图层合成方法的又一流程图。

图8示出了本申请实施例提供的图层合成装置的功能模块图。

图9示出了本申请实施例提供的电子设备的结构框图。

图10是本申请实施例的用于保存或者携带实现根据本申请实施例的图层合成方法的程序代码的存储介质。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施 例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

应用程序(application)可以通过窗口管理器(Windows manager)创建窗口(window)，窗口管理器为每一个窗口创建绘图表面(Surface)用于在上面绘制各种需要显示的元素，每个surface对应一个图层，即可以在每个surface绘制一个图层。

在显示界面(如Activity)中，可以包括多个图层，如导航栏、状态栏、程序界面等。每个图层在相应的surface进行绘制，即在每个surface进行对应的图层的绘制，具体可以通过硬件加速渲染器(HWUI)和/或Skia图形库等在surface提供的画布(cavas)进行图层绘制。

系统(System)再使用图层传递模块(Surface Flinger)服务将各个surface进行合成，即将各个图层进行合成。其中，SurfaceFlinger服务运行在系统进程中，用来统一管理系统的帧缓冲区(FrameBuffer)，SurfaceFlinger获取所有的图层，可以使用图像处理器(GPU,Graphics Processing Unit)对图层进行合成，将合成的结果保存到帧缓存区。在本申请实施例中，GPU可以对所有或者部分图层进行合成。其中，当GPU对一个待显示的显示界面中的部分图层进行合成时，硬件图层混合器(HWC,Hardware composer)可以将SurfaceFlinger通过GPU合成的结果与其他图层一起合成，具体的，如图1所示，HWC可以调用多媒体显示处理器(MDP，Multimedia Display Processor)，对帧缓冲区中GPU合成后获得的图层与其他尚未合成的图层进行图层的合成，最终形成BufferQueue中的一个Buffer，再在显示驱动的作用下，将Buffer中合成的图像用于显示。

也就是说，电子设备的显示屏可以进行显示界面的显示，在显示界面中可能包括多个图层，即显示界面由多个图层合成。其中，每一个图层都是由许多像素组成的，各个图层通过叠加的方式组成整个图像，形成电子设备的显示界面。图层可以将页面上的元素精确定位，图层中可以加入文本、图片、表格、插件，也可以在里面再嵌套图层。对于图层以及图层合成的图像，可以通俗地理解为，图层就像是含有文字或图形等元素的胶片，一张张图层按指定的顺序叠放在一起，组合起来形成的最终图像效果，就是由图层组合形成的图像，例如电子设备的显示界面。当然，可以理解的是，图层并不是真的胶片，上述描述只是为了便于理解的比喻。例如图2所示的电子设备的桌面显示界面100，包括的多个图层，分别为状态栏101、导航栏102、墙纸103以及图标层104。

为了使显示界面在显示屏进行显示，需要将显示界面的各个图层进行合 成。例如将图3所示的状态栏101、导航栏102、墙纸103以及图标层104合成为图2所示的显示界面100。发明人发现，由于GPU是一个通用的图形处理器，在图形处理上比MDP功能强，除了能够做2维图像处理，还能做3维图像处理、特效等，一次性可以叠加多个图层，仅通过常用的图层合成方式GPU进行图层合成时，可以合成的图层数量基本不受限制，但是功耗相对较高。

而MDP是一个专用的显示图像处理单元，能够做常规的2维图像处理，主要用于做多个图层的合成叠加，且功耗低。但是MDP一次性能合成的图层数量有限。具体的，MDP一次性能合成的图层数量与MDP中FIFO管道数量对应，MDP一次性能够叠加的图层越多，在其内部需要更多的FIFO管道，这都是比较昂贵的电路，因此，MDP可以合成的图层数量越多，成本越高。在某些厂商的高端平台中，MDP也最多只有8个FIFO管道，一次性最多能够合成叠加8个图层，而在中低端平台，一个MDP可能只有4个FIFO管道，一次性最多只能够叠加4个图层。因此，若仅通过MDP进行图层合成，由于MDP一次性可以合成图层的数量有限，对于某些图层较多的待显示的显示界面，MDP无法处理，或者需要分多次合成，影响合成速度。

若在任何情况下都通过GPU进行图层合成，则可能导致电子设备功耗过高，影响电子设备的续航时间以及运行速度。若在任何情况下都通过功耗较低的MDP进行合成，又有可能超出MDP的合成能力限制。因此，发明人提出了本申请实施例的图层合成方法、装置、电子设备及存储介质，在GPU资源占用率较低的情况下可以偏向于采用GPU进行合成，利用GPU较高的合成能力获得较好的合成效果，并且，由于GPU的资源占用率低，通过GPU进行合成不会使电子设备产生过高功耗。若GPU的资源占用率过高，再利用GPU进行图层合成，则会由于GPU的资源占用率过高导致电子设备功耗过高，在该情况下，可以利用MDP和GPU混合合成，通过MDP功耗低的特性降低合成过程中的整体功耗。下面对本申请实施例的图层合成方法进行详细介绍。

图4示出了本申请实施例提供的图层合成方法的流程图，该图层合成方法应用于电子设备。具体的，该图层合成方法包括：

步骤S110：获取待显示界面的多个图层。

电子设备在显示过程中，在显示屏进行显示界面的显示。显示屏显示的显示界面作为待显示界面，包括多个图层。在进行合成前，获取该待显示界面的多个图层。具体获取方式并不限定，例如获取前述渲染合成过程中所描述的对应该待显示界面的各个surface。例如图2所示的桌面显示界面100作为待显 示界面时，获取到的多个图层则包括如图3所示的状态栏101、导航栏102、墙纸103以及图标层104。

步骤S120：判断图形处理器(GPU，Graphics Processing Unit)的当前资源占用率是否小于预设阈值。若所述GPU的当前资源占用率小于预设阈值，执行步骤S130；若所述GPU的当前资源占用率大于或等于预设阈值，执行步骤S140。

若GPU的资源占用率过高，则通过GPU进行图层合成时，会由于GPU的功耗过高导致电子设备的整体功耗过高。因此，可以在确定合成方式前确定GPU的资源占用率的高低。

在本申请实施例中，可以先获取GPU当前的资源占用率。该资源占用率即GPU的使用率，具体获取方式在本申请实施例中并不限制，例如可以是，调用相关的库查看GPU的资源占用率；可以是通过命令获取GPU的资源占有率，例如在安卓系统中，通过adb命令adb shell cat/d/ged/hal/gpu_utilization；可以是通过命令获取GPU的使用量占总量的比值，例如在安卓系统中，通过adb命令adb shell cat/sys/class/kgsl/kgsl-3d0/gpubusy获取到两个值，通过前一个值比后一个值再乘以百分之百，获得GPU的资源占用率。

判断GPU的资源占用率与预设阈值之间的大小关系。其中，预设阈值可以是预先设置的一个比例值，设置的标准可以是，当GPU的资源占用率高于该预设阈值，则GPU的功耗过高，会影响电子设备的运行速度、使电子设备过热等，具体值可以通过预先测试确定。

在本申请实施例中，GPU的当前资源占用率可以在每次需要进行图层合成时获取；另外，由于GPU的资源占用率在一定时间段内可能比较接近，为了减少数据处理量，也可以每隔预设时间段获取，每次判断GPU的当前资源占用率与预设阈值之间的大小关系时，以最近一次获取的资源占用率作为该当前资源占用率进行判断，即可以每隔预设时间段获取图形处理器的资源占用率；以最近一次获取的资源占用率作为当前资源占用率，用于判断图形处理器的当前资源占用率是否小于预设阈值。

步骤S130：通过所述GPU对所述多个图层进行合成，获得待显示界面用于显示。

若GPU的资源占用率低于预设阈值，则表示GPU的资源占用率处于一个较低的状态，若通过GPU进行图层合成，也不会由于GPU图层合成时合成处理产生功耗较高而导致GPU整体功耗过高，因此，可以通过GPU进行待显示界面的多个图层的合成，有效利用GPU良好的图层合成能力。GPU将图层合 成后获得的图像，则为用于显示的待显示界面。例如图3所示的多个图层状态栏101、导航栏102、墙纸103以及图标层104合成后，可以得到图2所示的桌面显示界面100。

步骤S140：通过所述GPU和多媒体显示处理器(MDP，Multimedia Display Processor)配合对所述多个图层进行合成，获得待显示界面用于显示。

若判定GPU的资源占用率高于预设阈值，则表明GPU的资源占用率过高。若继续将所有图层通过GPU合成，则GPU的整体功耗更高，可能导致电子设备过热、运行速度变慢等，不仅影响电子设备的续航时间，可能还影响电子设备的运行速度，反而无法有效发挥GPU良好的图层合成能力。

因此，可以通过功耗较低的MDP与GPU协作进行图层合成。具体的，可以将待显示界面的部分图层分配给GPU进行合成，另一部分图层分配给MDP进行合成。

其中，需要将GPU的合成结果以及MDP的合成结果相合成作为最后用于显示的待显示界面，在本申请实施例中，该合成以获得最终的待显示界面可以由MDP实现，以使电子设备的图层合成过程中功耗尽可能地低。即GPU将分配给GPU的图层合成作为中间图层，MDP将中间图层以及分配给MDP的图层进行合成，获得待显示界面用于显示。

例如，图3所示的桌面显示界面100中的多个图层分别为状态栏101、导航栏102、墙纸103以及图标层104，在GPU的资源占用率低于预设阈值的情况下，GPU将状态栏101、导航栏102、墙纸103以及图标层104合成活动图2所示的桌面显示界面用于显示；在GPU的资源占用率大于或等于预设阈值的情况下，通过GPU对状态栏101以及导航栏102合成作为中间图层，MDP将中间图层、墙纸103以及图标层104合成，得到最终合成的待显示界面。

可选的，GPU合成获得中间图层后，可以存储于帧缓冲区中，若显示于屏幕的待显示界面更新过程中，中间图层包括的各图层都没有更新，则帧缓冲区中的该中间图层保持不变，不需要再次合成该中间图层，降低中间图层合成频率。在待显示界面刷新时，MDP可以读取帧缓冲区中的中间图层，用于与分配给MDP的图层合成为最终的用于显示的界面。即在待显示界面更新时，MDP可以读取帧缓冲区的中间图层，将该中间图层与新的待显示界面的其他图层合成。

可选的，在GPU对图层进行合成时，MDP可以同时对图层进行合成，使GPU的图层的合成与MDP的图层的合成过程同步进行，既能降低合成 功耗，又能提高合成速度。本申请实施例中，MDP将分配给MDP的图层合成后获得的图层可以定义为待合成图层。MDP将待合成图层和中间图层进行合成，获得最终的待显示界面。其中，可以将所述中间图层保存到帧缓冲区，MDP将合成获得待合成图层后，读取帧缓冲区的中间图层，将所述中间图层与所述待合成图层合成为待显示界面。或者若MDP在将分配给MDP的图层合成的过程中，中间图层已经合成完成，MDP可以读取帧缓冲区的中间图层，将中间图层与分配给MDP的图层进行共同合成。

在本申请实施例中，MDP将中间图层以及分配给MDP的图层进行合成时，可以读取中间图层以及分配给MDP的图层，在MDP中进行合成，即中间图层以及分配给MDP的各个图层分别占用不同的FIFO管道，在MDP中合成，获得待显示界面用于显示。在本申请实施例中，若由MDP进行合成的图层的数量超过MDP可以合成的最大数量，则MDP无法一次性合成完成，影响合成速度。因此，在本申请实施例中，还可以包括根据MDP可合成的最大图层数量进行图层分配。具体的，请参见图5，该实施例提供的方法包括：

步骤S210：获取待显示界面的多个图层。

步骤S220：判断图形处理器(GPU，Graphics Processing Unit)的当前资源占用率是否小于预设阈值。若所述GPU的当前资源占用率小于预设阈值，执行步骤S230；若所述GPU的当前资源占用率大于或等于预设阈值，执行步骤S240。

步骤S230：通过所述GPU对所述多个图层进行合成，获得待显示界面用于显示。

步骤S210至步骤S230的具体描述可以参见前述实施例，在此不再赘述。

步骤S240：确定所述MDP当前可合成的最大图层数量，作为指定数量。

在GPU的资源占用率大于预设阈值的情况下，通过GPU和MDP混合合成图层。

具体的，为了不影响合成速度，分配给MDP的图层合成的数量不超过MDP的合成能力，也就是说，若所有图层都仅仅通过MDP进行合成，不需要GPU进行混合合成时，由MDP合成的图层数量可以是小于或等于MDP一次性可以合成的最大图层数量，即由MDP合成的图层数量可以是小于或等于MDP的FIFO数量。若由MDP和GPU同时合成，即MDP不仅需要合成分配给其的图层，还需要将GPU合成的中间图层与分配给MDP的图层共同合成为待显示界面，MDP需要预留一个FIFO用于将中间图层与分配给MDP的图 层合成，则分配给MDP的图层的数量需要小于或等于MDP一次性可以合成的最多图层数量减一，分配给MDP的图层的数量可以是小于或等于MDP的FIFO数量减一。总之，GPU合成获得的中间图层也作为一种图层，占用MDP的合成能力，即GPU合成的中间图层由MDP合成为待显示界面时也占用MDP的FIFO管道，MDP一次可以合成的包括中间图层在内的图层总数量不超过MDP一次性可以合成的最多图层数量，即不超过MDP的FIFO数量。

因此，可以确定MDP当前可合成的最大图层数量，定义该最大图层数量为指定数量。可以读取多媒体显示处理器的管道数，以读取到的管道数作为最大图层数量，即具体确定最大图层数量的方式可以是读取MDP的FIFO管道数，以读取到的FIFO管道数作为最大图层数量。

步骤S250：将小于或等于指定数量的图层作为第一图层分配给所述MDP，将其余图层作为第二图层分配给GPU。

将小于或等于指定数量的图层分配给MDP，将待显示界面的其余图层分配给GPU。在本申请实施例中，为了便于描述，定义分配给MDP的图层为第一图层，定义分配给GPU的图层为第二图层。

可选的，在本申请实施例中，若待显示界面的图层的总数量小于或等于指定数量，可以将所有图层分配给MDP由MDP合成，分配给GPU的图层数量可以为零，即不分配图层给GPU进行合成，以降低合成功耗。待显示界面的图层的总数量大于指定数量，由MDP和GPU配合进行合成。

在本申请实施例中，为MDP和GPU分配图层的具体分配方式可以根据指定数量确定。具体的，在该步骤中，如图6所示，可以包括如下子步骤：

步骤S251：确定所述待显示界面的总的图层数量减去所述指定数量的差值，作为目标数量。

步骤S252：将所述多个图层中比目标数量多预设数量的图层作为第二图层分配给所述GPU。

步骤S253：将其余图层作为第一图层分配给所述MDP。

在本申请实施例中，该目标数量表示待显示界面的总的图层数量与MDP最多可以合成的图层数量的大小关系。将待显示界面中比目标数量多预设数量的图层作为第二图层分配给所述GPU，预设数量设置为不同的值时，分配给GPU的第二图层的数量不同。

具体的，在一种实施方式中，可以是，若目标数量小于或等于0，表示待显示界面的总的图层数量小于或等于MDP最多可以合成的图层数量，在将一部分图层分配给MDP，一部分图层分配给GPU时，将所述多个图层中比目标 数量多预设数量的图层作为第二图层分配给所述GPU，可选的，该预设数量可以大于目标数量，从而实现将部分图层分配给GPU，一部分图层分配给MDP，MDP和GPU共同对图层进行合成，加快合成速度；可选的，该预设数量也可以是等于目标数量，即分配给GPU的第二图层的数量为0，也就是说，不向GPU分配图层，所有图层由MDP进行合成，降低合成功耗。

在该实施方式中，若目标数量大于0，表示待显示界面的总的图层数量大于MDP的最大合成数量，MDP无法一次性合成所有图层，需要将部分图层分配给GPU进行合成。在将所述多个图层中比目标数量多预设数量的图层作为第二图层分配给所述GPU时，为了尽可能地利用MDP功耗低的特性，使MDP能尽可能多地合成图层，可以使预设数量的值为1，即分配给MDP的第一图层的数量为MDP当前可合成的最大图层数量减一。例如，待显示界面包括5个图层，MDP的最大图层合成数量为4，则目标数量为1。为了尽可能利用MDP的图层合成能力，则使MDP一次性合成4个图层，因此，向GPU分配1+1＝2个图层，向MDP分配其余的3个图层，MDP在合成时，需要合成的为该3个图层以及GPU合成的中间图层共4个图层，刚好为MDP可以合成的最大图层数量。

本申请实施例还提供了另一种实施方式，在该实施方式中，可以是，若目标数量小于或等于0，表示待显示界面的总的图层数量小于或等于MDP最多可以合成的图层数量，可以由MDP对所有图层进行合成，因此，可以直接将所有图层分配给所述MDP，降低图层合成的功耗。若目标数量大于0，表示待显示界面的总的图层数量大于MDP的最大合成数量，MDP无法一次性合成所有图层，需要将部分图层分配给GPU进行合成。将所述多个图层中比目标数量多预设数量的图层作为第二图层分配给所述GPU；将其余图层作为第一图层分配给所述MDP。在该实施方式中，在目标数量大于0的情况下进行分配时，预设数量可以设置为1，当然也可以设置为其他正数，为GPU分配更多图层进行合成。

步骤S260：通过所述GPU对第二图层进行合成，获得中间图层。

步骤S270：通过所述MDP对第一图层以及所述中间图层进行合成，获得待显示界面用于显示。

MDP以及GPU对分配的图层进行合成。其中，MDP将GPU合成获得的中间图层与第一图层一起合成，获得待显示界面。

在本申请实施例中，根据MDP当前可合成的最大图层数量为MDP以及GPU分配分别由MDP以及GPU进行合成的图层数量，使MDP一次性合成的 图层数量不超过MDP当前可合成的最大图层数量，并通过MDP和GPU的共同合成，降低合成功耗，提高合成效率。

本申请实施例还提供了一种实施例。在该实施例中，该图层合成的方法应用于分辨率调整的场景下。具体的，在需要进行分辨率调整的情况下，对待显示界面的图层进行分辨率调整。具体的，请参见图7，该方法包括：

步骤S310：获取各个图层的分辨率。

步骤S320：判断各个图层的分辨率与屏幕分辨率是否适配。

步骤S330：对于分辨率与屏幕分辨率不适配的图层，调整该图层的分辨率到和所述屏幕分辨率适配。

电子设备的显示屏具有相应的屏幕分辨率，用于在显示屏显示的图像也具有相应的图像分辨率。其中，屏幕分辨率是指在屏幕横纵向上的像素点数，单位是px，1px＝1个像素点，例如，若以纵向像素*横向像素表示屏幕分辨率，纵向上有1960个像素点、横向上有1080个像素点的屏幕的分辨率为1960*1080。本申请实施例中，为了便于理解，对应屏幕分辨率的表示方式定义图像分辨率，即定义图像分辨率为图像的像素尺寸，即图像在横纵向上的像素点数，单位是px，1px＝1个像素点，如以纵向像素*横向像素表示图像分辨率，纵向上有1960个像素点、横向上有1080个像素点的图像的分辨率为1960*1080。

若电子设备的屏幕分辨率与图像的图像分辨率不适配，则图像显示则会异常，具体可能表现为图像的实际显示物理尺寸与设计该图像时的物理尺寸不同。其中，图像的物理尺寸通过设备独立像素(dp，device independent pixels)进行限定，屏幕分辨率与图像分辨率的适配为使图像的dp保持不变，例如，一个启动图标的尺寸为48x48dp，则不管在何种屏幕分辨率的屏幕中，该启动图标都应当为48x48dp，该图标才与屏幕分辨率适配。

在图层进行渲染之前，可以获取各个图层的分辨率。其中，获取图层分辨率的方式可以是，获取各个图层中图片的相关描述信息，从描述信息中获得各个图片的分辨率，从而获得各个图层的分辨率。其中，每个图片即为一个图像。

另外，还可以获取屏幕的分辨率。获取屏幕分辨率的方式在本申请实施例中并不限定，例如可以是，通过窗口管理器获取，通过资源数据(Resources)获取、通过获取设备性能参数的函数获取等。

再判断各个图层的分辨率与屏幕分辨率是否适配，具体可以为判断各个图层中各元素的分辨率与屏幕分辨率是否适配，本申请实施例以图片为例进行说明，判断各个图层中图片的分辨率与屏幕分辨率是否适配，若图层中图片的分 辨率与屏幕分辨率不适配，确定图层的分辨率与屏幕分辨率不适配。图片的分辨率与屏幕分辨率是否适配，即判断在该屏幕分辨率下，图片在当前分辨率的情况下是否能以图片所要显示的dp进行显示。结合前述描述，该判断过程例如可以是，获取图片的dp数值，根据屏幕分辨率确定屏幕密度，确定图片的dp数值在该屏幕密度下对应的分辨率与图片当前实际的分辨率是否一致，若不一致，则图片的分辨率与屏幕分辨率不适配。可选的，若判定文字分辨率是否适配，则可以根据文字的sp(scale-independent pixel)进行判断。

若有图层的分辨率与屏幕分辨率不适配，则对该图层的分辨率进行调整。具体的，有图层中的图片与屏幕分辨率不适配，则调整该图片的分辨率至与屏幕的分辨率适配。例如图2所示的桌面显示界面100中，若图标层104中的图标不适配屏幕当前的分辨率，则图标层中各个图标的分辨率进行调整以适配屏幕分辨率。具体调整过程在本申请实施例中并不限定。结合前述描述，例如可以是，将图片的实际分辨率调整为图片的dp数值在当前屏幕密度下应当达到的分辨率。

在渲染图层时，以调整后的分辨率对图层中各个图片进行渲染。若图层的分辨率与屏幕分辨率适配，则以当前分辨率对图层进行渲染，具体可以包括以当前分辨率对图层中各个图片进行渲染。

另外，存在某些图层在屏幕中显示内容不变，在不同的显示界面中都是一致的，例如导航栏对应的图层，定义屏幕中的显示内容不变的图层为固定图层。对于固定图层，电子设备在一次渲染后可以将其存储，在待显示界面中有固定图层时，可以不再重新渲染固定图层，直接读取渲染好的固定图层进行合成，减少图像处理时间。也就是说，若待显示界面的多个图层中包括固定图层，以待显示界面的多个图层中包括的固定图层作为目标图层。在需要对图层进行合成时，获取待显示界面的各个图层的方式可以是，读取存储的固定图层中的目标图层，以及渲染所述多个图层中目标图层以外的图层，获得待显示界面的多个图层用于进行合成。

可选的，某些电子设备具有分辨率调整功能，即用户可以将电子设备的显示屏由一种屏幕分辨率调整到另一种屏幕分辨率，或者电子设备根据当前剩余电量将显示屏的从一种屏幕分辨率调整到另一种屏幕分辨率。由于显示屏的屏幕分辨率调整后，固定图层也应当调整为与新的屏幕分辨率适配。因此，可选的，在本申请实施例中，当监测到屏幕分辨率发生改变，获取用于显示的固定图层，将所述固定图层的分辨率调整到与所述屏幕分辨率适配并保存。其中，检测到屏幕分辨率发生改变，可以是监测到屏幕分辨率调整操作，并响应该调 整操作进行分辨率调整的情况；或者是，获取到屏幕的分辨率与前一次获取的屏幕分辨率不一致，或者通过其他方式监测到。另外，将固定图层的分辨率调整到屏幕分辨率适配并保存可以是，将固定图层以适配屏幕分辨率的分辨率进行渲染，将渲染完成的图层保存。

从而，在判断各个图层的分辨率与屏幕分辨率是否适配时，若各个图层中包括固定图层，由于固定图层的分辨率已经在监测到屏幕分辨率调整时已经更改并渲染保存，则可以不再判断固定图层的分辨率是否与屏幕适配，而是判断固定图层以外的其他图层与所述屏幕分辨率是否适配，从而减少处理时间以及处理流程。若固定图层以外的其他图层中存在不适配屏幕分辨率的图层，对不适配屏幕分辨率的图层调整至适配屏幕分辨率。

另外，对于可以进行分辨率调整的电子设备，若电子设备的屏幕分辨率被调整，则同一图片，如电子设备中的某图标，或者对于同一分辨率的图片，显示效果相对于调整前发生变化。其中，若屏幕分辨率被调高，则同一图片或者同一分辨率的图片的显示缩小；若屏幕分辨率被调低，则同一图片或者同一分辨率的图片的显示增大，在同一屏幕调整屏幕分辨率后，对同一图片的显示呈现不同的显示效果，不利于养成用户的观看习惯，并且给用户的查看带来不适，影响用户的体验。具体可以理解为，如果屏幕的像素密度为160dpi(dots per inch)，1dp＝1px；如果屏幕的像素密度为320dpi，1dp＝2px；如果屏幕的像素密度为480dpi，1dp＝3px，以此类推，随着屏幕的像素密度成倍改变，1dp对应的像素数以对应的倍数改变。对于同一显示屏，当屏幕分辨率被调高，屏幕的像素密度(dpi，dots per inch)增大，若要图片适配于屏幕的分辨率，保持图片的dp不变，在图片的分辨率适配调整前的屏幕分辨率的情况下，图片的像素尺寸，即分辨率，应以对应屏幕密度增加的倍数增大；对于同一显示屏，当屏幕分辨率被调低，屏幕的像素密度(dpi，dots per inch)降低，若要图片适配于屏幕的分辨率，保持图片的dp不变，在图片的分辨率适配调整前的屏幕分辨率的情况下则图片的像素尺寸，即分辨率，以对应屏幕密度降低的倍数降低。当然，若图片的分辨率本身并不适配调整前或者调整后的分辨率，则直接根据图片的dp以及当前屏幕密度调整图片的分辨率。

步骤S340：获取待显示界面的多个图层。

步骤S350：判断图形处理器(GPU，Graphics Processing Unit)的当前资源占用率是否小于预设阈值。若所述GPU的当前资源占用率小于预设阈值，执行步骤S360；若所述GPU的当前资源占用率大于或等于预设阈值，执行步骤S370。

步骤S360：通过所述GPU对所述多个图层进行合成，获得待显示界面用于显示。

步骤S370：通过所述GPU和多媒体显示处理器(MDP，Multimedia Display Processor)配合对所述多个图层进行合成，获得待显示界面用于显示。

在调整图层的分辨率并渲染图层后，图层的分辨率契合于显示屏当前的屏幕分辨率，可以正常显示。因此，获取待显示界面的多个图层用于合成并显示。其中，根据GPU的资源占用率选用图层合成的方式对获取的多个图层进行合成。

在GPU的资源占用率低于预设阈值时，说明GPU当前的功耗不高，可以选用GPU对所有图层进行合成，既能利用GPU较强的图层合成能力，又不会导致GPU的整体功耗过高；在GPU的资源占用率大于或等于预设阈值时，通常表明GPU当前功耗较高，利用MDP功耗低的特性，与GPU进行混合合成，使图层合成过程中电子设备的功耗不会过高。

本申请实施例还提供了一种图层合成装置400。请参见图8，该装置400包括：图层获取模块410，用于获取待显示界面的多个图层；判断模块420，用于判断图形处理器(GPU，Graphics Processing Unit)的当前资源占用率是否小于预设阈值；第一合成模块430，用于若所述GPU的当前资源占用率小于预设阈值，通过所述GPU对所述多个图层进行合成，获得待显示界面用于显示；第二合成模块440，用于若所述GPU的当前资源占用率大于或等于预设阈值，通过所述GPU和多媒体显示处理器(MDP，Multimedia Display Processor)配合对所述多个图层进行合成，获得待显示界面用于显示。

可选的，第二合成模块440可以包括，处理能力确定单元，用于确定所述MDP当前可合成的最大图层数量，作为指定数量；分配单元，用于将小于或等于指定数量的图层作为第一图层分配给所述MDP，将其余图层作为第二图层分配给GPU；合成单元，用于通过所述GPU对第二图层进行合成，获得中间图层；通过所述MDP对第一图层以及所述中间图层进行合成。

可选的，分配单元可以用于确定所述待显示界面的总的图层数量减去所述指定数量的差值，作为目标数量；将所述多个图层中比目标数量多预设数量的图层作为第二图层分配给所述GPU；将其余图层作为第一图层分配给所述MDP。

可选的，分配单元还可以用于在将所述多个图层中比目标数量多预设数量的图层作为第二图层分配给所述GPU之前，判断所述目标数量是否小 于或等于0；若是，将所有图层分配给所述MDP；若否，所述将所述多个图层中比目标数量多预设数量的图层作为第二图层分配给所述GPU，将其余图层作为第一图层分配给所述MDP。

可选的，若所述目标数量大于0，所述预设数量可以等于1；若所述目标数量小于或等于0，所述预设数量可以大于或等于所述目标数量。

可选的，合成单元还可以用于将所述中间图层保存到帧缓冲区；通过所述MDP将第一图层合成为待合成图层；通过所述MDP读取帧缓冲区的中间图层，将所述中间图层与所述待合成图层合成。

可选的，在本申请实施例中，还可以包括分辨率适配模块，用于获取各个图层的分辨率；判断各个图层的分辨率与屏幕分辨率是否适配；对于分辨率与屏幕分辨率不适配的图层，调整该图层的分辨率到和所述屏幕分辨率适配。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请实施例中各种实施方式都可以有对应的模块进行实现，本申请实施例中不再一一进行对应赘述。

请参考图9，其示出了本申请实施例提供的一种电子设备700的结构框图。该电子设备700可以是手机、平板电脑、电子书等电子设备。该电子设备700包括存储器710、处理器720、、GPU 730以及MDP 740。所述存储器710、GPU 730以及MDP 740耦接到所述处理器，所述存储器710存储指令，当所述指令由所述处理器720执行时，所述处理器执行上述一个或多个实施例所描述的方法，GPU 730以及MDP 740对应执行方法中的图层合成过程。

处理器710可以包括一个或者多个处理核。处理器710利用各种接口和线路连接整个电子设备700内的各个部分，通过运行或执行存储在存储器720内的指令、程序、代码集或指令集，以及调用存储在存储器720内的数据，执行电子设备700的各种功能和处理数据。可选地，处理器710可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门 阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器710可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器710中，单独通过一块通信芯片进行实现。

存储器720可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器720可用于存储指令、程序、代码、代码集或指令集，如用于实现本申请实施例提供的图层合成方法的指令或代码集。存储器720可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令、用于实现上述各个方法实施例的指令等。存储数据区还可以电子设备在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参考图10，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (20)

1. 一种图层合成方法，其特征在于，所述方法包括：

   获取待显示界面的多个图层；

   判断图形处理器的当前资源占用率是否小于预设阈值；

   若所述图形处理器的当前资源占用率小于预设阈值，通过所述图形处理器对所述多个图层进行合成，获得待显示界面用于显示；

   若所述图形处理器的当前资源占用率大于或等于预设阈值，通过所述图形处理器和多媒体显示处理器配合对所述多个图层进行合成，获得待显示界面用于显示。
2. 根据权利要求1所述的方法，其特征在于，所述通过所述图形处理器和多媒体显示处理器配合对所述多个图层进行合成，包括：

   确定所述多媒体显示处理器当前可合成的最大图层数量，作为指定数量；

   将小于或等于指定数量的图层作为第一图层分配给所述多媒体显示处理器，将其余图层作为第二图层分配给图形处理器；

   通过所述图形处理器对第二图层进行合成，获得中间图层；

   通过所述多媒体显示处理器对第一图层以及所述中间图层进行合成。
3. 根据权利要求2所述的方法，其特征在于，所述将小于或等于指定数量的图层作为第一图层分配给所述多媒体显示处理器，将其余图层作为第二图层分配给图形处理器，包括：

   确定所述待显示界面的总的图层数量减去所述指定数量的差值，作为目标数量；

   将所述多个图层中比目标数量多预设数量的图层作为第二图层分配给所述图形处理器；

   将其余图层作为第一图层分配给所述多媒体显示处理器。
4. 根据权利要求3所述的方法，其特征在于，所述将所述多个图层中比目标数量多预设数量的图层作为第二图层分配给所述图形处理器之前，还包括：

   判断所述目标数量是否小于或等于0；

   若是，将所有图层分配给所述多媒体显示处理器；

   若否，执行所述将所述多个图层中比目标数量多预设数量的图层作为第二图层分配给所述图形处理器，将其余图层作为第一图层分配给所述多媒体显示处理器的步骤。
5. 根据权利要求3所述的方法，其特征在于，若所述目标数量大于0，所述预设数量等于1；若所述目标数量小于或等于0，所述预设数量大于或等于所述目标数量。
6. 根据权利要求2所述的方法，其特征在于，所述通过所述图形处理器将被分配的图层进行合成，获得中间图层之后，还包括：

   将所述中间图层保存到帧缓冲区；

   所述通过所述多媒体显示处理器对第一图层以及所述中间图层进行合成，包括：

   通过所述多媒体显示处理器将第一图层合成为待合成图层；

   通过所述多媒体显示处理器读取帧缓冲区的中间图层，将所述中间图层与所述待合成图层合成。
7. 根据权利要求2至6任一项所述的方法，其特征在于，所述通过所述图形处理器将被分配的图层进行合成，获得中间图层之后，还包括：

   将所述中间图层保存到帧缓冲区；

   所述通过所述多媒体显示处理器对第一图层以及所述中间图层进行合成，包括：

   所述多媒体显示处理器读取中间图层以及分配给所述多媒体显示处理器的图层，并在所述多媒体显示处理器中进行合成，获得待显示界面用于显示。
8. 根据权利要求2至7任一项所述的方法，其特征在于，所述通过所述图形处理器将被分配的图层进行合成，获得中间图层之后，还包括：

   将所述中间图层保存到帧缓冲区，

   在待显示界面更新时，若中间图层包括的各图层都没有更新，多媒体显示处理器读取帧缓冲区的中间图层；

   将所述中间图层与新的待显示界面的其他图层合成为待显示界面。
9. 根据权利要求2至8任一项所述的方法，其特征在于，所述方法还包括：读取多媒体显示处理器的管道数，以读取到的管道数作为最大图层数量。
10. 根据权利要求1至9任一项所述的方法，其特征在于，所述方法还包括：

    获取图形处理器的当前资源占用率。
11. 根据权利要求10所述的方法，其特征在于，所述获取图形处理器的当前资源占用率，包括：在每次需要进行图层合成时，获取图形处理器的当前资源占用率。
12. 根据权利要求10所述的方法，其特征在于，每隔预设时间段获取图 形处理器的资源占用率；

    以最近一次获取的资源占用率作为所述当前资源占用率，用于判断图形处理器的当前资源占用率是否小于预设阈值。
13. 根据权利要求1至12任一项所述的方法，其特征在于，所述方法还包括：

    获取各个图层的分辨率；

    判断各个图层的分辨率与屏幕分辨率是否适配；

    对于分辨率与屏幕分辨率不适配的图层，调整该图层的分辨率到和所述屏幕分辨率适配。
14. 根据权利要求13所述的方法，其特征在于，所述判断各个图层的分辨率与屏幕分辨率是否适配，包括：

    判断各个图层中图片的分辨率与屏幕分辨率是否适配；

    若图层中图片的分辨率与屏幕分辨率不适配，确定图层的分辨率与屏幕分辨率不适配。
15. 根据权利要求13或14所述的方法，其特征在于，所述调整该图层的分辨率到和所述屏幕分辨率适配，包括：将分辨率与所述屏幕分辨率不适配的图片的分辨率调整到与所述屏幕分辨率适配。
16. 根据权利要求14或15所述的方法，其特征在于，所述方法还包括：

    若图层的分辨率与屏幕分辨率适配，以当前分辨率对图层中各个图片进行渲染；

    若有图层的分辨率与屏幕分辨率不适配，在渲染图层时，以调整后的分辨率对图层中各个图片进行渲染。
17. 一种图层合成装置，其特征在于，所述装置包括：

    图层获取模块，用于获取待显示界面的多个图层；

    判断模块，用于判断图形处理器的当前资源占用率是否小于预设阈值；

    第一合成模块，用于若所述图形处理器的当前资源占用率小于预设阈值，通过所述图形处理器对所述多个图层进行合成，获得待显示界面用于显示；

    第二合成模块，用于若所述图形处理器的当前资源占用率大于或等于预设阈值，通过所述图形处理器和多媒体显示处理器配合对所述多个图层进行合成，获得待显示界面用于显示。
18. 根据权利要求17所述的装置，其特征在于，所述第二合成模块包括：

    处理能力确定单元，用于确定所述多媒体显示处理器当前可合成的最大图层数量，作为指定数量；

    分配单元，用于将小于或等于指定数量的图层作为第一图层分配给所述多媒体显示处理器，将其余图层作为第二图层分配给图形处理器；

    合成单元，用于通过所述图形处理器对第二图层进行合成，获得中间图层；通过所述多媒体显示处理器对第一图层以及所述中间图层进行合成。
19. 一种电子设备，其特征在于，包括存储器、处理器、图形处理器以及多媒体显示处理器，所述存储器、图形处理器以及多媒体显示处理器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时，所述处理器执行如权利要求1-16任一项所述的方法，所述图形处理器以及所述多媒体显示处理器执行如权利要求1-16中的图层合成。
20. 一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-16任一项所述的方法。

Images