WO2024055840A1 - 图像渲染方法、装置、设备和介质 - Google Patents

Abstract

根据本公开的实施例，提供了图像渲染方法、装置、设备和介质。该图像渲染方法包括确定与本地渲染模式相关联的第一性能和与云端渲染模式相关联的第二性能。该方法还包括至少部分地基于第一性能和第二性能，从本地渲染模式和云端渲染模式中确定用于执行渲染任务的目标渲染模式。该方法进一步包括基于所确定的目标渲染模式，执行渲染任务。以此方式，用户可以根据渲染环境的变化，在本地渲染模式和云端渲染模式间选择，充分利用两种模式各自的优势，从而提高了渲染效率。

Description

图像渲染方法、装置、设备和介质

本申请要求2022年09月16日递交的、标题为“图像渲染方法、装置、设备和介质”、申请号为202211129282.6的中国发明专利申请的优先权，该申请的全部内容通过引用结合在本申请中。

技术领域

本公开的示例实施例总体涉及计算机领域，特别地涉及图像渲染方法、装置、设备和计算机可读存储介质。

背景技术

图像渲染是图像处理领域中非常重要的一个环节。通过渲染技术，可以使得图像具有更好的视觉体验效果。因此，渲染技术在近年来得到了广泛的应用。传统的渲染技术支持本地渲染模式和云端渲染模式。在本地渲染模式下，用户需要在本地预先安装渲染程序，通过运行本地渲染引擎/渲染节点来执行相应的渲染任务。在云端渲染模式下，用户使用云端的渲染引擎/渲染节点来执行渲染任务。进一步地，本地渲染模式对用户本地的硬件性能要求比较高而云端渲染模式则需要用户的网络状态良好。

在传统的渲染技术中，用户根据需要预先选择本地渲染模式或云端渲染模式，在渲染任务的执行过程中无法改变。这种操作缺乏灵活性，尤其不能适用渲染环境发生变化的场景。

发明内容

在本公开的第一方面，提供了一种图像渲染方法。该方法包括确定与本地渲染模式相关联的第一性能和与云端渲染模式相关联的第二性能。该方法还包括至少部分地基于所述第一性能和所述第 二性能，从所述本地渲染模式和所述云端渲染模式中确定用于执行渲染任务的目标渲染模式。该方法进一步包括基于所述目标渲染模式，执行所述渲染任务。

在本公开的第二方面，提供了一种图像渲染装置。该装置包括性能确定模块，被配置为确定与本地渲染模式相关联的第一性能和与云端渲染模式相关联的第二性能。该装置还包括目标渲染模式选择模块，被配置为至少部分地基于所述第一性能和所述第二性能，从所述本地渲染模式和所述云端渲染模式中确定用于执行渲染任务的目标渲染模式。该装置进一步包括渲染任务执行模块，被配置为基于所述目标渲染模式，执行所述渲染任务。

在本公开的第三方面，提供了一种电子设备。该设备包括至少一个处理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。指令在由至少一个处理单元执行时使设备执行第一方面的方法。

在本公开的第四方面，提供了一种计算机可读存储介质。介质上存储有计算机程序，计算机程序被处理器执行以实现第一方面的方法。

应当理解，本发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1A示出了本公开的实施例能够在其中应用的示例环境的示意图；

图1B示出了本公开的实施例能够在其中应用的另一示例环境的示意图；

图2示出根据本公开的一些实施例的图像渲染过程的流程图；

图3示出了根据本公开的一些实施例的图像渲染装置的框图；以及

图4示出了能够实施本公开的多个实施例的设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中示出了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“一些实施例”应当理解为“至少一些实施例”。下文还可能包括其他明确的和隐含的定义。

可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。

可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当根据相关法律法规通过适当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。

例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获取和使用到用户的个人信息。从而，使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。

作为一种可选的但非限制性的实现方式，响应于接收到用户的 主动请求，向用户发送提示信息的方式，例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或“不同意”向电子设备提供个人信息的选择控件。

可以理解的是，上述通知和获取用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其他满足相关法律法规的方式也可应用于本公开的实现方式中。

在本公开中，术语“本地渲染”有时也被称为“客户端渲染”或“客户端端上渲染”，其指代通过运行本地渲染引擎/渲染节点来执行渲染任务的过程。

在本公开中，术语“云端渲染”有时也被称为“云渲染”，其指代通过运行云端(即，服务器侧)的渲染引擎/渲染节点来执行渲染任务的过程。

如本公开所讨论的，渲染技术在近年来得到了广泛的应用。伴随着渲染技术的发展和应用场景的扩展，人们对于渲染服务的需求也越来越高，诸如，对多类型渲染任务的支持、渲染结果的实时查看、渲染任务的低时延、渲染结果的高质量画质等。因此，如何提供更好地渲染服务体验已经成为了业界的关注重点。

进一步地，在传统的渲染技术中，用户可以选择通过本地渲染模式或者云端渲染模式来执行渲染任务。在本地渲染模式下，用户在本地预先安装渲染程序，通过在本地运行渲染引擎/渲染节点来执行相应的渲染任务。本地渲染模式的优势在于，无需经由网络传输渲染结果(有时也称为渲染视频流)，由此避免了由于网络传输引起的时延和画质损耗。然而，本地渲染模式需要用户预先安装渲染程序，并且对于用户本地的硬件性能要求比较高(诸如，需要运算能力较高的计算设备)。进一步地，受到渲染程序本身的限制，本地渲染模式对于渲染类型的支持是有限的。此外，在真实的渲染环境下，用户的待渲染数据既可以存储在本地也可以存储在云端。当待渲染数据存储在云端时，用户依然需要下载大量的待渲染数据。

在云端渲染模式下，用户既不需要运算能力较高的本地计算设备，也无需预先安装渲染程序。此外，当待渲染数据存储在云端时，用户也无需下载大量的待渲染数据。以此方式，可以实现快速的渲染体验。然而，云端渲染模式的劣势在于渲染结果需要经由网络传输给用户。因此，由于网络传输所引起的传输时延和画质损耗就成为了影响云端渲染模式下的用户体验的主要因素。

进一步地，在传统的渲染技术中，本地渲染模式和云端渲染模式被作为两个独立模式独立地运行。例如，用户预先安装用于本地渲染模式的第一客户端，同时配置有与云渲染平台交互的第二客户端，用户选择通过第一客户端或第二客户端来执行渲染任务。然而，真实的渲染环境是复杂且多变的。作为一个示例，用户确定使用本地渲染模式并预先从网络下载了大量的待渲染数据，但是在运行第一客户端时发现第一客户端不支持该渲染任务类型，或者在运行中发现用户的硬件资源不足以支持该渲染任务。作为另一示例，用户选择使用云端渲染模式并运行第二客户端，然而在渲染任务执行过程中网络环境发生恶化(例如，网络中断或者带宽受限)，导致渲染任务无法继续执行。在上述场景中，用户均不得不退出当前的渲染任务并选择另外一种渲染模式重新执行渲染任务。

可见，传统的渲染技术缺乏灵活性，无法适应复杂多变的真实渲染环境。因此，需要提供一种更加灵活地渲染方案，其可以充分利用本地渲染模式和云端渲染模式各自的优势。

根据本公开的一些实施例，提供了一种图像渲染方案。在该方案中，可以对本地渲染模式和云端渲染模式的性能进行评估，根据性能评估结果选择本地渲染模式和云端渲染模式来执行渲染任务。以此方式，充分发挥了本地渲染模式和云端渲染模式各自的优势，提高了用户的体验。

示例环境

图1示出了本公开的实施例能够在其中实现的示例环境100的 示意图。环境100涉及图像处理环境，其中包括计算设备110。如图1所示，计算设备110接收待渲染数据120并输出渲染结果140。在本公开中，计算设备110可以为任何能够执行渲染任务的设备/装置/模块。本公开的实施例在此方面不受限制。

在一些示例实施例中，计算设备110可以在位于计算设备110内的数据库/存储器或者位于计算设备110外的数据库/存储器(诸如，存储平台，该存储平台可以为通用的数据下载服务平台，可以提供多种数据格式文件的下载服务)中获取待渲染数据120和/或存储渲染结果140。本公开的实施例在此方面不受限制。

在一些实施例中，计算设备110既可以支持本地渲染模式，同时也可以支持云端渲染模式。进一步地，计算设备110可以在本地渲染模式和云端渲染模式之间动态地选择和/或切换。在一些实施例中，目标渲染模式的选择和/或切换可以由计算设备110来确定。

备选地，计算设备110还可以基于用于确定目标渲染模式的用户选择130来确定目标渲染模式。在一些实施例中，用户选择130可以通过有线通信或无线通信的方式而被传输到计算设备110。在一些示例实施例中，计算设备110也可以通过与计算设备110相耦合的输入设备(包括但不限于，例如，鼠标、键盘、触摸笔、触摸屏，等等)来接收用户所输入的用户选择130。

在一些实施例中，用户可以在计算设备110上运行虚拟直播或虚拟会议等应用。在这些特定应用场景下，用户可以在计算设备110处可以部署至少一个图像采集设备，诸如摄像装置，以采集用户的音视频图像数据。进一步地，在这些特定应用场景下，除了主屏幕展示外，还会有其它的虚拟屏幕以展示额外的视频流或图像信息。此外，用户还可以有虚拟或渲染背景等需求。例如，用户期望将背景变更为特定的场景，诸如，特定会议室、星空等。

在这种情况下，用户通常需要将以下一种或多种数据传输进行渲染：图像采集设备所采集的音视频图像数据、用于渲染操作的图像数据或算法数据、透明通道数据、以及其他自定义类型的数据等。 这些数据被分别包括在多路不同的数据流中。

图1B示出了本公开的实施例能够在其中实现的另一示例环境150的示意图。为便于讨论，将参考图1A的环境100来描述图1B所示出的环境150。如图1B所示，环境150被示意性地划分为本地和云端两部分。

在一些实施例中，云端包括云渲染平台180以及云端数据交互层170。云渲染平台180包括用于执行渲染任务的渲染引擎和/或渲染节点，这些渲染引擎和/或渲染节点可以是第三方开发，也可以是云渲染服务提供商自行研发的。本公开的各实施例在渲染引擎和/或渲染节点的来源方面不受限制。

在一些实施例中，渲染引擎和/或渲染节点包括业务层、渲染引擎层、引擎插件层。以此方式，可以实现灵活且可扩展的渲染服务。

云端数据交互层170用于实现与本地侧的数据交互。在一些实施例中，云端数据交互层170可以包括串流模块服务端，用于将诸如渲染结果140的视频流传输给本地侧。

如图1B所示，本地侧包括计算设备110。可选地，在一些实施例中，计算设备110还被配置有一用户界面152，该用户界面152用于呈现与执行渲染任务相关的渲染信息。渲染信息的一个示例是指示与本地渲染模式相关的第一性能和/或与云端渲染模式相关联的第二性能的信息。渲染信息的另一示例是指示当前渲染模式的信息，诸如，本地渲染模式或云端渲染模式。渲染信息的又一示例是渲染结果的呈现界面。渲染信息的其他实例包括切换模式切换提醒、渲染任务的执行进度、渲染任务的预估执行时间等等。

在一些实施例中，用户界面152还可以包括交互操作元素，诸如，确定目标渲染模式的选项，指定待渲染数据的选项、配置渲染任务的各种参数(例如，渲染类型、渲染画质等等)的选项等。

应当理解，上述渲染信息和交互操作元素的示例仅用于说明和描述的目的。在其他实施例中，渲染信息和交互操作元素可以包括与渲染任务执行相关的任何信息和元素。进一步地，这些信息和元 素可以在一个或多个界面、弹出窗口、悬浮框、菜单等视觉元素中被呈现。进一步地，所呈现的各个视觉元素可以响应于来自用户的指令而被选择、放大、缩小或隐藏等。用户的指令的一个示例是对所示出的相应视觉元素的触摸类操作，包括但不限于，点击、滑动、悬停以及预定的手势等。用户的指令的另一示例为语音指令。用户的指令的又一示例为通过输入设备(包括鼠标、键盘、触摸笔、触摸板等)输入的用户指令。此外，当用户设备为便携式电子设备时，用户的指令还可以为用户动作，包括但不限于，将便携式电子设备横屏等。简言之，本公开的各实施例在视觉元素的表现形式和交互方式方面不受限制。

附加地，在一些实施例中，计算设备110包括本地渲染模块158以及云端渲染模块156，分别用于通过本地渲染模式和云端渲染模式来执行渲染任务。

在一些实施例中，本地渲染模块158中配置有执行渲染任务的渲染引擎和/或渲染节点。附加地，本地渲染模块158中的渲染引擎和/或渲染节点可以与云渲染平台180中渲染引擎和/或渲染节点以相同的实现方式被实现。进一步地，本地渲染模块158以及渲染平台180中的渲染引擎和/或渲染节点在实现时，可以兼容本地渲染模式和云端渲染模式这两种模式的需求。以此方式，本地渲染模式和云端渲染模式可以更平滑地切换，并且本地渲染过程和云端渲染过程可以基于相同的方案来被维护。

在一些实施例中，本地渲染模块158以及云端渲染模块156与渲染接口层154相连，其中渲染接口层154用于实现用户界面152与本地渲染模块158和云端渲染模块156的交互，包括渲染数据和渲染指令等。

附加地，渲染接口层154可以包括用于协议适配的交互协议模块。备选地或附加地，渲染接口层154还可以包括共享存储空间，用于存储待渲染数据120和/或渲染结果140。以此方式，当发生渲染模式切换时，待渲染数据120和/或渲染结果140可以被随后的渲 染模式所共享。

在一些实施例中，计算设备110还包括本地数据交互层160，用于实现与云端的数据交互。在一些实施例中，本地数据交互层160可以包括串流模块客户端，用于接收来自云端的图像数据(诸如，渲染结果140)。在一些实施例中，本地数据交互层160还可以包括下载存储设备，用于存储自云端下载的待渲染数据120。

附加地，在一些实施例中，计算设备110还可以包括本地性能测试模块(未示出)，其用于收集评估本地渲染模式和云端渲染模式性能的信息。相应地，云端也可以包括云端性能测试模块(未示出)，其用于收集评估本地渲染模式和云端渲染模式性能的信息。在一些实施例中，本地性能测试模块和云端性能测试模块可以交互性能参数的值和/或测试数据等，以确定与本地渲染模式相关联的第一性能和与云端渲染模式相关联的第二性能。

应当理解，图1A和1B仅示出了示例的图像处理环境。在其他实施例中，图像处理环境可以包括更多或更少的网元/模块。诸如，图1B中所示出的任一网元/模块均不是必要的，其可以根据实际需要而被省略。此外，图1B所示出的网元/模块的数目和连接关系也仅仅是说明和示意性的。本公开的实施例在此方面不受限制。

示例过程

以下将继续参考附图描述本公开的一些示例实施例。

图2示出根据本公开的一些实施例的图像处理过程200的流程图。为便于讨论，参考图1A的环境100和图1B的环境150进行讨论。图像处理过程200可以被实现在计算设备110处。

应当理解，虽然过程200是参考图1A的环境100和图1B的环境150而被讨论的，但是正如本公开已经讨论的，环境100和环境150仅仅是本公开的实例环境。因此环境100和环境150不应理解为对过程200实施环境的限定。进一步地，虽然过程200中的特定操作由特定的网元/模块执行，在其他实施例中，相应地操作也可以 由其他网元/模块来实现。本公开的实施例在此方面不受限制。

在框210，计算设备110确定与本地渲染模式相关联的第一性能和与云端渲染模式相关联的第二性能。在一些实施例中，计算设备110在渲染任务被运行之前确定上述第一性能和第二性能。备选地或附加地，计算设备110在执行渲染任务期间，周期性地或持续性地确定上述第一性能和第二性能。备选地或附加地，计算设备110在执行渲染任务期间，相应与检测到预定义的事件而触发上述第一性能和第二性能的确定。

预定义的事件的一个示例是用户输入，诸如用户输入期望查看上述第一性能和第二性能的指令。预定义事件的另一示例是检测到本地硬件资源不足，诸如CPU占用率较高、存储器剩余存储空间不足等。预定义事件的又一示例是检测到网络性能恶化，诸如，网络连接中断、网络连接信号强度变弱或者网络带宽不足等。应当理解，上述预定义事件的示例仅仅是说明性的。在其他实施例中，计算设备110可以响应于其他预定义事件来触发确定上述第一性能和第二性能的操作。本公开的实施例在此方面不受限制。

以此方式，计算设备110可以分别获得本地渲染模式的性能和云端渲染模式的性能，以为目标渲染模式的选择和切换提供了依据。接下来，将分别描述确定第一性能和第二性能的示例过程。

确定第一性能

在一些实施例中，由本地计算装置来执行渲染任务，其中计算设备110为本地计算装置本身或本地计算装置的一部分。本地计算装置的一个示例是个人电脑。本地计算装置的其他示例包括智能手机、智能手表、智能眼镜、智能头盔、笔记本电脑、平板电脑、个人数字助理、或其他任何适当的电子设备。

在一些实施例中，确定第一性能包括获取与本地渲染模式相关联的至少一个硬件性能参数(即，本地计算装置的至少一个硬件性能参数)。

应当理解，本公开的硬件性能参数是指代可以表征和衡量本地渲染模式性能的任意适当参数。硬件性能参数的一个示例是中央处理器(central processing unit，CPU)性能。硬件性能参数的另一示例是图形处理器(graphics processing unit，GPU)性能。硬件性能参数的其他示例包括存储器(诸如，内存、硬盘)容量大小以及磁盘读写速度等。

在一些实施例中，计算设备110获得至少一个硬件性能参数的值。在本公开中，至少一个硬件性能参数的值可以被表示为多种参数。在一特定实施例中，计算设备110获取本地计算装置的硬件信息(诸如，硬件型号、硬件设备编号等)，包括但不限于，CPU型号、GPU型号以及存储器的型号等。基于获取的本地计算装置的硬件信息，计算设备110可以获得相应的硬件性能参数的值。以此方式，计算设备110无需执行任何额外的检测，即可以获得至少一个硬件性能参数的值。

备选地或附加地，计算设备110可以通过测试程序来获得至少一个硬件性能参数的值，包括但不限于运行速度、磁盘读写速度、渲染执行速度等。以此方式，计算设备110可以获得更精准的硬件性能参数的数值。

备选地或附加地，不同的硬件性能参数还可以具有不同的权重，并且第一性能还可以基于至少一个硬件性能参数的权重来计算。在一些实施例中，不同的硬件性能参数的权重是预先配置的，诸如，CPU性能具有较高的第一权重，GPU性能具有中等的第二权重，存储器具有较低的第三权重。

备选地，不同的硬件性能参数的权重还可以是基于渲染任务的类型而被动态确定的。例如，针对实时性要求较高的渲染任务，运行速度的权重可以被加强，而针对待渲染数据量大但是对实时性要求不高的渲染任务，存储器容量大小的权重可以被加强。应当理解，上述动态配置规则的示例仅用于说明的目的。在其他实施例中，权重可以根据其他标准来进行调整和配置。本公开的实施例在此方面 不受限制。以此方式，第一性能可以更好地反应本地渲染模式下的执行性能。

在一些实施例中，第一性能可以通过分数来衡量。具体为，硬件性能参数的不同的值对应不同的分数。作为一特定实施例，第一性能可以通过如下等式(1)来计算。

第一性能＝第一硬件参数的分数*第一权重+……第M硬件参数的分数*第M权重(1)

其中，M为大于等于1的整数。在一些实施例中，第一性能的确定规则可以被预先配置并存储。下表1示出了第一性能的确定规则的示例。

表1第一性能的确定规则的示例

在表1的特定实施例中，如果本地计算装置的CPU型号为型号1，GPU的型号为型号2，存储容量为第一容量，磁盘读写速度属 于第一速度区间，则通过等式(1)，第一性能将被计算为第一分数*第一权重+第四分数*第二权重+第五分数*第三权重+第六分数*第四权重。

应当理解，表1中的第一性能的确定规则仅仅是示例性的。换句话说，表1中所示出的硬件性能参数、权重、型号/测试值以及分数的数目和数值均是示意性的。在其他实施例中，第一性能的确定规则可以根据实际需要被适当的定义。还应当理解，上述等式(1)也仅仅是示例性的，在其他实施例中，第一性能还可以通过其他等式来确定。更重要的是，通过分数来表征第一性能仅仅是示意性的。在其他实施例中，第一性能还可以通过其他参数来表征，诸如性能等级。简言之，本公开在通过至少一个硬件性能参数的值和权重确定第一性能的具体实现方式方面不受限制。

在一些实施例中，第一性能的计算过程可以由计算设备110来执行。以此方式，计算设备110无需向云端性能测试模块传输额外的信息，诸如，硬件信息以及测试结果等。

备选地或附加地，在一些实施例中，第一性能的计算过程也可以由云端性能测试模块来计算。在这种情况下，云端性能测试模块获得硬件信息(诸如，硬件型号、硬件设备编号等)和/或接收计算设备110的测试结果。附加地，如上所讨论的，第一性能的确定规则还可以与渲染任务的类型相关联，在这种情况下，如果第一性能由云端性能测试模块来计算，则计算设备110还可以将与渲染任务的类型相关的信息(诸如，渲染任务的名称、标识符等)发送给云端性能测试模块。接下来，云端性能测试模块确定第一性能并通过相应的消息将确定的第一性能发送给计算设备110。基于该消息，计算设备110可以相应地确定第一性能。以此方式，第一性能的确定过程将更加一致和统一。

通过上述过程，与本地渲染模式相关联的第一性能可以被确定。

确定第二性能

在一些实施例中，确定所述第二性能包括获取与云端渲染模式相关联的至少一个网络性能参数。应当理解，本公开的网络性能参数是指代可以表征和衡量与云端渲染模式性能的任意适当参数。

网络性能参数的一个示例是网络带宽。网络性能参数的另一示例是网络时延。网络性能参数的其他示例包括网络抖动、丢包率、信号强度等。在一些实施例中，可以通过测试来获得至少一个网络性能参数的值。在一特定实施例中，计算设备110与云端(诸如，云端性能测试模块)建立连接，并在一预定时间段内发送数据包，通过对数据包传输过程的检测，评估网络带宽的大小。附加地，发送的数据包可以包括时间戳信息，根据时间戳信息可以获得网络时延。附加地，发送的数据包还可以携带编号，根据编号可以获得抖动和丢包率。应当理解，上述获得网络性能参数值的过程仅仅是示例性的。在其他实施例中，网络性能参数可以为其他适当的参数，并且可以通过任何现有的或未来定义的方式来获得该网络性能参数的值。本公开的实施例在此方面不受限制。

进一步地，在本公开中，数据包的发送方既可以是计算设备110，也可以是云端性能测试模块。此外，传输的数据包既可以是单向的，也可以是双向的。进一步地，接收方可以响应于接收到数据包而发送响应数据包。基于上述数据包的交互过程，至少一个网络性能参数的值可以被确定。

备选地或附加地，不同的网络性能参数还可以具有不同的权重，第二性能还可以基于至少一个网络性能参数的权重来计算。在一些实施例中，不同的网络性能参数的权重是预先配置的，诸如，网络带宽和/或时延具有较高的第一权重，抖动具有较低的第二权重。备选地，不同的硬件性能参数的权重还可以是基于渲染任务的类型而被动态确定的。

在一些实施例中，第二性能可以通过分数来衡量。具体为，网络性能参数的不同的值对应不同的分数。作为一特定实施例，第二性能可以通过如下等式(2)来计算。

第二性能＝第一网络参数的分数*第一权重+第M网络参数的分数*第N权重(2)

其中，N为大于等于1的整数。在一些实施例中，第二性能的确定规则可以被预先配置并存储。下表2示出了第二性能的确定规则的示例。

表2第二性能的确定规则的示例

在表2的特定实施例中，如果网络带宽属于第一带宽区间，时延属于第一时延区间，丢包率属于第一丢包率区间，则通过等式(2)，第二性能将被计算为第一权重*第一分数+第二权重*第三分数+第三权重*第五分数。

应当理解，表2中的第二性能的确定规则仅仅是示例性的。换句话说，表2中所示出的网络性能参数、权重、测试值以及分数的数目和数值均是示意性的。在其他实施例中，第二性能的确定规则可以根据实际需要被适当的定义。还应当理解，上述等式(2)也 仅仅是示例性的，在其他实施例中，第二性能还可以通过其他等式来确定。更重要的是，通过分数来表征第二性能仅仅是示意性的。在其他实施例中，第二性能还可以通过其他参数来表征，诸如性能等级。简言之，本公开在通过至少一个网络性能参数的值和权重确定第一性能的具体实现方式方面不受限制。

在一些实施例中，第二性能的计算可以由计算设备110来执行。备选地或附加地，在一些实施例中，第二性能也可以由云端性能测试模块来计算。在这种情况下，云端性能测试模块获得至少一个网络性能参数的值，可以是云端性能测试模块自己测量的，也可以是从计算设备110处接收的。附加地，如上所讨论的，第二性能的确定规则还可以与渲染任务的类型相关联，在这种情况下，如果第二性能由云端性能测试模块来计算，则计算设备110还可以将与渲染任务的类型相关的信息(诸如，渲染任务的名称、标识符等)发送给云端性能测试模块。接下来，云端性能测试模块确定第二性能并通过相应的消息将确定的第二性能发送给计算设备110。基于该消息，计算设备110可以相应地确定第二性能。以此方式，第二性能的确定过程将更加一致和统一。

通过上述示例过程，与云端渲染模式相关联的第二性能可以被确定。

在一些实施例中，第一性能和第二性能可以作为选择目标渲染模式的依据。如图2所示，在框220，计算设备110在将至少部分地基于所述第一性能和第二性能，从所述本地渲染模式和所述云端渲染模式中确定用于执行渲染任务的目标渲染模式。

在一些实施例中，计算设备110自动地将本地渲染模式和云端渲染模式中性能较好的确定为目标渲染模式。可选地，计算设备110将确定的目标渲染模式通过用户界面152呈现给用户。

备选地，在一些实施例中，目标渲染模式也可以由用户基于第一性能和第二性能来选择。作为一个示例，计算设备110通过用户界面152向用户呈现第一性能和第二性能的信息和用于接收用于确 定目标渲染模式的用户选择130的视觉元素。计算设备110基于用户选择130来确定目标渲染模式。

附加地，除第一性能和第二性能外，目标渲染模式还可以基于其他因素来确定。一个示例因素是渲染任务的性能需求，诸如，对于延时、画质、渲染时长等的需求。另一示例因素是渲染任务的类型，诸如，增加特效、背景虚化等。又一示例因素是待渲染数据的存储位置，诸如是云端还是本地。其他示例因素包括渲染任务的优先级、待渲染数据的大小等。

应当理解，上述示例因素仅用于说明的目的。在其他实施例中，当确定目标渲染模式时，其他因素也可以被考虑。本公开的实施例在此方面不受限制。

进一步地，与第一性能和第二性能类似，上述示例因素也可以通过用户界面152呈现给用户，以使得用户做出更加适合的渲染策略。

在框230，计算设备110基于所述目标渲染模式，执行所述渲染任务。

如本公开所讨论的，在一些实施例中，计算设备110可以在本地渲染模式和云端渲染模式间动态地切换。以此方式，使得当正在使用的渲染模式的性能下降时，可以切换至另一渲染模式以继续执行渲染任务。

在一些实施例中，响应于云端渲染模式被选择为目标渲染模式，在渲染任务的执行期间，继续监测上述第二性能。在一实施例中，第二性能被周期性地或持续性地检测。在另一实施例中，第二性能响应于预定义事件而被触发检测。预定义事件的一个示例是用户输入，诸如用户输入期望查看上述第二性能的指示。预定义事件的又一示例是检测到网络环境恶化，诸如，网络连接中断、网络连接信号强度变弱或者网络带宽不足等。应当理解，上述预定义事件的示例仅仅是说明性的。在其他实施例中，计算设备110可以响应于其他预定义事件来触发监测第二性能。进一步地，如果计算设备110 监测到第二性能下降到第一阈值性能以下，则将所述目标渲染模式切换为本地渲染模式(如果本地渲染模式可用)。

附加地，为了防止渲染模式的频繁切换(即，乒乓效应)，计算设备110在检测到第二性能下降到第一阈值性能以下后并不立即切换至本地渲染模式。与之相反，当计算设备110确定第二性能下降到第一阈值性能以下的持续时间达到第一阈值时长时，才将目标渲染模式切换为本地渲染模式。

备选地，如果本地渲染模式被选择为目标渲染模式，则在所述渲染任务的执行期间，继续监测上述第二性能。在一实施例中，第二性能被周期性地或持续性地检测。在另一实施例中，第二性能响应于预定义事件而被触发检测。预定义事件的一个示例是用户输入，诸如用户输入期望查看第二性能的指示。预定义事件的又一示例是检测到网络环境好转。应当理解，上述预定义事件的示例仅仅是说明性的。在其他实施例中，计算设备110可以响应于其他预定义事件来触发监测第二性能。进一步地，如果计算设备110监测到第二性能上升到第二阈值性能以上，则将目标渲染模式切换为云端渲染模式。

类似地，为了防止渲染模式的频繁切换(即，乒乓效应)，计算设备110在检测到第二性能上升到第一阈值性能以上后并不立即切换至云端渲染模式。与之相反，当计算设备110确定第二性能上升到所述第二阈值性能的持续时间达到第二阈值时长时，才将所述目标渲染模式切换为所述云端渲染模式。

备选地，在一些实施例中，如果本端渲染模式被选择为目标渲染模式，在所述渲染任务的执行期间，继续监测所述第一性能。在一实施例中，周期性地或持续性地检测第一性能。在另一实施例中，响应于预定义事件来触发检测第一性能。预定义的事件的一个示例是用户输入，诸如用户输入期望查看上述第一性能的指示。预定义事件的又一示例是检测到硬件性能恶化，诸如，CPU运行速度下降、存储空间不足等。应当理解，上述预定义事件的示例仅仅是说明性 的。在其他实施例中，计算设备110可以响应于其他预定义事件来触发监测第一性能。进一步地，如果计算设备110监测到所述第一性能下降到第三阈值性能以下，将目标渲染模式切换为云端渲染模式。

附加地，为了防止渲染模式的频繁切换(即，乒乓效应)，计算设备110在检测到第一性能下降到第三阈值性能以下后并不立即切换至云端渲染模式。与之相反，当计算设备110确定第一性能下降到第三阈值性能以下的持续时间达到第三阈值时长时，才将目标渲染模式切换为云端渲染模式。

备选地，如果云端渲染模式被选择为目标渲染模式，则在所述渲染任务的执行期间，继续监测上述第一性能。预定义的事件的一个示例是用户输入，诸如用户输入期望查看上述第一性能的指示。预定义事件的又一示例是检测到硬件性能好转。应当理解，上述预定义事件的示例仅仅是说明性的。在其他实施例中，计算设备110可以响应于其他预定义事件来触发监测第一性能。进一步地，如果计算设备110监测到所述第一性能上升到第四阈值性能以上，则将目标渲染模式切换为本地渲染模式。

类似地，为了防止渲染模式的频繁切换(即，乒乓效应)，计算设备110在检测到第一性能上升到第一阈值性能以上后并不立即切换至本地渲染模式。与之相反，当计算设备110确定第一性能上升到所述第四阈值性能的持续时间达到第四阈值时长时，才将所述目标渲染模式切换为所述本地渲染模式。

应当理解，上述渲染模式的切换过程仅仅是示例性的。因此，在其实施例中，第一性能和第二性能均被检测，渲染模式的切换基于第一性能和第二性能来确定。

进一步地，渲染模式的切换可以被实现为再一次地确定目标渲染模式。仅出于简要的目的，类似的描述将不再重复讨论。

在一些实施例中，当确定需要切换目标渲染模式时，可以向用户呈现提示，呈现的信息包括但不限于：最新确定的第一性能和/ 或第二性能等。基于该提示信息，用户可以重选选择目标渲染模式。

以此方式，目标渲染模式可以在本地渲染和云端渲染之间动态地切换，从而充分地利用两种渲染模式的优势。

示例装置和设备

图3示出了根据本公开的一些实施例的图像处理装置300的框图。装置300可以被实现为或者被包括在计算设备110。装置300中的各个模块/组件可以由硬件、软件、固件或者它们的任意组合来实现。

如图所示，装置300包括性能确定模块310，被配置为确定与本地渲染模式相关联的第一性能和与云端渲染模式相关联的第二性能。装置300还包括目标渲染模式确定模块320，被配置为至少部分地基于所述第一性能和所述第二性能，从所述本地渲染模式和所述云端渲染模式中确定用于执行渲染任务的目标渲染模式。装置300进一步包括渲染任务执行模块330，被配置为基于所述目标渲染模式，执行所述渲染任务。

在一些实施例中，所述性能确定模块310还被配置为：获取与所述本地渲染相关联的至少一个硬件性能参数；以及基于所述至少一个硬件性能参数的值和权重中的至少一者来确定所述第一性能。

在一些实施例中，所述性能确定模块310还被配置为：获取与所述云端渲染相关联的至少一个网络性能参数；以及基于所述至少一个网络性能参数的值和权重中的至少一者来确定所述第二性能。

在一些实施例中，所述目标渲染模式确定模块320还被配置为：基于所述第一性能和所述第二性能和所述渲染任务的性能需求来确定所述目标渲染模式。

备选地或附加地，在一些实施例中，所述目标渲染模式确定模块320还被配置为：基于所述第一性能和所述第二性能和所述渲染任务的类型来确定所述目标渲染模式。

在一些实施例中，所述目标渲染模式确定模块320还被配置为： 基于所述第一性能和所述第二性能和所述渲染任务的优先级来确定所述目标渲染模式。

在一些实施例中，所述目标渲染模式确定模块320还被配置为：基于所述第一性能和所述第二性能和所述渲染任务的待渲染数据的大小来确定所述目标渲染模式。

在一些实施例中，所述目标渲染模式确定模块320还被配置为：基于所述第一性能和所述第二性能和所述渲染任务的所述待渲染数据的存储位置确定所述目标渲染模式。

在一些实施例中，所述目标渲染模式确定模块320还被配置为：向用户呈现所述第一性能和所述第二性能的指示；以及接收用户的用于确定所述目标渲染模式的用户选择130。

在一些实施例中，装置300还包括第一切换模块，被配置为响应于所述云端渲染模式被选择为所述目标渲染模式，在所述渲染任务的执行期间，监测所述第二性能；以及响应于监测到所述第二性能下降到第一阈值性能以下，将所述目标渲染模式切换为所述本地渲染模式。

在一些实施例中，第一切换模块还被配置为：响应于所述第二性能下降到所述第一阈值性能以下的持续时间达到第一阈值时长，将所述目标渲染模式切换为所述本地渲染模式。

在一些实施例中，装置300还包括第二切换模块，被配置为响应于所述本地渲染模式被选择为所述目标渲染模式，在所述渲染任务的执行期间，监测所述第二性能；以及响应于监测到所述第二性能上升到第二阈值性能以上，将所述目标渲染模式切换为所述云端渲染模式。

在一些实施例中，第二切换模块还被配置为响应于所述第二性能上升到所述第二阈值性能的持续时间达到第二阈值时长，将所述目标渲染模式切换为所述云端渲染模式。

在一些实施例中，装置300为虚拟直播或虚拟会议客户端设备。

图4示出了其中可以实施本公开的一个或多个实施例的计算设 备/系统400的框图。应当理解，图4所示出的计算设备/系统400仅仅是示例性的，而不应当构成对本文所描述的实施例的功能和范围的任何限制。图4所示出的计算设备/系统400可以用于实现图1的计算设备110。

如图4所示，计算设备/系统400是通用计算设备的形式。计算设备/系统400的组件可以包括但不限于一个或多个处理器或处理单元410、存储器420、存储设备430、一个或多个通信单元440、一个或多个输入设备450以及一个或多个输出设备460。处理单元410可以是实际或虚拟处理器并且能够根据存储器420中存储的程序来执行各种处理。在多处理器系统中，多个处理单元并行执行计算机可执行指令，以提高计算设备/系统400的并行处理能力。

计算设备/系统400通常包括多个计算机存储介质。这样的介质可以是计算设备/系统400可访问的任何可以获得的介质，包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器420可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(RAM))、非易失性存储器(例如，只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)或它们的某种组合。存储设备430可以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如闪存驱动、磁盘或者任何其他介质，其可以能够用于存储信息和/或数据(例如用于训练的训练数据)并且可以在计算设备/系统400内被访问。

计算设备/系统400可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图4中示出，可以提供用于从可拆卸、非易失性磁盘(例如“软盘”)进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中，每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。存储器420可以包括计算机程序产品425，其具有一个或多个程序模块，这些程序模块被配置为执行本公开的各种实施例的各种方法或动作。

通信单元440实现通过通信介质与其他计算设备进行通信。附加地，计算设备/系统400的组件的功能可以以单个计算集群或多个计算机器来实现，这些计算机器能够通过通信连接进行通信。因此，计算设备/系统400可以使用与一个或多个其他服务器、网络个人计算机(PC)或者另一个网络节点的逻辑连接来在联网环境中进行操作。

输入设备450可以是一个或多个输入设备，例如鼠标、键盘、追踪球等。输出设备460可以是一个或多个输出设备，例如显示器、扬声器、打印机等。计算设备/系统400还可以根据需要通过通信单元440与一个或多个外部设备(未示出)进行通信，外部设备诸如存储设备、显示设备等，与一个或多个使得用户与计算设备/系统400交互的设备进行通信，或者与使得计算设备/系统400与一个或多个其他计算设备通信的任何设备(例如，网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(I/O)接口(未示出)来执行。

根据本公开的示例性实现方式，提供了一种计算机可读存储介质，其上存储有计算机可执行指令或计算机程序，其中计算机可执行指令或计算机程序被处理器执行以实现上文描述的方法。

根据本公开的示例性实现方式，还提供了一种计算机程序产品，计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括计算机可执行指令，而计算机可执行指令被处理器执行以实现上文描述的方法。

在本文中参照根据本公开实现的方法、装置、设备和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元 执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实现的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实现，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实现。在不偏离所说明的各实现的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实现的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文公开的各个实现方式。

Claims (15)

1. 一种图像渲染方法，包括：

   确定与本地渲染模式相关联的第一性能和与云端渲染模式相关联的第二性能；

   至少部分地基于所述第一性能和所述第二性能，从所述本地渲染模式和所述云端渲染模式中确定用于执行渲染任务的目标渲染模式；以及

   基于所述目标渲染模式，执行所述渲染任务。
2. 根据权利要求1所述的方法，其中确定所述第一性能包括：

   获取与所述本地渲染相关联的至少一个硬件性能参数；以及

   基于所述至少一个硬件性能参数的值和权重中的至少一者来确定所述第一性能。
3. 根据权利要求1所述的方法，其中确定所述第二性能包括：

   获取与所述云端渲染相关联的至少一个网络性能参数；以及基于所述至少一个网络性能参数的值和权重中的至少一者来确定所述第二性能。
4. 根据权利要求1所述的方法，其中确定所述目标渲染模式包括：

   基于所述第一性能和所述第二性能并且进一步基于以下至少一项，确定所述目标渲染模式：

   所述渲染任务的性能需求，

   所述渲染任务的类型，

   所述渲染任务的优先级，

   所述渲染任务的待渲染数据的大小，

   所述渲染任务的所述待渲染数据的存储位置。
5. 根据权利要求1所述的方法，其中确定所述目标渲染模式包括：

   向用户呈现所述第一性能和所述第二性能的指示；以及

   接收用户的用于确定所述目标渲染模式的用户选择。
6. 根据权利要求1所述的方法，还包括：

   响应于所述云端渲染模式被选择为所述目标渲染模式，

   在所述渲染任务的执行期间，监测所述第二性能；以及

   响应于监测到所述第二性能下降到第一阈值性能以下，

   将所述目标渲染模式切换为所述本地渲染模式。
7. 根据权利要求6所述的方法，其中将所述目标渲染模式切换为所述本地渲染模式包括：

   响应于所述第二性能下降到所述第一阈值性能以下的持续时间达到第一阈值时长，将所述目标渲染模式切换为所述本地渲染模式。
8. 根据权利要求1所述的方法，还包括：

   响应于所述本地渲染模式被选择为所述目标渲染模式，

   在所述渲染任务的执行期间，监测所述第二性能；以及

   响应于监测到所述第二性能上升到第二阈值性能以上，

   将所述目标渲染模式切换为所述云端渲染模式。
9. 根据权利要求8所述的方法，其中将所述目标渲染模式切换至所述云端渲染模式：

   响应于所述第二性能上升到所述第二阈值性能的持续时间达到第二阈值时长，将所述目标渲染模式切换为所述云端渲染模式。
10. 根据权利要求1所述的方法，其中所述渲染任务与虚拟直播或虚拟会议渲染任务相关。
11. 一种图像渲染装置，包括：

    性能确定模块，被配置为确定与本地渲染模式相关联的第一性能和与云端渲染模式相关联的第二性能；

    目标渲染模式确定模块，被配置为至少部分地基于所述第一性能和所述第二性能，从所述本地渲染模式和所述云端渲染模式中确定用于执行渲染任务的目标渲染模式；以及

    渲染任务执行模块，被配置为基于所述目标渲染模式，执行所 述渲染任务。
12. 根据权利要求11所述的装置，还包括：

    第一切换模块，被配置为响应于所述云端渲染模式被选择为所述目标渲染模式，

    在所述渲染任务的执行期间，监测所述第二性能；以及

    响应于监测到所述第二性能下降到第一阈值性能以下，将所述目标渲染模式切换为所述本地渲染模式。
13. 根据权利要求10所述的装置，其中所述图像渲染装置为虚拟直播或虚拟会议客户端设备。
14. 一种电子设备，包括：

    至少一个处理单元；以及

    至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令在由所述至少一个处理单元执行时使所述设备执行根据权利要求1至10中任一项所述的方法。
15. 一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现根据权利要求1至10中任一项所述的方法。