WO2024104170A1 - 图像渲染方法、介质、产品及电子设备 - Google Patents

Abstract

本申请提供一种图像渲染方法、介质、产品及电子设备，涉及图像处理技术领域，可以实现在XR交互场景中对交互画面中的感兴趣区域等特定区域进行主动式动态高清渲染，而无需使用眼动设备，能够提升用户体验。该方法包括：确定电子显示的交互画面中的多个第一区域；采用第一参数渲染多个第一区域中的图像得到多个第一图像，即对每个第一图像进行高清渲染，并采用第二参数渲染交互画面中的场景图像得到第二图像，即对第二图像进行了低清渲染，每个第一图像的分辨率高于第二图像；对多个第一图像和第二图像进行纹理贴合得到第一结果图像。

Description

图像渲染方法、介质、产品及电子设备

本申请要求于2022年11月18日提交国家知识产权局、申请号为202211449182.1、申请名称为“图像渲染方法、介质、产品及电子设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像渲染方法、介质、产品及电子设备。

背景技术

扩展现实(Extended Reality，XR)，是指通过计算机将虚拟的内容和真实场景融合，打造一个可人机交互的虚拟环境。XR技术包含增强现实(Augmented Reality，AR)、虚拟现实(Virtual Reality，VR)、混合现实(Mixed Reality，MR)等多种技术。

在XR场景中显示交互画面时，XR设备(如XR眼镜)可以对交互画面中的不同区域中的图像分别进行渲染。目前，XR设备通常将交互画面的中心区的图像或者眼球注视处的图像渲染为高清晰度图像(即高清图像)，将交互画面中的场景图像渲染为低清晰度图像。

然而，在XR场景下用户关注的对象不是一直在交互画面的中心区或者眼球注视处，那么上述方案可能导致用户实际关注的对象的清晰度较低、显示效果欠佳。并且，为了获取用户的眼球位置信息，还需要增加额外的眼动设备，增加了成本和功耗。

发明内容

本申请实施例提供一种图像渲染方法、介质、产品及电子设备，可以实现在XR交互场景中对交互画面中的感兴趣区域等特定区域进行主动式动态高清渲染，而无需使用眼动设备，能够提升用户体验。

为达到上述目的，本申请采用如下技术方案：

第一方面，本申请实施例提供了一种图像渲染方法，应用于电子设备，该方法包括：确定电子显示的交互画面中的多个第一区域；采用第一参数渲染多个第一区域中的图像得到多个第一图像，即对每个第一图像进行高清渲染，并采用第二参数渲染交互画面中的场景图像得到第二图像，即对第二图像进行了低清渲染，每个第一图像的分辨率高于第二图像；对多个第一图像和第二图像进行纹理贴合得到第一结果图像。其中，上述第一区域不一定是交互画面中的中心区域。通常上述多个第一区域为用户实际关注的区域。例如，上述电子设备可以为下文中的XR设备。那么，本申请可以实现对交互画面中用户实际关注的区域进行主动式动态高清渲染，并且电子设备中不需要增加眼动设备，可以提升用户体验。

在第一方面的第一种可能的实现方式中，上述方法还包括：计算每个第一区域对应的第一视角，交互画面整体对应第二视角，每个第一区域对应的第一视角处于第二视角中；每个第一图像与第二图像是基于对应的第一视角与第二视角的比例关系进行纹理贴合的。其中，每个第一区域对应的第一视角可以为下文中交互画面中的一个小FOV。而第二视角为下文中交互画面中的大FOV。

根据上述第一种可能的实现方式，在第一方面的第二种可能的实现方式中，每个第一区域中的对象可以为实际对象或采用扩展显示XR技术显示的虚拟对象。如此，本申请的图像渲染方法可以应用于XR交互场景中，能够对用户关注的实际对象或虚拟对象分别进行高清渲染，以提升用户的交互体验。

根据第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，上述方法还包括：构建交互画面对应的三维场景模型的情况下，在三维场景模型中标记出第一区域。那么，可以通过三维场景模型实现采用XR技术显示交互画面。

根据第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，电子设备包括佩戴于用户头部的第一装置，第一装置中包括物理相机；三维场景模型为电子设备通过虚景相机生成的；上述方法还包括：获取视角的位姿与三维场景模型的位姿，并建立视角的位姿与三维场景模型的位姿的投影关系，第一视角为基于投影关系根据三维场景的位姿与视角的位姿确定的；其中，三维场景模型的位姿指的是三维场景模型与虚景相机之间的第一位姿，视角的位姿指的是物理相机与电子设备整机初始坐标系之间的第二位姿，虚景相机与电子设备整机初始坐标系之间的第三位姿，投影关系通过第一位姿、第二位姿和第三位姿的乘积表示。例如，第一位姿可以为下文中图6示出的转换关系T1，第二位姿可以为下文中图7示出的转换关系T3，第三位姿可以为下文图8示出的转换关系T2，那么三维场景通过转换关系T1、T2、T3与视角位姿(相机位姿)之间建立联系，而T1*T2*T3的数学表达就是投影关系。

根据第一方面及其第一种到第四种可能的方式中的任一种，在第一方面的第五种可能的实现方式中， 每个第一区域为一个感兴趣区域。通常感兴趣区域为用户实际关注的区域。

根据第一方面的第五种可能的方式，在第一方面的第六种可能的实现方式中，上述方法还包括：确定交互画面中不存在感兴趣区域；计算交互画面的中心区域对应的第三视角，第三视角处于第二视角中，交互画面整体对应第二视角；采用第一参数渲染中心区域中的图像得到第三图像，并采用第二参数渲染交互画面中的场景图像得到第四图像，第三图像的分辨率高于第四图像；对第三图像和第四图像进行纹理贴合得到第二结果图像。可以理解，在交互画面中无感兴趣区域时，电子设备可以高清渲染小FOV对应的中心区域。

第二方面，本申请实施例提供了一种图像渲染装置，应用于电子设备，该装置包括：确定模块，用于确定电子显示的交互画面中的多个第一区域；渲染模块，用于采用第一参数渲染确定模块确定出的多个第一区域中的图像得到多个第一图像，并采用第二参数渲染交互画面中的场景图像得到第二图像，每个第一图像的分辨率高于第二图像；贴合模块，用于对多个第一图像和第二图像进行纹理贴合得到第一结果图像。

在第二方面的第一种可能的实现方式中，上述装置还包括：第一计算模块，用于计算每个第一区域对应的第一视角，交互画面整体对应第二视角，每个第一区域对应的第一视角处于第二视角中；第一图像与第二图像是基于对应的第一视角与第二视角的比例关系进行纹理贴合的。

根据上述第一种可能的实现方式，在第二方面的第二种可能的实现方式中，每个第一区域中的对象可以为实际对象或采用扩展显示XR技术显示的虚拟对象。

根据第二方面的第二种可能的实现方式，在第二方面的第三种可能的实现方式中，上述装置还包括：标记模块，用于构建交互画面对应的三维场景模型的情况下，在三维场景模型中标记出第一区域。

根据第二方面的第三种可能的实现方式，在第二方面的第四种可能的实现方式中，电子设备包括佩戴于用户头部的第一装置，第一装置中包括物理相机；三维场景模型为电子设备通过虚景相机生成的；上述装置还包括：获取模块，用于获取视角的位姿与三维场景模型的位姿，并建立视角的位姿与三维场景模型的位姿的投影关系，第一视角为基于投影关系根据三维场景的位姿与视角的位姿确定的；其中，三维场景模型的位姿指的是三维场景模型与虚景相机之间的第一位姿，视角的位姿指的是物理相机与电子设备整机初始坐标系之间的第二位姿，虚景相机与电子设备整机初始坐标系之间的第三位姿，投影关系通过第一位姿、第二位姿和第三位姿的乘积表示。

根据第二方面及其第一种到第四种可能的方式中的任一种，在第二方面的第五种可能的实现方式中，每个第一区域为一个感兴趣区域。

根据第二方面的第五种可能的方式，在第二方面的第六种可能的实现方式中，确定模块，还用于确定交互画面中不存在感兴趣区域；上述装置还包括：第二计算模块，用于计算交互画面的中心区域对应的第三视角，第三视角处于第二视角中，交互画面整体对应第二视角；渲染模块，还用于采用第一参数渲染中心区域中的图像得到第三图像，并采用第二参数渲染交互画面中的场景图像得到第四图像，第三图像的分辨率高于第四图像；贴合模块，还用于对第三图像和第四图像进行纹理贴合得到第二结果图像。

第三方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有指令，该指令在电子设备上执行时使电子设备执行如第一方面及其任一种可能的实现方式中的图像渲染方法。

第四方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括指令，所述指令用于实现如执行如第一方面及其任一种可能的实现方式中的图像渲染方法。

第五方面，本申请实施例提供了一种电子设备，包括：存储器，用于存储由电子设备的一个或多个处理器执行的指令，以及处理器，当该指令被一个或多个处理器执行时，该处理器用于执行如第一方面及其任一种可能的实现方式中的图像渲染方法。

附图说明

图1根据本申请的一些实施例，示出了一种XR设备的结构示意图；

图2A根据本申请的一些实施例，示出了一种XR场景的交互画面示意图；

图2B根据本申请的一些实施例，示出了一种XR场景的交互画面示意图；

图2C根据本申请的一些实施例，示出了一种XR场景示意图；

图3根据本申请的一些实施例，示出了一种图像纹理贴合过程的示意图；

图4根据本申请的一些实施例，示出了一种图像渲染方法的流程示意图；

图5根据本申请的一些实施例，示出了一种XR场景示意图；

图6根据本申请的一些实施例，示出了为一种三维场景与虚景相机之间的位姿的关系示意图；

图7根据本申请的一些实施例，示出了为一种XR设备中眼镜上的相机位姿的关系示意图；

图8根据本申请的一些实施例，示出了一种XR设备的整机初始坐标系与虚景相机之间的位姿的关系示意图；

图9根据本申请的一些实施例，示出了一种图像的渲染区域的示意图；

图10根据本申请的一些实施例，示出了一种图像中的FOV的示意图；

图11根据本申请的一些实施例，示出了一种图像纹理贴合过程的示意图；

图12根据本申请的一些实施例，示出了一种系统的框图。

具体实施方式

本申请的说明性实施例包括但不限于图像渲染方法、介质及电子设备。

在扩展现实(extended reality，XR)场景中，电子设备显示交互画面时可以对交互画面中的不同区域中的图像分别进行渲染，以便交互画面的显示效果符合用户需求。作为示例，XR场景中电子设备可以在实景上显示虚拟对象。例如，本申请实施例提供的XR场景可以为在实际场景中显示九色鹿等虚拟对象，或者在实际场景上进行手机投屏显示虚拟的手机界面，或者XR教育场景中在实际的教室场景中显示虚拟的黑板，但不限于此。

在一些相关技术中，在XR场景中渲染交互画面时，电子设备对交互画面进行中心区渲染。具体地，该方案将交互画面的中心区中的图像作为小视野(field of vision，FOV，或称视角)，将中心区之外的其他区域中的图像作为大FOV。然后，渲染大FOV的纹理得到对应的低清晰度图像，渲染小FOV的纹理得到对应的高清图像。最后，将这两张图像的纹理进行贴合得到最终渲染后的交互画面中的图像。

此外，在另一些相关技术中，在XR场景中渲染交互画面时，电子设备需额外连接眼动设备，实现眼动追踪，并根据眼动跟踪结果对交互画面进行分区渲染。具体地，该方案根据眼球位置信息将交互画面中眼球注视处的域作为小FOV，将眼球注视处的场景图像作为大FOV。进而，渲染大FOV的纹理得到对应的低清晰度图像，渲染小FOV的纹理得到对应的高清图像。最后，将这两张图像的纹理进行贴合得到最终渲染后的交互画面中的图像。

然而，在XR场景下用户关注的对象不是一直在交互画面的中心区或者眼球注视处，那么上述相关技术可能导致用户实际关注的对象的清晰度较低、显示效果欠佳。并且，为了获取用户的眼球位置信息，还需要增加额外的眼动设备，增加了成本和功耗。

本申请实施例提供一种图像渲染方法，在XR交互场景的交互画面中确定出一个或多个感兴趣区域(region of interest，ROI)，其中，感兴趣区域可以为XR场景中用户通常关注交互画面中的感兴趣物体所在的区域，如虚拟对象或一些实际对象所在的区域。具体地，将交互画面中的一个或多个感兴趣区域作为渲染目标，并对这些感兴趣区域渲染得到一张或多张小FOV图像，对交互画面中的整个场景图像渲染得到一张大FOV图像，进而将大FOV图像和这些小FOV图像进行纹理贴合得到渲染结果图像，实现对多个感兴趣物体进行动态高清渲染的目标。如此，可以实现对交互画面中的感兴趣区域进行主动式动态高清渲染，并且XR设备中不增加眼动设备，可以提升用户体验。

在一些实施例中，交互画面中的场景图像可以除了感兴趣区域之外的其他区域中的图像。在另一些实施例中，交互画面中的场景图像可以为该交互画面中的完整图像。

此外，在其他一些实施例中，XR交互场景中确定出的感兴趣区域还可以替换为交互画面中的其他特定区域，这些区域为用户实际关注的区域，即用户更倾向于观看这些区域中的对象。

其中，小FOV图像是采用第一参数进行高清渲染的，渲染的纹理的细节特征较多。而大FOV图像是采用第二参数进行低清渲染的，渲染的纹理的细节特征较少。其中，第一参数和第二参数的具体区域可以根据实际需求设定，本申请实施例对此不做具体限定。相应的，渲染得到的小FOV图像的分辨率高于渲染得到的大FOV图像的分辨率。

可以理解，小FOV图像为对小FOV所在的区域中的图像渲染纹理得到的图像，大FOV图像为对大FOV所在的区域中的图像渲染纹理得到的图像。

本申请实施例提供的图像渲染方案可以应用于支持XR技术的电子设备，该电子设备可以为手机、平板电脑、笔记本电脑或者可穿戴设备等便携式终端设备，可以为增强现实(augmented reality，AR)设备、虚拟现实(virtual reality，VR)设备、混合现实(mixed reality，MR)或扩展现实(extended reality，XR)等，也可以为车载设备、上网本或智慧屏等电子设备。本申请实施例对电子设备的具体类型不作任何限制。

在一些实施例中，上述XR设备可以为XR眼镜或XR头盔等具有头部显示功能且支持XR技术的电子设备。可以理解，XR设备通常具有头部显示模块以及输入模块。作为示例，头部显示模块为眼镜或者头盔，输入模块通常为与头部显示模块配套的操作手柄。以下实施例中，以执行图像渲染的电子设备为XR设备为例进行说明。

参照图1所示，为本申请实施例提供的一种XR设备的结构示意图。

如图1所示，XR设备10可以包括处理器110、电源模块140、存储器180，移动通信模块130、无线通信模块120、传感器模块190、音频模块150、摄像头170、接口模块160、按键101、显示装置102以及控制装置103等。

处理器110可以包括一个或多个处理单元，例如，可以包括中央处理器CPU(central processing unit)、图像处理器GPU(graphics processing unit)、数字信号处理器DSP、微处理器MCU(micro-programmed control unit)、AI(artificial intelligence，人工智能)处理器或可编程逻辑器件FPGA(field programmable gate array)等的处理模块或处理电路。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。处理器110中可以设置存储单元，用于存储指令和数据。在一些实施例中，处理器110中的存储单元为高速缓冲存储器180。

电源模块140可以包括电源、电源管理部件等。电源可以为电池。电源管理部件用于管理电源的充电和电源向其他模块的供电。在一些实施例中，电源管理部件包括充电管理模块和电源管理模块。充电管理模块用于从充电器接收充电输入；电源管理模块用于连接电源，充电管理模块与处理器110。电源管理模块接收电源和/或充电管理模块的输入，为处理器110，显示屏102，摄像头170，及无线通信模块120等供电。

移动通信模块130可以包括但不限于天线、功率放大器、滤波器、LNA(low noise amplify，低噪声放大器)等。移动通信模块130可以提供应用在XR设备10上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块130可以由天线接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块130还可以对经调制解调处理器调制后的信号放大，经天线转为电磁波辐射出去。在一些实施例中，移动通信模块130的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块130至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code division multiple access，CDMA)，宽带码分多址(wideband code division multiple access，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，无线局域网(wireless local area networks，WLAN)，近距离无线通信技术(near field communication，NFC)，调频(frequency modulation，FM)和/或field communication，NFC)，红外技术(infrared，IR)技术等。GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidou navigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellite system，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

无线通信模块120可以包括天线，并经由天线实现对电磁波的收发。无线通信模块120可以提供应用在XR设备10上的包括无线局域网(wireless local area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。XR设备10可以通过无线通信技术与网络以及其他设备进行通信。

在一些实施例中，XR设备10的移动通信模块130和无线通信模块120也可以位于同一模块中。

显示装置102用于显示人机交互界面、图像、视频等。例如，显示装置102可以为多面屏、智能眼镜、智能头盔等。具体地，通过显示装置102在实际场景中显示虚拟对象，如物体、人体等，如九色鹿、虚拟手机投屏、车辆、沙发、房间等，可根据实际情况进行设定。作为示例，显示装置102显示的实际对象和虚拟对象可以为三维数据，即三维场景数据。

传感器模块190可以包括接近光传感器、压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器，骨传导传感器，雷达等。例如，借助雷达原理，通过激光或超声波等媒介，对场景中的各个目标对象进行深度测量，可以 得到场景中各个对象的三维数据。

音频模块150用于将数字音频信息转换成模拟音频信号输出，或者将模拟音频输入转换为数字音频信号。音频模块150还可以用于对音频信号编码和解码。在一些实施例中，音频模块150可以设置于处理器110中，或将音频模块150的部分功能模块设置于处理器110中。在一些实施例中，音频模块150可以包括扬声器、听筒、麦克风以及耳机接口。

摄像头170用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件把光信号转换成电信号，之后将电信号传递给ISP(Image Signal Processing，图像信号处理)转换成数字图像信号。XR设备10可以通过ISP，摄像头170，视频编解码器，GPU(graphic processing unit，图形处理器)，显示屏102以及应用处理器等实现拍摄功能。作为示例，摄像头170可以为超景深相机，用于实时采集实际场景的图像。

接口模块160包括外部存储器接口、通用串行总线(universal serial bus，USB)接口及用户标识模块(subscriber identification module，SIM)卡接口等。其中外部存储器接口可以用于连接外部存储卡，例如Micro SD卡，实现扩展XR设备10的存储能力。外部存储卡通过外部存储器接口与处理器110通信，实现数据存储功能。通用串行总线接口用于XR设备10和其他电子设备进行通信。用户标识模块卡接口用于与安装至XR设备1010的SIM卡进行通信，例如读取SIM卡中存储的电话号码，或将电话号码写入SIM卡中。

控制装置103可以包括手持交互设备，例如为摇杆、遥控器、终端、手柄等。其中，通过显示装置102在实际场景上显示虚拟对象，控制装置103用于对显示的虚拟对象以及实际场景的图像进行渲染。

在一些实施例中，XR设备10还包括按键101、马达以及指示器等。其中，按键101可以包括音量键、开/关机键等。其中，按键101中的一部分可以部署在头部的显示装置102上，另一部分可以部署在控制装置103上。马达用于使XR设备10产生振动效果，例如在用户的XR设备10在运行游戏时随着游戏的目标对象的运行或中弹等事件产生振动，以提示用户XR设备10或游戏中的目标对象的运动信息等。指示器可以包括激光指示器、射频指示器、LED指示器等。

可以理解的是，本发明实施例示意的结构并不构成对XR设备10的具体限定。在本申请另一些实施例中，XR设备10可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

如图2A所示，为本申请实施例提供的一种XR场景的交互画面示意图，该交互画面中为敦煌场景，具有包括莫高窟牌匾和虚拟的九色鹿图像。如图2B所示，为本申请实施例提供的一种XR场景的交互画面示意图，该交互画面中为室内场景，具有虚拟的手机界面图。

参照图2C所示，为本申请实施例提供的一种XR场景示意图，该场景可以用于提供AR摄影体验功能。图2C中示出的场景中用户佩戴XR设备10，XR设备10中的显示装置102的主体佩戴于用户头部，而控制装置103(如手柄)佩戴在用户的手部。XR设备10中摄像头170的完整视野记为大FOV，而交互画面一些小的区域对应的视野记为小FOV，不同小区域的小FOV的位置和角度均不同。而交互画面20中的小FOV对应的区域为感兴趣区域。例如，图2C示出的交互画面20中用户的感兴趣物体为实际的牌匾和虚拟的九色鹿，相应地交互画面20包括牌匾对应的感兴趣区域21以及九色鹿对应的感兴趣区域22这两个小FOV所在的区域。

本申请实施例中，可以对XR设备10显示交互画面20中的感兴趣区域21和感兴趣区域22渲染得到高清图像，并可以对交互画面20中的场景图像渲染得到低清图像，使得用户看到的感兴趣物体显示效果较高，提升用户体验。

可以理解，本申请实施例提供的图像渲染方法中，XR设备10可以将交互画面中的一个或多个感兴趣区域作为渲染目标，并可以将这些感兴趣区域渲染为一张或多张小FOV图像，将交互画面中的整个场景图像渲染为一张大FOV图像，还可以将多张图像进行贴合。参照图3所示，示出了图像纹理贴合过程的示意图。在图3中针对XR设备10采集大FOV对应的原始图像30，对原始图像30中的各个小FOV中的图像渲染纹理得到小FOV图像31、小FOV图像32等，并对原始图像30中的背景图像3n进行渲染纹理得到大FOV图像3n。进而，将这些小FOV图像31、32等与大FOV图像3n进行纹理贴合得到最终的渲染结果图像30＇，使得渲染结果图像30＇中相应小FOV中的实际对象或虚拟对象的显示效果较好。

接下来，结合图1示出的XR设备10和图2C示出的场景，对本申请实施例提供的图像渲染方法进行说明。参照图4所示，本申请实施例提供的图像渲染方法的执行主体为XR设备10，该方法包括如下步 骤：

S401：建立交互画面对应的三维场景模型。

在一些实施例中，上述交互画面中包括感兴趣物体，如实际物体或者虚拟物体。在另一些实施例中，上述交互画面可以为仅包括环境而不包括用户的感兴趣物体。

作为示例，参照图2C示出的场景，XR设备10实时采集交互画面20时，利用摄像头170等器件扫描得到实际场景的三维数据，并由用户利用显示装置102对根据实际场景的三维数据构建的三维场景模型进行编辑，例如在该三维场景模型中添加一个或多个虚拟对象，如虚拟的九色鹿等。

作为另一种示例，参照图5所示，为本申请实施例提供的一种XR场景示意图。如图5所示，XR设备10获取的交互画面50中包括天空背景和桌椅以及地面的前景。例如，图5中的蓝天背景为实际场景，桌椅和地面为虚拟对象。那么，在图5场景中的三维场景模型为对实际场景添加上桌椅和地面表示的虚拟对象之后生成的三维场景模型。

S402：在三维场景模型中标记感兴趣区域。

在一些实施例中，感兴趣区域可以为三维场景模型中的实际对象，还可以是三维场景模型中的虚拟对象。作为示例，感兴趣区域可以为预设对象所在的区域或者用户选择的感兴趣区域。具体的，上述感兴趣区域中的对象可以根据用户需求设置，本申请实施例对此不做具体限定。

作为示例，参照图2C示出的场景中包括两个感兴趣区域，感兴趣区域21中包含牌匾“莫高窟”，感兴趣区域22中包含九色鹿，其中牌匾“莫高窟”为实际对象，而九色鹿为虚拟对象。

参照图5所示的场景，该场景中包括三个感兴趣区域，感兴趣区域51和感兴趣区域53中分别包含一个椅子，感兴趣区域52中包含一个桌子。此时，这些感兴趣区域中的对象均为虚拟对象。

在一些实施例中，XR设备10标记感兴趣区域时，可以标记感兴趣区域的顶点的坐标位置。可以理解，三维场景模型中的感兴趣区域可以作为标志位(或称标签)，这些标志位在建立三维场景模型时就已经做好划分。作为示例，在感兴趣区域为矩形时，XR设备10对感兴趣区域标记的标志位位置就是矩形框的四个顶点的坐标。也就是说，XR设备10可以为三维场景模型进行数据划分，并为感兴趣区域表示的高清区域场景打上标签。

在一些实施例中，三维场景模型中可以存在多个感兴趣区域。本申请实施例提供的图像渲染方法对交互画面中的感兴趣区域的个数不做具体限定。

S403：获取视角的位姿与三维场景模型的位姿，并建立两者的投影关系。

在一些实施例中，XR设备10中部署有渲染引擎，该渲染引擎中设置有软件实现的虚景相机。可以理解，本质上渲染引擎是提供了一个电子集成驱动器(Integrated Drive Electronics，IDE)工具，可以采用所见即所得的方式，将绘制结果通过eglswap(The Khronos Platform Graphics Interface Swap，Khronos平台图形界面交换)工具输出给处理器中的GPU。

可以理解，虚景相机在画面制作对于表现视点的作用相当于传统意义上的摄影机，虚景相机与拍摄的物理摄影机的拍摄对象完全不同，但是功能却极其相似，物理摄影机拍摄的是实景人物或实际搭建好的场景，虚景相机拍摄的是建立在三维软件中的模型。可以理解，虚景相机同样具有镜头、焦距、焦点、光圈、景深这些参数，可以实现“推、拉、摇、移、跟、甩、升、降、综合运动”可以实现物理摄影机难于实现甚至无法实现的拍摄效果，比如，穿墙而过、穿越钥匙孔、穿过人体，从地球表面拉镜头到太空。物理摄影机需要调节的参数在分布在机身上，需要人工操作，虚景相机的参数是集成在一个面板上面的按钮或数值输入栏只需操作者输入参数或拖动鼠标，有时候几个关键帧就可以确定虚景相机的运动路径。物理摄影机在实际拍摄中，需要有稳定器或运动控制系统，即便这样画面的晃动不可避免，虚景相机拍摄可以达到绝对的稳定。

在一些实施例中，参照图6所示，为本申请实施例提供的三维场景与虚景相机之间的位姿的关系示意图。对于三维场景模型的位姿，由于三维场景模型是通过XR设备10中的渲染引擎中的虚景相机进行生成的，三维场景与虚景相机之间的位姿就是三维场景模型的位姿，记为T1(即坐标系转换关系T1)。

在一些实施例中，参照图7所示，为本申请实施例提供的XR设备10中眼镜上的相机位姿的关系示意图。其中，视角位姿是指XR设备10的眼镜上的相机位姿，该相机位姿是相对于XR设备10整机初始坐标系的，随着人运动视角位姿也在不断变化。XR设备10的眼镜上相机的位姿记为T3(即坐标系转换关系T3)。

在一些实施例中，参照图8所示，为本申请实施例提供的XR设备10的整机初始坐标系与虚景相机 之间的位姿的关系示意图。其中，由于虚景相机是渲染引擎中设置的相机，与XR设备10整机初始坐标系之间有确定的位姿关系，记为T2(即坐标系转换关系T2)。

在一些实施例中，三维场景通过转换关系T1、T2、T3与视角位姿(相机位姿)之间建立联系，而T1*T2*T3的数学表达就是投影关系。

S404：判断感兴趣区域是否在交互画面的大FOV对应的视角范围内。

如果是，说明交互画面中存在感兴趣区域则进入S405；

如果否，说明交互画面中无感兴趣区域则进入S406。

在本申请实施例中，参照图9所示，为本申请实施例提供的一种图像的渲染区域的示意图。其中，在交互画面中存在感兴趣区域时，后续XR设备10可以高清渲染小FOV所在的感兴趣区域。在交互画面中无感兴趣区域时，后续XR设备10可以高清渲染小FOV对应的中心区域。

S405：根据三维场景模型的位姿与视角的位姿，计算交互画面中的小FOV，使得小FOV包含感兴趣区域。

参照图10所示，为本申请实施例中提供的一种图像中的FOV的示意图。参照图2示出的场景，图10左侧示出了小FOV对应的九色鹿所在的感兴趣区域21，图10右侧示出了小FOV的角度示意图。其中，图10示出的小FOV可以为XR设备10中部署在眼镜上的摄像头170(即相机)下的小FOV。

在一些实施例中，参照公式(1)所示，已知XR设备10中的眼镜的相机(即如摄像头170)的内参矩阵K，可以将二维图像上的像素点(u,v)投影至该相机的归一化平面(x,y,1)上。

并且，参照图10和公式(2)，通过XR设备10中的眼镜的相机光心(0,0,0)与(x,y,1)可以得到向量L1，同理也可以得到另一侧的向量L2，使用感兴趣区域的两个顶点可以得到两个向量，小FOV即为向量间的夹角θ。

S406：根据三维场景模型的位姿与视角的位姿，计算小FOV，使得交互画面中的小FOV处于大FOV的中心。

类似的，对小FOV方位的计算可以参照S405中的相关描述，此处不再赘述。

S407：采用第一参数渲染交互画面对应的大FOV图像的纹理，并采用第二参数渲染交互画面对应的小FOV图像的纹理，小FOV图像对应于感兴趣区域，该大FOV图像和小FOV图像的分辨率相同。

可以理解，对于大FOV图像、小FOV图像进行的渲染流程是一致，区别在于大FOV图像在出图时就进行降采样(降低分辨率)操作，而小FOV图像是使用原图进入渲染操作。

其中，第一参数对应于高清渲染，即渲染的纹理的细节特征较多。而第二参数对应于低清渲染，即渲染的纹理的细节特征较少。对于第一参数和第二参数的具体取值可以根据实际需求确定，本申请实施例对此不做具体限定。

具体地，上述交互画面对应的大FOV图像为交互画面中的场景图像，即交互画面中的整体图像或者交互画面中除了感兴趣区域之外的区域中的图像。例如，参照图2C所示的场景，场景图像可以为交互画面20中除了感兴趣区域21和感兴趣区域22之外的区域中的图像。

S408：将渲染后的大FOV图像和渲染后的小FOV图像进行纹理贴合，得到渲染结果图像。

在一些实施例中，可以根据交互画面中大FOV与小FOV的比例关系，将多张相同分辨率的图像进行纹理贴合，得到最终的渲染结果图像。

在一些实施例中，参照图11所示，为本申请实施例提供的一种图像纹理贴合过程的示意图。其中，纹理贴合过程包括：将大FOV图像作为底图，将小FOV图像在大FOV图像上的感兴趣区域进行贴合。具体来讲，就是在软件生成融合图像时，对融合图像进行逐像素的搜索，每个像素通过像素的位置查询是属于大FOV图像还是小图像图片，然后再对该像素进行赋值。

可以理解，本申请实施例提供的图像渲染方法可以优化支持XR技术的电子设备的分区渲染特性，提升XR的体验。例如，该方法可以对高清显示ROI中的虚拟对象，对手机投屏，河图眼镜，XR教育等场景显示效果的提升具有明显收益。

现在参考图12，所示为根据本申请的一个实施例的系统1400的框图。图12示意性地示出了根据多个实施例的示例系统1400。在一个实施例中，系统1400可以包括一个或多个处理器1404，与处理器1404中的至少一个连接的系统控制逻辑1408，与系统控制逻辑1408连接的系统内存1412，与系统控制逻辑1408连接的非易失性存储器(NVM)1416，以及与系统控制逻辑1408连接的网络接口1420。

在一些实施例中，处理器1404可以包括一个或多个单核或多核处理器。在一些实施例中，处理器1404可以包括通用处理器和专用处理器(例如，图形处理器，应用处理器，基带处理器等)的任意组合。在系统1400采用eNB(evolved node B，增强型基站)101或RAN(radio access network，无线接入网)控制器102的实施例中，处理器1404可以被配置为执行各种符合的实施例，例如，如图4所示的实施例。

在一些实施例中，系统控制逻辑1408可以包括任意合适的接口控制器，以向处理器1404中的至少一个和/或与系统控制逻辑1408通信的任意合适的设备或组件提供任意合适的接口。

在一些实施例中，系统控制逻辑1408可以包括一个或多个存储器控制器，以提供连接到系统内存1412的接口。系统内存1412可以用于加载以及存储数据和/或指令。在一些实施例中系统1400的内存1412可以包括任意合适的易失性存储器，例如合适的动态随机存取存储器(DRAM)。

NVM/存储器1416可以包括用于存储数据和/或指令的一个或多个有形的、非暂时性的计算机可读介质。在一些实施例中，NVM/存储器1416可以包括闪存等任意合适的非易失性存储器和/或任意合适的非易失性存储设备，例如HDD(hard disk drive，硬盘驱动器)，CD(compact disc，光盘)驱动器，DVD(digital versatile disc，数字通用光盘)驱动器中的至少一个。

NVM/存储器1416可以包括安装系统1400的装置上的一部分存储资源，或者它可以由设备访问，但不一定是设备的一部分。例如，可以经由网络接口1420通过网络访问NVM/存储1416。

特别地，系统内存1412和NVM/存储器1416可以分别包括：指令1424的暂时副本和永久副本。指令1424可以包括：由处理器1404中的至少一个执行时导致系统1400实施如图4所示的方法的指令。在一些实施例中，指令1424、硬件、固件和/或其软件组件可另外地/替代地置于系统控制逻辑1408，网络接口1420和/或处理器1404中。

网络接口1420可以包括收发器，用于为系统1400提供无线电接口，进而通过一个或多个网络与任意其他合适的设备(如前端模块，天线等)进行通信。在一些实施例中，网络接口1420可以集成于系统1400的其他组件。例如，网络接口1420可以集成于处理器1404的，系统内存1412，NVM/存储器1416，和具有指令的固件设备(未示出)中的至少一种，当处理器1404中的至少一个执行所述指令时，系统1400实现如图4所示的方法。

网络接口1420可以进一步包括任意合适的硬件和/或固件，以提供多输入多输出无线电接口。例如，网络接口1420可以是网络适配器，无线网络适配器，电话调制解调器和/或无线调制解调器。

在一个实施例中，处理器1404中的至少一个可以与用于系统控制逻辑1408的一个或多个控制器的逻辑封装在一起，以形成系统封装(SiP)。在一个实施例中，处理器1404中的至少一个可以与用于系统控制逻辑1408的一个或多个控制器的逻辑集成在同一管芯上，以形成片上系统(SoC)。

系统1400可以进一步包括：输入/输出(I/O)设备1432。I/O设备1432可以包括用户界面，使得用户能够与系统1400进行交互；外围组件接口的设计使得外围组件也能够与系统1400交互。在一些实施例中，系统1400还包括传感器，用于确定与系统1400相关的环境条件和位置信息的至少一种。

在一些实施例中，用户界面可包括但不限于显示器(例如，液晶显示器，触摸屏显示器等)，扬声器，麦克风，一个或多个相机(例如，静止图像照相机和/或摄像机)，手电筒(例如，发光二极管闪光灯)和键盘。

在一些实施例中，外围组件接口可以包括但不限于非易失性存储器端口、音频插孔和电源接口。

在一些实施例中，传感器可包括但不限于陀螺仪传感器，加速度计，近程传感器，环境光线传感器和定位单元。定位单元还可以是网络接口1420的一部分或与网络接口1420交互，以与定位网络的组件(例如，全球定位系统(GPS)卫星)进行通信。

本申请公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本申请的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。

可将程序代码应用于输入指令，以执行本申请描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理系统包括具有诸如例如数字信号处理器 (DSP)、微控制器、专用集成电路(ASIC)或微处理器之类的处理器的任何系统。

程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理系统通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本申请中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。

在一些情况下，所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如，计算机可读)存储介质承载或存储在其上的指令，其可以由一个或多个处理器读取和执行。例如，指令可以通过网络或通过其他计算机可读介质分发。因此，机器可读介质可以包括用于以机器(例如，计算机)可读的形式存储或传输信息的任何机制，包括但不限于，软盘、光盘、光碟、只读存储器(CD-ROMs)、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息(例如，载波、红外信号数字信号等)的有形的机器可读存储器。因此，机器可读介质包括适合于以机器(例如，计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。

在附图中，可以以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解，可能不需要这样的特定布置和/或排序。而是，在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或者可以与其他特征组合。

需要说明的是，本申请各设备实施例中提到的各单元/模块都是逻辑单元/模块，在物理上，一个逻辑单元/模块可以是一个物理单元/模块，也可以是一个物理单元/模块的一部分，还可以以多个物理单元/模块的组合实现，这些逻辑单元/模块本身的物理实现方式并不是最重要的，这些逻辑单元/模块所实现的功能的组合才是解决本申请所提出的技术问题的关键。此外，为了突出本申请的创新部分，本申请上述各设备实施例并没有将与解决本申请所提出的技术问题关系不太密切的单元/模块引入，这并不表明上述设备实施例并不存在其它的单元/模块。

需要说明的是，在本专利的示例和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然通过参照本申请的某些优选实施例，已经对本申请进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims (11)

1. 一种图像渲染方法，其特征在于，应用于电子设备，所述方法包括：

   确定所述电子显示的交互画面中的多个第一区域；

   采用第一参数渲染所述多个第一区域中的图像得到多个第一图像，并采用第二参数渲染所述交互画面中的场景图像得到第二图像，每个所述第一图像的分辨率高于所述第二图像；

   对所述多个第一图像和所述第二图像进行纹理贴合得到第一结果图像。
2. 根据权利要求1所述的方法，其特征在于，所述方法还包括：

   计算每个所述第一区域对应的第一视角，所述交互画面整体对应第二视角，每个所述第一区域对应的第一视角处于所述第二视角中；

   每个所述第一图像与所述第二图像是基于对应的第一视角与所述第二视角的比例关系进行纹理贴合的。
3. 根据权利要求2所述的方法，其特征在于，每个所述第一区域中的对象可以为实际对象或采用扩展显示XR技术显示的虚拟对象。
4. 根据权利要求3所述的方法，其特征在于，所述方法还包括：

   构建所述交互画面对应的三维场景模型的情况下，在所述三维场景模型中标记出所述第一区域。
5. 根据权利要求4所述的方法，其特征在于，所述电子设备包括佩戴于用户头部的第一装置，所述第一装置中包括物理相机；所述三维场景模型为所述电子设备通过虚景相机生成的；

   所述方法还包括：

   获取视角的位姿与三维场景模型的位姿，并建立所述视角的位姿与所述三维场景模型的位姿的投影关系，所述第一视角为基于所述投影关系根据所述三维场景的位姿与所述视角的位姿确定的；

   其中，所述三维场景模型的位姿指的是所述三维场景模型与所述虚景相机之间的第一位姿，所述视角的位姿指的是所述物理相机与所述电子设备整机初始坐标系之间的第二位姿，所述虚景相机与所述电子设备整机初始坐标系之间的第三位姿，所述投影关系通过所述第一位姿、所述第二位姿和所述第三位姿的乘积表示。
6. 根据权利要求1至5中任一项所述的方法，其特征在于，每个所述第一区域为一个感兴趣区域。
7. 根据权利要求6所述的方法，其特征在于，所述方法还包括：

   确定所述交互画面中不存在感兴趣区域；

   计算所述交互画面的中心区域对应的第三视角，所述第三视角处于第二视角中，所述交互画面整体对应所述第二视角；

   采用所述第一参数渲染所述中心区域中的图像得到第三图像，并采用所述第二参数渲染所述交互画面中的场景图像得到第四图像，所述第三图像的分辨率高于所述第四图像；

   对所述第三图像和所述第四图像进行纹理贴合得到第二结果图像。
8. 一种图像渲染装置，其特征在于，应用于电子设备，所述装置包括：

   确定模块，用于确定所述电子显示的交互画面中的多个第一区域；

   渲染模块，用于采用第一参数渲染所述确定模块确定出的所述多个第一区域中的图像得到多个第一图像，并采用第二参数渲染所述交互画面中的场景图像得到第二图像，每个所述第一图像的分辨率高于所述第二图像；

   贴合模块，用于对所述多个第一图像和所述第二图像进行纹理贴合得到第一结果图像。
9. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，该指令在电子设备上执行时使电子设备执行如权利要求1-7任一项所述的图像渲染方法。
10. 一种计算机程序产品，其特征在于，所述计算机程序产品包括指令，所述指令用于实现如执行如权利要求1-7任一项所述的图像渲染方法。
11. 一种电子设备，其特征在于，包括：

    存储器，用于存储由电子设备的一个或多个处理器执行的指令，以及

    处理器，当所述指令被一个或多个处理器执行时，所述处理器用于执行如权利要求1-7任一项所述的图像渲染方法。