WO2023226504A1 - 一种媒体数据处理方法、装置、设备以及可读存储介质 - Google Patents

一种媒体数据处理方法、装置、设备以及可读存储介质 Download PDF

Info

Publication number
WO2023226504A1
WO2023226504A1 PCT/CN2023/079111 CN2023079111W WO2023226504A1 WO 2023226504 A1 WO2023226504 A1 WO 2023226504A1 CN 2023079111 W CN2023079111 W CN 2023079111W WO 2023226504 A1 WO2023226504 A1 WO 2023226504A1
Authority
WO
WIPO (PCT)
Prior art keywords
saliency
point cloud
information
field
value
Prior art date
Application number
PCT/CN2023/079111
Other languages
English (en)
French (fr)
Inventor
胡颖
Original Assignee
腾讯科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 腾讯科技（深圳）有限公司 filed Critical 腾讯科技（深圳）有限公司
Publication of WO2023226504A1 publication Critical patent/WO2023226504A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation

Abstract

一种媒体数据处理方法、装置、设备以及可读存储介质，该方法包括：确定点云媒体的显著度信息(S101)；显著度信息包括用于指示点云媒体的目标范围的显著度级别参数；目标范围包括空间范围或时间范围中的至少一项；对点云媒体进行编码，得到点云码流，将点云码流以及显著度信息封装为媒体文件(S102)。采用本申请，可以通过显著度信息，确定目标范围的渲染效果，进而可以优化点云媒体的呈现效果。

Description

一种媒体数据处理方法、装置、设备以及可读存储介质
本申请要求于2022年05月27日提交、申请号为202210586954.X、发明名称为“一种媒体数据处理方法、装置、设备以及可读存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及计算机技术领域，尤其涉及一种媒体数据处理方法、装置、设备以及可读存储介质。
背景技术
沉浸式媒体是指能为业务对象带来沉浸式体验的媒体内容，点云媒体是一种典型的沉浸式媒体。
相关技术中，内容消费设备先对内容制作设备传输的点云文件进行解封装，然后进行解码，得到点云媒体，最后对点云媒体进行渲染并呈现，但渲染点云媒体时，仅关注点云媒体自身，故不仅渲染效率低，可能也会渲染效果不佳，进而可能降低点云媒体的呈现效果。
发明内容
本申请实施例提供了一种媒体数据处理方法、装置、设备以及可读存储介质，可以通过显著度信息，确定目标范围的渲染效果，进而可以优化点云媒体的呈现效果。
本申请实施例一方面提供了一种媒体数据处理方法，包括：
计算机设备确定点云媒体的显著度信息；显著度信息包括用于指示点云媒体的目标范围的显著度级别参数；目标范围包括空间范围或时间范围中的至少一项；
所述计算机设备对点云媒体进行编码，得到点云码流，将点云码流以及显著度信息封装为媒体文件。
本申请实施例一方面提供了一种媒体数据处理方法，包括：
计算机设备获取媒体文件，对媒体文件进行解封装，得到点云码流以及点云媒体的显著度信息；显著度信息包括用于指示点云媒体的目标范围的显著度级别参数；目标范围包括空间范围或时间范围中的至少一项；
所述计算机设备对点云码流进行解码，得到点云媒体。
本申请实施例一方面提供了一种媒体数据处理装置，包括：
信息确定模块，用于确定点云媒体的显著度信息；显著度信息包括用于指示点云媒体的目标范围的显著度级别参数；目标范围包括空间范围或时间范围中的至少一项；
信息封装模块，用于对点云媒体进行编码，得到点云码流，将点云码流以及显著度信息封装为媒体文件。
本申请实施例一方面提供了一种媒体数据处理装置，包括：
文件获取模块，用于获取媒体文件，对媒体文件进行解封装，得到点云码流以及点云媒体的显著度信息；显著度信息包括用于指示点云媒体的目标范围的显著度级别参数；目标范围包括空间范围或时间范围中的至少一项；
码流解码模块，用于对点云码流进行解码，得到点云媒体。
本申请一方面提供了一种计算机设备，包括：处理器、存储器、网络接口；
上述处理器与上述存储器、上述网络接口相连，其中，上述网络接口用于提供数据通信功能，上述存储器用于存储计算机程序，上述处理器用于调用上述计算机程序，以使得计算机设备执行本申请实施例中的方法。
本申请实施例一方面提供了一种计算机可读存储介质，上述计算机可读存储介质中存储有计算机程序，上述计算机程序适于由处理器加载并执行本申请实施例中的方法。
本申请实施例一方面提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中；计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行本申请实施例中的方法。
本申请实施例首先确定点云媒体的显著度信息，其中，显著度信息包括用于指示点云媒体的目标范围的显著度级别参数；目标范围包括空间范围或时间范围中的至少一项；进一步，通过对点云媒体进行编码，可以得到点云码流；进一步，将点云码流以及显著度信息封装为媒体文件；其中，媒体文件中的显著度信息，可以用于在渲染点云媒体时确定目标范围的渲染效果。上述可知，本申请实施例可以确定点云媒体对应的用于指示时间范围的显著度信息，或点云媒体对应的用于指示空间范围的显著度信息，故本申请实施例可以将点云媒体的显著度信息封装进媒体文件，进而在渲染点云媒体时，可以通过显著度信息，确定目标范围的渲染效果，故可以优化点云媒体的呈现效果。
附图说明
图1是本申请实施例提供的3DoF的示意图；
图2是本申请实施例提供的3DoF+的示意图；
图3是本申请实施例提供的6DoF的示意图；
图4是本申请实施例提供的一种沉浸式媒体从采集到被消费的流程示意图；
图5是本申请实施例提供的一种沉浸式媒体系统的架构示意图；
图6是本申请实施例提供的一种媒体数据处理方法的流程示意图；
图7是本申请实施例提供的一种显著度级别参数仅与时间相关，与空间区域无关的示意图；
图8是本申请实施例提供的一种显著度级别参数与空间区域相关，且空间区域的显著度级别参数随着时间变化的示意图；
图9是本申请实施例提供的另一种媒体数据处理方法的流程示意图；
图10是本申请实施例提供的一种显著度级别参数与空间区域相关，且与空间区域相关的显著度级别参数不随时间变化的示意图；
图11是本申请实施例提供的又一种媒体数据处理方法的流程示意图；
图12是本申请实施例提供的一种媒体数据处理装置的结构示意图；
图13是本申请实施例提供的另一种媒体数据处理装置的结构示意图；
图14是本申请实施例提供的一种计算机设备的结构示意图；
图15是本申请实施例提供的一种数据处理系统的结构示意图。
具体实施方式
下面对本申请实施例涉及的一些技术术语进行介绍：
一、沉浸式媒体：
沉浸式媒体是指能够提供沉浸式体验的媒体内容，使沉浸于该媒体内容中的业务对象能够获得现实世界中视觉、听觉等感官体验的媒体文件。沉浸式媒体按照业务对象在消费媒体内容时的自由度(Degree of Freedom，简称DoF)，可以分为3DoF媒体、3DoF+媒体以及6DoF媒体。其中，点云媒体是一种典型的6DoF媒体。在本申请实施例中，将进行沉浸式媒体(例如点云媒体)消费的用户(即观看者)统称为业务对象。
二、点云：
点云是空间中一组无规则分布的、表达三维物体或场景的空间结构及表面属性的离散点集。点云中的每个点至少具有三维位置信息，根据应用场景的不同，还可能具有色彩、材质或其他信息。通常，点云中的每个点都具有相同数量的附加属性。
点云可以灵活方便地表达三维物体或场景的空间结构及表面属性，因而应用广泛，包括虚拟现实(Virtual Reality，VR)游戏、计算机辅助设计(Computer Aided Design，CAD)、地理信息系统(Geography Information System，GIS)、自动导航系统(Autonomous Navigation System，ANS)、数字文化遗产、自由视点广播、三维沉浸远程呈现、生物组织器官三维重建等。
点云的获取主要有以下途径：计算机生成、3D(3-Dimension，三维)激光扫描、3D摄影测量等。计算机可以生成虚拟三维物体及场景的点云。3D扫描可以获得静态现实世界三维物体或场景的点云，每秒可以获取百万级点云。3D摄像可以获得动态现实世界三维物体或场景的点云，每秒可以获取千万级点云。此外，在医学领域，由MRI(Magnetic Resonance Imaging，磁共振成像)、CT(Computed Tomography，电子计算机断层扫描)、电磁定位信息，可以获得生物组织器官的点云。这些技术降低了点云数据获取成本和时间周期，提高了数据的精度。点云数据获取方式的变革，使大量点云数据的获取成为可能。伴随着大规模的点云数据不断积累，点云数据的高效存储、传输、发布、共享和标准化，成为点云应用的关键。
三、轨道(Track)：
轨道是媒体文件封装过程中的媒体数据集合，由多个时序的样本组成。一个媒体文件可由一个或多个轨道组成，例如常见的：一个媒体文件可以包含一个视频媒体轨道、一个音频媒体轨道及一个字幕媒体轨道。特别地，元数据信息也可以作为一种媒体类型，以元数据媒体轨道的形式包含于文件中，在本申请中简称为元数据轨道。
四、样本(Sample)：
样本是媒体文件封装过程中的封装单位，一个轨道由很多个样本组成，每个样本对应特定的时间戳信息，例如：一个视频媒体轨道可以由很多个样本组成，一个样本通常为一个视频帧。在本申请实施例中，点云媒体轨道中的一个样本可以为一个点云帧。
五、样本入口(Sample Entry)：
样本入口用于指示轨道中所有样本相关的元数据信息。比如在视频轨道的样本入口中，通常会包含解码器初始化相关的元数据信息。
六、点云片(Slice)：
点云片(点云条)，代表部分或全部编码后点云帧数据的一系列语法元素(比如几何slice、属性slice)集合。
七、空间分块区域(Tile)：
点云帧边界空间区域内的六面体空间分块区域，本申请简称空间分块，一个空间分块由一个或多个点云片组成，空间分块之间不存在编解码依赖关系。
八、显著度(Saliency)与显著度检测：
由于人类的视觉系统能够自然地在对场景的快速扫视中，确定当前场景中最明显和突出的区域，因此人们在观看图片时会自然地被图片内容中突出的那一部分吸引。对于图片来说，最吸引观察者注意力的那一部分即为图片的显著区域。对于一幅图片来说，其不同的区域对观察者的吸引力各不相同，而表征这些区域对观察者吸引力程度的概念就叫做显著度(Saliency)或者显著性。
表征视觉吸引程度的显著度检测对于图像的处理和分析都有着非常重要的意义。人的视觉注意力是人类获取和处理外界信息过程中的一种重要机制，它能够让人快速的筛选重要信息，使感知具备选择能力。而这种机制如果和图像处理相结合，则能够极大的提高现有的图像处理分析方法的效率。显著度检测正是在这个基础上提出并发展起来的。显著度检测是计算机视觉领域中对图像进行预处理的一种技术手段，用于寻找或标识图像中的显著目标，通常为容易引起人眼注意的图像区域。
随着显著度检测模型的发展，显著度检测也开始被应用于图像处理的其他领域，比如图像分割、图像压缩以及图像识别等领域，显著度检测的实用性也在不断的应用中逐渐为人们所认可。而伴随着沉浸式媒体的兴起，显著度检测模型的发展也迎来了新的挑战，比如对于 点云媒体来说，其点云帧已经脱离了图像的范畴，如何对三维空间内的点进行显著度检测以及显著度分级，已成为当前沉浸式媒体领域的最新研究方向。
九、DoF(自由度)：
本申请中DoF是指业务对象在观看沉浸式媒体(如点云媒体)时，支持的运动并产生内容交互的自由度，可以包括3DoF(三自由度)、3DoF+和6DoF(六自由度)。其中，3DoF是指业务对象头部围绕x轴、y轴、z轴旋转的三种自由度。3DoF+是在三自由度的基础上，业务对象还拥有沿x轴、y轴、z轴有限运动的自由度。6DoF是在三自由度的基础上，业务对象还拥有沿x轴、y轴、z轴自由运动的自由度。
十、ISOBMFF(ISO Based Media File Format，基于ISO国际标准的媒体文件格式)：
基于ISO(International Standard Organization，国际标准化组织)标准的媒体文件格式，是媒体文件的封装标准，较为典型的ISOBMFF文件即MP4(Moving Picture Experts Group 4，动态图像专家组4)文件。
十一、DASH(Dynamic Adaptive Streaming over HTTP，基于HTTP的动态自适应流)：是一种自适应比特率技术，使高质量流媒体可以通过传统的HTTP(Hyper Text Transfer Protocol，超文本传输协议)网络服务器在互联网传递。
十二、MPD(Media Presentation Description，DASH中的媒体演示描述信令)，用于描述媒体文件中的媒体片段信息。
十三、表示层级(Representation)：是指DASH中一个或多个媒体成分的组合，比如某种分辨率的视频文件可以看做一个Representation。
十四、自适应集层级(Adaptation Sets)：是指DASH中一个或多个视频流的集合，一个Adaptation Sets中可以包含多个Representation。
十五、媒体片段(Media Segment)：符合一定的媒体格式、可播放的片段。播放时可能需要与其前面的0个或多个片段以及初始化片段(Initialization Segment)配合。
本申请实施例涉及沉浸式媒体的数据处理技术，下面将对沉浸式媒体的数据处理过程中的一些概念进行介绍，特别说明的是，本申请后续实施例中均以沉浸式媒体为点云媒体为例进行说明。
请参见图1，图1是本申请实施例提供的3DoF的示意图。如图1所示，3DoF是指消费沉浸式媒体的业务对象在一个三维空间的中心点固定，业务对象头部沿着X轴、Y轴和Z轴旋转来观看媒体内容提供的画面。
请参见图2，图2是本申请实施例提供的3DoF+的示意图。如图2所示，3DoF+是指当沉浸式媒体提供的虚拟场景具有一定的深度信息，业务对象头部可以基于3DoF在一个有限的空间内移动来观看媒体内容提供的画面。
请参见图3，图3是本申请实施例提供的6DoF的示意图。如图3所示，6DoF分为窗口6DoF、全方向6DoF和6DoF，其中，窗口6DoF是指业务对象在X轴、Y轴的旋转移动受限，以及在Z轴的平移受限；例如，业务对象不能够看到窗户框架外的景象，以及业务对象无法穿过窗户。全方向6DoF是指业务对象在X轴、Y轴和Z轴的旋转移动受限，例如，业务对象在受限的移动区域中不能自由的穿过三维的360度VR内容。6DoF是指业务对象在3DoF的基础上，可以沿着X轴、Y轴、Z轴自由平移，例如，业务对象可以在三维的360度VR(Virtual Reality，虚拟现实技术)内容中自由的走动。
请参见图4，图4是本申请实施例提供的一种沉浸式媒体从采集到被消费的流程示意图。如图4所示，针对沉浸式媒体的完整处理过程可以包括：视频采集、视频编码、视频文件封装、视频文件传输、视频文件解封装、视频解码和最终的视频呈现。
其中，视频采集用于将模拟视频转换为数字视频，并按数字视频文件的格式进行保存，也就是说，视频采集可将多个相机从不同角度采集到的视频信号(例如，点云数据)转换为二进制数字信息，其中，由视频信号转换为的二进制数字信息是一种二进制数据流，该二进制数字信息也可称为该视频信号的码流或者位流(Bitstream)。视频编码则是指通过压缩技 术，将原始视频格式的文件转换为另一种视频格式文件。从视频信号的获取方式看，视频信号可以分为相机拍摄到的以及计算机生成的两种方式，由于统计特性的不同，其对应的压缩编码方式也可能有所区别，常用的压缩编码方式可以包括HEVC(High Efficiency Video Coding，国际视频编码标准HEVC/H.265)，VVC(Versatile Video Coding，国际视频编码标准VVC/H.266)，AVS(Audio Video Coding Standard，中国国家视频编码标准)，AVS3(由AVS标准组推出的第三代视频编码标准)等。
在视频编码后，则需要对编码后的数据流(例如，点云码流)进行封装并传输给业务对象，视频文件封装是指按照封装格式(或容器，或文件容器)，将已经编码压缩好的视频码流和音频码流按照一定的格式存放在一个文件中，常见的封装格式包括AVI格式(Audio Video Interleaved，音频视频交错格式)或者ISOBMFF格式。在一个实施例中，将音频码流和视频码流按照如ISOBMFF的文件格式封装在文件容器中形成媒体文件(也可称为封装文件、视频文件)，该媒体文件可由多个轨道组成，比如可以包含一个视频轨道、一个音频轨道以及一个字幕轨道。
内容制作设备执行上述编码过程和文件封装过程后，可以将媒体文件传输到内容消费设备上的客户端，客户端则可在进行解封装、解码等逆操作后，在客户端中进行最终视频内容的呈现。其中，媒体文件可基于各种传输协议发送到客户端，这里的传输协议可包括但不限于：DASH协议、HLS(HTTP Live Streaming，动态码率自适应传输)协议、SMTP(Smart Media Transport Protocol，智能媒体传输协议)、TCP(Transmission Control Protocol，传输控制协议)等。
可以理解，客户端的文件解封装的过程与上述的文件封装过程是相逆的，客户端可按照封装时的文件格式要求对媒体文件进行解封装，得到音频码流和视频码流。客户端的解码过程与编码过程也是相逆的，例如，该客户端可对视频码流解码，还原出视频内容，且可对音频码流解码，还原出音频内容。
为便于理解，请一并参见图5，图5是本申请实施例提供的一种沉浸式媒体系统的架构示意图。如图5所示，该沉浸式媒体系统可以包括内容制作设备(例如，内容制作设备200A)和内容消费设备(例如，内容消费设备200B)，内容制作设备可以是指，点云媒体的提供者(例如点云媒体的内容制作者)所使用的计算机设备，该计算机设备可以是终端(如PC(Personal Computer，个人计算机)、智能移动设备(如智能手机)等)或服务器。其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
内容消费设备可以是指点云媒体的使用者(例如点云媒体的观看者，即业务对象)所使用的计算机设备，该计算机设备可以是终端(如PC(Personal Computer，个人计算机)、智能移动设备(如智能手机)、VR设备(如VR头盔、VR眼镜等)、智能家电、车载终端、飞行器等)，该计算机设备集成有客户端。内容制作设备以及内容消费设备可以通过有线或无线通信方式，进行直接或间接地连接，本申请在此不做限制。
其中，上述客户端可以为具有显示文字、图像、音频以及视频等数据信息功能的客户端，包括但不限于多媒体客户端(例如，视频客户端)、社交类客户端(例如，即时通信客户端)、资讯类应用(例如，新闻客户端)、娱乐客户端(例如，游戏客户端)、购物客户端、车载客户端、浏览器等。其中，该客户端可以为独立的客户端，也可以为集成在某客户端(例如，社交客户端)中的嵌入式子客户端，在此不做限定。
可以理解的是，本申请涉及沉浸式媒体的数据处理技术可以依托于云技术进行实现；例如，将云服务器作为内容制作设备。云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。
点云媒体的数据处理过程包括在内容制作设备侧的数据处理过程及在内容消费设备侧的数据处理过程。
在内容制作设备侧的数据处理过程主要包括：(1)点云媒体的媒体内容的获取与制作过程；(2)点云媒体的编码及文件封装的过程。在内容消费设备侧的数据处理过程主要包括：(1)点云媒体的文件解封装及解码的过程；(2)点云媒体的渲染过程。另外，内容制作设备与内容消费设备之间涉及点云媒体的传输过程，该传输过程可以基于各种传输协议来进行，此处的传输协议可包括但不限于：DASH协议、HLS协议、SMT协议、TCP协议等。
下面将结合图5，分别对点云媒体的数据处理过程中涉及的各个过程进行简单介绍。
一、在内容制作设备侧的数据处理过程：
(1)点云媒体的媒体内容的获取与制作过程。
1)点云媒体的媒体内容的获取过程。
点云媒体的媒体内容是通过捕获设备采集现实世界的声音-视觉场景获得的。在一种实现中，捕获设备可以是指设于内容制作设备中的硬件组件，例如捕获设备是指终端的麦克风、摄像头、传感器等。另一种实现中，该捕获设备也可以是与内容制作设备相连接的硬件装置，例如与服务器相连接的摄像头，用于为内容制作设备提供点云媒体的媒体内容的获取服务。该捕获设备可以包括但不限于：音频设备、摄像设备及传感设备。其中，音频设备可以包括音频传感器、麦克风等。摄像设备可以包括普通摄像头、立体摄像头、光场摄像头等。传感设备可以包括激光设备、雷达设备等。捕获设备的数量可以为多个，这些捕获设备被部署在现实空间中的一些特定位置，以同时捕获该空间内不同角度的音频内容和视频内容，捕获的音频内容和视频内容在时间和空间上均保持同步。本申请实施例可以将由部署在特定位置的捕获设备所采集到的用于提供多自由度(如6DoF)观看体验的三维空间的媒体内容称作点云媒体。
例如，以获取点云媒体的视频内容为例进行说明，如图5所示，视觉场景20A(例如真实世界的视觉场景)，可以由内容制作设备200A相连接的一组相机阵列捕获，或者，可以由与内容制作设备200A相连接的具有多个摄像头和传感器的摄像设备捕获。采集结果可以为源点云数据20B(即点云媒体的视频内容)。
2)点云媒体的媒体内容的制作过程。
应当理解，本申请实施例所涉及的点云媒体的媒体内容的制作过程，可以理解为点云媒体的内容制作的过程，且这里的点云媒体的内容制作，主要由部署在多个位置的相机或相机阵列拍摄得到的点云数据等形式的内容制作而成，比如，内容制作设备可以将点云媒体从三维的表示转换成二维的表示。
此外，需要说明的是，由于采用捕获设备可以捕获到全景视频，这样的视频经内容制作设备处理并传输至内容消费设备进行相应的数据处理后，内容消费设备侧的业务对象需要通过执行一些特定动作(如头部旋转)，来观看360度的视频信息，而执行非特定动作(如移动头部)并不能获得相应的视频变化，VR体验不佳，因此需要额外提供与全景视频相匹配的深度信息，来使业务对象获得更优的沉浸度和更佳的VR体验，这就涉及6DoF制作技术。当业务对象可以在模拟的场景中较自由地移动时，称为6DoF。采用6DoF制作技术进行点云媒体的视频内容的制作时，捕获设备一般会选用激光设备、雷达设备等，捕获空间中的点云数据。
(2)点云媒体的编码及文件封装的过程。
捕获到的音频内容可直接进行音频编码形成点云媒体的音频码流。捕获到的视频内容可进行视频编码，得到点云媒体的视频码流。此处需要说明的是，如果采用6DoF制作技术，在视频编码过程中需要采用特定的编码方式(如基于传统视频编码的点云压缩方式)进行编码。内容制作设备按照点云媒体的文件格式(如ISOBMFF)，将音频码流和视频码流封装在文件容器中，形成点云媒体的媒体文件资源，该媒体文件资源可以是媒体文件或媒体片段形成的点云媒体的媒体文件；并按照点云媒体的文件格式要求，采用媒体呈现描述信息(即MPD) 记录该点云媒体的媒体文件资源的元数据，此处的元数据是对与点云媒体的呈现有关的信息的总称，该元数据可包括对媒体内容的描述信息、对视窗的描述信息以及对媒体内容呈现相关的信令信息等等。可以理解，内容制作设备会存储经过数据处理过程之后形成的媒体呈现描述信息和媒体文件资源。
如图5所示，内容制作设备200A对源点云数据20B中的一个或多个数据帧进行点云媒体编码，例如，采用基于几何模型的点云压缩(Geometry-based Point Cloud Compression，G-PCC，其中，PCC即点云压缩)，从而得到编码后的点云码流20E(即视频码流，例如G-PCC码流)。随后，内容制作设备200A可以根据特定的媒体文件格式(如ISOBMFF)，将一个或多个编码后的码流封装成一个用于本地回放的媒体文件20F，或者，封装成一个用于流式传输的片段序列20Fs。此外，内容制作设备200A中的文件封装器也可以将相关元数据添加到媒体文件20F或片段序列20Fs中。进一步，内容制作设备200A可以采用某种传输机制(如DASH、SMT)将片段序列20Fs传输到内容消费设备200B，或者，将媒体文件20F传输到内容消费设备200B。在一些实施方式中，内容消费设备200B可以为一个播放器。
二、在内容消费设备侧的数据处理过程：
(3)点云媒体的文件解封装及解码的过程。
内容消费设备可以通过内容制作设备的推荐或按照内容消费设备侧的业务对象的需求，自适应动态从内容制作设备获得点云媒体的媒体文件资源和相应的媒体呈现描述信息，例如内容消费设备可根据业务对象的头部/眼睛的位置信息，确定业务对象的观看方向和观看位置，再基于确定的观看方向和观看位置动态，向内容制作设备请求获得相应的媒体文件资源。通过传输机制(如DASH、SMT)，媒体文件资源和媒体呈现描述信息由内容制作设备传输给内容消费设备。内容消费设备侧的文件解封装的过程，与内容制作设备侧的文件封装过程是相逆的，内容消费设备按照点云媒体的文件格式要求(例如，ISOBMFF)对媒体文件资源进行解封装，得到音频码流和视频码流。内容消费设备侧的解码过程与内容制作设备侧的编码过程是相逆的，内容消费设备对音频码流进行音频解码，还原出音频内容；内容消费设备对视频码流进行视频解码，还原出视频内容。
例如，如图5所示，内容制作设备200A中的文件封装器输出的媒体文件20F，与内容消费设备200B中输入文件解封装器的媒体文件20F'是相同的。文件解封装器对媒体文件20F'或接收到的片段序列20F's进行文件解封装处理，并提取出编码后的点云码流20E'，同时解析相应的元数据，随后可以对点云码流20E'进行点云媒体解码，得到解码后的视频信号20D'，且可以从视频信号20D'生成点云数据(即还原出的视频内容)。其中，媒体文件20F和媒体文件20F'可以包括轨道格式定义，它可能包含对轨道中的样本所包含的基本流的约束。
(4)点云媒体的渲染过程。
内容消费设备根据媒体文件资源对应的媒体呈现描述信息中与渲染相关的元数据，对音频解码得到的音频内容及视频解码得到的视频内容进行渲染，渲染完成即实现了对该内容的播放输出。
沉浸式媒体系统支持数据盒，数据盒是指包括元数据的数据块或对象，即数据盒中包含了相应媒体内容的元数据。在实际应用中，内容制作设备可通过数据盒来指导内容消费设备对点云媒体的媒体文件进行消费。点云媒体可以包括多个数据盒，例如包括ISOBMFF数据盒(ISO Base Media File Format Box，简称为ISOBMFF Box)，其包含用于描述文件封装时的相应信息的元数据，在本申请实施例中，ISOBMFF数据盒包括用于指示点云媒体的显著度信息的元数据。
上述可知，内容消费设备可以动态地从内容制作设备侧获取点云媒体对应的媒体文件资源，由于媒体文件资源是由内容制作设备对捕获到的音视频内容进行编码以及封装后所得到的，因此，内容消费设备接收到内容制作设备返回的媒体文件资源后，需要先对该媒体文件资源进行解封装，得到相应的音视频码流，随后再对该音视频码流进行解码，最终才能将解码后的音视频内容呈现给业务对象。这里的点云媒体可以包括但不限于VPCC(Video-based  Point Cloud Compression，基于传统视频编码的点云压缩)点云媒体、GPCC(Geometry-based Point Cloud Compression，基于几何模型的点云压缩)点云媒体。
可以理解的是，显著度对图像的处理和分析都有着非常重要的意义，能够极大地提高图像处理分析的效率。显著度信息可以包括用于指示图像中的区域的显著度级别，在一些点云媒体中，每个点云帧对应的显著度级别虽然发生变化，但点云帧整帧的显著度级别没有发生变化，此时，显著度信息无需关联到该点云帧的空间区域。在一些点云媒体中，点云帧内部存在显著度级别不相同的空间区域，但显著度级别不随着时间发生变化，即每帧分别对应的空间区域存在相同的显著度级别，例如，点云媒体100包括100个点云帧，每个点云帧可以分为2个空间区域，其中，第一点云帧中的第一空间区域、第二点云帧中的第一空间区域、…、第100帧点云帧中的第一空间区域分别对应的显著度级别参数均为2，第一点云帧中的第二空间区域、第二点云帧中的第二空间区域、…、第100帧点云帧中的第二空间区域分别对应的显著度级别参数均为1，此时，显著度级别无需关联到时间，关联到空间范围即可。在一些点云媒体中，随着时间以及空间的变化，显著度级别也在发生变化，此时，显著度级别需要关联到某个点云帧的某个空间区域。
基于上述，根据显著度信息是否随空间、时间变化，本申请实施例提出一种指示不同范围(包括空间范围和时间范围)的显著度信息，故可以提高显著度信息的精准性，进而在应用点云媒体时，可以通过高精准度的显著度信息，满足更多的场景，例如点云媒体的编码场景、传输场景，以及渲染场景。
在一些实施例中，在获取到点云媒体后，内容制作设备可以确定该点云媒体的显著度信息，该显著度信息包括用于指示目标范围(时间范围或空间范围中的至少一项)的显著度级别参数；对点云媒体进行编码，得到点云码流，将点云码流以及显著度信息封装为媒体文件。在本申请实施例中，显著度信息可以包括一个或多个显著度级别参数，这里不对显著度级别参数的总数量进行限定，根据实际应用的点云媒体，确定显著度级别参数的总数量。
可以理解，在本申请实施例中，媒体文件中的显著度信息可以指示目标范围对应的显著度级别参数，因此，后续内容消费设备可以基于显著度信息，在渲染以及呈现点云媒体的场景下，能够确定目标范围的渲染效果，故可以优化点云媒体的呈现效果。
应当理解，本申请实施例提供的方法可以应用于沉浸式媒体系统的服务器端(即内容制作设备侧)、播放器端(即内容消费设备侧)以及中间节点(例如，SMT(Smart Media Transport，智能媒体传输)接收实体、SMT发送实体)等环节。其中，内容制作设备确定点云媒体的显著度信息，对点云媒体进行编码，得到点云码流，并将点云码流以及显著度信息封装为媒体文件的过程，以及内容消费设备基于媒体文件中的显著度信息，在渲染点云媒体时，确定目标范围的渲染效果的过程可以参见下述图6-图11所对应实施例的描述。
进一步地，请参见图6，图6是本申请实施例提供的一种媒体数据处理方法的流程示意图。该方法可由沉浸式媒体系统中的内容制作设备(例如，上述图5所对应实施例中的内容制作设备200A)来执行，比如，该内容制作设备可以为服务器，本申请实施例以服务器执行为例进行说明。该方法至少可以包括以下步骤S101-步骤S102。
步骤S101，确定点云媒体的显著度信息；显著度信息包括用于指示点云媒体的目标范围的显著度级别参数；目标范围包括空间范围或时间范围中的至少一项。
在一些实施例中，点云媒体的获取过程以及制作过程，请参见上文图5中的描述，此处不进行赘述。本申请实施例中的显著度信息可以包括两类信息，一类信息是显著度算法信息，即获取显著度级别参数的信息，本申请实施例不对获取显著度级别参数的算法进行限定，可以根据实际应用场景进行设定；另一类信息是用于指示目标范围的显著度级别参数。
可以理解的是，不同的点云媒体，其对应的显著度级别参数需要关联的范围是不同的，例如一些点云媒体对应的显著度级别参数仅随时间发生变化，此时，显著度级别参数无需关联到空间区域；一些点云媒体对应的显著度级别参数仅随着空间发生变化，此时，显著度级别参数无需关联到点云帧；一些点云媒体对应的显著度级别参数随着时间以及空间发生变化。 因此，本申请实施例针对沉浸式媒体，特别是点云媒体，提出了一种显著度信息指示方法，该方法在文件封装层面和信令传输层面，执行以下三种方式：
1、定义用于指示不同范围(包括空间范围和时间范围)的显著度信息；
2、定义不同类型的显著度信息获取算法；
3、在信令传输层面将显著度信息和空间信息进行关联；
通过执行以上三种方式，能够更灵活地确定点云媒体中不同空间区域、不同点云帧的显著度信息，从而满足更多的点云应用场景，使服务器能够根据显著度信息进行编码优化，使客户端能够根据显著度信息进行传输优化。
点云媒体可以包括第一点云媒体，第一点云媒体包括E个点云帧，E为正整数。其中，在点云媒体对应的点云轨道中，一个点云帧可称作一个样本。请一并参见图7，图7是本申请实施例提供的一种显著度级别参数仅与时间相关，与空间区域无关的示意图。如图7所示，样本1是指按时间排序，在第一点云媒体中序号为1的样本(即点云帧)，样本2是指按时间排序，在第一点云媒体中序号为2的样本，样本3是指按时间排序，在第一点云媒体中序号为3的样本，…，样本E是指按时间排序，在第一点云媒体中序号为E的样本。根据第一点云媒体的内容，服务器可以定义第一点云媒体的各区域的显著度信息，其中，样本1整体的显著度级别为参考显著度级别参数，可以理解的是，沉浸式媒体系统可以预先设置参考显著度级别参数，本申请实施例不对参考显著度级别参数的取值进行限定，可以根据实际应用场景进行设定。样本2整体的显著度级别参数为2，样本3整体的显著度级别参数为1，…，样本E整体的显著度级别参数为参考显著度级别参数。
其中，显著度级别参数越大，表明显著度越高，故在第一点云媒体中，样本2是显著度最高的样本(即点云帧)，样本3是显著度次高的样本，其余样本仅具备参考显著度(假设参考显著度级别参数为0)。明显地，在第一点云媒体中，显著度级别参数仅和时间相关，与空间区域无关，故图5为点云帧级别的显著度级别参数，则服务器可以生成显著度信息元数据轨道，以指示显著度信息，或可以生成显著度信息样本组，以指示上述显著度信息。指示显著度信息的过程请参见下文步骤S102中显著度信息数据盒以及显著度信息元数据轨道的描述。
点云媒体可以包括第二点云媒体，第二点云媒体包括一个或多个点云帧(例如E个点云帧)，请一并参见图8，图8是本申请实施例提供的一种显著度级别参数与空间区域相关，且空间区域的显著度级别参数随着时间变化的示意图。其中，图8中关于样本1-样本E的含义，请参见图7中的释义，此处不进行赘述。根据第二点云媒体的内容，服务器可以定义第二点云媒体的各区域的显著度信息，其中，样本1、样本2、样本3、样本4、…、样本E分别对应的显著度级别不完全相同，即第二点云媒体的显著度级别参数随着时间发生变化，且存在部分点云帧，其内部空间区域也对应有不同的显著度级别参数，即显著度级别参数在空间区域也发生变化。
如图8所示，样本1整体的显著度级别参数为参考显著度级别参数，其中，参考显著度级别参数的含义如图7中的描述，样本1对应的空间区域可以划分为两个空间区域，其中，样本1中的第一个空间区域(简称为空间区域1)对应的显著度级别参数为2，其由两个点云片组成，两个点云片分别对应的点云片标识符包括点云片0以及点云片1；样本1中的第二个空间区域(简称空间区域2)对应的显著度级别参数为1，其由两个点云片组成，两个点云片分别对应的点云片标识符包括点云片2以及点云片3；在样本1中，第一空间区域的显著度高于第二空间区域。
如图8所示，样本2整体的显著度级别参数为2，样本2内部空间不进行划分。样本3整体的显著度级别参数为参考显著度级别参数，样本3对应的空间区域可以划分为两个空间区域，其中，样本3中的第一个空间区域(简称为空间区域1)对应的显著度级别参数为0，其由两个点云片组成，两个点云片分别对应的点云片标识符包括点云片0以及点云片1；样本3中的第二个空间区域(简称空间区域2)对应的显著度级别参数为1，其由两个点云片组 成，两个点云片分别对应的点云片标识符包括点云片2以及点云片3；在样本3中，第一空间区域的显著度低于第二空间区域。
如图8所示，样本4、…、样本E分别对应的显著度级别参数均为参考显著度级别参数，故在第二点云媒体中，样本2是显著度最高的样本(即点云帧)，样本1中存在显著度最高的空间区域和显著度次高的空间区域，样本3中存在显著度次高的空间区域，其余样本仅具备参考显著度级别参数(假设参考显著度级别参数为0)。明显地，在第二点云媒体中，显著度级别参数与时间以及空间区域均相关，故服务器可以生成显著度信息元数据轨道，以指示显著度信息，或可以生成显著度信息样本组，以指示上述显著度信息。指示显著度信息的过程请参见下文步骤S102中显著度信息数据盒以及显著度信息元数据轨道的描述。
其中，点云媒体可以包括第三点云媒体，第三点云媒体对应的显著度级别参数可以仅与空间区域相关，与时间无关，本申请实施例暂不对第三点云媒体展开描述，请参见下文图9所对应的实施例中的描述。
步骤S102，对点云媒体进行编码，得到点云码流，将点云码流以及显著度信息封装为媒体文件。
在一些实施例中，在媒体文件包括用于指示显著度信息的显著度信息元数据轨道的情况下，目标范围包括时间范围；其中，显著度信息元数据轨道包括与显著度信息相关联的E个样本序号；其中，一个样本序号对应于一个点云帧；点云媒体包括E个点云帧；E为正整数。
其中，显著度信息元数据轨道包括样本序号Fg；g为正整数且g小于或等于E；时间范围包括样本序号Fg所对应的点云帧；显著度信息元数据轨道包括针对样本序号Fg的显著度级别指示字段；在显著度级别指示字段的字段值为第四指示值的情况下，表示与样本序号Fg相关联的显著度级别由参考显著度级别参数确定；参考显著度级别参数属于显著度信息中的显著度级别参数；在显著度级别指示字段的字段值为第五指示值的情况下，表示与样本序号Fg相关联的显著度级别由显著度信息数据结构确定；第五指示值不同于第四指示值。
其中，在显著度级别指示字段的字段值为第四指示值的情况下，表示参考显著度级别参数用于指示一个时间范围的显著度级别；一个时间范围为样本序号Fg所对应的点云帧；显著度信息元数据轨道还包括针对样本序号Fg的字段值为第六指示值的生效范围指示字段；第六指示值表示参考显著度级别参数在显著度信息元数据轨道内生效。
其中，在显著度级别指示字段的字段值为第五指示值的情况下，显著度信息元数据轨道还包括针对样本序号Fg的生效范围指示字段；在生效范围指示字段的字段值为第六指示值的情况下，表示与样本序号Fg相关联的显著度级别在显著度信息元数据轨道内生效；在生效范围指示字段的字段值为第七指示值的情况下，表示与样本序号Fg相关联的显著度级别在样本序号Fg所对应的点云帧内生效；第七指示值不同于第六指示值。
其中，在生效范围指示字段的字段值为第七指示值的情况下，显著度信息元数据轨道还包括针对样本序号Fg的样本显著度级别字段；样本显著度级别字段用于指示样本序号Fg所对应的点云帧的显著度级别参数。
其中，在显著度级别指示字段的字段值为第五指示值的情况下，显著度信息元数据轨道还包括针对样本序号Fg的字段值为T的数据结构数量字段；数据结构数量字段用于指示显著度信息数据结构的总数量；T为正整数。
其中，T个显著度信息数据结构包括显著度信息数据结构Uv，v为正整数且v小于或等于T；显著度信息数据结构Uv包括字段值为显著度级别参数Wv的显著度级别字段，以及目标范围指示字段；显著度级别参数Wv属于显著度信息中的显著度级别参数；在目标范围指示字段的字段值为第一指示值的情况下，表示显著度级别参数Wv用于指示，样本序号Fg所对应的点云帧中的一个空间区域的显著度级别；在目标范围指示字段的字段值为第八指示值的情况下，表示显著度级别参数Wv用于指示，样本序号Fg所对应的点云帧的显著度级别；第八指示值不同于第一指示值。
其中，在T为大于1的正整数的情况下，显著度信息数据结构包括显著度级别字段，以 及字段值为第一指示值的目标范围指示字段；显著度级别字段的字段值属于显著度信息中的显著度级别参数；第一指示值表示显著度级别字段的字段值用于指示，样本序号Fg所对应的点云帧中的一个空间区域的显著度级别。
其中，显著度信息元数据轨道的样本入口处包括显著度信息数据盒；显著度信息数据盒包括显著度算法类型字段；显著度算法类型字段用于指示显著度信息的确定算法类型。
在一些实施例中，在媒体文件包括用于指示显著度信息的Z个显著度信息样本组的情况下，目标范围包括时间范围；其中，Z个显著度信息样本组分别包括的样本序号的总数量小于或等于H，且Z个显著度信息样本组分别包括的样本序号互不相同；一个样本序号用于指示一个点云帧；媒体文件包括H个点云帧；H为正整数，Z为正整数且Z小于H。
其中，Z个显著度信息样本组包括显著度信息样本组Km；m为正整数且m小于或等于Z；时间范围包括显著度信息样本组Km对应的点云帧；显著度信息样本组Km对应的点云帧属于H个点云帧；显著度信息样本组Km包括生效范围指示字段，以及字段值为I的数据结构数量字段；数据结构数量字段用于指示显著度信息数据结构的总数量；I为正整数；I个显著度信息数据结构用于指示与显著度信息样本组Km相关联的显著度级别；在生效范围指示字段的字段值为第六指示值的情况下，表示与显著度信息样本组Km相关联的显著度级别在媒体文件对应的点云轨道内生效；在生效范围指示字段的字段值为第七指示值的情况下，表示与显著度信息样本组Km相关联的显著度级别在显著度信息样本组Km内生效；第七指示值不同于第六指示值。
其中，在生效范围指示字段的字段值为第七指示值的情况下，显著度信息样本组Km包括样本显著度级别字段；样本显著度级别字段用于指示显著度信息样本组Km所对应的点云帧的显著度级别参数。
其中，I个显著度信息数据结构包括显著度信息数据结构Jn，n为正整数，且n小于或等于I；显著度信息数据结构Jn包括字段值为显著度级别参数Ln的显著度级别字段，以及目标范围指示字段；显著度级别参数Ln属于显著度信息中的显著度级别参数；在目标范围指示字段的字段值为第一指示值的情况下，表示显著度级别参数Ln用于指示，显著度信息样本组Km所对应的点云帧中的一个空间区域的显著度级别；在目标范围指示字段的字段值为第八指示值的情况下，表示显著度级别参数Ln用于指示，显著度信息样本组Km所对应的点云帧的显著度级别；第八指示值不同于第一指示值。
其中，对点云媒体进行编码，得到点云码流的过程，请参见上文图5所对应的实施例中的描述，此处不进行赘述。可选的，服务器端可以根据点云媒体中的显著度信息，对点云媒体进行编码优化，以提升编码效率或呈现效果。该操作可以在点云媒体制作阶段进行，也可以在点云媒体制作完成后，在对点云媒体的重新编码封装阶段进行。优化编码过程请参见下文图9所对应的实施例中的描述，此处暂不展开描述。
由步骤S101可知，服务器根据沉浸式媒体的内容(本申请以点云媒体为例)，可以定义沉浸式媒体各区域的显著度信息，可以包括：a)根据显著度级别获取的方式，定义显著度级别的算法类型；b)根据显著度级别是否随空间、时间变化，指示不同范围(包括空间范围以及时间范围)的显著度信息。故本申请实施例在系统层添加若干描述性字段，包括文件封装层面和传输信令层面的字段扩展，以支持本实施步骤。本申请实施例以扩展ISOBMFF数据盒的形式示例，定义点云媒体的显著度信息指示方法。传输信令层面的字段扩展，请参见下文图9中DASH信令以及SMT信令的描述。
本申请实施例可以通过显著度信息数据结构提供点云媒体的显著度信息，请一并参见表1，表1用于指示本申请实施例提供的一种显著度信息数据结构的语法：
表1

上述表1所示语法的语义如下：saliency_level为显著度级别字段，取值为8位无符号整数，指示显著度级别参数，该字段取值越大表明显著度越高。spatial_info_flag为目标范围指示字段，取值为1位无符号整数，该字段取值为第一指示值(如表1中的1)时，表示显著度级别参数为一个点云帧中的一个空间区域的显著度级别；该字段取值为第八指示值(例如0)时，表示显著度级别参数为整个点云帧的显著度级别。需要说明的是，本申请实施例不对第一指示值以及第八指示值的取值进行限定，两个指示值不同即可。
表1中的region_id_ref_flag为空间范围指示字段，取值为1位无符号整数，该字段取值为第二指示值(如表1中的1)时，表示与显著度级别参数关联的空间区域由该空间区域的标识符进行索引；该字段取值为第三指示值(例如0)时，表示与显著度级别关联的空间区域由空间信息相关数据结构(即空间区域位置信息)进行指示。需要说明的是，本申请实施例不对第二指示值以及第三指示值的取值进行限定，两个指示值不同即可。
表1中的spatial_region_id为空间区域标识符字段，取值为16位无符号整数，指示与显著度级别参数关联的空间区域对应的空间区域标识符。anchor_point指示空间区域的锚点坐标，bounding_info指示空间区域的长宽高信息。
表1中的slice_info_flag为点云片信息字段，取值为1位无符号整数，该字段取值为第一信息值(如表1中的1)时，表示与显著度级别参数关联的空间区域，关联有一个或多个点云片(称之为关联点云片)；该字段取值为第二信息值(例如0)时，表示与显著度级别关联的空间区域，无与之相关的点云片。需要说明的是，本申请实施例不对第一信息值以及第二信息值的取值进行限定，两个信息值不同即可。
表1中的num_slices为点云片数量字段，取值为16位无符号整数，指示与空间区域关联的点云片数量，即关联点云片的总数量。slice_id为点云片标识符字段，取值为16位无符号整数，指示关联点云片的点云片标识符。
表1中的tile_info_flag为空间分块信息字段，取值为1位无符号整数，该字段取值为第 三信息值(如表1中的1时)，表示与显著度级别关联的空间区域，关联有一个或多个点云空间分块(称为关联空间分块)；该字段取值为第四信息值(例如0)时，表示与显著度级别关联的空间区域，无与之相关的点云空间分块。本申请实施例不对第三信息值以及第四信息值的取值进行限定，两个信息值不同即可。
表1中的num_tiles为空间分块信息字段，取值为16位无符号整数，指示与空间区域关联的空间分块数量，即关联空间分块的总数量。tile_id为空间分块标识符字段，取值为16位无符号整数，指示关联空间分块的空间分块标识符。可以理解的是，显著度级别参数所指示的空间区域，与tile或slice的关联可以任选其一。
特别地，当通过空间区域标识符进行索引显著度级别参数所指示的空间区域时，该空间区域标识符对应的空间区域在空间范围上的动态变化，不影响显著度级别参数的静态指示。
本申请实施例暂不对点云媒体的显著度级别参数仅与空间相关，与时间无关进行描述。在点云媒体的显著度级别与时间相关(包括仅与时间相关，以及与时间以及空间均相关)时，一种可实施方式，是在显著度信息元数据轨道中指示随时间变化的显著度信息，请一并参见表2，表2用于指示本申请实施例提供的一种显著度信息元数据轨道结构的语法：
表2
可以理解的是，显著度信息元数据轨道(也可称为动态显著度信息元数据轨道，dynamic saliency information metadata track，简写为dsai)包括对应于点云媒体中的点云帧(也称作样本)的样本序号。上述表2所示语法的语义如下：SaliencyInfoBox为显著度信息数据盒，本申请实施例暂不对SaliencyInfoBox展开描述，请参见下文图9所对应的实施例中的描述，其包含于显著度信息元数据轨道的样本入口处(MetaDataSampleEntry)。
表2中的default_saliency_flag为显著度级别指示字段，取值为1位无符号整数，该字段取值为第四指示值(例如1)时，表示点云帧具备默认显著度级别(通常情况下默认显著度级别为0)，即点云帧的显著度级别由参考显著度级别参数确定。该字段取值为第五指示值(如表2中的0)时，表示点云帧的显著度级别由样本内的SaliencyInfoStruct确定。本申请实施例不对第四指示值以及第五指示值的取值进行限定，两个指示值不同即可。
表2中的unified_saliency_level为生效范围指示字段，取值为1位无符号整数，该字段取值为第六指示值(例如1)时，表示当前样本中指示的显著度级别参数在显著度信息元数据轨道内生效，即显著度信息元数据轨道内的所有显著度级别参数以同一标准进行指示。该字 段取值为第七指示值(如表2中的0)时，表示当前样本中指示的显著度级别参数仅在当前样本(点云帧)内生效。本申请实施例不对第六指示值以及第七指示值的取值进行限定，两个指示值不同即可。
表2中的sample_saliency_level为样本显著度级别参数，取值为8位无符号整数，该字段用于指示样本的显著度级别。
表2中的num_saliency_struct为数据结构数量字段，取值为16位无符号整数，该字段用于指示显著度信息数据结构的总数量。可以理解的是，当该字段取值大于1时，表示点云帧包括至少两个空间区域，故SaliencyInfoStruct中spatial_info_flag取值必须为第一指示值。
通过显著度信息元数据轨道，服务器可以确定每个点云帧(即样本)分别对应的显著度级别参数。在点云媒体中，若存在部分点云帧具有相同的显著度级别参数，或存在部分点云帧中的空间区域具有相同的显著度级别参数时，本申请实施例提供另一种可实施方式，是用媒体文件封装样本组工具(本申请实施例称作显著度信息样本组)以指示显著度信息。可以理解的是，显著度信息样本组以及显著度信息元数据轨道均包括显著度信息中的动态信息，例如随时间变化的显著度级别参数等，而显著度信息中的静态信息，例如获取显著度级别参数的算法类型等，包含于显著度信息数据盒。在媒体文件包括用于指示显著度信息的显著度信息样本组的情况下，显著度信息数据盒可包含于点云媒体对应的点云轨道的样本入口处。其中，显著度信息中的动态信息，以及静态信息，可以根据实际应用场景进行设定。
为了便于理解，请一并参见表3，表3用于指示本申请实施例提供的一种显著度信息样本组结构的语法：
表3
显著度信息样本组中，仅对不具有参考显著度级别参数的点云帧，以样本组的形式组织，并给出一个或多个点云帧的显著度级别参数，故不属于显著度信息样本组的点云帧为具有参考显著度级别参数的点云帧。
上述表3所示语法的语义如下：unified_saliency_level为生效范围指示字段，取值为第六指示值(如表3中的1)时，表示显著度信息样本组中指示的显著度级别参数在点云媒体对应的点云轨道内生效，即点云轨道内的所有显著度级别参数以同一标准进行指示。该字段取值为第七指示值(例如0)时，表示显著度信息样本组中指示的显著度级别参数仅在显著度信息样本组内生效。
表3中的sample_saliency_level指示显著度信息样本组内包含的所有样本的显著度级别。
表3中的num_saliency_struct指示显著度信息数据结构的总数量。当该字段取值大于1时，表明显著度信息样本组内的点云帧包括至少两个空间区域，故SaliencyInfoStruct中spatial_info_flag取值必须为第一指示值。
综上所述，当点云媒体的显著度信息随时间变化时，本申请实施例可以提供两种实施方式指示显著度信息，一种实施方式是显著度信息元数据轨道，一种实施方式是显著度信息样本组。
请再参见图7，第一点云媒体中的显著度信息仅和时间相关，与空间区域无关，则在第 一点云媒体对应的媒体文件中，服务器可以生成第一显著度信息元数据轨道，该第一显著度信息元数据轨道可以如表4所示，表4是本申请实施例提供的一种显著度信息元数据轨道结构表。
表4
表4中的saliency_algorithm_type为显著度算法类型字段，在取值为第一类型值(如表4中的1)时，表示显著度级别参数由数据统计获取。num_saliency_struct＝0，表示第一显著度信息元数据轨道中不存在不随时间变化的显著度空间区域。表4中其它字段的含义，请一并参见上文表1-表2中的描述，此处不进行赘述。
请再参见图8，第二点云媒体中的显著度信息和空间区域相关，且空间区域的显著度级别随着时间发生变化，则在第二点云媒体对应的媒体文件中，服务器可以生成第二显著度信息元数据轨道，该第二显著度信息元数据轨道可以如表5所示，表5是本申请实施例提供的另一种显著度信息元数据轨道结构表。
表5
同表4对比，表5中存在部分样本序号，例如样本1(sample1)以及样本3(sample3)，其所对应的点云帧内部划分为多个空间区域，例如样本1对应的点云帧1具有两个空间区域，第一个空间区域的显著度级别为2，第二空间区域的显著度级别为1。表5中各字段的含义，请一并参见上文表1、表2以及表4中的描述，此处不进行赘述。
其中，服务器将点云码流封装为媒体文件，并在媒体文件中以元数据的形式(即动态显著度信息元数据轨道)指示上述信息。由于点云显著度信息随时间变化，则传输信令中不包含显著度信息描述数据，但是显著度信息元数据轨道会以Representation的形式作为媒体资源存在于传输信令。由上文图5可知，服务器将点云文件传输给客户端的方式有两种，分别为：
1)客户端C1下载完整的点云文件(即媒体文件)后在本地播放。
2)客户端C2与服务器建立流化传输，在接收点云文件片段Fs的同时进行呈现消费。
上述可知，本申请实施例可以确定点云媒体对应的用于指示时间范围的显著度信息，或点云媒体对应的用于指示空间范围的显著度信息，故本申请实施例可以将点云媒体的显著度信息与点云码流一并封装，得到媒体文件，且本申请实施例提供的显著度信息指示方法，可以提高点云媒体的显著度信息的精准性，进而在渲染点云媒体时，可以通过精准的显著度信息，确定目标范围的渲染效果，故可以优化点云媒体的呈现效果。
进一步地，请参见图9，图9是本申请实施例提供的另一种媒体数据处理方法的流程示意图。该方法可由沉浸式媒体系统中的内容制作设备(例如，上述图5所对应实施例中的内容制作设备200A)来执行，比如，该内容制作设备可以为服务器，本申请实施例以服务器执行为例进行说明。该方法至少可以包括以下步骤S201-步骤S204。
步骤S201，确定点云媒体的显著度信息；显著度信息包括用于指示点云媒体的目标范围的显著度级别参数；目标范围包括空间范围或时间范围中的至少一项。
在一些实施例中，点云媒体的获取过程以及制作过程，请参见上文图5中的描述，此处不进行赘述。本申请实施例中的显著度信息可以包括两类信息，一类信息是显著度算法信息，即获取显著度级别参数的信息；另一类信息是用于指示目标范围的显著度级别参数。
可以理解的是，不同的点云媒体，其对应的显著度级别参数需要关联的范围是不同的，因此，本申请实施例针对沉浸式媒体，特别是点云媒体，提出了一种显著度信息指示方法，该方法在系统层添加若干描述性字段，包括文件封装层面和传输信令层面的字段扩展。下文中，以扩展ISOBMFF数据盒、DASH信令、SMT信令的形式举例。
点云媒体可以包括第三点云媒体，第三点云媒体对应的显著度级别参数可以仅与空间区域相关，与时间无关。请一并参见图10，图10是本申请实施例提供的一种显著度级别参数与空间区域相关，且与空间区域相关的显著度级别参数不随时间变化的示意图。假设第三点云媒体包括A个点云帧，A为正整数，且A个点云帧中的每个点云帧的内部结构均如图10所示，则根据第三点云媒体的内容，服务器可以定义第三点云媒体的各区域的显著度信息，其中，每个点云帧的第一个空间区域(简称空间区域1)的显著度级别参数均为2，其由两个点云片组成，两个点云片分别对应的点云片标识符包括点云片0以及点云片1。每个点云帧的第二个空间区域(简称空间区域2)的显著度级别参数均为1，其由两个点云片组成，两个点云片分别对应的点云片标识符包括点云片2以及点云片3。
故在第三点云媒体中，空间区域1具备更高的显著度，空间区域2具备低的显著度。此时，服务器可以生成显著度信息数据盒，用于指示点云媒体对应的点云轨道中不随时间变化的显著度信息。
其中，显著度信息随着时间变化的场景，请参见上文图4所对应的实施例中步骤S101的描述，此处不进行赘述。
步骤S202，对点云媒体进行编码，得到点云码流。
在一些实施例中，根据显著度信息中的显著度级别参数，对点云媒体的目标范围进行优化编码，得到点云码流。
其中，目标范围的总数量为至少两个，至少两个目标范围包括第一目标范围以及第二目标范围；显著度信息中的显著度级别参数包括第一目标范围对应的第一显著度级别参数，以及第二目标范围对应的第二显著度级别参数；根据显著度信息中的显著度级别参数，对点云媒体的目标范围进行优化编码，得到点云码流的过程可以包括：根据第一显著度级别参数，确定第一目标范围的第一编码级别，根据第二显著度级别参数，确定第二目标范围的第二编 码级别，在第一显著度级别参数大于第二显著度级别参数的情况下，第一编码级别优于第二编码级别；通过第一编码级别，对第一目标范围进行优化编码，得到第一子点云码流，通过第二编码级别，对第二目标范围进行优化编码，得到第二子点云码流；根据第一子点云码流以及第二子点云码流，生成点云码流。
为了提升编码效率以及呈现效果，本申请实施例通过点云媒体的显著度信息，可以对点云媒体进行优化编码。过程如下：服务器确定至少两个目标范围分别对应的显著度级别参数，对至少两个显著度级别参数进行排序，将最大的显著度级别参数对应的目标范围的编码级别，设置为最大的编码级别，将次高的显著度级别参数对应的目标范围的编码级别，设置为次高的编码级别，即按照至少两个显著度级别参数的排序，对至少两个目标范围分别对应的编码级别进行正向排序，然后按照目标范围对应的编码级别，对目标范围进行优化编码，得到点云码流。
上述优化编码过程，可以由内容制作设备执行，也可以在内容制作设备生成媒体文件并传输给中间节点后，中间节点先对媒体文件进行解封装以及解码，得到点云媒体，再依据点云媒体的显著度信息对点云媒体进行优化编码。
步骤S203，将点云码流以及显著度信息封装为媒体文件。
在一些实施例中，媒体文件包括用于指示显著度信息的显著度信息数据盒，在媒体文件对应的点云轨道的样本入口处包括显著度信息数据盒的情况下，目标范围包括空间范围；其中，显著度信息中的一个显著度级别参数用于指示一个空间范围；一个空间范围包括A个点云帧中的每个点云帧包含的一个空间区域；点云媒体包括A个点云帧；A为正整数。
其中，显著度信息数据盒包括数据结构数量字段；数据结构数量字段用于指示显著度信息数据结构的总数量。
其中，数据结构数量字段的取值为S，表示S个显著度信息数据结构；S个显著度信息数据结构包括显著度信息数据结构Bc，其中，S、c均为正整数，且c小于或等于S；显著度信息数据结构Bc包括字段值为显著度级别参数Dc的显著度级别字段，以及字段值为第一指示值的目标范围指示字段；显著度级别参数Dc属于显著度信息中的显著度级别参数；第一指示值表示显著度级别参数Dc用于指示一个空间范围的显著度级别。
其中，显著度信息数据结构Bc还包括空间范围指示字段；在空间范围指示字段的字段值为第二指示值的情况下，表示显著度级别参数Dc所指示的空间范围由空间区域标识符确定；在空间范围指示字段的字段值为第三指示值的情况下，表示显著度级别参数Dc所指示的空间范围由空间区域位置信息确定；第三指示值不同于第二指示值。
其中，在空间范围指示字段的字段值为第二指示值的情况下，显著度信息数据结构Bc还包括空间区域标识符字段；空间区域标识符字段用于指示显著度级别参数Dc所指示的空间范围的空间区域标识符。
其中，在空间范围指示字段的字段值为第三指示值的情况下，显著度信息数据结构Bc还包括空间区域位置信息字段；空间区域位置信息字段用于指示显著度级别参数Dc所指示的空间范围的空间区域位置信息。
其中，显著度信息数据结构Bc还包括点云片信息字段；在点云片信息字段的字段值为第一信息值的情况下，表示显著度级别参数Dc所指示的空间范围具有关联点云片；在点云片信息字段的字段值为第二信息值的情况下，表示显著度级别参数Dc所指示的空间范围不具有关联点云片；第二信息值不同于第一信息值；其中，在点云片信息字段的字段值为第一信息值的情况下，显著度信息数据结构Bc还包括点云片数量字段以及点云片标识符字段；点云片数量字段用于指示关联点云片的总数量；点云片标识符字段用于指示关联点云片对应的点云片标识符。
其中，显著度信息数据结构Bc还包括空间分块信息字段；在空间分块信息字段的字段值为第三信息值的情况下，表示显著度级别参数Dc所指示的空间范围具有关联空间分块；在点云片信息字段的字段值为第四信息值的情况下，表示显著度级别参数Dc所指示的空间范围不 具有关联空间分块；第四信息值不同于第三信息值；其中，在空间分块信息字段的字段值为第三信息值的情况下，显著度信息数据结构Bc还包括空间分块数量字段以及空间分块标识符字段；空间分块数量字段用于指示关联空间分块的总数量；空间分块标识符字段用于指示关联空间分块对应的空间分块标识符。
其中，显著度信息数据盒包括显著度算法类型字段；在显著度算法类型字段的字段值为第一类型值的情况下，表示显著度信息由显著度检测算法确定；在显著度算法类型字段的字段值为第二类型值的情况下，表示显著度信息由数据统计确定；第二类型值不同于第一类型值。
本申请实施例可以通过显著度信息数据结构提供点云媒体的显著度信息，在点云媒体的显著度信息仅与空间区域相关时，服务器可以在媒体文件中生成显著度信息数据盒，用于指示不随时间变化的显著度信息，请一并参见表6，表6用于指示本申请实施例提供的一种显著度信息数据盒结构的语法：
表6
显著度信息数据盒可包含于点云轨道的样本入口中，指示该点云轨道中不随时间变化的显著度信息，其数量为0个或1个，在点云媒体具有多个点云轨道的场景下，显著度信息数据盒可以处于任意一个点云轨道的样本入口处。
上述表6所示语法的语义如下：saliency_algorithm_type为显著度算法类型字段，用于指示获取显著度信息的算法类型。该字段取值为第一类型值(例如0)时，表示显著度信息由算法获得；该字段取值为第二类型值(例如1)时，表示显著度信息由对象主观评价统计获得，即数据统计获得；其余取值可由应用自行扩展。
表6中的num_saliency_struct为数据结构数量字段，指示显著度信息数据结构的数量。当该字段取值大于0时，SaliencyInfoStruct中spatial_info_flag取值必须为1。当该字段取值为0时，表示点云轨道中不存在不随时间变化的显著度空间区域。
综上所述，在点云媒体的显著度信息仅与空间区域相关，不随时间变化时，服务器可以提供显著度信息数据盒以指示显著度信息。请再参见图10，在第三点云媒体对应的媒体文件中，服务器可以生成显著度信息数据盒，该显著度信息数据盒可以如表7所示，表7是本申请实施例提供的一种显著度信息数据盒结构表。
表7
表7中各字段的含义，请参见上文表1以及表6中的描述，此处不进行赘述。
进一步，服务器将点云码流封装为点云文件，并在文件中以元数据的形式(即SaliencyInfoBox数据盒)指示上述显著度信息。
步骤S204，将针对媒体文件的传输信令传输至客户端；传输指令携带显著度信息描述数据；显著度信息描述数据用于指示客户端在通过流化传输方式获取媒体文件时，确定媒体文 件中的不同媒体子文件之间的获取顺序；显著度信息描述数据是基于显著度信息所生成的。
本申请不仅在文件封装层面添加若干描述性字段，在传输信令层面亦添加若干描述性字段，下文以DASH信令以及SMT信令的形式举例，其中，显著度信息描述数据包括在DASH信令中定义的显著度信息描述子，以及在SMT信令中定义的显著度信息描述符，具体如下所述。
本申请实施例在DASH信令中进行扩展，并提出显著度信息描述子，显著度信息描述子(SaliencyInfo descriptor)为补充(SupplementalProperty)元素，其@schemeIdUri属性为"urn:avs:ims:2022:apcc"。该描述子可存在于adaptation set层级或representation层级，存在于adaptation set层级时，显著度信息描述子描述该adaptation set内所有的representation；存在于representation层级时，显著度信息描述子描述对应的representation。SaliencyInfoDescriptor描述子指示点云媒体的显著度信息的相关属性，具体属性请一并参见表8，表8用于指示本申请实施例提供的一种显著度信息描述子的元素和属性。
表8
其中，表8中的N表示显著度信息中显著度级别参数的总数量，如图10中，N＝2，表示有两个显著度级别参数。M表示其对应的字段(如表8中的SaliencyInfo@saliencyLevel)为强制(Mandatory)字段；CM表示其对应的字段(如表8中的SaliencyInfo@spatialRegionId)，为条件强制(Conditional Mandatory)字段；O表示其对应的字段(如表8中的 SaliencyInfo@tileId)为可选(Optiona)l字段。
表8中的unsigned表示无符号，Short表示短整型，bool表示布尔型变量，Int表示整型，vector表示向量，float表示浮点型。
另一种可行的传输信令扩展，本申请实施例在SMT信令中进行扩展，并提出显著度信息描述符，其存在于representation层级，用于描述相应媒体资源，指示该媒体资源的显著度信息。请一并参见表9，表9用于指示本申请实施例提供的一种显著度信息描述符语法：
表9
表9所示语法的语义如下：Saliency_info_level指示显著度级别，该字段取值越大表明显著度越高。Region_id_ref_flag为空间范围指示字段，该字段取值为第一指示值(例如1)时，显著度级别对应的空间区域由空间区域标识符进行索引；该字段取值为第八指示值(例如0)时，显著度级别对应的空间区域由空间区域位置信息直接指示。Spatial_region_id为空间区域标识符字段，指示空间区域标识符。Anchor_point_x，y，z指示空间区域锚点的x，y，z坐标。Bounding_box_x，y，z指示空间区域沿x，y，z轴的长度。Related_tile_info_flag取值为第三信息值(例如1)时，表示与显著度级别参数关联的空间区域，关联到一个或多个空间分块；取值为第四信息值(例如0)时，表示与显著度级别关联的空间区域，无与之相关的空间分块。Related_slice_info_flag取值为第一信息值(例如1)时，表示与显著度级别关联的空间区域，关联到一个或多个点云片；取值为第二信息值(例如0)时，表示与显著度级别 关联的空间区域无与之相关的点云片。Num_tiles指示与空间区域关联的空间分块数量。Tile_id指示关联空间分块的标识符。Num_slices指示与空间区域关联的点云片数量。Slice_id指示关联点云片的标识符。上述各字段的含义，也可以参见上文表1中的描述。
在显著度信息中的显著度级别参数随时间变化时，点云媒体的显著度信息以元数据轨道或样本组的形式在媒体文件中存在，此时，在传输信令中不包含显著度信息描述子或显著度信息描述符，但是显著度信息元数据轨道或显著度信息样本组将会以Representation的形式作为媒体资源存在于传输信令。
在点云媒体的显著度信息与空间区域关联且不随时间变化时，如图10所示例的第三点云媒体，此时，服务器在传输信令中将显著度信息和空间信息进行关联，生成信令并发送给客户端。针对图10所示例的第三点云媒体，服务器所生成的传输信令中包含2个显著度信息描述子：
SaliencyInfo descriptor1：
SaliencyInfo@saliencyLevel＝2；SaliencyInfo@regionIdRefFlag＝1；
SaliencyInfo@spatialRegionId＝1；SaliencyInfo@sliceId＝0，1；
SaliencyInfo descriptor2：
SaliencyInfo@saliencyLevel＝1；SaliencyInfo@regionIdRefFlag＝1；
SaliencyInfo@spatialRegionId＝2；SaliencyInfo@sliceId＝2，3。
针对图10所示例的第三点云媒体，与服务器建立流化传输时，对于客户端，若空间区域1和空间区域2对应不同的媒体资源Representation1和Representation2，由于空间区域1具备更高的显著度，客户端在传输时可以优先保证Representation1的传输。
本申请实施例针对沉浸式媒体，特别是点云媒体，提出了一种显著度信息指示方法。本申请实施例在文件封装层面和信令传输层面，通过定义不同范围的显著度信息以及定义不同类型的显著度信息获取算法，并在信令层面将显著度信息和空间信息进行关联；故可以更灵活地指示点云媒体中不同空间区域、不同点云帧的显著度信息，从而满足更多的点云应用场景，使服务器能够根据显著度信息进行编码优化，使客户端能够根据显著度信息进行传输优化。
进一步地，请参见图11，图11是本申请实施例提供的又一种媒体数据处理方法的流程示意图。该方法可由沉浸式媒体系统中的内容消费设备(例如，上述图5所对应实施例中的内容消费设备200B)来执行，比如，该内容消费设备可以为集成有客户端(例如视频客户端)的终端。该方法至少可以包括以下步骤S301-步骤S302：
步骤S301，获取媒体文件，对媒体文件进行解封装，得到点云码流以及点云媒体的显著度信息；显著度信息包括用于指示点云媒体的目标范围的显著度级别参数；目标范围包括空间范围或时间范围中的至少一项。
在一些实施例中，客户端可以获取服务器发送的沉浸式媒体的媒体文件，并对该媒体文件进行解封装，从而得到该媒体文件中的点云码流以及点云媒体的显著度信息。可以理解，解封装的过程与封装的过程是相逆的，客户端可以按照封装时采用的文件格式要求来对媒体文件进行解封装，从而得到点云码流。服务器生成并发送媒体文件的过程可以参见上述图4所对应的实施例，这里不再进行赘述。
步骤S302，对点云码流进行解码，得到点云媒体。
在一些实施例中，在媒体文件包括用于指示显著度信息的显著度信息数据盒的情况下，确定目标范围包括空间范围；显著度信息中的一个显著度级别参数用于指示一个空间范围；一个空间范围包括A个点云帧中的每个点云帧包含的一个空间区域；点云媒体包括A个点云帧；A为正整数。
其中，空间范围的总数量为至少两个，至少两个空间范围包括第一空间范围以及第二空间范围；渲染过程还可以包括：在显著度信息中，获取显著度级别参数Op和显著度级别参数Op+1，该显著度级别参数Op用于指示第一空间范围，该显著度级别参数Op+1用于指示第二空 间范围；p为正整数，且p小于显著度信息中的显著度级别参数的总数量；在显著度级别参数Op大于显著度级别参数Op+1的情况下，确定第一空间范围对应的渲染级别，优于第二空间范围对应的渲染级别；在显著度级别参数Op小于显著度级别参数Op+1的情况下，确定第二空间范围对应的渲染级别，优于第一空间范围对应的渲染级别。
在一些实施例中，在媒体文件包括用于指示显著度信息的显著度信息元数据轨道的情况下，确定目标范围包括时间范围；其中，显著度信息元数据轨道包括与显著度信息相关联的E个样本序号；其中，一个样本序号对应于一个点云帧；点云媒体包括E个点云帧；E为正整数。
其中，时间范围包括E个点云帧中的第一点云帧以及第二点云帧；渲染过程还可以包括：在显著度信息中，获取显著度级别参数Qr和显著度级别参数Qr+1，该显著度级别参数Qr用于指示第一点云帧，该显著度级别参数Qr+1用于指示第二点云帧；r为正整数且r小于显著度信息中的显著度级别参数的总数量；在显著度级别参数Qr大于显著度级别参数Qr+1的情况下，确定第一点云帧对应的渲染级别，优于第二点云帧对应的渲染级别；在显著度级别参数Qr小于显著度级别参数Qr+1的情况下，确定第二点云帧对应的渲染级别，优于第一点云帧对应的渲染级别。
其中，渲染过程还可以包括：在第一点云帧包括至少两个空间区域，且至少两个空间区域分别对应的显著度级别不同的情况下，则在显著度信息中，获取第一空间区域对应的显著度级别参数Xy，获取第二空间区域对应的显著度级别参数Xy+1；第一空间区域以及第二空间区域均属于至少两个空间区域；x为正整数，且x小于显著度信息中的显著度级别参数的总数量；在显著度级别参数Xy大于显著度级别参数Xy+1的情况下，确定第一空间区域对应的渲染级别，优于第二空间区域对应的渲染级别；在显著度级别参数Xy小于显著度级别参数Xy+1的情况下，确定第二空间区域对应的渲染级别，优于第一空间区域对应的渲染级别。
可以理解，解码的过程与编码的过程是相逆的，客户端可以按照编码时采用的文件格式要求来对点云码流进行解码，从而得到点云媒体。
客户端对点云文件/文件片段进行解封装和解码后，可以根据点云媒体的显著度信息，在呈现和渲染点云媒体的过程中灵活分配计算资源，优化目标范围的呈现效果。如图5所示的第一点云媒体，sample2是显著度最高的点云帧，sample3是显著度次高的点云帧，其余sample仅具备初始显著度级别参数(可以将其设置为0)，因此客户端对于sample2和sample3的渲染可以更加精细，即渲染级别与显著度级别成正向关系。
请再参见图8所示例的第二点云媒体，sample2是显著度最高的帧，sample1中存在显著度最高的空间区域和显著度次高的空间区域，sample3中存在显著度次高的空间区域，其余sample仅具备默认显著度，即参考显著度级别参数，因此客户端对于sample2、sample1中的具有显著度最高的空间区域和显著度次高的空间区域、sample3中具有显著度次高的空间区域的渲染可以更加精细，例如sample2对应的渲染级别优于sample1对应的渲染级别，在sample1中，具有显著度最高的空间区域对应的渲染级别，优于显著度次高的空间区域对应的渲染级别；而sample1对应的渲染级别优于sample3对应的渲染级别。
请再参见图10所示例的第三点云媒体，空间区域1是显著度较高的区域，因此客户端对于空间区域1的渲染可以更加精细，即空间区域1对应的渲染级别优于空间区域2对应的渲染级别。
综上所述，本申请实施例可以更灵活地指示点云媒体中不同空间区域、不同点云帧的显著度信息，从而满足更多的点云应用场景，使服务器能够根据显著度信息进行编码优化，使客户端能够根据显著度信息进行传输优化；在呈现和渲染过程中，客户端可以根据显著度信息，灵活分配计算资源，优化特定区域的呈现效果。
请参见图12，图12是本申请实施例提供的一种媒体数据处理装置的结构示意图。该媒体数据处理装置可以是运行于内容制作设备的一个计算机程序(包括程序代码)，例如该媒体数据处理装置为内容制作设备中的一个应用软件；该装置可以用于执行本申请实施例提供的 媒体数据处理方法中的相应步骤。如图12所示，该媒体数据处理装置1可以包括：信息确定模块11以及信息封装模块12。
信息确定模块11，用于确定点云媒体的显著度信息；显著度信息包括用于指示点云媒体的目标范围的显著度级别参数；目标范围包括空间范围或时间范围中的至少一项；
信息封装模块12，用于对点云媒体进行编码，得到点云码流，将点云码流以及显著度信息封装为媒体文件。
其中，信息确定模块11以及信息封装模块12的实现方式可以参见上述图4所对应实施例中的步骤S101-步骤S102，这里不再进行赘述。
在一种实施方式中，媒体文件包括用于指示显著度信息的显著度信息数据盒，在媒体文件对应的点云轨道的样本入口处包括显著度信息数据盒的情况下，目标范围包括空间范围；
其中，显著度信息中的一个显著度级别参数用于指示一个空间范围；一个空间范围包括A个点云帧中的每个点云帧包含的一个空间区域；点云媒体包括A个点云帧；A为正整数。
在一种实施方式中，显著度信息数据盒包括数据结构数量字段；数据结构数量字段用于指示显著度信息数据结构的总数量。
在一种实施方式中，数据结构数量字段的取值为S，表示S个显著度信息数据结构；S个显著度信息数据结构包括显著度信息数据结构Bc，其中，S、c均为正整数，且c小于或等于S；
显著度信息数据结构Bc包括字段值为显著度级别参数Dc的显著度级别字段，以及字段值为第一指示值的目标范围指示字段；显著度级别参数Dc属于显著度信息中的显著度级别参数；
第一指示值表示显著度级别参数Dc用于指示一个空间范围的显著度级别。
在一种实施方式中，显著度信息数据结构Bc还包括空间范围指示字段；
在空间范围指示字段的字段值为第二指示值的情况下，表示显著度级别参数Dc所指示的空间范围由空间区域标识符确定；
在空间范围指示字段的字段值为第三指示值的情况下，表示显著度级别参数Dc所指示的空间范围由空间区域位置信息确定；第三指示值不同于第二指示值。
在一种实施方式中，在空间范围指示字段的字段值为第二指示值的情况下，显著度信息数据结构Bc还包括空间区域标识符字段；空间区域标识符字段用于指示显著度级别参数Dc所指示的空间范围的空间区域标识符。
在一种实施方式中，在空间范围指示字段的字段值为第三指示值的情况下，显著度信息数据结构Bc还包括空间区域位置信息字段；空间区域位置信息字段用于指示显著度级别参数Dc所指示的空间范围的空间区域位置信息。
在一种实施方式中，显著度信息数据结构Bc还包括点云片信息字段；
在点云片信息字段的字段值为第一信息值的情况下，表示显著度级别参数Dc所指示的空间范围具有关联点云片；
在点云片信息字段的字段值为第二信息值的情况下，表示显著度级别参数Dc所指示的空间范围不具有关联点云片；第二信息值不同于第一信息值；
在点云片信息字段的字段值为第一信息值的情况下，显著度信息数据结构Bc还包括点云片数量字段以及点云片标识符字段；点云片数量字段用于指示关联点云片的总数量；点云片标识符字段用于指示关联点云片对应的点云片标识符。
在一种实施方式中，显著度信息数据结构Bc还包括空间分块信息字段；
在空间分块信息字段的字段值为第三信息值的情况下，表示显著度级别参数Dc所指示的空间范围具有关联空间分块；
在点云片信息字段的字段值为第四信息值的情况下，表示显著度级别参数Dc所指示的空间范围不具有关联空间分块；第四信息值不同于第三信息值；
在空间分块信息字段的字段值为第三信息值的情况下，显著度信息数据结构Bc还包括空 间分块数量字段以及空间分块标识符字段；空间分块数量字段用于指示关联空间分块的总数量；空间分块标识符字段用于指示关联空间分块对应的空间分块标识符。
在一种实施方式中，显著度信息数据盒包括显著度算法类型字段；
在显著度算法类型字段的字段值为第一类型值的情况下，表示显著度信息由显著度检测算法确定；
在显著度算法类型字段的字段值为第二类型值的情况下，表示显著度信息由数据统计确定；第二类型值不同于第一类型值。
请再参见图12，媒体数据处理装置1还可以包括：文件传输模块13。
文件传输模块13，用于将针对媒体文件的传输信令传输至客户端；传输指令携带显著度信息描述数据；显著度信息描述数据用于指示客户端在通过流化传输方式获取媒体文件时，确定媒体文件中的不同媒体子文件之间的获取顺序；显著度信息描述数据是基于显著度信息所生成的。
其中，文件传输模块13的实现方式可以参见上述图9所对应实施例中的步骤S204，这里不再进行赘述。
在一种实施方式中，在媒体文件包括用于指示显著度信息的显著度信息元数据轨道的情况下，目标范围包括时间范围；
其中，显著度信息元数据轨道包括与显著度信息相关联的E个样本序号；其中，一个样本序号对应于一个点云帧；点云媒体包括E个点云帧；E为正整数。
在一种实施方式中，显著度信息元数据轨道包括样本序号Fg；g为正整数且g小于或等于E；时间范围包括样本序号Fg所对应的点云帧；
显著度信息元数据轨道包括针对样本序号Fg的显著度级别指示字段；
在显著度级别指示字段的字段值为第四指示值的情况下，表示与样本序号Fg相关联的显著度级别由参考显著度级别参数确定；参考显著度级别参数属于显著度信息中的显著度级别参数；
在显著度级别指示字段的字段值为第五指示值的情况下，表示与样本序号Fg相关联的显著度级别由显著度信息数据结构确定；第五指示值不同于第四指示值。
在一种实施方式中，在显著度级别指示字段的字段值为第四指示值的情况下，表示参考显著度级别参数用于指示一个时间范围的显著度级别；一个时间范围为样本序号Fg所对应的点云帧；
显著度信息元数据轨道还包括针对样本序号Fg的字段值为第六指示值的生效范围指示字段；第六指示值表示参考显著度级别参数在显著度信息元数据轨道内生效。
在一种实施方式中，在显著度级别指示字段的字段值为第五指示值的情况下，显著度信息元数据轨道还包括针对样本序号Fg的生效范围指示字段；
在生效范围指示字段的字段值为第六指示值的情况下，表示与样本序号Fg相关联的显著度级别在显著度信息元数据轨道内生效；
在生效范围指示字段的字段值为第七指示值的情况下，表示与样本序号Fg相关联的显著度级别在样本序号Fg所对应的点云帧内生效；第七指示值不同于第六指示值。
在一种实施方式中，在生效范围指示字段的字段值为第七指示值的情况下，显著度信息元数据轨道还包括针对样本序号Fg的样本显著度级别字段；样本显著度级别字段用于指示样本序号Fg所对应的点云帧的显著度级别参数。
在一种实施方式中，在显著度级别指示字段的字段值为第五指示值的情况下，显著度信息元数据轨道还包括针对样本序号Fg的字段值为T的数据结构数量字段；数据结构数量字段用于指示显著度信息数据结构的总数量；T为正整数。
在一种实施方式中，T个显著度信息数据结构包括显著度信息数据结构Uv，v为正整数且v小于或等于T；
显著度信息数据结构Uv包括字段值为显著度级别参数Wv的显著度级别字段，以及目标 范围指示字段；显著度级别参数Wv属于显著度信息中的显著度级别参数；
在目标范围指示字段的字段值为第一指示值的情况下，表示显著度级别参数Wv用于指示，样本序号Fg所对应的点云帧中的一个空间区域的显著度级别；
在目标范围指示字段的字段值为第八指示值的情况下，表示显著度级别参数Wv用于指示，样本序号Fg所对应的点云帧的显著度级别；第八指示值不同于第一指示值。
在一种实施方式中，在T为大于1的正整数的情况下，显著度信息数据结构包括显著度级别字段，以及字段值为第一指示值的目标范围指示字段；显著度级别字段的字段值属于显著度信息中的显著度级别参数；第一指示值表示显著度级别字段的字段值用于指示，样本序号Fg所对应的点云帧中的一个空间区域的显著度级别。
在一种实施方式中，显著度信息元数据轨道的样本入口处包括显著度信息数据盒；
显著度信息数据盒包括显著度算法类型字段；显著度算法类型字段用于指示显著度信息的确定算法类型。
在一种实施方式中，在媒体文件包括用于指示显著度信息的Z个显著度信息样本组的情况下，目标范围包括时间范围；
其中，Z个显著度信息样本组分别包括的样本序号的总数量小于或等于H，且Z个显著度信息样本组分别包括的样本序号互不相同；一个样本序号用于指示一个点云帧；媒体文件包括H个点云帧；H为正整数，Z为正整数且Z小于H。
在一种实施方式中，Z个显著度信息样本组包括显著度信息样本组Km；m为正整数且m小于或等于Z；时间范围包括显著度信息样本组Km对应的点云帧；显著度信息样本组Km对应的点云帧属于H个点云帧；
显著度信息样本组Km包括生效范围指示字段，以及字段值为I的数据结构数量字段；数据结构数量字段用于指示显著度信息数据结构的总数量；I为正整数；I个显著度信息数据结构用于指示与显著度信息样本组Km相关联的显著度级别；
在生效范围指示字段的字段值为第六指示值的情况下，表示与显著度信息样本组Km相关联的显著度级别在媒体文件对应的点云轨道内生效；
在生效范围指示字段的字段值为第七指示值的情况下，表示与显著度信息样本组Km相关联的显著度级别在显著度信息样本组Km内生效；第七指示值不同于第六指示值。
在一种实施方式中，在生效范围指示字段的字段值为第七指示值的情况下，显著度信息样本组Km包括样本显著度级别字段；样本显著度级别字段用于指示显著度信息样本组Km所对应的点云帧的显著度级别参数。
在一种实施方式中，I个显著度信息数据结构包括显著度信息数据结构Jn，n为正整数，且n小于或等于I；
显著度信息数据结构Jn包括字段值为显著度级别参数Ln的显著度级别字段，以及目标范围指示字段；显著度级别参数Ln属于显著度信息中的显著度级别参数；
在目标范围指示字段的字段值为第一指示值的情况下，表示显著度级别参数Ln用于指示，显著度信息样本组Km所对应的点云帧中的一个空间区域的显著度级别；
在目标范围指示字段的字段值为第八指示值的情况下，表示显著度级别参数Ln用于指示，显著度信息样本组Km所对应的点云帧的显著度级别；第八指示值不同于第一指示值。
请再参见图12，信息封装模块12，用于根据显著度信息中的显著度级别参数，对点云媒体的目标范围进行优化编码，得到点云码流。
其中，信息封装模块12的实现方式可以参见上述图9所对应实施例中的步骤S202，这里不再进行赘述。
请再参见图12，目标范围的总数量为至少两个，至少两个目标范围包括第一目标范围以及第二目标范围；显著度信息中的显著度级别参数包括第一目标范围对应的第一显著度级别参数，以及第二目标范围对应的第二显著度级别参数；
信息封装模块12可以包括：级别确定单元121、优化编码单元122以及码流生成单元123。
级别确定单元121，用于根据第一显著度级别参数，确定第一目标范围的第一编码级别，根据第二显著度级别参数，确定第二目标范围的第二编码级别，在第一显著度级别参数大于第二显著度级别参数的情况下，第一编码级别优于第二编码级别；
优化编码单元122，用于通过第一编码级别，对第一目标范围进行优化编码，得到第一子点云码流，通过第二编码级别，对第二目标范围进行优化编码，得到第二子点云码流；
码流生成单元123，用于根据第一子点云码流以及第二子点云码流，生成点云码流。
其中，级别确定单元121、优化编码单元122以及码流生成单元123的实现方式可以参见上述图9所对应实施例中的步骤S202，这里不再进行赘述。
本申请实施例针对沉浸式媒体，特别是点云媒体，提出了一种显著度信息指示方法。本申请实施例在文件封装层面和信令传输层面，通过定义不同范围的显著度信息以及定义不同类型的显著度信息获取算法，并在信令层面将显著度信息和空间信息进行关联；故可以更灵活地指示点云媒体中不同空间区域、不同点云帧的显著度信息，从而满足更多的点云应用场景，使服务器能够根据显著度信息进行编码优化，使客户端能够根据显著度信息进行传输优化。
请参见图13，图13是本申请实施例提供的另一种媒体数据处理装置的结构示意图。该媒体数据处理装置可以是运行于内容消费设备的一个计算机程序(包括程序代码)，例如该媒体数据处理装置为内容消费设备中的一个应用软件(例如，视频客户端)；该装置可以用于执行本申请实施例提供的媒体数据处理方法中的相应步骤。如图13所示，该媒体数据处理装置2可以包括：文件获取模块21以及码流解码模块22。
文件获取模块21，用于获取媒体文件，对媒体文件进行解封装，得到点云码流以及点云媒体的显著度信息；显著度信息包括用于指示点云媒体的目标范围的显著度级别参数；目标范围包括空间范围或时间范围中的至少一项；
码流解码模块22，用于对点云码流进行解码，得到点云媒体。
其中，文件获取模块21以及码流解码模块22的实现方式可以参见上述图11所对应实施例中的步骤S301-步骤S302，这里不再进行赘述。
请再参见图13，媒体数据处理装置2还可以包括：第一确定模块23。
第一确定模块23，用于在媒体文件包括用于指示显著度信息的显著度信息数据盒的情况下，确定目标范围包括空间范围；显著度信息中的一个显著度级别参数用于指示一个空间范围；一个空间范围包括A个点云帧中的每个点云帧包含的一个空间区域；点云媒体包括A个点云帧；A为正整数。
其中，第一确定模块23的实现方式可以参见上述图5所对应实施例中的步骤S302，这里不再进行赘述。
请再参见图13，空间范围的总数量为至少两个，至少两个空间范围包括第一空间范围以及第二空间范围；
媒体数据处理装置1还可以包括：第一获取模块24以及第二确定模块25。
第一获取模块24，用于在显著度信息中，获取显著度级别参数Op和显著度级别参数Op+1，该显著度级别参数Op用于指示第一空间范围，该显著度级别参数Op+1用于指示第二空间范围；p为正整数，且p小于显著度信息中的显著度级别参数的总数量；
第二确定模块25，用于在显著度级别参数Op大于显著度级别参数Op+1的情况下，确定第一空间范围对应的渲染级别，优于第二空间范围对应的渲染级别；
第二确定模块25，还用于在显著度级别参数Op小于显著度级别参数Op+1的情况下，确定第二空间范围对应的渲染级别，优于第一空间范围对应的渲染级别。
其中，第一获取模块24以及第二确定模块25的实现方式可以参见上述图11所对应实施例中的步骤S302，这里不再进行赘述。
请再参见图13，媒体数据处理装置1还可以包括：第三确定模块26。
第三确定模块26，用于在媒体文件包括用于指示显著度信息的显著度信息元数据轨道的 情况下，确定目标范围包括时间范围；
其中，显著度信息元数据轨道包括与显著度信息相关联的E个样本序号；其中，一个样本序号对应于一个点云帧；点云媒体包括E个点云帧；E为正整数。
其中，第三确定模块26的实现方式可以参见上述图11所对应实施例中的步骤S302，这里不再进行赘述。
请再参见图13，时间范围包括E个点云帧中的第一点云帧以及第二点云帧；
媒体数据处理装置1还可以包括：第二获取模块27以及第四确定模块28。
第二获取模块27，用于在显著度信息中，获取显著度级别参数Qr和显著度级别参数Qr+1，该显著度级别参数Qr用于指示第一点云帧，该显著度级别参数Qr+1用于指示第二点云帧；r为正整数且r小于显著度信息中的显著度级别参数的总数量；
第四确定模块28，用于在显著度级别参数Qr大于显著度级别参数Qr+1的情况下，确定第一点云帧对应的渲染级别，优于第二点云帧对应的渲染级别；
第四确定模块28，还用于在显著度级别参数Qr小于显著度级别参数Qr+1的情况下，确定第二点云帧对应的渲染级别，优于第一点云帧对应的渲染级别。
其中，第二获取模块27以及第四确定模块28的实现方式可以参见上述图11所对应实施例中的步骤S302，这里不再进行赘述。
请再参见图13，媒体数据处理装置1还可以包括：第三获取模块29以及第五确定模块30。
第三获取模块29，用于在第一点云帧包括至少两个空间区域，且至少两个空间区域分别对应的显著度级别不同的情况下，则在显著度信息中，获取第一空间区域对应的显著度级别参数Xy，获取第二空间区域对应的显著度级别参数Xy+1；第一空间区域以及第二空间区域均属于至少两个空间区域；x为正整数，且x小于显著度信息中的显著度级别参数的总数量；
第五确定模块30，用于在显著度级别参数Xy大于显著度级别参数Xy+1的情况下，确定第一空间区域对应的渲染级别，优于第二空间区域对应的渲染级别；
第五确定模块30，还用于在显著度级别参数Xy小于显著度级别参数Xy+1的情况下，确定第二空间区域对应的渲染级别，优于第一空间区域对应的渲染级别。
其中，第三获取模块29以及第五确定模块30的实现方式可以参见上述图11所对应实施例中的步骤S302，这里不再进行赘述。
本申请实施例可以更灵活地指示点云媒体中不同空间区域、不同点云帧的显著度信息，从而满足更多的点云应用场景，使服务器能够根据显著度信息进行编码优化，使客户端能够根据显著度信息进行传输优化；在呈现和渲染过程中，客户端可以根据显著度信息，灵活分配计算资源，优化特定区域的呈现效果。
请参见图14，是本申请实施例提供的一种计算机设备的结构示意图。如图14所示，该计算机设备1000可以包括：处理器1001，网络接口1004和存储器1005，此外，上述计算机设备1000还可以包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图14所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在如图14所示的计算机设备1000中，网络接口1004可提供网络通讯功能；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序。应当理解，本申请实施例中所描述的计算机设备1000可执行前文各实施例中对数据处理方法或装置的描述，在此不再赘述。另外，对采用相同方法的有益效果描述， 也不再进行赘述。
本申请实施例还提供一种计算机设备，包括：处理器、存储器、网络接口；上述处理器与上述存储器、上述网络接口相连，其中，上述网络接口用于提供数据通信功能，上述存储器用于存储计算机程序，上述处理器用于调用上述计算机程序，以使得计算机设备执行前文各实施例中对媒体数据处理方法或装置的描述。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现前文各实施例中对媒体数据处理方法或装置的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
上述计算机可读存储介质可以是前述任一实施例提供的媒体数据处理装置或者上述计算机设备的内部存储单元，例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(smart media card，SMC)，安全数字(secure digital，SD)卡，闪存卡(flash card)等。进一步地，该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备可执行前文各实施例中对媒体数据处理方法或装置的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
进一步的，请参见图15，图15是本申请实施例提供的一种数据处理系统的结构示意图。该数据处理系统3可以包含数据处理装置31和数据处理装置32。其中，数据处理装置31可以为上述图12所对应实施例中的媒体数据处理装置1，可以理解的是，该数据处理装置31可以集成在上述图5所对应实施例中的内容制作设备200A，因此，这里将不再进行赘述。其中，数据处理装置32可以为上述图13所对应实施例中的媒体数据处理装置2，可以理解的是，该数据处理装置32可以集成在上述图5对应实施例中的内容消费设备200B，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的数据处理系统实施例中未披露的技术细节，请参照本申请方法实施例的描述。
本申请实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
以上所揭露的仅为本申请可选实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (36)

  1. 一种媒体数据处理方法，包括：
    计算机设备确定点云媒体的显著度信息；所述显著度信息包括用于指示所述点云媒体的目标范围的显著度级别参数；所述目标范围包括空间范围或时间范围中的至少一项；
    所述计算机设备对所述点云媒体进行编码，得到点云码流，将所述点云码流以及所述显著度信息封装为媒体文件。
  2. 根据权利要求1所述的方法，其中，所述媒体文件包括用于指示所述显著度信息的显著度信息数据盒，在所述媒体文件对应的点云轨道的样本入口处包括所述显著度信息数据盒的情况下，所述目标范围包括所述空间范围；
    其中，所述显著度信息中的一个显著度级别参数用于指示一个空间范围；所述一个空间范围包括A个点云帧中的每个点云帧包含的一个空间区域；所述点云媒体包括所述A个点云帧；A为正整数。
  3. 根据权利要求2所述的方法，其中，所述显著度信息数据盒包括数据结构数量字段；所述数据结构数量字段用于指示显著度信息数据结构的总数量。
  4. 根据权利要求3所述的方法，其中，所述数据结构数量字段的取值为S，表示S个显著度信息数据结构；所述S个显著度信息数据结构包括显著度信息数据结构Bc，其中，S、c均为正整数，且c小于或等于S；
    所述显著度信息数据结构Bc包括字段值为显著度级别参数Dc的显著度级别字段，以及字段值为第一指示值的目标范围指示字段；所述显著度级别参数Dc属于所述显著度信息中的显著度级别参数；
    所述第一指示值表示所述显著度级别参数Dc用于指示一个空间范围的显著度级别。
  5. 根据权利要求4所述的方法，其中，所述显著度信息数据结构Bc还包括空间范围指示字段；
    在所述空间范围指示字段的字段值为第二指示值的情况下，表示所述显著度级别参数Dc所指示的空间范围由空间区域标识符确定；
    在所述空间范围指示字段的字段值为第三指示值的情况下，表示所述显著度级别参数Dc所指示的空间范围由空间区域位置信息确定；所述第三指示值不同于所述第二指示值。
  6. 根据权利要求5所述的方法，其中，在所述空间范围指示字段的字段值为所述第二指示值的情况下，所述显著度信息数据结构Bc还包括空间区域标识符字段；所述空间区域标识符字段用于指示所述显著度级别参数Dc所指示的空间范围的空间区域标识符。
  7. 根据权利要求5所述的方法，其中，当所述空间范围指示字段的字段值为所述第三指示值时，所述显著度信息数据结构Bc还包括空间区域位置信息字段；所述空间区域位置信息字段用于指示所述显著度级别参数Dc所指示的空间范围的空间区域位置信息。
  8. 根据权利要求4所述的方法，其中，所述显著度信息数据结构Bc还包括点云片信息字段；
    在所述点云片信息字段的字段值为第一信息值的情况下，表示所述显著度级别参数Dc所指示的空间范围具有关联点云片；
    在所述点云片信息字段的字段值为第二信息值的情况下，表示所述显著度级别参数Dc所指示的空间范围不具有关联点云片；所述第二信息值不同于所述第一信息值；
    其中，在所述点云片信息字段的字段值为所述第一信息值的情况下，所述显著度信息数据结构Bc还包括点云片数量字段以及点云片标识符字段；所述点云片数量字段用于指示所述关联点云片的总数量；所述点云片标识符字段用于指示所述关联点云片对应的点云片标识符。
  9. 根据权利要求4所述的方法，其中，所述显著度信息数据结构Bc还包括空间分块信息字段；
    在所述空间分块信息字段的字段值为第三信息值的情况下，表示所述显著度级别参数Dc所指示的空间范围具有关联空间分块；
    在所述点云片信息字段的字段值为第四信息值的情况下，表示所述显著度级别参数Dc所指示的空间范围不具有关联空间分块；所述第四信息值不同于所述第三信息值；
    其中，在所述空间分块信息字段的字段值为所述第三信息值的情况下，所述显著度信息数据结构Bc还包括空间分块数量字段以及空间分块标识符字段；所述空间分块数量字段用于指示所述关联空间分块的总数量；所述空间分块标识符字段用于指示所述关联空间分块对应的空间分块标识符。
  10. 根据权利要求2所述的方法，其中，所述显著度信息数据盒包括显著度算法类型字段；
    在所述显著度算法类型字段的字段值为第一类型值的情况下，表示所述显著度信息由显著度检测算法确定；
    在所述显著度算法类型字段的字段值为第二类型值的情况下，表示所述显著度信息由数据统计确定；所述第二类型值不同于所述第一类型值。
  11. 根据权利要求2所述的方法，其中，所述方法还包括：
    所述计算机设备将针对所述媒体文件的传输信令传输至客户端；所述传输指令携带显著度信息描述数据；所述显著度信息描述数据用于指示所述客户端在通过流化传输方式获取所述媒体文件时，确定所述媒体文件中的不同媒体子文件之间的获取顺序；所述显著度信息描述数据是基于所述显著度信息所生成的。
  12. 根据权利要求1所述的方法，其中，在所述媒体文件包括用于指示所述显著度信息的显著度信息元数据轨道的情况下，所述目标范围包括所述时间范围；
    其中，所述显著度信息元数据轨道包括与所述显著度信息相关联的E个样本序号；其中，一个样本序号对应于一个点云帧；所述点云媒体包括E个点云帧；E为正整数。
  13. 根据权利要求12所述的方法，其中，所述显著度信息元数据轨道包括样本序号Fg；g为正整数且g小于或等于E；所述时间范围包括样本序号Fg所对应的点云帧；
    所述显著度信息元数据轨道包括针对所述样本序号Fg的显著度级别指示字段；
    在所述显著度级别指示字段的字段值为第四指示值的情况下，表示与所述样本序号Fg相关联的显著度级别由参考显著度级别参数确定；所述参考显著度级别参数属于所述显著度信息中的显著度级别参数；
    在所述显著度级别指示字段的字段值为第五指示值的情况下，表示与所述样本序号Fg相关联的显著度级别由显著度信息数据结构确定；所述第五指示值不同于所述第四指示值。
  14. 根据权利要求13所述的方法，其中，在所述显著度级别指示字段的字段值为所述第四指示值的情况下，表示所述参考显著度级别参数用于指示一个时间范围的显著度级别；所述一个时间范围为所述样本序号Fg所对应的点云帧；
    所述显著度信息元数据轨道还包括针对所述样本序号Fg的字段值为第六指示值的生效范围指示字段；所述第六指示值表示所述参考显著度级别参数在所述显著度信息元数据轨道内生效。
  15. 根据权利要求13所述的方法，其中，在所述显著度级别指示字段的字段值为所述第五指示值的情况下，所述显著度信息元数据轨道还包括针对所述样本序号Fg的生效范围指示字段；
    在所述生效范围指示字段的字段值为第六指示值的情况下，表示与所述样本序号Fg相关联的显著度级别在所述显著度信息元数据轨道内生效；
    在所述生效范围指示字段的字段值为第七指示值的情况下，表示与所述样本序号Fg相关联的显著度级别在所述样本序号Fg所对应的点云帧内生效；所述第七指示值不同于所述第六指示值。
  16. 根据权利要求15所述的方法，其中，在所述生效范围指示字段的字段值为所述第七 指示值的情况下，所述显著度信息元数据轨道还包括针对所述样本序号Fg的样本显著度级别字段；所述样本显著度级别字段用于指示所述样本序号Fg所对应的点云帧的显著度级别参数。
  17. 根据权利要求13所述的方法，其中，在所述显著度级别指示字段的字段值为所述第五指示值的情况下，所述显著度信息元数据轨道还包括针对所述样本序号Fg的字段值为T的数据结构数量字段；所述数据结构数量字段用于指示所述显著度信息数据结构的总数量；T为正整数。
  18. 根据权利要求17所述的方法，其中，T个显著度信息数据结构包括显著度信息数据结构Uv，v为正整数且v小于或等于T；
    所述显著度信息数据结构Uv包括字段值为显著度级别参数Wv的显著度级别字段，以及目标范围指示字段；所述显著度级别参数Wv属于所述显著度信息中的显著度级别参数；
    在所述目标范围指示字段的字段值为第一指示值的情况下，表示所述显著度级别参数Wv用于指示，所述样本序号Fg所对应的点云帧中的一个空间区域的显著度级别；
    在所述目标范围指示字段的字段值为第八指示值的情况下，表示所述显著度级别参数Wv用于指示所述样本序号Fg所对应的点云帧的显著度级别；所述第八指示值不同于所述第一指示值。
  19. 根据权利要求17所述的方法，其中，在T为大于1的正整数的情况下，所述显著度信息数据结构包括显著度级别字段，以及字段值为第一指示值的目标范围指示字段；所述显著度级别字段的字段值属于所述显著度信息中的显著度级别参数；所述第一指示值表示所述显著度级别字段的字段值用于指示所述样本序号Fg所对应的点云帧中的一个空间区域的显著度级别。
  20. 根据权利要求12所述的方法，其中，所述显著度信息元数据轨道的样本入口处包括显著度信息数据盒；
    所述显著度信息数据盒包括显著度算法类型字段；所述显著度算法类型字段用于指示所述显著度信息的确定算法类型。
  21. 根据权利要求1所述的方法，其中，在所述媒体文件包括用于指示所述显著度信息的Z个显著度信息样本组的情况下，所述目标范围包括所述时间范围；
    其中，所述Z个显著度信息样本组分别包括的样本序号的总数量小于或等于H，且所述Z个显著度信息样本组分别包括的样本序号互不相同；一个样本序号用于指示一个点云帧；所述媒体文件包括H个点云帧；H为正整数，Z为正整数且Z小于H。
  22. 根据权利要求21所述的方法，其中，所述Z个显著度信息样本组包括显著度信息样本组Km；m为正整数且m小于或等于Z；所述时间范围包括所述显著度信息样本组Km对应的点云帧；所述显著度信息样本组Km对应的点云帧属于所述H个点云帧；
    所述显著度信息样本组Km包括生效范围指示字段，以及字段值为I的数据结构数量字段；所述数据结构数量字段用于指示显著度信息数据结构的总数量；I为正整数；I个显著度信息数据结构用于指示与所述显著度信息样本组Km相关联的显著度级别；
    在所述生效范围指示字段的字段值为第六指示值的情况下，表示与所述显著度信息样本组Km相关联的显著度级别在所述媒体文件对应的点云轨道内生效；
    在所述生效范围指示字段的字段值为第七指示值的情况下，表示与所述显著度信息样本组Km相关联的显著度级别在所述显著度信息样本组Km内生效；所述第七指示值不同于第六指示值。
  23. 根据权利要求22所述的方法，其中，在所述生效范围指示字段的字段值为所述第七指示值的情况下，所述显著度信息样本组Km还包括样本显著度级别字段；所述样本显著度级别字段用于指示所述显著度信息样本组Km所对应的点云帧的显著度级别参数。
  24. 根据权利要求22所述的方法，其中，所述I个显著度信息数据结构包括显著度信息数据结构Jn，n为正整数，且n小于或等于I；
    所述显著度信息数据结构Jn包括字段值为显著度级别参数Ln的显著度级别字段，以及目标范围指示字段；所述显著度级别参数Ln属于所述显著度信息中的显著度级别参数；
    在所述目标范围指示字段的字段值为第一指示值的情况下，表示所述显著度级别参数Ln用于指示，所述显著度信息样本组Km所对应的点云帧中的一个空间区域的显著度级别；
    在所述目标范围指示字段的字段值为第八指示值的情况下，表示所述显著度级别参数Ln用于指示，所述显著度信息样本组Km所对应的点云帧的显著度级别；所述第八指示值不同于所述第一指示值。
  25. 根据权利要求1所述的方法，其中，所述计算机设备对所述点云媒体进行编码，得到点云码流，包括：
    所述计算机设备根据所述显著度信息中的显著度级别参数，对所述点云媒体的所述目标范围进行优化编码，得到所述点云码流。
  26. 根据权利要求25所述的方法，其中，所述目标范围的总数量为至少两个，至少两个目标范围包括第一目标范围以及第二目标范围；所述显著度信息中的显著度级别参数包括所述第一目标范围对应的第一显著度级别参数，以及所述第二目标范围对应的第二显著度级别参数；
    所述计算机设备根据所述显著度信息中的显著度级别参数，对所述点云媒体的所述目标范围进行优化编码，得到点云码流，包括：
    所述计算机设备根据所述第一显著度级别参数，确定所述第一目标范围的第一编码级别，根据所述第二显著度级别参数，确定所述第二目标范围的第二编码级别，当所述第一显著度级别参数大于所述第二显著度级别参数时，所述第一编码级别优于所述第二编码级别；
    所述计算机设备通过所述第一编码级别，对所述第一目标范围进行优化编码，得到第一子点云码流，通过所述第二编码级别，对所述第二目标范围进行优化编码，得到第二子点云码流；
    所述计算机设备根据所述第一子点云码流以及所述第二子点云码流，生成所述点云码流。
  27. 一种媒体数据处理方法，包括：
    计算机设备获取媒体文件，对所述媒体文件进行解封装，得到点云码流以及点云媒体的显著度信息；所述显著度信息包括用于指示所述点云媒体的目标范围的显著度级别参数；所述目标范围包括空间范围或时间范围中的至少一项；
    所述计算机设备对所述点云码流进行解码，得到所述点云媒体。
  28. 根据权利要求27所述的方法，其中，所述方法还包括：
    在所述媒体文件包括用于指示所述显著度信息的显著度信息数据盒的情况下，所述计算机设备确定所述目标范围包括所述空间范围；所述显著度信息中的一个显著度级别参数用于指示一个空间范围；所述一个空间范围包括A个点云帧中的每个点云帧包含的一个空间区域；所述点云媒体包括所述A个点云帧；A为正整数。
  29. 根据权利要求28所述的方法，其中，所述空间范围的总数量为至少两个，至少两个空间范围包括第一空间范围以及第二空间范围；
    所述方法还包括：
    所述计算机设备在所述显著度信息中，获取显著度级别参数Op和显著度级别参数Op+1，所述显著度级别参数Op用于指示所述第一空间范围，所述显著度级别参数Op+1用于指示所述第二空间范围；p为正整数，且p小于所述显著度信息中的显著度级别参数的总数量；
    所述计算机设备在所述显著度级别参数Op大于所述显著度级别参数Op+1的情况下，确定所述第一空间范围对应的渲染级别，优于所述第二空间范围对应的渲染级别；
    所述计算机设备在所述显著度级别参数Op小于所述显著度级别参数Op+1的情况下，确定所述第二空间范围对应的渲染级别，优于所述第一空间范围对应的渲染级别。
  30. 根据权利要求27所述的方法，其中，所述方法还包括：
    所述计算机设备在所述媒体文件包括用于指示所述显著度信息的显著度信息元数据轨道的情况下，确定所述目标范围包括所述时间范围；
    其中，所述显著度信息元数据轨道包括与所述显著度信息相关联的E个样本序号；其中，一个样本序号对应于一个点云帧；所述点云媒体包括E个点云帧；E为正整数。
  31. 根据权利要求30所述的方法，其中，所述时间范围包括E个点云帧中的第一点云帧以及第二点云帧；
    所述方法还包括：
    所述计算机设备在所述显著度信息中，获取显著度级别参数Qr和显著度级别参数Qr+1，所述显著度级别参数Qr用于指示所述第一点云帧，所述显著度级别参数Qr+1用于指示所述第二点云帧；r为正整数且r小于所述显著度信息中的显著度级别参数的总数量；
    所述计算机设备在所述显著度级别参数Qr大于所述显著度级别参数Qr+1的情况下，确定所述第一点云帧对应的渲染级别，优于所述第二点云帧对应的渲染级别；
    所述计算机设备在所述显著度级别参数Qr小于所述显著度级别参数Qr+1的情况下，确定所述第二点云帧对应的渲染级别，优于所述第一点云帧对应的渲染级别。
  32. 根据权利要求31所述的方法，其中，所述方法还包括：
    所述计算机设备在所述第一点云帧包括至少两个空间区域，且所述至少两个空间区域分别对应的显著度级别不同的情况下，在所述显著度信息中，获取第一空间区域对应的显著度级别参数Xy，获取第二空间区域对应的显著度级别参数Xy+1；所述第一空间区域以及所述第二空间区域均属于所述至少两个空间区域；x为正整数，且x小于所述显著度信息中的显著度级别参数的总数量；
    所述计算机设备在所述显著度级别参数Xy大于所述显著度级别参数Xy+1的情况下，确定所述第一空间区域对应的渲染级别，优于所述第二空间区域对应的渲染级别；
    所述计算机设备在所述显著度级别参数Xy小于所述显著度级别参数Xy+1的情况下，确定所述第二空间区域对应的渲染级别，优于所述第一空间区域对应的渲染级别。
  33. 一种媒体数据处理装置，包括：
    信息确定模块，用于确定点云媒体的显著度信息；所述显著度信息包括用于指示所述点云媒体的目标范围的显著度级别参数；所述目标范围包括空间范围或时间范围中的至少一项；
    信息封装模块，用于对所述点云媒体进行编码，得到点云码流，将所述点云码流以及所述显著度信息封装为媒体文件。
  34. 一种媒体数据处理装置，包括：
    文件获取模块，用于获取媒体文件，对所述媒体文件进行解封装，得到点云码流以及点云媒体的显著度信息；所述显著度信息包括用于指示所述点云媒体的目标范围的显著度级别参数；所述目标范围包括空间范围或时间范围中的至少一项；
    码流解码模块，用于对所述点云码流进行解码，得到所述点云媒体；所述显著度信息用于在渲染所述点云媒体时确定所述目标范围的渲染效果。
  35. 一种计算机设备，包括：处理器、存储器以及网络接口；
    所述处理器与所述存储器、所述网络接口相连，其中，所述网络接口用于提供数据通信功能，所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，以使得所述计算机设备执行权利要求1至32任一项所述的方法。
  36. 一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，该计算机程序适于由处理器加载并执行，以使具有所述处理器的计算机设备执行权利要求1至32任一项所述的方法。
PCT/CN2023/079111 2022-05-27 2023-03-01 一种媒体数据处理方法、装置、设备以及可读存储介质 WO2023226504A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210586954.X 2022-05-27
CN202210586954.XA CN115002470A (zh) 2022-05-27 2022-05-27 一种媒体数据处理方法、装置、设备以及可读存储介质

Publications (1)

Publication Number Publication Date
WO2023226504A1 true WO2023226504A1 (zh) 2023-11-30

Family

ID=83030004

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/079111 WO2023226504A1 (zh) 2022-05-27 2023-03-01 一种媒体数据处理方法、装置、设备以及可读存储介质

Country Status (2)

Country Link
CN (1) CN115002470A (zh)
WO (1) WO2023226504A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115002470A (zh) * 2022-05-27 2022-09-02 腾讯科技（深圳）有限公司 一种媒体数据处理方法、装置、设备以及可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110026808A1 (en) * 2009-07-06 2011-02-03 Samsung Electronics Co., Ltd. Apparatus, method and computer-readable medium generating depth map
CN103458238A (zh) * 2012-11-14 2013-12-18 深圳信息职业技术学院 一种结合视觉感知的可伸缩视频码率控制方法、装置
US20200257918A1 (en) * 2019-02-13 2020-08-13 Tencent America LLC Method and apparatus of 360 degree camera video processing with targeted view
CN112613528A (zh) * 2020-12-31 2021-04-06 广东工业大学 一种基于显著性变分的点云精简方法、装置及存储介质
US20210319593A1 (en) * 2020-04-14 2021-10-14 Apple Inc. Significant coefficient flag encoding for point cloud attribute compression
CN114422791A (zh) * 2022-03-11 2022-04-29 上海交通大学 一种三维点云的收发方法及装置
CN115002470A (zh) * 2022-05-27 2022-09-02 腾讯科技（深圳）有限公司 一种媒体数据处理方法、装置、设备以及可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110026808A1 (en) * 2009-07-06 2011-02-03 Samsung Electronics Co., Ltd. Apparatus, method and computer-readable medium generating depth map
CN103458238A (zh) * 2012-11-14 2013-12-18 深圳信息职业技术学院 一种结合视觉感知的可伸缩视频码率控制方法、装置
US20200257918A1 (en) * 2019-02-13 2020-08-13 Tencent America LLC Method and apparatus of 360 degree camera video processing with targeted view
US20210319593A1 (en) * 2020-04-14 2021-10-14 Apple Inc. Significant coefficient flag encoding for point cloud attribute compression
CN112613528A (zh) * 2020-12-31 2021-04-06 广东工业大学 一种基于显著性变分的点云精简方法、装置及存储介质
CN114422791A (zh) * 2022-03-11 2022-04-29 上海交通大学 一种三维点云的收发方法及装置
CN115002470A (zh) * 2022-05-27 2022-09-02 腾讯科技（深圳）有限公司 一种媒体数据处理方法、装置、设备以及可读存储介质

Also Published As

Publication number Publication date
CN115002470A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN110876051B (zh) 视频数据的处理，传输方法及装置，视频数据的处理系统
EP3557534A1 (en) Information processing method and apparatus
JP2020529149A (ja) イメージ処理方法、端末およびサーバ
WO2024037137A1 (zh) 一种沉浸媒体的数据处理方法、装置、设备、介质和产品
CN113891117B (zh) 沉浸媒体的数据处理方法、装置、设备及可读存储介质
WO2024037247A1 (zh) 一种点云媒体的数据处理方法及相关设备
WO2023029858A1 (zh) 点云媒体文件的封装与解封装方法、装置及存储介质
WO2023226504A1 (zh) 一种媒体数据处理方法、装置、设备以及可读存储介质
EP3637722A1 (en) Method and apparatus for processing media information
WO2024041239A1 (zh) 一种沉浸媒体的数据处理方法、装置、设备、存储介质及程序产品
CN115396647B (zh) 一种沉浸媒体的数据处理方法、装置、设备及存储介质
WO2023169001A1 (zh) 一种沉浸媒体的数据处理方法、装置、设备及存储介质
WO2023169004A1 (zh) 点云媒体的数据处理方法、装置、设备及介质
WO2024041238A1 (zh) 一种点云媒体的数据处理方法及相关设备
WO2023169003A1 (zh) 点云媒体的解码方法、点云媒体的编码方法及装置
KR102661694B1 (ko) 미디어 파일 캡슐화 방법, 미디어 파일 캡슐화 해제 방법 및 관련 디바이스
WO2023024839A1 (zh) 媒体文件封装与解封装方法、装置、设备及存储介质
US20230034937A1 (en) Media file encapsulating method, media file decapsulating method, and related devices
CN115037943A (zh) 一种媒体数据处理方法、装置、设备以及可读存储介质
WO2022134962A1 (zh) 点云视窗的呈现方法、装置、计算机可读介质及电子设备
WO2022193875A1 (zh) 多视角视频的处理方法、装置、设备及存储介质
CN116939290A (zh) 媒体数据处理方法、装置、设备及存储介质
CN117082262A (zh) 点云文件封装与解封装方法、装置、设备及存储介质
CN115150368A (zh) 媒体文件的关联处理方法、装置、介质及电子设备
CN116347118A (zh) 一种沉浸媒体的数据处理方法及相关设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23810580

Country of ref document: EP

Kind code of ref document: A1