WO2020043003A1

WO2020043003A1 - 处理传输媒体数据和指定参考图像的方法和装置

Info

Publication number: WO2020043003A1
Application number: PCT/CN2019/102025
Authority: WO
Inventors: 虞露; 于化龙; 袁锜超; 林翔宇
Original assignee: 浙江大学
Priority date: 2018-08-29
Filing date: 2019-08-22
Publication date: 2020-03-05
Also published as: US12052464B2; US11716505B2; US20220078515A1; US20230353824A1

Abstract

本发明公开了处理得到媒体数据、传输媒体数据、处理媒体数据、处理参考图像请求和指定参考图像等多个方法和多个装置。通过处理得到媒体数据的方法、传输媒体数据的方法以及处理媒体数据的方法，根据视频层码流数据和知识层码流数据之间的依赖索引关系，保证码流的同步和正确处理和传输，并为解码器高效地提供正确的数据。通过处理参考图像请求和指定参考图像的方法，为当前图像提供不属于当前图像所属的随机访问片段和之前最邻近的一个随机访问片段中的需要显示的知识图像集，保证当前图像的正确编解码并避免知识图像的重复下载，从而保证基于知识库的视频编码方法得到的码流的正确解码和高效传输，提升了传输效率和存储效率。

Description

处理传输媒体数据和指定参考图像的方法和装置

技术领域

本发明涉及图像或视频压缩技术领域和系统传输领域，更具体的说，尤其涉及处理媒体数据的方法及装置及传输媒体数据的方法及装置。

背景技术

1.文件格式

文件格式(file format)是一种将编码数据存储在计算机文件中的特定方式。它可以使得元数据(metadata)和媒体数据(media data)分离，以解决随机访问和网络流化等问题。

媒体数据包括视频数据、音频数据、时序化元数据、非时序的图像等。媒体数据分为多个访问单元，每个访问单元包含一个非时序图像或一组非时序图像或至少一个随机访问片段，当媒体数据为时序媒体时，媒体数据的访问单元被携带在样本(sample)中，当媒体数据为非时序媒体时，媒体数据的访问单元被携带在元数据项目中。元数据是用来描述媒体数据的辅助数据，如样本入口、描述轨道的数据盒等。元数据可以分为时序化元数据和非时序化元数据。时序化元数据会和媒体数据一起存在媒体数据盒中，非时序化元数据存在元数据盒中，元数据盒存放在文件下的不同层级中。

文件格式用规定的结构来存储这些数据。在文件格式下的文件，会包含媒体数据盒(media data box)和一些元数据盒(metadata box)。

“Movie Box”是一个重要的元数据盒，它存放着各类轨道和一些元数据盒。轨道具有逻辑和时间结构。从逻辑结构看，轨道可以分为媒体轨道和提示轨道。从时间结构看，各轨道是一系列时间平行的轨道，不同的轨道都拥有媒体数据流下的同一时间轴。

轨道中会存储描述媒体数据的各种元数据盒。例如，根据样本位移(sample offset)、样本大小(sample size)和样本条目(sample entry)，可以确定媒体数据在媒体数据盒中的位置。样本群组(sample groups)，可以表示同一轨道中一些样本数据信息所共有的特性。样本辅助信息(Sample auxiliary information sizes box和sample auxiliary information offsets box)，描述的是样本的辅助信息。辅助类型(aux_info_type)决定了这个辅助信息的类型。

在轨道中，除描述媒体数据的元数据外，还有许多描述轨道本身的数据盒。在现有标准中，不同数据流之间的依赖关系就可以存放在这样的tref数据盒(Track Reference Box)中。在一个轨道的tref数据盒中会包含另一个轨道的标识和参考类型(reference_type)。参考类型的值有：’hint’、’cdsc’、‘font’、’hind’、’vdep’、’dplx’、’subt’、’thmb’、’auxl’，决定了不同数据流之间的依赖关系和种类，如’cdsc’表示当前轨道描述了所参考轨道，‘hint’表示被参考轨道是该’hint’轨道指向的媒体数据轨道。但是，相互依赖的数据流中第一样本依赖的另一个数据流中第二样本的索引信息是隐式的且与第一样本的呈现时间信息相同的，由此，通过第一样本和第二样本之间呈现时间信息的同步得到样本之间的依赖关系，因此现有的参考类型均使用同一时间轴，是时序下的依赖关系。对于非对齐时间段的依赖关系，现有类型既不能正确表达，也阻碍了非时序数据的复用和操作灵活度。

2.媒体传输方案

现有的媒体传输方法有多种，其中被标准化的有MPEG媒体传输(MPEG Media Transport，以下简称“MMT”)是由MPEG系统子工作组开发的、用于存储和运送多媒体内容的一种新的标准技术。SMT(smart media transport)

这些媒体传输的主要功能是将媒体文件分包并传输给接收端。包裹(Package)是一个逻辑实体，由一个组织信息(Composition Information，CI)，一个或多个资产(Asset)组成。MMT资产是包含编码媒体数据的逻辑数据实体。MMT资产的编码媒体可以是定时数据或非定时数据。定时数据是视听媒体数据，要求在指定时间对特定数据单元进行同步解码和表示。非定时数据是可以基于用户的服务或交互的上下文在任意时间解码和呈现的其他类型的数据。组织信息(Composition Information，CI)描述资产之间的关系，从而完成不同资产中文件之间的同步传输。MMT在ISO文件格式的基础上使用MPU(Media Processing Unit)封装文件，媒体处理单元(MPU)是由符合MMT实体的独立且完全处理的数据，其中的处理包括封装和分组化。MPU在MMT包内被唯一标识，其具有序列号和关联的MMT资产ID，以将其与其他MPU区分开。每个包裹中为了能够适应网络环境进行灵活的传输，MMT在MPU中增加hint track以指导发送端将媒体数据分包为更小的媒体分片单元MFU(Media Fragment Unit)，hint track指向的hint sample则作为MFU的头信息，其中描述了MFU的伸缩层级(scalable layer)。

现有的MMT主要针对现有视频编码方法产生的媒体数据而设计的。

3.传统视频编码方案

在现有视频序列处理中，为了使编码后的视频序列支持随机访问功能，视频序列被分割成多个具有随机访问功能的片段(简称为随机访问片段)，如图1所示，一个视频序列包括至少一个随机访问片段，每个随机访问片段对应一个显示时段并包括一幅随机访问图像以及多幅非随机访问图像，每个图像拥有各自的显示时间以描述该图像被显示或播放的时间。一个随机访问片段中的图像可以进行帧内编码，或者，参考该随机访问片段中的其他图像利用帧间预测进行编码，其中，被参考的图像可以是要显示的图像、或者不能显示的合成图像等。然而在现有技术中，一个显示顺序在随机访问图像之后的图像(不包括leading pictures)只能参考该图像所属的随机访问片段中的其他图像，而不能参考该图像所属随机访问片段之前或之后的随机访问片段中的图像，如图1所示。具体的，有如下几种方式描述当前图像和候选参考图像之间的依赖关系：

在现有的视频编码方案(如H.264\AVC或H.265\HEVC)中，当前图像和候选参考图像之间的依赖关系由视频压缩层的参考图像配置集描述，其中参考图像配置集描述了参考图像与当前图像之间的编号差值。之所以在参考图像配置集中仅描述编号差值，是因为现有的视频编码方案中，候选参考图像与当前图像从属于同一个独立可解码的随机访问片段，且候选参考图像与当前图像只能使用同一种编号规则，例如按照时间顺序编号，因此根据当前图像编号和候选参考图像编号差值可以准确定位候选参考图像。如果参考图像和当前图像使用不同的编号规则，由于现有视频编码方案没有提供在码流中描述不同编号规则的方法，同样的编号差值会指向不同的候选参考图像，导致编解码器不能使用正确的候选参考图像。

在可伸缩视频编码方案(Scalable Video Coding，SVC)和多视点视频编码方案(Multiview Video Coding，MVC)中，如图2所示，在已有帧间预测(仅使用同层/同视点内的候选参考图像)的基础上，SVC/MVC使用层间/视点间预测为当前图像扩展了候选参考图像的范围，其中扩展的候选参考图像与当前图像拥有相同的编号(例如，相同时间戳)且不属于独立可解码片段的同一层级。SVC/MVC在视频压缩层使用层级标识描述不同层/视点的码流的依赖关系，并联合使用图像的同一编号描述层间/视点间图像的依赖关系。

在AVS2的背景帧技术中，如图3所示，编码图像和场景图像的依赖关系由视频压缩层中参考图像类型的标识来描述。具体的，AVS2使用标识描述特别的场景图像类型(即，G图像和GB图像)，并使用特定的参考缓存(即场景图像缓存)管理G/GB图像，同时，使用标识描述当前图像是否参考G/GB图像，并使用特定的参考图像队列构建方法(即，默认将G/GB图像放入参考图像队列的最后一个参考图像位)，最终，使得按照规则编号的当前图像能够参考不按照规则编号的候选参考图像(即GB图像)、或与当前图像使用同一规则编号但编号差值超出约束范围的候选参考图像(即G图像)。但该技术限制任意时刻场景图像缓存中只能存在一个候选参考图像，且该候选参考图像仍然与当前图像属于同一独立可解码片段。

4.基于知识库的视频编码方案

现有技术的上述机制会限制待编码图像的可用参考图像数量，不能有效提升图像编码和图像解码的效率。

为了挖掘和利用多个随机访问片段之间的图像在编码时相互参考的信息，在编码(或解码)一幅图像时，编码器(或解码器)可以从数据库中选择与当前编码图像(或解码图像)纹理内容相近的图像作为参考图像，这种参考图像称为知识库图像，存储上述参考图像的集合的数据库称为知识库，这种视频中至少一幅图像参考至少一幅知识库图像进行编解码的方法称为基于知识库的视频编码(英文：library-based video coding)。采用基于知识库的视频编码对一个视频序列进行编码会产生一个包含知识库图像编码码流的知识层码流和一个包含视频序列各帧图像参考知识库图像编码得到的码流的视频层码流。这两种码流分别类似于可伸缩视频编码(英文：scalable video coding，SVC)产生的基本层码流和增强层码流，即序列层码流依赖于知识层码流。然而，基于知识库的视频编码的双码流组织方式与SVC的分级码流组织方式的层级码流之间的依赖关系不同，不同之处在于，SVC的双码流层级之间是按照一定的对齐时间段依赖的，而基于知识库的视频编码的双码流中视频层依赖知识层是按照非对齐时间段依赖的。

基于知识库的视频编码方案为使用基于知识库的视频编码方案编码的码流数据的存储、传输和参考图像管理等带来了问题。

在利用知识图像的编解码技术中，知识图像被获取并用于为图像的编解码提供额外的候选参考图像，图4展示了利用知识图像的编解码技术中，序列图像与知识图像之间的依赖关系。知识图像使得序列图像能够利用大跨度的相关信息，提升了编解码效率。但是，现有的技术方案并不能有效地支持序列图像和知识图像依赖关系的描述及对知识图像进行高效的管理。

前述MMT中的伸缩层级可描述SVC数据的层级信息，伸缩层级配合时间信息可以描述SVC数据在同一时刻不同层级之间的依赖关系，但是却不能描述知识库编码视频码流的非对齐时间段的依赖关系。

发明内容

基于现有技术的上述缺陷，本发明目在提供处理得到媒体数据、传输媒体数据、处理媒体数据、处理参考图像请求和指定参考图像等多个方法和多个装置，以实现基于知识库的视频编码方法得到的码流的正确解码和高效传输，并提升传输效率和存储效率。

为实现上述目的，本发明采用了如下技术方案：

本发明的第一个方面提供了一种指定参考图像的方法，所述方法包括：

解码器提取参考映射表中的第一标识信息以获取所述参考映射表中参考索引对应的参考图像编号是否使用至少两种编号规则；

当所述参考映射表中参考索引对应的编号使用至少两种编号规则时，解码器从所述参考映射表中提取至少一个参考索引j对应的第二标识信息以获取所述参考索引j对应的参考图像编号采用的编号规则；

解码器从所述参考映射表中提取所述参考索引j对应的参考图像编号；

当所述参考图像编号采用的编号规则为第一编号规则时，解码器采用与当前图像相同的编号规则来使用所述参考图像编号确定当前图像的参考图像；

当所述参考图像编号采用的编号规则为第二编号规则时，解码器使用所述参考图像编号从解码器外部返回的参考图像信息确定当前图像的参考图像。

进一步的，所述方法还包括：

解码器从参考映射更新表中获取至少一个参考索引j对应的参考图像编号和第二标识信息；

当所述参考映射更新表中的所述参考索引j存在于所述参考映射表中时，将所述参考映射表中所述参考索引j对应的参考图像编号和第二标识信息替换为从所述参考映射更新表中获取的所述参考索引j对应的参考编号和第二标识信息；

当所述参考映射更新表中的所述参考索引j不存在于所述参考映射表中时，在所述参考映射表中增加从所述参考映射更新表中获取的所述参考索引j及其对应的参考图像编号和第二标识信息。

进一步的，所述方法还包括：

当解码器使用采用第二编号规则的参考图像编号指向的参考图像对当前图像解码时，解码器将所述参考图像与当前图像的距离设置为非时域距离。

本发明的第二个方面提供了一种处理参考图像请求的方法，所述方法包括：

获取至少一个第一类片段的依赖映射表以获取所述至少一个第一类片段依赖的至少一个参考图像的参考图像编号与所述至少一个参考图像所属的第二类片段的定位信息的映射关系；

接收解码器发送的参考图像请求信息以获取当前图像依赖的至少一个参考图像的参考图像编号，所述当前图像包含在所属第一类片段中；

从所述当前图像所属的第一类片段的依赖映射表中，获取所述参考图像请求信息中的至少一个所述参考图像的参考图像编号指向的参考图像所属的第二类片段的定位信息；

使用所述第二类片段的定位信息向解码器发送所述定位信息指向的所述第二类片段包含的参考图像的信息。

进一步的，所述方法还包括：

从媒体描述信息中获取至少一个第一类片段的依赖映射表。

进一步的，使用所述第二类片段的定位信息向解码器发送所述定位信息指向的所述第二类片段包含的参考图像的信息还包括：

在缓存中查找所述第二类片段的所述定位信息指向的第二类片段或所述第二类片段包含的参考图像；

如果所述缓存中存在所述第二类片段或所述第二类片段包含的参考图像，从所述缓存中获取所述第二类片段或所述第二类片段包含的参考图像；

如果所述缓存中不存在所述第二类片段或所述第二类片段包含的参考图像，从服务端下载所述第二类片段。

本发明的第三个方面提供了一种指定参考图像的装置，所述装置包括：

处理器；

存储器；以及

一个或多个程序用于完成以下方法：

处理器提取参考映射表中的第一标识信息以获取所述参考映射表中参考索引对应的参考图像编号是否使用至少两种编号规则；

当所述参考映射表中参考索引对应的编号使用至少两种编号规则时，处理器从所述参考映射表中提取至少一个参考索引j对应的第二标识信息以获取所述参考索引j对应的参考图像编号采用的编号规则；

处理器从所述参考映射表中提取所述参考索引j对应的参考图像编号；

当所述参考图像编号采用的编号规则为第一编号规则时，处理器采用与当前图像相同的编号规则来使用所述参考图像编号确定当前图像的参考图像；

当所述参考图像编号采用的编号规则为第二编号规则时，处理器使用所述参考图像编号从解码器外部返回的参考图像信息确定当前图像的参考图像；

处理器处理的上述参考映射表和参考图像存在于存储器中。

进一步的，所述装置还包括：

处理器从参考映射更新表中获取至少一个参考索引j对应的参考图像编号和第二标识信息；

当所述参考映射更新表中的所述参考索引j存在于所述参考映射表中时，处理器将所述参考映射表中所述参考索引j对应的参考图像编号和第二标识信息替换为从所述参考映射更新表中获取的所述参考索引j对应的参考编号和第二标识信息；

当所述参考映射更新表中的所述参考索引j不存在于所述参考映射表中时，处理器在所述参考映射表中增加从所述参考映射更新表中获取的所述参考索引j及其对应的参考图像编号和第二标识信息。

进一步的，所述装置还包括：

当解码器使用采用第二编号规则的参考图像编号指向的参考图像对当前图像解码时，处理器将所述参考图像与当前图像的距离设置为非时域距离。

本发明的第四个方面还提供了一种处理参考图像请求的装置，所述装置包括：

处理器；

存储器；

传输器；以及

一个或多个程序用于完成以下方法：

处理器获取至少一个第一类片段的依赖映射表以获取所述至少一个第一类片段依赖的至少一个参考图像的参考图像编号与所述至少一个参考图像所属的第二类片段的定位信息的映射关系；

处理器接收解码器发送的参考图像请求信息以获取当前图像依赖的至少一个参考图像的参考图像编号，所述当前图像包含在所属第一类片段中；

处理器从所述当前图像所属的第一类片段的依赖映射表中，获取所述参考图像请求信息中的至少一个所述参考图像的参考图像编号指向的参考图像所属的第二类片段的定位信息；

传输器使用所述第二类片段的定位信息向解码器发送所述定位信息指向的所述第二类片段包含的参考图像的信息；

处理器处理的上述依赖映射表和参考图像存在于存储器中。

进一步的，所述装置还包括：

处理器从媒体描述信息中获取至少一个第一类片段的依赖映射表。

进一步的，所述发送单元还包括：

处理器在缓存中查找所述第二类片段的所述定位信息指向的第二类片段或所述第二类片段包含的参考图像；

如果所述缓存中存在所述第二类片段或所述第二类片段包含的参考图像，处理器从所述缓存中获取所述第二类片段或所述第二类片段包含的参考图像；

如果所述缓存中不存在所述第二类片段或所述第二类片段包含的参考图像，处理器从服务端下载所述第二类片段。

本发明的第五个方面还提供了一种指定参考图像的装置，所述装置包括：

第一提取单元，用于提取参考映射表中的第一标识信息以获取所述参考映射表中参考索引对应的参考图像编号是否至少两种编号规则；

第二提取单元，用于当所述参考映射表中参考索引对应的编号使用至少两种编号规则时，从所述参考映射表中提取至少一个参考索引j对应的第二标识信息以获取所述参考索引j对应的参考图像编号采用的编号规则；

第三提取单元，用于从所述参考映射表中提取所述参考索引j对应的参考图像编号；

第一确定单元，当所述参考图像编号采用的编号规则为第一编号规则时，采用与当前图像相同的编号规则来使用所述参考图像编号确定当前图像的参考图像；

第二确定单元，用于当所述参考图像编号采用的编号规则为第二编号规则时，使用所述参考图像编号从解码器外部返回的参考图像信息确定当前图像的参考图像。

进一步的，所述装置还包括：

第四提取单元，用于从参考映射更新表中获取至少一个参考索引j对应的参考图像编号和第二标识信息；

替换单元，用于当所述参考映射更新表中的所述参考索引j存在于所述参考映射表中时，将所述参考映射表中所述参考索引j对应的参考图像编号和第二标识信息替换为从所述参考映射更新表中获取的所述参考索引j对应的参考编号和第二标识信息；

增加单元，用于当所述参考映射更新表中的所述参考索引j不存在于所述参考映射表中时，在所述参考映射表中增加从所述参考映射更新表中获取的所述参考索引j及其对应的参考图像编号和第二标识信息。

进一步的，所述装置还包括：

设置单元，用于当解码器使用采用第二编号规则的参考图像编号指向的参考图像对当前图像解码时，解码器将所述参考图像与当前图像的距离设置为非时域距离。

本发明的第六个方面还提供了一种处理参考图像请求的装置，所述装置包括：

第一获取单元，用于获取至少一个第一类片段的依赖映射表以获取所述至少一个第一类片段依赖的至少一个参考图像的参考图像编号与所述至少一个参考图像所属的第二类片段的定位信息的映射关系；

接收单元，用于接收解码器发送的参考图像请求信息以获取当前图像依赖的至少一个参考图像的参考图像编号，所述当前图像包含在所属第一类片段中；

第二获取单元，用于从所述当前图像所属的第一类片段的依赖映射表中，获取所述参考图像请求信息中的至少一个所述参考图像的参考图像编号指向的参考图像所属的第二类片段的定位信息；

发送单元，用于使用所述第二类片段的定位信息向解码器发送所述定位信息指向的所述第二类片段包含的参考图像的信息。

进一步的，所述装置还包括：

第三获取单元，用于从媒体描述信息中获取至少一个第一类片段的依赖映射表。

进一步的，所述发送单元还包括：

查找单元，用于在缓存中查找所述第二类片段的所述定位信息指向的第二类片段或所述第二类片段包含的参考图像；

第四获取单元，用于如果所述缓存中存在所述第二类片段或所述第二类片段包含的参考图像，从所述缓存中获取所述第二类片段或所述第二类片段包含的参考图像；

下载单元，用于如果所述缓存中不存在所述第二类片段或所述第二类片段包含的参考图像，从服务端下载所述第二类片段。

本发明的第七个方面还提供了一种处理得到媒体数据的方法，所述方法包括：

在第一媒体轨道中放入第一媒体数据的样本条目，所述第一媒体数据为时序媒体数据，所述样本条目包含指向所述第一媒体数据的样本的元数据；

在第二媒体数据盒中放入第二媒体数据的访问单元条目，所述访问单元条目包含指向所述第二媒体数据的访问单元的元数据，所述第二媒体数据为时序媒体数据或非时序媒体数据；

将所述第一媒体数据中至少两个在时间上不连续的样本标记为一个样本群组，所述至少两个在时间上不连续的样本满足以下条件之一：

如果第二媒体数据为时序媒体数据，所述至少两个在时间上不连续的样本编码或解码参考第二媒体数据中同一组访问单元，所述同一组访问单元和所述至少两个在时间上不连续的样本中至少一个样本在时间上不对齐；如果

第二媒体数据为非时序媒体数据，所述至少两个在时间上不连续的样本编码或解码参考第二媒体数据中同一组访问单元。

进一步的，所述方法还包括：

如果第二媒体数据为时序媒体数据，在第一媒体轨道中放入指向所述第二媒体数据盒的轨道依赖信息，所述轨道依赖信息包含表明所述同一组访问单元和所述两个在时间上不连续的样本中至少一个样本在时间上不对齐的标识。

进一步的，所述方法还包括：

在所述第一媒体轨道中放入所述样本群组的描述信息，所述样本群组的描述信息包含表明所述至少两个在时间上不连续的样本编码或解码参考所述同一组访问单元的标识。

本发明的第八个方面还提供了一种处理得到媒体数据的方法，所述方法包括：

为所述第一媒体数据中至少两个在时间上不连续的样本中每一个样本分别放入各自的依赖元数据，所述至少两个在时间上不连续的样本满足以下条件之一：

如果所述第二媒体数据为时序媒体数据，所述每个样本对应的依赖元数据包含指向所述第二媒体数据中同一组访问单元的索引信息，所述索引信息为除所述第一媒体数据的样本的呈现时间信息以外的信息，所述至少两个在时间上不连续的样本编码或解码参考所述同一组访问单元，所述同一组访问单元和所述至少两个在时间上不连续的样本中至少一个样本在时间上不对齐；如果

第二媒体数据为非时序媒体数据，所述每个样本对应的依赖元数据包含指向所述第二媒体数据中同一组访问单元的索引信息，所述索引信息为除所述第一媒体数据的样本的呈现时间信息以外的信息，所述至少两个在时间上不连续的样本编码或解码参考所述同一组访问单元。

进一步的，其中为所述第一媒体数据中至少两个在时间上不连续的样本中每一个样本分别放入各自的依赖元数据还包括：

在时序化元数据中放入所述依赖元数据；

在时序化元数据轨道中放入所述时序化元数据的样本条目。

在片段索引数据盒中放入所述依赖元数据。

本发明的第九个方面还提供了一种处理媒体数据的方法，所述方法包括：

提取第一媒体数据和第二媒体数据，其中所述的第一媒体数据为时序媒体数据，第二媒体数据为时序媒体数据或非时序媒体数据；

从所述第一媒体数据所属的轨道中提取样本群组，所述样本群组包含至少两个时间上不连续的样本；

根据样本群组的描述信息，为所述至少两个时间上不连续的样本中每一个样本分别定位第二媒体数据中的一组访问单元，所述一组访问单元的索引信息包括在所述样本群组的描述信息中；其中所述第二媒体数据满足以下条件之一：

1)如果第二媒体数据为时序媒体数据，则所述至少两个在时间上不连续的样本定位到的为第二媒体数据中同一组访问单元，并且所述同一组访问单元与所述第一媒体数据的至少两个样本中的至少一个样本的时间段不对齐；或者，

2)如果第二媒体数据为非时序媒体数据，则所述第一媒体数据的所述的两个样本定位到的为同一个第二媒体数据访问单元。

进一步的，所述方法还包括：

如果第二媒体数据为时序媒体数据，从所述第一媒体数据所属的轨道中解析指向所述第二媒体数据所属的数据盒的轨道依赖信息的标识以获得所述同一组访问单元和所述两个在时间上不连续的样本中至少一个样本在时间上不对齐的信息。

进一步的，所述方法还包括：

从所述第一媒体轨道中的所述样本群组的描述信息中，解析标识以获得所述至少两个在时间上不连续的样本编码或解码参考所述同一组访问单元的信息。

本发明的第十个方面还提供了一种处理媒体数据的方法，所述方法包括：

从所述第一媒体数据中提取至少两个时间上不连续的样本；

为所述第一媒体数据中至少两个在时间上不连续的样本中每一个样本提取依赖元数据；

根据所述依赖元数据，为所述至少两个在时间上不连续的样本中每一个样本分别定位第二媒体数据中的一组访问单元，所述一组访问单元的索引信息包括在所述依赖元数据中；所述所述第二媒体数据满足以下条件之一：

进一步的，其中为所述第一媒体数据中至少两个在时间上不连续的样本中每一个样本提取依赖元数据还包括：

提取时序化元数据轨道中的样本条目指向的时序化元数据；

提取时序化元数据中的依赖元数据。

从片段索引数据盒中提取所述依赖元数据。

本发明的第十一个方面还提供了一种传输媒体数据的方法，所述方法包括：

将第一媒体数据切分为媒体分片单元，其中所述的第一媒体数据为时序媒体数据，所述第一媒体数据包括至少两个在时间上不连续的样本；

提取所述第一媒体数据媒体分片单元对应的依赖索引信息，所述依赖索引信息为除所述媒体分片单元所属的样本的呈现时间信息以外的信息；

传输所述提取的第一媒体数据媒体分片单元；

根据所述第一媒体数据媒体分片单元对应的依赖索引信息，定位第二媒体数据访问单元，所述第二媒体数据访问单元被所述媒体分片单元所属的第一媒体数据样本的编码或解码所参考；其中所述第二媒体数据满足以下条件之一：

1)如果第二媒体数据为时序媒体数据，则所述的第一媒体数据中所述的至少两个在时间上不连续的样本定位到的为同一个第二媒体数据访问单元，并且所述第二媒体数据访问单元与所述第一媒体数据的至少两个样本中的至少一个样本的时间段不对齐；

2)如果第二媒体数据为非时序媒体数据，则所述第一媒体数据的所述的两个样本定位到的为同一个第二媒体数据访问单元；

在模拟缓存中查找所述第二媒体数据访问单元；

如果所述模拟缓存中不存在所述第二媒体数据访问单元，将所述第二媒体数据访问单元切分为媒体分片单元；

传输所述第二媒体数据访问单元被切分的媒体分片单元。

进一步的，所述提取所述第一媒体数据媒体分片单元对应的依赖索引信息还包括：

从包含所述媒体分片单元的分片信息的提示轨道样本中提取所述媒体分片单元对应的依赖索引信息。

进一步的，所述提取所述第一媒体数据媒体分片单元对应的依赖信息还包括：

从所述媒体分片单元对应的时序化元数据中提取所述媒体分片单元对应的依赖索引信息。

本发明的第十二个方面还提供了一种处理得到媒体数据的装置，所述装置包括：

处理器；

存储器；以及

一个或多个程序用于完成以下方法：

处理器在第一媒体轨道中放入第一媒体数据的样本条目，所述第一媒体数据为时序媒体数据，所述样本条目包含指向所述第一媒体数据的样本的元数据；

处理器在第二媒体数据盒中放入第二媒体数据的访问单元条目，所述访问单元条目包含指向所述第二媒体数据的访问单元的元数据，所述第二媒体数据为时序媒体数据或非时序媒体数据；

处理器将所述第一媒体数据中至少两个在时间上不连续的样本标记为一个样本群组，所述至少两个在时间上不连续的样本满足以下条件之一：

第二媒体数据为非时序媒体数据，所述至少两个在时间上不连续的样本编码或解码参考第二媒体数据中同一组访问单元；

处理器上述处理得到的媒体数据存在于存储器中。

本发明的第十三个方面还提供了一种处理得到媒体数据的装置，所述装置包括：

处理器；

存储器；以及

一个或多个程序用于完成以下方法：

处理器为所述第一媒体数据中至少两个在时间上不连续的样本中每一个样本分别放入各自的依赖元数据，所述至少两个在时间上不连续的样本满足以下条件之一：

第二媒体数据为非时序媒体数据，所述每个样本对应的依赖元数据包含指向所述第二媒体数据中同一组访问单元的索引信息，所述索引信息为除所述第一媒体数据的样本的呈现时间信息以外的信息，所述至少两个在时间上不连续的样本编码或解码参考所述同一组访问单元；

处理器上述处理得到的媒体数据存在于存储器中。

本发明的第十四个方面还提供了一种处理媒体数据的装置，所述装置包括：

处理器；

存储器；以及

一个或多个程序用于完成以下方法：

处理器处理存储器中存在的媒体数据；

处理器提取第一媒体数据和第二媒体数据，其中所述的第一媒体数据为时序媒体数据，第二媒体数据为时序媒体数据或非时序媒体数据；

处理器从所述第一媒体数据所属的轨道中提取样本群组，所述样本群组包含至少两个时间上不连续的样本；

处理器根据样本群组的描述信息，为所述至少两个时间上不连续的样本中每一个样本分别定位第二媒体数据中的一组访问单元，所述一组访问单元的索引信息包括在所述样本群组的描述信息中；其中所述第二媒体数据满足以下条件之一：

本发明的第十五个方面还提供了一种处理媒体数据的装置，所述装置包括：

处理器；

存储器；以及

一个或多个程序用于完成以下方法：

处理器处理存储器中存在的媒体数据；

处理器从所述第一媒体数据中提取至少两个时间上不连续的样本；

处理器为所述第一媒体数据中至少两个在时间上不连续的样本中每一个样本提取依赖元数据；

处理器根据所述依赖元数据，为所述至少两个在时间上不连续的样本中每一个样本分别定位第二媒体数据中的一组访问单元，所述一组访问单元的索引信息包括在所述依赖元数据中；所述第二媒体数据满足以下条件之一：

本发明的第十六个方面还提供了一种传输媒体数据的装置，所述装置包括：

处理器；

存储器；

传输器；以及

一个或多个程序用于完成以下方法：

处理器处理存储器中存在的媒体数据；

处理器将第一媒体数据切分为媒体分片单元，其中所述的第一媒体数据为时序媒体数据，所述第一媒体数据包括至少两个在时间上不连续的样本；

处理器提取所述第一媒体数据媒体分片单元对应的依赖索引信息，所述依赖索引信息为除所述媒体分片单元所属的样本的呈现时间信息以外的信息；

传输器传输所述提取的第一媒体数据媒体分片单元；

处理器根据所述第一媒体数据媒体分片单元对应的依赖索引信息，定位第二媒体数据访问单元，所述第二媒体数据访问单元被所述媒体分片单元所属的第一媒体数据样本的编码或解码所参考；其中所述第二媒体数据满足以下条件之一：

1)如果第二媒体数据为时序媒体数据，则所述的第一媒体数据中所述的至少两个在时间上不连续的样本定位到的为同一个第二媒体数据访问单元，并且所述第二媒体数据访问单元与所述第一媒体数据的至少两个样本中的至少一个样本的时间段不对齐；或者，

处理器在模拟缓存中查找所述第二媒体数据访问单元；

处理器如果所述模拟缓存中不存在所述第二媒体数据访问单元，将所述第二媒体数据访问单元切分为媒体分片单元；

传输器传输所述第二媒体数据访问单元被切分的媒体分片单元。

本发明的第十七个方面还提供了一种处理得到媒体数据的装置，所述装置包括：

第一放入单元，用于在第一媒体轨道中放入第一媒体数据的样本条目，所述第一媒体数据为时序媒体数据，所述样本条目包含指向所述第一媒体数据的样本的元数据；

第二放入单元，用于在第二媒体数据盒中放入第二媒体数据的访问单元条目，所述访问单元条目包含指向所述第二媒体数据的访问单元的元数据，所述第二媒体数据为时序媒体数据或非时序媒体数据；

标记单元，用于将所述第一媒体数据中至少两个在时间上不连续的样本标记为一个样本群组，所述至少两个在时间上不连续的样本满足以下条件之一：

本发明的第十八个方面还提供了一种处理得到媒体数据的装置，所述装置包括：

第三放入单元，用于为所述第一媒体数据中至少两个在时间上不连续的样本中每一个样本分别放入各自的依赖元数据，所述至少两个在时间上不连续的样本满足以下条件之一：

本发明的第十九个方面还提供了一种处理媒体数据的装置，所述装置包括：

第一提取单元，用于提取第一媒体数据和第二媒体数据，其中所述的第一媒体数据为时序媒体数据，第二媒体数据为时序媒体数据或非时序媒体数据；

第二提取单元，用于从所述第一媒体数据所属的轨道中提取样本群组，所述样本群组包含至少两个时间上不连续的样本；

定位单元，用于根据样本群组的描述信息，为所述至少两个时间上不连续的样本中每一个样本分别定位第二媒体数据中的一组访问单元，所述一组访问单元的索引信息包括在所述样本群组的描述信息中；其中所述第二媒体数据满足以下条件之一：

本发明的第二十个方面还提供了一种处理媒体数据的装置，所述装置包括：

第二提取单元，用于从所述第一媒体数据中提取至少两个时间上不连续的样本；

第三提取单元，用于为所述第一媒体数据中至少两个在时间上不连续的样本中每一个样本提取依赖元数据；

定位单元，用于根据所述依赖元数据，为所述至少两个在时间上不连续的样本中每一个样本分别定位第二媒体数据中的一组访问单元，所述一组访问单元的索引信息包括在所述依赖元数据中；所述所述第二媒体数据满足以下条件之一：

本发明的第二十一个方面还提供了一种传输媒体数据的装置，所述装置包括：

第一切分单元，用于将第一媒体数据切分为媒体分片单元，其中所述的第一媒体数据为时序媒体数据，所述第一媒体数据包括至少两个在时间上不连续的样本；

提取单元，用于提取所述第一媒体数据媒体分片单元对应的依赖索引信息，所述依赖索引信息为除所述媒体分片单元所属的样本的呈现时间信息以外的信息；

第一传输单元，用于传输所述提取的第一媒体数据媒体分片单元；

定位单元，用于根据所述第一媒体数据媒体分片单元对应的依赖索引信息，定位第二媒体数据访问单元，所述第二媒体数据访问单元被所述媒体分片单元所属的第一媒体数据样本的编码或解码所参考；其中所述第二媒体数据满足以下条件之一：

查找单元，用于在模拟缓存中查找所述第二媒体数据访问单元；

第二切分单元，用于如果所述模拟缓存中不存在所述第二媒体数据访问单元，将所述第二媒体数据访问单元切分为媒体分片单元；

第二传输单元，用于传输所述第二媒体数据访问单元被切分的媒体分片单元。

本发明公开了处理得到媒体数据的方法和装置、传输媒体数据的方法和装置以及处理媒体数据的方法和装置。这些方法和装置构成了从编码端到解码端的一整套方法和装置，保证了基于知识库的视频编码方法得到的码流中视频层码流数据和知识层码流数据的正确解码和高效传输，提升了传输效率和存储效率。

首先通过处理得到媒体数据的方法，将视频层码流和知识层码流以及其间的依赖索引关系放入媒体数据或媒体数据所属的文件。然后通过传输媒体数据的方法，根据使用基于知识库的编码方法编码的媒体数据中视频层数据和知识层数据的依赖信息准确地同步视频层数据和知识层数据，并避免知识层数据的重复存储和重复下载。再通过处理媒体数据的方法，在接收端从使用基于知识库的编码方法编码的媒体数据中提取视频层数据和其参考的知识层数据。接着通过处理参考图像请求的方法，根据解码器的参考图像请求和视频层码流数据和知识层码流数据之间的依赖索引关系，从处理得到的知识层码流数据中获得参考图像并提供给解码器。然后通过指定参考图像的方法由解码器根据依赖索引信息为视频层数据中的图像指定知识层数据中的知识图像作为参考图像，其中所述知识图像不属于当前图像所属的随机访问片段和之前最邻近的一个随机访问片段中的需要显示的图像集。

这些方法解决了现有方法不能为当前图像提供知识图像作为参考图像的问题，并保证视频层数据中图像能够使用正确的知识图像进行编解码，同时，提高传输与存储效率，并保证接收端对视频层数据的正确解码。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1被分割为随机访问片段的视频序列使用现有技术一的图像依赖关系示意图。

图2被分割为随机访问片段的视频序列使用现有技术二的图像依赖关系示意图。

图3被分割为随机访问片段的视频序列使用现有技术三的图像依赖关系示意图。

图4被分割为随机访问片段的视频序列使用现有技术四的图像依赖关系示意图。

图5本发明实施例提供的指定参考图像的方法的一种流程图。

图6本发明实施例提供的指定参考图像的方法的另一种流程图。

图7本发明实施例提供的处理参考图像请求方法的一种流程图。

图8本发明实施例提供的处理参考图像请求方法的另一种流程图。

图9本发明实施例提供的指定参考图像的方法及处理参考图像请求的方法的一种系统示意图。

图10本发明实施例提供的指定参考图像的装置的一种装置结构图。

图11本发明实施例提供的指定参考图像的装置的另一种装置结构图。

图12本发明实施例提供的处理参考图像请求装置的一种装置结构图。

图13本发明实施例提供的处理参考图像请求装置的另一种装置结构图。

图14本发明实施例提供的指定参考图像的方法及处理参考图像请求的方法的一种系统示意图。

图15本发明实施例提供的指定参考图像的方法及处理参考图像请求的方法的一种系统示意图。

图16本发明实施例提供的指定参考图像的方法及处理参考图像请求的方法的一种系统示意图。

图17本发明实施例提供的指定参考图像的方法及处理参考图像请求的方法的一种系统示意图。

图18本发明实施例提供的使用知识库编码方法的媒体数据的结构关系示意图。

图19本发明实施例提供的处理得到媒体数据方法的一种示意图。

图20本发明实施例提供的处理得到媒体数据方法的一种示意图。

图21本发明实施例提供的处理得到媒体数据方法的一种示意图。

图22本发明实施例提供的处理得到媒体数据方法的一种示意图。

图23本发明实施例提供的处理得到媒体数据方法的一种示意图。

图24本发明实施例提供的传输媒体数据方法的一种示意图。

图25本发明实施例提供的传输媒体数据方法的一种示意图。

图26本发明实施例提供的传输媒体数据方法的一种示意图。

图27本发明实施例提供的传输媒体数据方法的一种示意图。

图28本发明实施例提供的传输媒体数据方法的一种示意图。

图29本发明实施例提供的传输媒体数据方法的一种示意图。

具体实施方法

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。

在说明实施例之前，先声明必要的名词定义：

知识图像：知识图像为当前图像所属的随机访问片段及其之前最邻近的一个随机访问片段中的需要显示的图像集之外的图像，知识图像是一种参考图像，用于为待编码图像或待解码图像提供参考。

第一个实施例：提供一种指定参考图像的方法，图5出示了本实施例的一个流程示例，所述实施例包括：

步骤101：解码器提取参考映射表中的第一标识信息以获取所述参考映射表中参考索引对应的参考图像编号是否使用至少两种编号规则；

步骤102：当所述参考映射表中参考索引对应的参考图像编号至少使用两种编号规则时，解码器从所述参考映射表中提取至少一个参考索引j对应的第二标识信息以获取所述参考索引j对应的参考图像编号采用的编号规则，其中j是一个自然数；

步骤103：解码器从所述参考映射表中提取所属参考索引j对应的参考图像编号；

步骤104：当所述参考图像编号采用的编号规则为第一编号规则时，解码器采用与当前图像相同的编号规则来使用所述参考图像编号确定当前图像的参考图像；

步骤105：当所述参考图像编号采用的编号规则为第二编号规则时，解码器使用所述参考图像编号从解码器外部返回的参考图像信息确定当前图像的参考图像。

第二个实施例：提供一种指定参考图像的方法，本实施例在第一个实施例的基础上变化得到，与第一个实施例不同的是：

在AVS3标准中使用语法表中reference_configuration_set表示所述参考映射表，使用语法reference_to_library_enable_flag表示所述第一标识信息，使用语法is_library_pid_flag表示所述第二标识信息，使用语法library_pid表示采用第二编号规则的编号，使用语法delta_doi_of_reference_picture表示采用第一编号规则的编号与当前图像的编号的差值。语法示例如表1所示。

表1携带有标识信息和编号信息的reference_configuration_set的一种语法示例

其中所述语法的语义为：

参考知识图像标志reference_to_library_enable_flag[i]：二值变量。值为‘1’表示当前图像的至少一个参考图像为知识图像缓存区中的知识图像；值为‘0’表示当前图像的参考图像都不是知识图像缓存区中的知识图像。i是参考图像配置集的编号。ReferenceToLibraryEnableFlag[i]的值等于reference_to_library_enable_flag[i]的值，如果位流中不存在reference_to_library_enable_flag[i]则ReferenceToLibraryEnableFlag[i]的值等于0。

参考图像数量num_of_reference_picture[i]：3位无符号整数。表示当前图像的参考图像数量。参考图像数量不应超过参考图像缓冲区的大小。NumOfRefPic[i]的值等于num_of_reference_picture[i]的值。i是参考图像配置集的编号。

符合本部分的位流应满足以下要求：

——如果当前图像的PictureType等于0，则num_of_reference_picture[i]的值应为0；

——如果当前图像的PictureType等于1或3，则num_of_reference_picture[i]的值应大于或等于1。

——如果当前图像的PictureType等于2，则num_of_reference_picture[i]的值应为2；

知识图像编号标志is_library_pid_flag[i][j]：二值变量。值为‘1’表示当前图像参考队列中第j个参考图像是知识图像缓存区中的知识图像，并根据知识参考图像索引编library_pid[i][j]在知识图像缓存区中定位知识图像；值为‘0’表示当前图像参考队列中第j个参考图像不是知识图像缓存区中的知识图像，并根据delta_doi_of_reference_picture[i][j]在解码图像缓冲区中定位图像。i是参考图像配置集的编号，j是参考图像的编号。IsLibraryPidFlag[i][j]的值等于is_library_pid_flag[i][j]的值。对于给定第i个参考图像配置，当任意第j个参考图像的IsLibraryPidFlag[i][j]的值为1时，ReferenceToLibraryOnlyFlag[i]的值为1。

知识图像编号library_pid[i][j]：6位无符号整数，取值范围是0～63。当前图像参考队列中第j个参考图像在知识图像缓存区中的编号。i是参考图像配置集的编号，j是参考图像的编号。LibraryPid[i][j]的值等于library_pid[i][j]的值。

参考图像解码顺序偏移量delta_doi_of_reference_picture[i][j]：6位无符号整数，取值范围是1～63。说明当前图像参考图像队列中的第j个参考图像与当前图像解码顺序的差值。i是参考图像配置集的编号，j是参考图像的编号。对同一个参考图像配置集，不同编号的参考图像解码顺序偏移量的值应各不相同。DeltaDoiOfRefPic[i][j]的值等于delta_doi_of_reference_picture[i][j]的值。

从上述表1可知，对于第i个reference_configuration_set，当reference_to_library_enable_flag[i]的值为1时，表明所述reference_configuration_set(i)描述的编号使用混合编号规则。此时，对于第j个参考索引，当is_library_pid_flag[i][j]的值为0时，所述编号使用第一编号规则，例如由delta_doi_of_reference_picture[i][j]表示参考图像的相对编号，其中delta_doi_of_reference_picture[i][j]为一个整数比特定长码，例如6比特定长码；当is_library_pid_flag[i][j]的值为1时，所述编号使用第二编号规则，例如由library_pid[i][j]表示参考图像的编号，其中library_pid[i][j]为一个整数比特定长码，例如6比特定长码。

第三个实施例：提供一种指定参考图像的方法，本实施例在第一个实施例的基础上变化得到，与第一个实施例不同的是：在H.265标准中，所述第一编号规则使用delta_poc_s0_minus1或delta_poc_s1_minus1字符表示图像在输出顺序上的相对编号，所述相对编号表示其指向图像与当前图像在输出顺序上的编号差值。

第四个实施例：提供一种指定参考图像的方法，本实施例在第一个实施例的基础上变化得到，与第一个实施例不同的是：所述第一编号规则是与显示顺序相关的编号规则，例如，根据包括但不限于图像的显示顺序、解码顺序、输出顺序等规则为图像分配编号。

第五个实施例：提供一种指定参考图像的方法，本实施例在第一个实施例的基础上变化得到，与第一个实施例不同的是：所述第二编号规则是与显示顺序无关的编号规则，例如，根据包括但不限于图像的生成顺序、提取顺序、使用顺序或随机等规则为图像分配编号。

第六个实施例：提供一种指定参考图像的方法，本实施例在第一个实施例的基础上变化得到，与第一个实施例不同的是：使用所述第一编号规则的图像集指当前图像所属的视频序列中用于显示或输出的图像集。

第七个实施例：提供一种指定参考图像的方法，本实施例在第一个实施例的基础上变化得到，与第一个实施例不同的是：使用所述第一编号规则的图像集包括帧内编码图像、帧间编码图像中至少一种图像。

第八个实施例：提供一种指定参考图像的方法，本实施例在第一个实施例的基础上变化得到，与第一个实施例不同的是：使用所述第二编号规则的图像集指知识图像集。

第九个实施例：提供一种指定参考图像的方法，本实施例在第八个实施例的基础上变化得到，与第八个实施例不同的是：知识图像可以是包括但不限于视频序列中的背景图像、视频序列中的场景切换图像、视频序列中的图像建模得到的图像和视频序列中的图像合成的图像中的至少一种图像，其中背景图像可以通过对视频序列进行背景建模而得到，场景切换图像通过对视频序列进行场景切换检测而得到。

第十个实施例：提供一种指定参考图像的方法，本实施例在第八个实施例的基础上变化得到，与第八个实施例不同的是：知识图像被存储在与存储采用第一编号规则的图像的第一缓存不同的第二缓存中，例如，第二缓存为知识图像缓存。

第十一个实施例：提供一种指定参考图像的方法，本实施例在第十个实施例的基础上变化得到，与第十个实施例不同的是：最大缓存容量为所述第一缓存和所述第二缓存的最大容量的总和。

第十二个实施例：提供一种指定参考图像的方法，本实施例在第一个实施例的基础上变化得到，与第一个实施例不同的是：在所述参考映射表所属的位流包含的图像集中，至少一幅图像的参考映射表中参考索引对应的编号使用混合编号规则，即所述至少一幅图像使用至少一个知识图像作为参考图像。

第十三个实施例：提供一种指定参考图像的方法，本实施例在第一个实施例的基础上变化得到，与第一个实施例不同的是：在所述参考映射表所属的位流包含的图像集中，至少一幅图像A的参考映射表中参考索引对应的编号使用第一编号规则且至少另一幅图像B的参考映射表中参考索引对应的编号使用第二编号规则，即所述图像B仅使用知识图像作为参考图像。

第十四个实施例：提供一种指定参考图像的方法，本实施例在第一个实施例的基础上变化得到，与第一个实施例不同的是：所述参考映射表携带在序列头、图像头、条带头中。

第十五个实施例：提供一种指定参考图像的方法，本实施例在第一个实施例的基础上变化得到，图6展示了本实施例的一种流程示例，与第一个实施例不同的是，在执行步骤101之前，所述方法还包括参考映射表的更新方法，包括：

步骤201：解码器提取参考映射更新表以获取至少一个参考索引j对应的编号和第二标识信息；

步骤202：当所述参考映射更新表中的所述参考索引j存在于所述参考映射表中时，将所述参考映射表中所述参考索引j对应的编号和第二标识信息替换为所述参考映射更新表中的所述参考索引j对应的编号和第二标识信息；

步骤203：当所述参考映射更新表中的所述参考索引j不存在于所述参考映射表中时，在所述参考映射表中增加所述参考映射更新表中的所述参考索引j及其对应的编号和第二标识信息。

第十六个实施例：提供一种指定参考图像的方法，本实施例在第十五个实施例的基础上变化得到，与第十五个实施例不同的是：所述参考映射更新表仅包括至少一条参考索引及其指向的使用第二编号规则的编号，此时，在更新由所述参考映射更新表中至少一条参考索引在所述参考映射表中对应的编号时，同时将所述参考映射表中所述编号标识为使用第二编号规则。

第十七个实施例：提供一种指定参考图像的方法，本实施例在第十五个实施例的基础上变化得到，与第十五个实施例不同的是：所述参考映射更新表携带在图像头、条带头中。

第十八个实施例：提供一种指定参考图像的方法，本实施例在第一个实施例的基础上变化得到，与第一个实施例不同的是，所述方法还包括：

步骤301：当解码器使用采用第二编号规则的编号指向的参考图像对当前图像解码时，解码器将所述参考图像与当前图像的距离设置为非时域距离。

第十九个实施例：提供一种指定参考图像的方法，本实施例在第十八个实施例的基础上变化得到，与第十八个实施例不同的是：所述非时域距离是给定的一个固定非零值。

第二十个实施例：提供一种指定参考图像的方法，本实施例在第十八个实施例的基础上变化得到，与第十八个实施例不同的是：所述非时域距离是根据所述采用第二编号规则的编号指向的参考图像与当前图像之间的相似性计算得到的一个非零值。

第二十一个实施例：提供一种指定参考图像的方法，本实施例在第一个实施例的基础上变化得到，与第一个实施例不同的是，在执行步骤101之前，所述方法还包括：

步骤401：解码器提取第三标识信息以获取所述参考映射表中是否存在第一标识信息。

第二十二个实施例：提供一种指定参考图像的方法，本实施例在第二个实施例的基础上变化得到，与第二个实施例不同的是：

在AVS3标准的序列头中使用library_picture_enable_flag表示第三标识信息，所述语法示例如表2所示斜体字语法，相应的使用reference_configuration_set表示所述参考映射表，所述语法示例如表3所示。

表2携带有第三标识信息的一种语法示例

表3携带有标识信息和编号信息的reference_configuration_set的另一种语法示例

其中所述语法的语义为：

知识图像允许标志library_picture_enable_flag：二值变量。值为‘1’表示视频序列可包含知识图像且允许图像使用知识缓存区中的图像作为参考图像；值为‘0’表示视频序列不应包含只是图像且不允许图像使用知识缓存区中的图像作为参考图像。LibraryPictureEnableFlag的值等于library_picture_enable_flag的值。

从上述表1可知，当library_picture_enable_flag的值为1时，LibraryPictureEnableFlag的值为1，此时，所述reference_configuration_set(i)中存在reference_to_library_enable_flag[i]。对于第i个reference_configuration_set，当reference_to_library_enable_flag[i]的值为1时，表明所述reference_configuration_set(i)描述的编号使用混合编号规则。此时，对于第j个参考索引，当is_library_pid_flag[i][j]的值为0时，所述编号使用第一编号规则，例如由delta_doi_of_reference_picture[i][j]表示参考图像的相对编号，其中delta_doi_of_reference_picture[i][j]为一个整数比特定长码，例如6比特定长码；当is_library_pid_flag[i][j]的值为1时，所述编号使用第二编号规则，例如由library_pid[i][j]表示参考图像的编号，其中library_pid[i][j]为一个整数比特定长码，例如6比特定长码。

第二十三个实施例：提供一种处理参考图像请求的方法，图7展示了本实施例的一种流程图，所述实施例包括：

步骤501：获取至少一个第一类片段的依赖映射表，其中所述依赖映射表描述其所属的所述第一类片段依赖的至少一个参考图像的编号与所述至少一个参考图像所属的第二类片段的定位信息的映射关系；

步骤502：接收解码器发送的参考图像请求信息以获取当前图像依赖的至少一个参考图像的编号；

步骤503：从所述当前图像所属的第一类片段的依赖映射表中，获取所述参考图像请求信息中的至少一个所述参考图像的编号指向的参考图像所属的第二类片段的定位信息；

步骤504：使用所述第二片段的定位信息向解码器发送所述定位信息指向的所述第二类片段包含的知识图像的信息。

在第二十四个实施例中，提供一种处理参考图像请求的方法，本实施例在第二十三个实施例的基础上变化得到，与第二十三个实施例不同的是：

步骤601：从媒体描述信息中获取至少一个第一类片段的依赖映射表。

第二十五个实施例：提供一种处理参考图像请求的方法，本实施例在第二十四个实施例的基础上变化得到，与第二十四个实施例不同的是：

在动态自适应流媒体标准(Dynamic Adaptive Streaming over HTTP，DASH)的媒体描述信息(Media Presentation Description，MPD)中使用片段依赖描述子表示其所属片段的依赖映射表信息，其中片段依赖描述子由dependent_segment描述子表示，所述dependent_segment描述子的属性由@dependent_segment_indicator表示，其中所述@dependent_segment_indicator属性描述所述dependent_segment描述子所属的第一类片段依赖的一个第二类片段的定位信息及其包含的知识图像的编号信息，所述编号信息由属性@pictureID描述，所述定位信息由属性@dependentSegmentURL描述。表4展示了所述片段依赖描述子的语法一个示例。

表4片段依赖描述子的一种语法示例

其中所述语法的语义见表5。

表5片段依赖描述子的一种语法语义示例

第二十六个实施例：提供一种处理参考图像请求的方法，本实施例在第二十五个实施例的基础上变化得到，与第二十五个实施例不同的是：

在传输文件或传输封包单元的文件格式层级，使用样本入口数据盒LayerSMTHintSampleEntry描述知识图像和序列图像所在码流的样本入口，并以语法is_library_layer标识码流包含知识图像还是序列图像，使用样本数据盒LayerMediaSample描述序列图像所属码流的样本，以数据盒LayerInfo描述其所属码流样本依赖的知识图像所属码流和样本的编号信息，其中以library_layer_in_ceu_sequence_number描述所述被依赖的知识图像所述码流样本所属通用封装单元的编号，以library_layer_in_mfu_sequence_number描述所述被依赖的知识图像所述码流样本在通用封装单元中最小分片单元的编号。详细语法语义见下文。

语义：

has_mfus_flag–标识通用封装单元CEU是否被分片为最小分片单元MFU。值为1，表示CEU被每个提示样本为一个MFU；值为0，表示每个每个CEU仅包含一个样本。

is_library_layer-标识该轨道提示的媒体数据是否为知识层媒体数据。值为1，表示媒体数据是知识层媒体数据，包含知识图像的码流；值为0，表示媒体数据是序列层媒体数据，包含序列图像的码流。

语义：

sequence_number–CEU中MFU的序列编号。

Trackrefindex–提取该MFU的媒体轨道的编号。

Samplenumber-提取该MFU的样本编号。Samplenumber n表示CEU中累积第n个‘moof’盒子对应的样本。CEU中第一个样本的samplenumber应为0。

offset-描述该MFU包含的媒体数据的从‘mdat’数据盒开始的位置偏移量。

length-描述该MFU包含的媒体数据的字节长度。

library_layer_in_ceu_sequence_number–描述该MFU解码所依赖的MFU在知识层媒体资源中的CEU的编号。

library_layer_in_mfu_sequence_number–描述该MFU解码所需的MFU在其CEU中的编号。

第二十七个实施例：提供一种处理参考图像请求的方法，本实施例在第二十三个实施例的基础上变化得到，如图8所示，与第二十三个实施例不同的是，步骤404使用所述第二片段的定位信息向解码器发送所述定位信息指向的所述第二类片段包含的知识图像的信息还包括：

步骤701：在缓存中查找所述第二类片段的所述定位信息指向的第二类片段或所述第二类片段包含的知识图像；

步骤702：如果所述缓存中存在所述第二类片段或所述第二类片段包含的知识图像，从所述缓存中获取所述第二类片段或所述第二类片段包含的知识图像；

步骤703：如果所述缓存中不存在所述第二类片段或所述第二类片段包含的知识图像，从服务端下载所述第二类片段。

第二十八个实施例：提供一种处理参考图像请求的方法，本实施例在第二十三个实施例的基础上变化得到，与第二十三个实施例不同的是：所述第二类片段包含一个知识图像。

第二十九个实施例：提供一种处理参考图像请求的方法，本实施例在第二十三个实施例的基础上变化得到，与第二十三个实施例不同的是：所述定位信息可以是包括但不限于统一资源定位符(Uniform Resource Locator，URL)和统一资源标识符(Uniform Resource Identifier，URI)的一种。

第三十个个实施例：提供一种处理参考图像请求的方法，本实施例在第二十三个实施例的基础上变化得到，与第二十三个实施例不同的是：向解码器发送的所述定位信息指向的所述第二类片段包含的知识图像的信息为知识图像像素值。

第三十一个实施例：提供一种处理参考图像请求的方法，本实施例在第二十三个实施例的基础上变化得到，与第二十三个实施例不同的是：向解码器发送的所述定位信息指向的所述第二类片段包含的知识图像的信息为知识图像的存储位置。

第三十二个实施例：提供一种处理参考图像请求的方法，本实施例在第二十三个实施例的基础上变化得到，与第二十三个实施例不同的是：使用HTTP传输协议向服务端发送HTTP-request从服务端下载所述第二类片段。

第三十三个实施例：提供一种指定参考图像和处理参考图像请求的系统方法，本实施例在第一个实施例和二十三个实施例的基础上变化得到，与第一个实施例和第二十三个实施例不同的是：

在图9展示的实施例中的服务端1001，序列编码器1002接收待编码视频序列并按照编码顺序对待编码图像进行编码；如果当前待编码图像参考至少一个知识图像，则序列编码器1002在本地可用的知识图像集中选择至少一个知识图像为当前待编码图像构建参考图像队列，并将知识图像的本地编号告知知识图像编码器1003；知识图像编码器1003将根据知识图像编号对所述知识图像编码并重建，向序列编码器1002提供重建知识图像；服务端管理器1004从序列编码器1002接收知识图像的本地编号和知识图像在位流中的编号(例如以LibPID表示)，从序列片段组织器1005接收当前编码图像所属的随机访问片段的定位信息(例如以SeqURL表示)，从知识图像编码器1003接收知识图像的本地编号，从知识片段组织器1006接收知识图像所属片段的定位信息(例如以LibURL表示)，并根据以上信息建立每个序列片段的依赖映射表，所述映射表描述每个序列片段依赖的至少一个知识图像的LibPID与其所属片段的LibURL；MPD生成器1007接收服务端管理器1004的依赖映射表，并根据映射表生成MPD；

在图9展示的实施例中的客户端1008，MPD解析器1009接收服务端1001发送的MPD，并解析获取至少一个序列片段的依赖映射表；客户端管理器1010根据当前播放时间，决定需要下载的序列片段的SeqURL；序列片段下载器1011根据SeqURL从服务端1001下载序列片段；序列解码器1012接收序列片段，并解析其中的位流，根据位流中携带的参考映射表，判断当前待解码图像是否依赖知识图像，如果当前待解码图像依赖知识图像，根据参考映射表中被依赖知识图像的LibPID，向客户端管理器1010发送知识图像请求信息；客户端管理器1010根据请求信息中知识图像的LibPID，在当前解码图像所属序列片段的依赖映射表中，查找获取LibPID对应的LibURL；知识图像管理器1013接收LibURL，在一种可能的方法中，在本地知识缓存中查找LibURL指向的知识片段包含的知识图像是否存在，如果存在，从知识缓存中提取所属知识图像并提供给序列解码器1012，如果不存在，根据LibURL从服务端1001下载知识片段，解码获取其包含的知识图像，并提供给序列解码器1012；序列解码器1012使用获得的知识图像解码当前解码图像，并显示或输出当前图像。

第三十四个实施例：提供一种指定参考图像的装置，如图10所示，所述装置包括：

第一提取单元11，用于提取参考映射表中的第一标识信息以获取所述参考映射表中参考索引对应的编号是否使用混合编号规则；

第二提取单元12，用于当所述参考映射表中参考索引对应的编号使用混合编号规则时，从所述参考映射表中提取至少一个参考索引j对应的第二标识信息以获取所述参考索引j对应的编号采用的编号规则；

第三提取单元13，用于从所述参考映射表中提取所属参考索引j对应的参考图像编号；

第一确定单元14，用于当所述参考图像编号采用的编号规则为第一编号规则时，采用与当前图像相同的编号规则来使用所述参考图像编号确定当前图像的参考图像；

第二确定单元15，用于当所述参考图像编号采用的编号规则为第二编号规则时，使用所述参考图像编号从解码器外部返回的参考图像信息确定当前图像的参考图像。

第三十五个实施例：提供一种指定参考图像的装置，本实施例在第三十四个实施例的基础上变化而来，与第三十四个实施例不同的是：

在AVS3标准中的使用语法reference_configuration_set表示所述参考映射表，第一提取单元11用于从reference_configuration_set中提取语法reference_to_library_enable_flag以获取所述参考映射表中参考索引对应的编号是否使用混合编号规则；当所述参考映射表中参考索引对应的编号使用混合编号规则时，第二提取单元12用于从reference_configuration_set中提取至少一个参考索引j对应的第二标识信息以获取所述参考索引j对应的编号采用的编号规则；第三提取单元13用于从reference_configuration_set中提取所属参考索引j对应的参考图像编号library_pid或delta_doi_of_reference_picture；如果第三提取单元13提取了参考图像编号delta_doi_of_reference_picture，第一确定单元14用于采用与当前图像相同的编号规则来使用所述参考图像编号确定当前图像的参考图像；如果第三提取单元13提取了参考图像编号library_pid，第二确定单元15用于使用所述参考图像编号从解码器外部返回的参考图像信息确定当前图像的参考图像。

第三十六个实施例：提供一种指定参考图像的装置，本实施例在第三十四个实施例的基础上变化而来，与第三十四个实施例不同的是：第一提取单元11、第二提取单元12、第三提取单元13使用的所述参考映射表携带在序列头、图像头、条带头中。

第三十七个实施例：提供一种指定参考图像的装置，本实施例在第三十四个实施例的基础上变化而来，如图11所示，与第三十四个实施例不同的是，所述装置还包括：

第四提取单元21，用于提取参考映射更新表以获取至少一个参考索引j对应的编号和第二标识信息；

替换单元22，用于当所述参考映射更新表中的所述参考索引j存在于所述参考映射表中时，将所述参考映射表中所述参考索引j对应的编号和第二标识信息替换为所述参考映射更新表中的所述参考索引j对应的编号和第二标识信息；

增加单元23，用于当所述参考映射更新表中的所述参考索引j不存在于所述参考映射表中时，在所述参考映射表中增加所述参考映射更新表中的所述参考索引j及其对应的编号和第二标识信息。

第三十八个实施例：提供一种指定参考图像的装置，本实施例在第三十七个实施例的基础上变化而来，与第三十七个实施例不同的是：当所述参考映射更新表仅包括至少一条参考索引及其指向的使用第二编号规则的编号时，替换单元22还用于将所述参考映射表中所述参考索引j对应的编号替换为所述参考映射更新表中的所述参考索引j对应的编号，并将所述参考映射表中所述参考索引j对应的第二标识信息标识为使用第二编号规则。

第三十九个实施例：提供一种指定参考图像的装置，本实施例在第三十七个实施例的基础上变化而来，与第三十七个实施例不同的是：当所述参考映射更新表仅包括至少一条参考索引及其指向的使用第二编号规则的编号时，增加单元23还用于在所述参考映射表中增加所述参考映射更新表中的所述参考索引j及其对应的编号，并将所述参考映射表中所述参考索引j对应的第二标识信息标识为使用第二编号规则。

第四十个实施例：提供一种指定参考图像的装置，本实施例在第三十四个实施例的基础上变化而来，与第三十四个实施例不同的是，所述装置还包括：

设置单元33，用于当解码器使用采用第二编号规则的编号指向的参考图像对当前图像解码时，将所述参考图像与当前图像的距离设置为非时域距离。

第四十一个实施例：提供一种指定参考图像的装置，本实施例在第四十个实施例的基础上变化而来，与第四十个实施例不同的是：设置单元33还用于将所述参考图像与当前图像的距离设置为给定的一个固定非零值。

第四十二个实施例：提供一种指定参考图像的装置，本实施例在第四十个实施例的基础上变化而来，与第四十个实施例不同的是：设置单元33还用于将所述参考图像与当前图像的距离设置为根据所述采用第二编号规则的编号指向的参考图像与当前图像之间的相似性计算得到的一个非零值。

第四十三个实施例：提供一种指定参考图像的装置，本实施例在第三十四个实施例的基础上变化而来，与第三十四个实施例不同的是，所述装置还包括：

第五提取单元41，用于提取第三标识信息以获取所述参考映射表中是否存在第一标识信息。

第四十四个实施例：提供一种指定参考图像的装置，本实施例在第四十三个实施例的基础上变化而来，与第四十三个实施例不同的是：在AVS3标准中，第五提取单元41还用于从序列头中提取library_picture_enable_flag表示的第三标识信息。

第四十五个实施例：提供一种处理参考图像请求的装置，如图12所示，所述装置包括：

第一获取单元51，用于获取至少一个第一类片段的依赖映射表，其中所述依赖映射表描述其所属的所述第一类片段依赖的至少一个参考图像的编号与所述至少一个参考图像所属的第二类片段的定位信息的映射关系；

接收单元52，用于接收解码器发送的参考图像请求信息以获取当前图像依赖的至少一个参考图像的编号；

第二获取单元53，用于从所述当前图像所属的第一类片段的依赖映射表中，获取所述参考图像请求信息中的至少一个所述参考图像的编号指向的参考图像所属的第二类片段的定位信息；

发送单元54，用于使用所述第二片段的定位信息向解码器发送所述定位信息指向的所述第二类片段包含的知识图像的信息。

第四十六个实施例：提供一种处理参考图像请求的装置，本实施例在第四十五个实施例的基础上变化而来，与第四十四个实施例不同的是：

第三获取单元61，用于从媒体描述信息中获取至少一个第一类片段的依赖映射表。

第四十七个实施例：提供一种处理参考图像请求的装置，本实施例在第四十六个实施例的基础上变化而来，与第四十六个实施例不同的是：

在DASH中，第三获取单元61还用于从MPD中获取至少一个第一类片段的片段依赖描述子dependent_segment，从所述dependent_segment描述子的至少一个属性dependent_segment_indicator中获取所述第一类片段依赖的一个第二类片段的定位信息dependentSegmentURL及其包含的知识图像的编号信息pictureID。

第四十八个实施例：提供一种处理参考图像请求的装置，本实施例在第四十五个实施例的基础上变化而来，如图13所示，与第四十五个实施例不同的是，所述发送单元54还包括：

查找单元71，用于根据所述第二类片段的所述定位信息，在缓存中查找所述定位信息指向的第二类片段或所述第二类片段包含的知识图像；

第四获取单元72，用于如果所述缓存中存在所述第二类片段或所述第二类片段包含的知识图像，从所述缓存中获取所述第二类片段或所述第二类片段包含的知识图像；

下载单元73，用于如果所述缓存中不存在所述第二类片段或所述第二类片段包含的知识图像，从服务端下载所述第二类片段。

第四十九个实施例：提供一种处理参考图像请求的装置，本实施例在第四十五个实施例的基础上变化而来，与第四十五个实施例不同的是：发送单元54还用于向解码器发送所述定位信息指向的所述第二类片段包含的知识图像的像素值。

第五十个实施例：提供一种处理参考图像请求的装置，本实施例在第四十五个实施例的基础上变化而来，与第四十五个实施例不同的是：发送单元54还用于向解码器发送所述定位信息指向的所述第二类片段包含的知识图像的存储位置。

第五十一个实施例：提供一种处理参考图像请求的装置，本实施例在第四十八个实施例的基础上变化而来，与第四十八个实施例不同的是：下载单元73还用于使用HTTP传输协议向服务端发送HTTP-request从服务端下载所述第二类片段。

第五十二个实施例：提供一种指定参考图像和处理参考图像请求的系统方法，本实施例在第三十四个实施例和四十五个实施例的基础上变化得到，与第三十四个实施例和第四十五个实施例不同的是：

在图14展示的实施例中，MPD解析器2001接收MPD，并解析获取至少一个序列片段的依赖映射表；管理器2002根据当前播放时间，决定需要下载的序列片段的SeqURL；序列片段下载器2003根据SeqURL下载序列片段；序列解码器2004接收序列片段，并解析其中的位流，根据位流中携带的参考映射表，判断当前待解码图像是否依赖知识图像，如果当前待解码图像依赖知识图像，根据参考映射表中被依赖知识图像的LibPID，向管理器2002发送知识图像请求信息；管理器2002根据请求信息中知识图像的LibPID，在当前解码图像所属序列片段的依赖映射表中，查找获取LibPID对应的LibURL；知识图像管理器2005接收LibURL，在一种可能的方法中，在本地知识缓存中查找LibURL指向的知识片段包含的知识图像是否存在，如果存在，从知识缓存中提取所属知识图像并提供给序列解码器2004，如果不存在，根据LibURL下载知识片段，解码获取其包含的知识图像，并提供给序列解码器2004；序列解码器2004使用获得的知识图像解码当前解码图像，并显示或输出当前图像。

第五十三个实施例：提供一种指定参考图像和处理参考图像请求的系统方法，本实施例在第三十四个实施例和四十五个实施例的基础上变化得到，与第三十四个实施例和第四十五个实施例不同的是：

在图15展示的实施例中，MPD解析器3001接收MPD，并解析获取至少一个序列片段的依赖映射表；管理器3002根据当前播放时间，决定需要下载的序列片段的SeqURL；序列片段下载器3003根据SeqURL下载序列片段；序列解码器3004接收序列片段，并解析其中的位流，根据位流中携带的参考映射表，判断当前待解码图像是否依赖知识图像，如果当前待解码图像依赖知识图像，根据参考映射表中被依赖知识图像的LibPID，向管理器3002发送知识图像请求信息；管理器3002根据请求信息中知识图像的LibPID，在当前解码图像所属序列片段的依赖映射表中，查找获取LibPID对应的LibURL；管理器3002使用LibURL，在本地知识缓存3005中查找LibURL指向的知识片段包含的知识图像是否存在，如果存在，将所述知识图像的在知识缓存3006中的存储地址返回序列解码器3004，如果不存在，使用LibURL下载知识片段，解码获取其包含的知识图像，将重建知识图像存储在知识缓存3005，将所述知识图像的在知识缓存3005中的存储地址返回序列解码器3004；序列解码器3004使用返回的知识图像存储地址从知识缓存3005中获得知识图像用于解码当前解码图像，并显示或输出当前图像。

第五十四个实施例：提供一种指定参考图像和处理参考图像请求的系统方法，本实施例在第三十四个实施例和四十五个实施例的基础上变化得到，与第三十四个实施例和第四十五个实施例不同的是：

在图16展示的实施例中，MPD解析器4001接收MPD，并解析获取至少一个序列片段的依赖映射表；管理器4002根据当前播放时间，决定需要下载的序列片段的SeqURL；序列片段下载器4003根据SeqURL下载序列片段；序列解码器4004接收序列片段，并解析其中的位流，根据位流中携带的参考映射表，判断当前待解码图像是否依赖知识图像，如果当前待解码图像依赖知识图像，根据参考映射表中被依赖知识图像的LibPID，向管理器4002发送知识图像请求信息；管理器4002根据请求信息中知识图像的LibPID，在当前解码图像所属序列片段的依赖映射表中，查找获取LibPID对应的LibURL；管理器4002使用LibURL，在本地知识缓存4005中查找LibURL指向的知识片段包含的知识图像是否存在，如果存在，从知识缓存4005中获取所述知识图像，并将知识图像返回序列解码器4004，如果不存在，使用LibURL下载知识片段，解码获取其包含的知识图像，将重建知识图像存储在知识缓存4005，并将知识图像返回序列解码器4004；序列解码器4004使用返回的知识图像解码当前解码图像，并显示或输出当前图像。

第五十五个实施例：提供一种指定参考图像和处理参考图像请求的系统方法，本实施例在第三十四个实施例和四十五个实施例的基础上变化得到，与第三十四个实施例和第四十五个实施例不同的是：

在图17展示的实施例中，MPD解析器5001接收MPD，并解析获取至少一个序列片段的依赖映射表；管理器5002根据当前播放时间，决定需要下载的序列片段的SeqURL；序列片段下载器5003根据SeqURL下载序列片段；序列解码器5004接收序列片段，并解析其中的位流，根据位流中携带的参考映射表，判断当前待解码图像是否依赖知识图像，如果当前待解码图像依赖知识图像，根据参考映射表中被依赖知识图像的LibPID，向管理器5002发送知识图像请求信息；管理器5002根据请求信息中知识图像的LibPID，在当前解码图像所属序列片段的依赖映射表中，查找获取LibPID对应的LibURL；管理器5002使用LibURL，在本地知识缓存5005中查找LibURL指向的知识片段包含的知识图像码流是否存在，如果存在，从知识缓存5005中获取所述知识图像码流，解码知识图像，并将知识图像返回序列解码器5004，如果不存在，使用LibURL下载知识片段，将知识片段包含的知识图像码流存储在知识缓存5005中，解码知识图像，并将知识图像返回序列解码器5004；序列解码器5004使用返回的知识图像解码当前解码图像，并显示或输出当前图像。

第五十六个实施例：提供一种处理得到媒体数据的方法。图18展示了使用基于知识库的视频编码方法产生的媒体数据的依赖结构关系。基于知识库的编码方法产生的媒体数据包含第一类视频数据和第二类视频数据两部分，其中称第一类视频数据为视频层数据，视频层数据包含视频层图像的码流，称第二类视频数据为知识层数据，知识层数据包含知识层图像的码流。视频数据包含至少一个样本(sample)，所述样本包含一张图像或一组图像。第一类视频数据的样本按照第一编号规则被分配编号并顺序排列，第一编号规则为按照时间顺序或播放顺序或解码顺序分配编号的规则，而第二类视频数据的样本按照第二编号规则被分配编号并顺序排列，第二编号规则为按照使用顺序或生成顺序或存储顺序分配编号的规则。第二类视频数据中的至少一个样本被第一类视频数据中至少两个不连续的样本依赖并为所述第一类视频数据中至少两个不连续的样本的编解码提供参考信息，这种依赖关系被称为非对齐时间段的依赖关系。

为了视频1数据依赖视频2数据，需要与视频2数据同步进行编解码，且视频1数据中多个样本依赖视频2数据中同一个样本，例如在图18中，虚线箭头表示了样本之间的依赖关系，视频1数据中的样本1、样本2和样本4依赖视频2数据中的样本1，视频1数据中的样本3和样本5依赖视频2数据中的样本2。当视频1数据按照时间呈现时，例如图18中实线箭头表示的呈现时间顺序，被依赖的视频2数据样本需要和依赖其的视频1数据样本同步以确保视频1数据样本的正确解码。为了避免存储空间或传输带宽的浪费，被视频1数据中多个样本依赖的视频2数据样本并不会被重复存储或传输，而是被共享，例如图18中视频2数据样本1在与视频1数据样本1同步使用后，仍然会为后续的视频1样本2和样本4重复使用。基于以上使用知识库编码方法编码的媒体数据的结构关系，本发明提供一种存储媒体数据的方法和一种提取媒体数据流的方法，图18中的结构关系示例同样适用于后续实施例中的结构关系描述。

第五十七个实施例：图19展示了一种处理得到媒体数据方法的一种实施例。在本实施例中媒体数据盒和元数据盒Movie Box存储在一个文件中，在另一种情况下，媒体数据盒和Movie Box可以分别存储在不同的文件中。为了描述视频1数据和视频2数据之间的依赖关系，在“Movie Box”中使用两个轨道(track)分别描述视频1数据和视频2数据的样本，如图19所示，由视频轨道1描述视频1数据样本的结构，由视频轨道2描述视频2数据样本的结构。在视频轨道1中使用tref数据盒(Track Reference Box)描述视频轨道1和视频轨道2之间的依赖关系，为了标识两个轨道之间的依赖关系为视频1数据和视频2数据之间的依赖关系，需要为tref数据盒的参考类型(reference_type)增加一个新的值，例如使用’libr’标识。当参考类型的值是’libr’时，表示这是一个特殊的参考类型，即当前视频1轨道指向的数据样本依赖tref下的轨道标识指向的视频2轨道指向的数据样本。

在描述了视频1数据所属轨道和视频2数据所属轨道之间的依赖关系之后，需要描述样本之间的依赖关系。由于视频1数据样本和视频2数据样本使用不同的顺序编号规则，例如视频1数据样本使用时间顺序而视频2数据样本使用非对齐时间顺序，样本之间的依赖关系不能使用时间戳来描述。本实施例使用样本群组数据盒(Sample Group Box)和样本群组描述数据盒(Sample Group Description Box)描述多个视频1数据样本依赖同一个视频2数据样本，如图18所示，在视频轨道1中，样本群组1指向视频1数据样本入口1、样本入口2和样本入口4，同时记录所依赖的视频2数据样本入口在视频轨道2中的编号1。这表示视频1数据样本入口1、样本入口2和样本入口4指向的样本依赖视频2数据样本入口1指向的样本。样本群组2指向视频1数据样本入口3和样本入口5，同时记录编号2。表示视频1数据样本入口3和样本入口5指向的样本依赖视频2数据样本入口2指向的样本。因此，样本群组中需要描述被依赖的视频2数据样本入口的信息，需要如下语法：

相应的语义如下：

num_library_samples：指示此群组所指向的视频2数据样本数目。

library_sample_index：指示此群组指向的视频2数据样本条目的编号。

其中library_sample_index指向的视频2数据样本的样本入口所属的轨道由当前轨道的tref数据盒描述。在另一种情况下，视频2数据样本被描述在至少两个轨道中，此时，为了定位样本群组指向的视频2数据样本，需要如下语法：

相应的语义如下：

num_library_samples：指示此群组所指向的视频2数据样本数目。

library_track_ID：指示此群组指向的视频2数据样本条目所在的轨道编号。

根据视频2数据样本的样本入口所属的轨道编号和编号能够唯一确定被依赖的视频2数据样本，从而建立视频1数据样本和视频2数据样本之间的依赖关系。

第五十八个实施例：图20展示了一种处理得到媒体数据方法的另一种实施例。在本实施例中媒体数据盒和元数据盒Movie Box存储在一个文件中，在另一种情况下，媒体数据盒和Movie Box可以分别存储在不同的文件中。为了描述视频1数据和视频2数据之间的依赖关系，在元数据中使用一个轨道(track)来描述视频1数据和样本辅助信息。如图20所示，在视频轨道中，使用样本辅助信息(Sample auxiliary information sizes box和sample auxiliary information offsets box)来描述视频1数据和视频2数据的依赖关系，样本辅助信息和视频1数据样本入口时序上一一对应。为了描述视频1数据样本入口对应的视频1数据样本所依赖的视频2数据样本在媒体数据中的定位，需要为样本辅助信息的信息类型(aux_info_type)增加一个新的值，例如使用‘libi’标识。当信息类型的值为’libi’时，表示当前数据盒是样本辅助信息，包含对应视频1数据的视频2参考关系和视频2数据所在媒体数据盒中的位置。

由于样本辅助信息和视频1数据样本入口在时序上是一一对应的，在获得‘libi’类型时，对于一个视频1数据样本条目，可以同时获得对应视频层数据所参考的知识层数据在视频层数据的媒体数据中所在的位置。因此，在此实施例下，知识层数据和视频层数据必须在同一个文件中。第五十九个实施例：图21展示了一种存储媒体数据方法的又一种实施例。在本实施例中媒体数据盒和元数据盒Movie Box存储在一个文件中，在另一种情况下，媒体数据盒和Movie Box可以分别存储在不同的文件中。为了描述视频1数据和视频2数据之间的依赖关系，在元数据中使用两个轨道(track)分别描述视频1数据和视频2数据的样本，同时，还使用一个时序化元数据轨道描述视频轨道和视频轨道之间的关系。如22所示，由视频轨道1描述视频1数据样本的结构，由视频轨道2描述视频2数据样本的结构，由视频轨道3描述时序化元数据样本的结构,在视频轨道1和视频轨道3中使用tref数据盒(Track Reference Box)描述视频轨道1和视频轨道3所需要的依赖关系。为了标识1和2两个轨道之间的依赖关系为视频1数据和视频2数据之间的依赖关系，需要为tref数据盒的参考类型(reference_type)增加一个新的值，例如使用’libr’标识。当参考类型的值是’libr’时，表示这是一个特殊的参考类型，即当前视频1轨道指向的数据样本依赖tref下的轨道标识指向的视频2轨道指向的数据样本。

由于视频1数据样本和时序化元数据样本使用相同的顺序编号规则，视频1数据样本和时序化元数据样本均使用时间顺序，样本之间的依赖关系可以直接使用时间戳来描述。同时，由时序化元数据样本入口指向的时序化元数据样本描述视频1数据样本入口指向的视频1数据样本与视频2数据样本入口指向的视频2数据样本的依赖关系。为此，需要增加描述依赖关系的时序化元数据的样本语法：

相应的语义如下：

number_of_library_sample：指示参考的视频2数据样本的数目。

library_sample_index：指示视频2数据样本条目的编号。

其中library_sample_index指向的视频2数据样本的样本入口所属的轨道由当前轨道的tref数据盒指向的视频1数据所属轨道的tref数据盒描述。

又一个实施例提供一种处理得到媒体数据方法：与第五十九个实施例不同的是，使用片段索引数据盒(segment index box)描述视频1数据样本和视频2数据样本之间的依赖关系，所述片段索引数据盒的语法为：

其中斜体的语法元素为本实施例新增的语法元素，其语义为：

reference_library_flag：值为1表示当前项目参考知识图像，值为0表示不参考；

reference_sample_number：表示当前项目参考的知识图像的数目；

sample_track_ID：表示当前被参考的知识图像的样本所属的轨道编号；

sample_ID：表示当前被参考的知识图像的样本的编号。

第六十个实施例：图22展示了一种处理得到媒体数据方法的又一种实施例，相较于第五十九个实施例，描述依赖关系的时序化元数据的样本语法：

相应的语义如下：

number_of_library_sample：指示参考的视频2数据样本的数目。

library_sample_URL：指示视频2数据样本的统一资源定位符。

library_sample_offset：指示视频2数据样本的字节偏移量。

library_sample_size：指示视频2数据样本的字节大小。

第六十一个实施例：图23展示了一种处理得到媒体数据方法的另一种实施例。在本实施例中媒体数据盒和元数据盒Movie Box存储在一个文件中，在另一种情况下，媒体数据盒和Movie Box可以分别存储在不同的文件中。为了描述视频1数据和视频2数据之间的依赖关系，如图23所示，在视频轨道中，使用样本群组来描述视频1数据和视频2数据的依赖关系。为了描述视频1数据样本条目对应的视频1数据样本所依赖的视频2数据样本在元数据盒中的定位，需要为样本群组的群组类型(grouping_type)增加一个新的值，例如使用‘libg’标识。当群组类型的值为’libg’时，表示当前数据盒是含依赖关系的样本群组，包含对应视频1数据的视频2参考关系和视频2数据在元数据盒中的位置。所述样本群组的语法如下：

其中语法元素的语义为：

meta_box_handler_type：元数据item的类型，其中增加’libi’表示所述元数据item的类型为知识图像；

num_items：元数据item的数目；

item_id[i]：第i个元数据item的编号；

library_pid[i]：第i个元数据item对应的知识图像的编号。

第六十二个实施例：图24展示了一种传输媒体数据的方法的一种实施例。首先，根据轨道的tref数据盒确定轨道之间的关系，从而确定指向视频1数据样本的视频轨道1、指向视频2数据样本的视频轨道2(如果存在的话)、指向时序化元数据样本的元数据轨道3(如果存在的话)；然后从视频轨道1中按照时间顺序提取视频1数据样本；再根据视频1数据样本的辅助信息，定位并提取视频1数据样本依赖的视频2数据样本，辅助信息的描述方式可以是图19～图22的任一种实施例中视频1数据样本和视频2数据样本的依赖关系描述方式；然后，将视频1数据样本和被依赖的视频2数据样本，同步传输到接收端以解码或播放。

第六十三个实施例：图25示出了传输SVC媒体数据的一种实施例。该实施例将SVC媒体数据封装在一个包裹内。该包裹包含资产1和资产2两个资产，同时还包含一个组织信息(Composition Information,CI)。每个资产包含一个MPU，每个MPU包含SVC媒体数据的一类数据，例如资产1的MPU1包含基本层数据，资产2的MPU2包含增强层数据。组织信息记录了资产之间的依赖关系等信息，例如组织信息描述了资产1对资产2的依赖性。每个MPU中包含了至少一个MFU，并由提示轨道(hint track)描述MFU在MPU中的分段信息，例如MPU2被分段为MFU1-4，而MPU1被分段为MFU1-4，其中虚线表示MFU之间的依赖关系，例如，资产1中MFU1-4分别对应依赖资产2中MFU1-4，同时，由于基本层数据和增强层数据都为对齐时间段媒体数据，相互依赖的MFU在客户端需要被同步传输，例如图25中实线箭头在时间线上描述的MFU的传输时间。可以看到运用MMT传输SVC媒体数据仅仅是简单的对SVC媒体数据进行分段并按照同一对齐时间段进行传输，对于有非对齐时间段依赖关系的媒体数据进行简单的分段传输时该方法明显不行。

第六十四个实施例：图26展示了将媒体分段并传输的一种实施例，相较于上第六十三个实施例，本实施例使用不同的方式描述MFU之间的依赖关系。该实施例将知识库编码媒体数据封装在一个包裹(package)中，该包裹资产包含资产1、资产2和资产3三个资产，同时还包含一个组织信息(Composition Information，CI)。每个资产包含一个MPU，每个MPU包含知识库编码媒体数据的一类数据，例如资产1的MPU包含视频层数据，资产2的MPU2包含依赖元数据，资产3的MPU3包含知识层数据。组织信息记录了资产之间的时域、空域或依赖关系等信息，例如组织信息描述了资产1对资产2的依赖性，资产2对资产3的依赖性。每个MPU中包含了至少一个MFU，并由提示轨道(hint track)描述MFU在MPU中的分段信息，例如MPU1被分段为MFU1-5，MPU2被分段为MFU1-5，而MPU3被分段为MFU1-2，其中虚线表示MFU之间的依赖关系，例如资产1中MFU1-5分别依赖资产2中MFU1-5，资产2中MFU1-5依赖资产3中MFU1，资产2中MFU3、MFU5依赖资产3中MFU2。与前述实施例不同的是，该实施使用时序化元数据(timed metadata)描述MFU之间的依赖关系，其中时序化元数据拥有与视频层数据相同的非对齐时间段，通过对齐时间段保持时序化元数据和视频层数据的同步，同时，时序化元数据中描述其对应时段需要同步使用的知识层数据，从而使得视频层数据间接地与知识层数据相关联。这种方法的优点是时序化元数据轨道的增删复用很灵活，不需要修改视频轨道的数据，但是缺点是时序化元数据存储在文件的媒体数据中，MMT发送器需要先根据hint sample定位时序化元数据再解析时序化元数据之后才能根据定位信息去文件中获取被依赖的知识层数据，这给MMT发送器带来了额外操作负载。需要使用描述依赖关系的时序化元数据样本，语法如下：

相应的语义如下：

reference_MFU_flag：指示是否参考MFU，值“0”意味着不参考。

number_of_reference_MFU：指示参考的MFU数目。

depended_MFU_asset_id：指示参考的MFU所属的Asset编号。

depended_MFU_sequence_number：指示参考的MFU的编号。

在又一种情况下，语法表示如下：

相应的语义如下：

reference_sample_flag：指示是否参考样本，值“0”意味着不参考。

number_of_reference_sample：指示参考的样本数目。

depended_sample_MPU_id：指示参考的样本所属的MPU编号。

depended_sample_id：指示参考的样本的编号。

第六十五个实施例：图27展示了传输媒体数据的另一种实施例，相较于第六十四个实施例，本实施例使用不同的方式描述MFU之间的依赖关系。该实施例将知识库编码媒体数据封装在一个包裹(package)中，该包裹资产包含资产1、资产2和资产3三个资产，同时还包含一个组织信息(Composition Information，CI)。每个资产包含一个MPU，每个MPU包含知识库编码媒体数据的一类数据，例如资产1的MPU包含视频层数据，知识层数据被分割为至少两个资产，例如资产2的MPU2包含知识层数据，资产3的MPU3包含知识层数据。组织信息记录了资产之间的时域、空域或依赖关系等信息，例如组织信息描述了资产1对资产2和资产3的依赖性，且资产2和资产3可以相互独立或相互依赖。每个MPU中包含了至少一个MFU，并由提示轨道(hint track)描述MFU在MPU中的分段信息，例如MPU1被分段为MFU1-5，MPU2被分段为MFU1-2，而MPU3仅包含MFU1，其中虚线表示MFU之间的依赖关系，例如资产1中MFU1、MFU5依赖资产2中MFU1，资产1中MFU2依赖资产3中MFU1，资产1中MFU3、MFU5依赖资产2中MFU2，此时由于资产2和资产3中MFU的编号可能重复，需要增加对MFU的定位信息。同时，相互依赖的MFU在客户端需要被同步传输，例如图27中实线箭头在时间线上描述的MFU的传输时间。由于视频层数据为对齐时间段媒体数据，而知识层数据为非对齐时间段媒体数据，MFU之间的依赖关系需要被明确标记。这种方法的优点是MMT发送端通过分析视频层数据的hint track即可获得视频层数据样本对知识层数据样本的依赖关系，然后根据视频层数据和知识层数据的hint track提取视频层MFU和知识层MFU，同时该方法不影响知识层数据的hint track信息，保持了知识层数据的独立性和灵活性；缺点是不同资产中MFU的编号可能重复导致视频层数据的hint sample中会增加一些冗余的知识层数据样本定位信息。在MMT标准MFU样本的基础上，扩展得到在MFU中描述当前MFU参考的MFU(称为DMFU，depended MFU)样本和增加的对MFU的定位信息的语法为：

相应的语义如下：

referenceMFU_flag：指示是否参考MFU，值“0”意味着不参考。

number_of_depended_MFU：指示参考的MFU数目。

depended_MFU_asset_id：指示参考的MFU所属的Asset编号。

depended_MFU_sequence_number：指示参考的MFU的编号。

第六十六个实施例：图28展示了传输媒体数据的另一种实施例，相较于第六十四、第六十五个实施例，本实施例使用不同的方式描述MFU之间的依赖关系。将知识库编码媒体数据封装在一个包裹(package)中，该包裹包含资产1和资产2两个资产，同时还包含一个组织信息(Composition Information,CI)。每个资产包含一个MPU，每个MPU包含知识库编码媒体数据的一类数据，例如资产1的MPU1包含视频层数据，资产2的MPU2包含知识层数据。组织信息记录了资产之间的时域、空域或依赖关系等信息，例如组织信息描述了资产1对资产2的依赖性。每个MPU中包含了至少一个MFU，并由提示轨道(hint track)描述MFU在MPU中的分段信息，例如MPU2被分段为MFU1和MFU4，而MPU1被分段为MFU2、MFU3、MFU5-7，其中虚线表示MFU之间的依赖关系，例如，资产1中MFU2、MFU3和MFU6依赖资产2中MFU1，资产1中MFU5和MFU7依赖资产2中MFU4，同时，相互依赖的MFU在客户端需要被同步传输，例如图28中实线箭头在时间线上描述的MFU的传输时间。由于视频层数据为对齐时间段媒体数据，而知识层数据为非对齐时间段媒体数据，MFU之间的依赖关系需要被明确标记，这种方法的优点是MMT发送端通过分析视频层数据的hint track即可获得视频层数据样本对知识层数据样本的依赖关系，然后根据视频层数据和知识层数据的hint track提取视频层MFU和知识层MFU，同时该方法不影响知识层数据的hint track信息，保持了知识层数据的独立性和灵活性。在MMT标准MFU样本的基础上，扩展得到在MFU中描述当前MFU参考的MFU(称为DMFU，depended MFU)样本的语法为：

相应的语义如下：

referenceMFU_flag：指示是否参考MFU，值“0”意味着不参考。

number_of_depended_MFU：指示参考的MFU数目。

depended_MFU_sequence_number：指示参考的MFU的编号。

上述语法描述了MFU依赖的DMFU，类似的，可以在一个被依赖的MFU中描述依赖当前MFU的MFU(称为RMFU，reference MFU)，例如：

相应的语义如下：

dependedMFU_flag：指示是否被MFU依赖，值“0”意味着不被依赖。

number_of_reference_MFU：指示参考的MFU数目。

reference_MFU_sequence_number：指示参考的MFU的编号。

number_of_consequent_MFU：指示参考的MFU之后依赖当前MFU的连续MFU数目。

通过上述语法可以在获得MFU之间的依赖关系。需要注意的是，在一种情况下，DMFU和RMFU的编号与当前MFU的编号使用同一组顺序编号且互不重复，此时DMFU和RMFU可以被唯一确定；在另一种情况下DMFU和RMFU的编号和当前MFU的编号使用不同的顺序编号且可以互相重复时，需要根据组织信息描述的MFU所属的MPU所属的Asset之间的依赖关系，确定DMFU和RMFU所属的MPU所属的Asset，从而唯一确定DMFU和RMFU。

第六十七个实施例：图29展示了传输媒体数据的另一种实施例，相较于第六十三、第六十四、第六十五和第六十六个实施例，本实施例增加了避免MFU重传的操作。在确定MFU的依赖关系并能够唯一定位MFU之后，当需要传输MFU时，需要按照依赖关系同步传输有依赖关系的MFU。图29描述了传输MFU的流程，首先根据当前传输顺序从有对齐时间段的资产1中视频层数据中获取当前MFU，例如图28中资产1中的MFU2。根据当前MFU的样本信息，判断当前MFU是否依赖DMFU，如果不依赖DMFU，那么传输当前MFU并继续按照顺序获取下一个MFU或终止传输，如果依赖DMFU，那么根据当前MFU中描述的DMFU的编号，从非对齐时间段的资产2中知识层数据中获取所属被依赖的MFU。由于多个对齐时间段MFU依赖同一个非对齐时间段MFU，为了避免DMFU的重复传输，在传输DMFU时，需要考虑三种情况，以判断DMFU在客户端的可用性，如图29所示。在一种情况下，根据DMFU的历史传输列表，当前MFU依赖的DMFU没有被传输过，那么需要将DMFU和当前MFU同步传输，例如图28中被依赖的资产2中MFU1和资产2中MFU2需要被同步传输；在另一种情况下，根据DMFU的历史传输列表，当前MFU依赖的DMFU已经被传输过，那么只需要传输当前MFU而不需要传输DMFU，例如图28中资产2中MFU3、MFU6、MFU7，其中MFU3、MFU6依赖的资产2中MFU1已经与资产1中MFU2同步传输，MFU7依赖的资产2中MFU4已经与资产1中MFU5同步传输；在又一种情况下，根据DMFU的历史传输列表，当前MFU依赖的DMFU已经被传输过，但是，根据客户端反馈的信令消息，该DMFU由于使用频次、存储、管理方法等多种可能的原因，在客户端已经不可用，此时需要将DMFU和当前MFU同步传输，例如客户端只能缓存1个资产2中MFU，当传输资产1中MFU5时，同步传输的资产2中MFU4替换掉已有的资产2中MFU1，这导致资产2中MFU1的不可用，因此在传输资产1中MFU6时，需要同步再次传输资产2中MFU1。

第六十八个实施例：提供传输媒体数据的又一个实施例，为了能够了解并模拟客户端对非对齐时间段知识层数据的管理结果，在传输中需要使用信令消息。

在一种情况下，服务端通过信令消息告知客户端对非对齐时间段知识层数据的最佳存储大小、存储管理方法(例如FIFO(First In Fist Out)、LFU(Least Frequently Used)、LRU(Least Recently Used)等各种可能的存储管理方法)等信息，这需要使用知识层数据缓存模型(Library Buffer Model，LBM)消息，语法定义如下：

相应的语义如下：

message_id：指示该消息为LBM消息。

version：指示LBM消息的版本，客户端可以检查该LBM消息是新消息或旧消息。

length：指示LBM消息的字节长度。

required_buffer_size：指示客户端为了接收该数据，需要准备的知识层数据的缓存的字节大小。

required_buffer_Manage：指示客户端管理知识层数据缓存的方法，例如值为0表示使用FIFO方法，值为1表示使用LFU方法，值为2表示使用LRU方法等等。

在一种情况下，客户端通过信令消息将知识层数据缓存的管理操作反馈给服务端，告知哪些已经传输的知识层数据在客户端已经不可用，从而使得服务端再次传输依赖不可用知识层数据的视频层数据时，能够再次重传知识层数据，这需要使用知识层数据缓存反馈消息，语法定义如下：

相应的语义如下：

message_id：指示该消息为LBM消息。

length：指示LBM消息的字节长度。

unavailable_mfu_number：指示知识层数据缓存中不可用的数据所属的MFU的数目。

asset_id：指示第i个不可用MFU所属的资产编号。

sample_id：指示第i个不可用MFU所属的样本编号。

mfu_id：指示第i个不可用MFU的编号。

第六十九个实施例：该实施例添加了一个新的关系类型，例如在SMT(Smart Media Transport)中，原来只有四种关系类型，分别是依赖关系、组合关系、等同关系和相似关系，相应的flag分别是dependency_flag、composition_flag、equivalence_flag和similarity_flag。本实施例添加的新的关系类型是非对齐时间段的知识库依赖关系类型，对应的flag是library_flag，该关系类型是用来描述当前Asset与非对齐时间段的知识库Asset的依赖关系。相应的语法如表格3所示：

相应的语义如下：

descriptor_tag：用于指示此类型描述符的标签值。

descriptor_length：指示此描述符的字节长度，从下一个字段计算至最后一个字段。

dependency_flag：指示在此描述符中是否需要添加依赖关系。值“0”意味着不需要添加。

composition_flag：指示在此描述符中是否需要添加组合关系。值“0”意味着不需要添加。

equivalence_flag：指示在此描述符中是否需要添加等同关系。值“0”意味着不需要添加。

similarity_flag：指示在此描述符中是否需要添加相似关系。值“0”意味着不需要添加。

library_flag：指示在此描述符中是否需要添加非对齐时间段的知识库依赖关系。值“0”意味着不需要添加。

num_dependencies：指示此描述符所描述的Asset所依赖的Asset的数目。

asset_id：指示此描述符所描述的Asset所依赖的Asset的ID，此描述符中提供的Asset ID顺序与其内部编码依赖层次相对应。

num_compositions：指示与此描述符所描述的Asset有组合关系的Asset的数目。

asset_id：指示与此描述符所描述的Asset有组合关系的Asset的ID。

equivalence_selection_level：指示所对应的Asset在等同关系组中的呈现等级。“0”值表示该Asset被默认呈现。当默认Asset无法被选择时，拥有呈现等级较小的Asset会作为替代被选择和呈现。

num_equivalences：指示与此描述符所描述的Asset有等同关系的Asset的数目。

asset_id：指示与此描述符所描述的Asset有等同关系的Asset的ID。

similarity_selection_level：指示所对应的Asset在相似关系组中的呈现等级。“0”值表示该Asset被默认呈现。当默认Asset无法被选择时，拥有呈现等级较小的Asset会作为替代被选择和呈现。

num_similarities：指示与此描述符所描述的Asset有相似关系的Asset的数目。

asset_id：指示与此描述符所描述的Asset有相似关系的Asset的ID。

num_libraries：指示此描述符所描述的Asset所依赖的非对齐时间段的知识库Asset的数目。

asset_id：指示与此描述符所描述的Asset有非对齐时间段的知识库依赖关系的Asset的ID。

一种实施例提供了处理得到媒体数据的装置：

第三放入单元，用于将所述第一媒体数据中至少两个在时间上不连续的样本标记为一个样本群组，所述至少两个在时间上不连续的样本满足以下条件之一：

又一种实施例提供了处理得到媒体数据的装置：：

一种实施例提供了处理媒体数据的装置：

● 如果第二媒体数据为时序媒体数据，则所述至少两个在时间上不连续的样本定位到的为第二媒体数据中同一组访问单元，并且所述同一组访问单元与所述第一媒体数据的至少两个样本中的至少一个样本的时间段不对齐；或者，

● 如果第二媒体数据为非时序媒体数据，则所述第一媒体数据的所述的两个样本定位到的为同一个第二媒体数据访问单元。

又一种实施例提供了处理媒体数据的装置：

定位单元，用于根据所述依赖元数据，为所述至少两个在时间上不连续的样本中每一个样本分别定位第二媒体数据中的一组访问单元，所述一组访问单元的索引信息包括在所述依赖元数据中；所述第二媒体数据满足以下条件之一：

一种实施例提供了传输媒体数据的装置：

第一提取单元，用于提取所述第一媒体数据媒体分片单元对应的依赖索引信息，所述依赖索引信息为除所述媒体分片单元所属的样本的呈现时间信息以外的信息；

● 如果第二媒体数据为时序媒体数据，则所述的第一媒体数据中所述的至少两个在时间上不连续的样本定位到的为同一个第二媒体数据访问单元，并且所述第二媒体数据访问单元与所述第一媒体数据的至少两个样本中的至少一个样本的时间段不对齐；或者，

一种实施例提供一种处理得到媒体数据的装置：

处理器；

存储器；以及

一个或多个程序用于完成以下方法：

处理器上述处理得到的媒体数据存入存储器。

又一种实施例提供一种处理得到媒体数据的装置：

处理器；

存储器；以及

一个或多个程序用于完成以下方法：

处理器上述处理得到的媒体数据存入存储器。

一种实施例提供一种处理媒体数据的装置：

处理器；

存储器；以及

一个或多个程序用于完成以下方法：

处理器处理存储器存入的媒体数据；

又一种实施例提供一种处理媒体数据的装置：

处理器；

存储器；以及

一个或多个程序用于完成以下方法：

处理器处理存储器存入的媒体数据；

一种实施例提供一种传输媒体数据的装置：

处理器；

存储器；

传输器；以及

一个或多个程序用于完成以下方法：

处理器处理存储器存入的媒体数据；

传输器传输所述提取的第一媒体数据媒体分片单元；

处理器在模拟缓存中查找所述第二媒体数据访问单元；

一种实施例提供了传输媒体数据的装置：

又一种实施例提供了传输媒体数据的装置：

第一包含单元，该包含单元包含至少两个资产，同时还包含一个组织信息(Composition Information,CI)，所述资产包含MPU，每个所述MPU包含媒体数据的一类数据，所述组成信息记录了资产依赖关系信息。

又一种实施例提供了传输媒体数据的装置：

第一定位单元，用于定位参考的MFU所属的所述资产编号。

第二定位单元，用于根据所述第一媒体数据媒体分片单元对应的依赖索引信息，定位第二媒体数据访问单元，所述第二媒体数据访问单元被所述媒体分片单元所属的第一媒体数据样本的编码或解码所参考；其中所述第二媒体数据满足以下条件之一：

又一种实施例提供了传输媒体数据的装置：

同步单元，用于描述MFU之间的依赖关系，其中时序化元数据拥有与所述第一媒体数据相同的非对齐时间段，通过对齐时间段保持时序化元数据和视频层数据的同步，同时，时序化元数据中描述其对应时段需要同步使用的所述第二媒体数据，从而使得所述第一媒体数据间接地与所述第二没提数据相关联。

Claims

一种指定参考图像的方法，其特征在于，所述方法包括：

解码器提取参考映射表中的第一标识信息以获取所述参考映射表中参考索引对应的参考图像编号是否使用至少两种编号规则；

当所述参考映射表中参考索引对应的编号使用至少两种编号规则时，解码器从所述参考映射表中提取至少一个参考索引j对应的第二标识信息以获取所述参考索引j对应的参考图像编号采用的编号规则；

解码器从所述参考映射表中提取所述参考索引j对应的参考图像编号；

当所述参考图像编号采用的编号规则为第一编号规则时，解码器采用与当前图像相同的编号规则来使用所述参考图像编号确定当前图像的参考图像；

当所述参考图像编号采用的编号规则为第二编号规则时，解码器使用所述参考图像编号从解码器外部返回的参考图像信息确定当前图像的参考图像。
根据权利要求1所述方法，其特征在于，所述方法还包括：

解码器从参考映射更新表中获取至少一个参考索引j对应的参考图像编号和第二标识信息；

当所述参考映射更新表中的所述参考索引j存在于所述参考映射表中时，将所述参考映射表中所述参考索引j对应的参考图像编号和第二标识信息替换为从所述参考映射更新表中获取的所述参考索引j对应的参考编号和第二标识信息；

当所述参考映射更新表中的所述参考索引j不存在于所述参考映射表中时，在所述参考映射表中增加从所述参考映射更新表中获取的所述参考索引j及其对应的参考图像编号和第二标识信息。
根据权利要求1所述方法，其特征在于，所述方法还包括：

当解码器使用采用第二编号规则的参考图像编号指向的参考图像对当前图像解码时，解码器将所述参考图像与当前图像的距离设置为非时域距离。
一种处理参考图像请求的方法，其特征在于，所述方法包括：

获取至少一个第一类片段的依赖映射表以获取所述至少一个第一类片段依赖的至少一个参考图像的参考图像编号与所述至少一个参考图像所属的第二类片段的定位信息的映射关系；

接收解码器发送的参考图像请求信息以获取当前图像依赖的至少一个参考图像的参考图像编号，所述当前图像包含在所属第一类片段中；

从所述当前图像所属的第一类片段的依赖映射表中，获取所述参考图像请求信息中的至少一个所述参考图像的参考图像编号指向的参考图像所属的第二类片段的定位信息；

使用所述第二类片段的定位信息向解码器发送所述定位信息指向的所述第二类片段包含的参考图像的信息。
根据权利要求4所述方法，其特征在于，所述方法还包括：

从媒体描述信息中获取至少一个第一类片段的依赖映射表。
根据权利要求4所述方法，其特征在于，使用所述第二类片段的定位信息向解码器发送所述定位信息指向的所述第二类片段包含的参考图像的信息还包括：

在缓存中查找所述第二类片段的所述定位信息指向的第二类片段或所述第二类片段包含的参考图像；

如果所述缓存中存在所述第二类片段或所述第二类片段包含的参考图像，从所述缓存中获取所述第二类片段或所述第二类片段包含的参考图像；

如果所述缓存中不存在所述第二类片段或所述第二类片段包含的参考图像，从服务端下载所述第二类片段。
一种指定参考图像的装置，其特征在于，所述装置包括：

处理器；

存储器；以及

一个或多个程序用于完成以下方法：

处理器提取参考映射表中的第一标识信息以获取所述参考映射表中参考索引对应的参考图像编号是否使用至少两种编号规则；

当所述参考映射表中参考索引对应的编号使用至少两种编号规则时，处理器从所述参考映射表中提取至少一个参考索引j对应的第二标识信息以获取所述参考索引j对应的参考图像编号采用的编号规则；

处理器从所述参考映射表中提取所述参考索引j对应的参考图像编号；

当所述参考图像编号采用的编号规则为第一编号规则时，处理器采用与当前图像相同的编号规则来使用所述参考图像编号确定当前图像的参考图像；

当所述参考图像编号采用的编号规则为第二编号规则时，处理器使用所述参考图像编号从解码器外部返回的参考图像信息确定当前图像的参考图像；

处理器处理的上述参考映射表和参考图像存在于存储器中。
根据权利要求7所述装置，其特征在于，所述装置还包括：

处理器从参考映射更新表中获取至少一个参考索引j对应的参考图像编号和第二标识信息；

当所述参考映射更新表中的所述参考索引j存在于所述参考映射表中时，处理器将所述参考映射表中所述参考索引j对应的参考图像编号和第二标识信息替换为从所述参考映射更新表中获取的所述参考索引j对应的参考编号和第二标识信息；

当所述参考映射更新表中的所述参考索引j不存在于所述参考映射表中时，处理器在所述参考映射表中增加从所述参考映射更新表中获取的所述参考索引j及其对应的参考图像编号和第二标识信息。
根据权利要求7所述装置，其特征在于，所述装置还包括：

当解码器使用采用第二编号规则的参考图像编号指向的参考图像对当前图像解码时，处理器将所述参考图像与当前图像的距离设置为非时域距离。
一种处理参考图像请求的装置，其特征在于，所述装置包括：

处理器；

存储器；

传输器；以及

一个或多个程序用于完成以下方法：

处理器获取至少一个第一类片段的依赖映射表以获取所述至少一个第一类片段依赖的至少一个参考图像的参考图像编号与所述至少一个参考图像所属的第二类片段的定位信息的映射关系；

处理器接收解码器发送的参考图像请求信息以获取当前图像依赖的至少一个参考图像的参考图像编号，所述当前图像包含在所属第一类片段中；

处理器从所述当前图像所属的第一类片段的依赖映射表中，获取所述参考图像请求信息中的至少一个所述参考图像的参考图像编号指向的参考图像所属的第二类片段的定位信息；

传输器使用所述第二类片段的定位信息向解码器发送所述定位信息指向的所述第二类片段包含的参考图像的信息；

处理器处理的上述依赖映射表和参考图像存在于存储器中。
根据权利要求10所述装置，其特征在于，所述装置还包括：

处理器从媒体描述信息中获取至少一个第一类片段的依赖映射表。
根据权利要求10所述装置，其特征在于，所述发送单元还包括：

处理器在缓存中查找所述第二类片段的所述定位信息指向的第二类片段或所述第二类片段包含的参考图像；

如果所述缓存中存在所述第二类片段或所述第二类片段包含的参考图像，处理器从所述缓存中获取所述第二类片段或所述第二类片段包含的参考图像；

如果所述缓存中不存在所述第二类片段或所述第二类片段包含的参考图像，处理器从服务端下载所述第二类片段。
一种处理得到媒体数据的方法，所述方法包括：

在第一媒体轨道中放入第一媒体数据的样本条目，所述第一媒体数据为时序媒体数据，所述样本条目包含指向所述第一媒体数据的样本的元数据；

在第二媒体数据盒中放入第二媒体数据的访问单元条目，所述访问单元条目包含指向所述第二媒体数据的访问单元的元数据，所述第二媒体数据为时序媒体数据或非时序媒体数据；

将所述第一媒体数据中至少两个在时间上不连续的样本标记为一个样本群组，所述至少两个在时间上不连续的样本满足以下条件之一：

如果第二媒体数据为时序媒体数据，所述至少两个在时间上不连续的样本编码或解码参考第二媒体数据中同一组访问单元，所述同一组访问单元和所述至少两个在时间上不连续的样本中至少一个样本在时间上不对齐；如果

第二媒体数据为非时序媒体数据，所述至少两个在时间上不连续的样本编码或解码参考第二媒体数据中同一组访问单元。
根据权利要求13所述方法，所述方法还包括：

如果第二媒体数据为时序媒体数据，在第一媒体轨道中放入指向所述第二媒体数据盒的轨道依赖信息，所述轨道依赖信息包含表明所述同一组访问单元和所述两个在时间上不连续的样本中至少一个样本在时间上不对齐的标识。
根据权利要求13所述方法，所述方法还包括：

在所述第一媒体轨道中放入所述样本群组的描述信息，所述样本群组的描述信息包含表明所述至少两个在时间上不连续的样本编码或解码参考所述同一组访问单元的标识。
一种处理得到媒体数据的方法，所述方法包括：

在第一媒体轨道中放入第一媒体数据的样本条目，所述第一媒体数据为时序媒体数据，所述样本条目包含指向所述第一媒体数据的样本的元数据；

在第二媒体数据盒中放入第二媒体数据的访问单元条目，所述访问单元条目包含指向所述第二媒体数据的访问单元的元数据，所述第二媒体数据为时序媒体数据或非时序媒体数据；

为所述第一媒体数据中至少两个在时间上不连续的样本中每一个样本分别放入各自的依赖元数据，所述至少两个在时间上不连续的样本满足以下条件之一：

如果所述第二媒体数据为时序媒体数据，所述每个样本对应的依赖元数据包含指向所述第二媒体数据中同一组访问单元的索引信息，所述索引信息为除所述第一媒体数据的样本的呈现时间信息以外的信息，所述至少两个在时间上不连续的样本编码或解码参考所述同一组访问单元，所述同一组访问单元和所述至少两个在时间上不连续的样本中至少一个样本在时间上不对齐；如果

第二媒体数据为非时序媒体数据，所述每个样本对应的依赖元数据包含指向所述第二媒体数据中同一组访问单元的索引信息，所述索引信息为除所述第一媒体数据的样本的呈现时间信息以外的信息，所述至少两个在时间上不连续的样本编码或解码参考所述同一组访问单元。
根据权利要求16所述方法，其特征在于，其中为所述第一媒体数据中至少两个在时间上不连续的样本中每一个样本分别放入各自的依赖元数据还包括：

在时序化元数据中放入所述依赖元数据；

在时序化元数据轨道中放入所述时序化元数据的样本条目。
根据权利要求16所述方法，其特征在于，其中为所述第一媒体数据中至少两个在时间上不连续的样本中每一个样本分别放入各自的依赖元数据还包括：

在片段索引数据盒中放入所述依赖元数据。
一种处理媒体数据的方法，所述方法包括：

提取第一媒体数据和第二媒体数据，其中所述的第一媒体数据为时序媒体数据，第二媒体数据为时序媒体数据或非时序媒体数据；

从所述第一媒体数据所属的轨道中提取样本群组，所述样本群组包含至少两个时间上不连续的样本；

根据样本群组的描述信息，为所述至少两个时间上不连续的样本中每一个样本分别定位第二媒体数据中的一组访问单元，所述一组访问单元的索引信息包括在所述样本群组的描述信息中；其中所述第二媒体数据满足以下条件之一：

如果第二媒体数据为时序媒体数据，则所述至少两个在时间上不连续的样本定位到的为第二媒体数据中同一组访问单元，并且所述同一组访问单元与所述第一媒体数据的至少两个样本中的至少一个样本的时间段不对齐；或者，

如果第二媒体数据为非时序媒体数据，则所述第一媒体数据的所述的两个样本定位到的为同一个第二媒体数据访问单元。
根据权利要求19所述方法，所述方法还包括：

如果第二媒体数据为时序媒体数据，从所述第一媒体数据所属的轨道中解析指向所述第二媒体数据所属的数据盒的轨道依赖信息的标识以获得所述同一组访问单元和所述两个在时间上不连续的样本中至少一个样本在时间上不对齐的信息。
根据权利要求19所述方法，所述方法还包括：

从所述第一媒体轨道中的所述样本群组的描述信息中，解析标识以获得所述至少两个在时间上不连续的样本编码或解码参考所述同一组访问单元的信息。
一种处理媒体数据的方法，所述方法包括：

提取第一媒体数据和第二媒体数据，其中所述的第一媒体数据为时序媒体数据，第二媒体数据为时序媒体数据或非时序媒体数据；

从所述第一媒体数据中提取至少两个时间上不连续的样本；

为所述第一媒体数据中至少两个在时间上不连续的样本中每一个样本提取依赖元数据；

根据所述依赖元数据，为所述至少两个在时间上不连续的样本中每一个样本分别定位第二媒体数据中的一组访问单元，所述一组访问单元的索引信息包括在所述依赖元数据中；所述所述第二媒体数据满足以下条件之一：

如果第二媒体数据为时序媒体数据，则所述至少两个在时间上不连续的样本定位到的为第二媒体数据中同一组访问单元，并且所述同一组访问单元与所述第一媒体数据的至少两个样本中的至少一个样本的时间段不对齐；或者，

如果第二媒体数据为非时序媒体数据，则所述第一媒体数据的所述的两个样本定位到的为同一个第二媒体数据访问单元。
根据权利要求22所述方法，其特征在于，其中为所述第一媒体数据中至少两个在时间上不连续的样本中每一个样本提取依赖元数据还包括：

提取时序化元数据轨道中的样本条目指向的时序化元数据；

提取时序化元数据中的依赖元数据。
根据权利要求22所述方法，其特征在于，其中为所述第一媒体数据中至少两个在时间上不连续的样本中每一个样本提取依赖元数据还包括：

从片段索引数据盒中提取所述依赖元数据。
一种传输媒体数据的方法，所述方法包括：

将第一媒体数据切分为媒体分片单元，其中所述的第一媒体数据为时序媒体数据，所述第一媒体数据包括至少两个在时间上不连续的样本；

提取所述第一媒体数据媒体分片单元对应的依赖索引信息，所述依赖索引信息为除所述媒体分片单元所属的样本的呈现时间信息以外的信息；

传输所述提取的第一媒体数据媒体分片单元；

根据所述第一媒体数据媒体分片单元对应的依赖索引信息，定位第二媒体数据访问单元，所述第二媒体数据访问单元被所述媒体分片单元所属的第一媒体数据样本的编码或解码所参考；其中所述第二媒体数据满足以下条件之一：

如果第二媒体数据为时序媒体数据，则所述的第一媒体数据中所述的至少两个在时间上不连续的样本定位到的为同一个第二媒体数据访问单元，并且所述第二媒体数据访问单元与所述第一媒体数据的至少两个样本中的至少一个样本的时间段不对齐；

如果第二媒体数据为非时序媒体数据，则所述第一媒体数据的所述的两个样本定位到的为同一个第二媒体数据访问单元；

在模拟缓存中查找所述第二媒体数据访问单元；

如果所述模拟缓存中不存在所述第二媒体数据访问单元，将所述第二媒体数据访问单元切分为媒体分片单元；

传输所述第二媒体数据访问单元被切分的媒体分片单元。
根据权利要求25所述方法，所述提取所述第一媒体数据媒体分片单元对应的依赖索引信息，其特征还包括：

从包含所述媒体分片单元的分片信息的提示轨道样本中提取所述媒体分片单元对应的依赖索引信息。
根据权利要求25所述方法，所述提取所述第一媒体数据媒体分片单元对应的依赖信息，其特征还包括：

从所述媒体分片单元对应的时序化元数据中提取所述媒体分片单元对应的依赖索引信息。
一种处理得到媒体数据的装置，所述装置包括：

处理器；

存储器；以及

一个或多个程序用于完成以下方法：

处理器在第一媒体轨道中放入第一媒体数据的样本条目，所述第一媒体数据为时序媒体数据，所述样本条目包含指向所述第一媒体数据的样本的元数据；

处理器在第二媒体数据盒中放入第二媒体数据的访问单元条目，所述访问单元条目包含指向所述第二媒体数据的访问单元的元数据，所述第二媒体数据为时序媒体数据或非时序媒体数据；

处理器将所述第一媒体数据中至少两个在时间上不连续的样本标记为一个样本群组，所述至少两个在时间上不连续的样本满足以下条件之一：

如果第二媒体数据为时序媒体数据，所述至少两个在时间上不连续的样本编码或解码参考第二媒体数据中同一组访问单元，所述同一组访问单元和所述至少两个在时间上不连续的样本中至少一个样本在时间上不对齐；如果

第二媒体数据为非时序媒体数据，所述至少两个在时间上不连续的样本编码或解码参考第二媒体数据中同一组访问单元；

处理器上述处理得到的媒体数据存在于存储器中。
一种处理得到媒体数据的装置，所述装置包括：

处理器；

存储器；以及

一个或多个程序用于完成以下方法：

处理器在第一媒体轨道中放入第一媒体数据的样本条目，所述第一媒体数据为时序媒体数据，所述样本条目包含指向所述第一媒体数据的样本的元数据；

处理器在第二媒体数据盒中放入第二媒体数据的访问单元条目，所述访问单元条目包含指向所述第二媒体数据的访问单元的元数据，所述第二媒体数据为时序媒体数据或非时序媒体数据；

处理器为所述第一媒体数据中至少两个在时间上不连续的样本中每一个样本分别放入各自的依赖元数据，所述至少两个在时间上不连续的样本满足以下条件之一：

如果所述第二媒体数据为时序媒体数据，所述每个样本对应的依赖元数据包含指向所述第二媒体数据中同一组访问单元的索引信息，所述索引信息为除所述第一媒体数据的样本的呈现时间信息以外的信息，所述至少两个在时间上不连续的样本编码或解码参考所述同一组访问单元，所述同一组访问单元和所述至少两个在时间上不连续的样本中至少一个样本在时间上不对齐；如果

第二媒体数据为非时序媒体数据，所述每个样本对应的依赖元数据包含指向所述第二媒体数据中同一组访问单元的索引信息，所述索引信息为除所述第一媒体数据的样本的呈现时间信息以外的信息，所述至少两个在时间上不连续的样本编码或解码参考所述同一组访问单元；

处理器上述处理得到的媒体数据存在于存储器中。
一种处理媒体数据的装置，所述装置包括：

处理器；

存储器；以及

一个或多个程序用于完成以下方法：

处理器处理存储器中存在的媒体数据；

处理器提取第一媒体数据和第二媒体数据，其中所述的第一媒体数据为时序媒体数据，第二媒体数据为时序媒体数据或非时序媒体数据；

处理器从所述第一媒体数据所属的轨道中提取样本群组，所述样本群组包含至少两个时间上不连续的样本；

处理器根据样本群组的描述信息，为所述至少两个时间上不连续的样本中每一个样本分别定位第二媒体数据中的一组访问单元，所述一组访问单元的索引信息包括在所述样本群组的描述信息中；其中所述第二媒体数据满足以下条件之一：

如果第二媒体数据为时序媒体数据，则所述至少两个在时间上不连续的样本定位到的为第二媒体数据中同一组访问单元，并且所述同一组访问单元与所述第一媒体数据的至少两个样本中的至少一个样本的时间段不对齐；或者，

如果第二媒体数据为非时序媒体数据，则所述第一媒体数据的所述的两个样本定位到的为同一个第二媒体数据访问单元。
一种处理媒体数据的装置，所述装置包括：

处理器；

存储器；以及

一个或多个程序用于完成以下方法：

处理器处理存储器中存在的媒体数据；

处理器提取第一媒体数据和第二媒体数据，其中所述的第一媒体数据为时序媒体数据，第二媒体数据为时序媒体数据或非时序媒体数据；

处理器从所述第一媒体数据中提取至少两个时间上不连续的样本；

处理器为所述第一媒体数据中至少两个在时间上不连续的样本中每一个样本提取依赖元数据；

处理器根据所述依赖元数据，为所述至少两个在时间上不连续的样本中每一个样本分别定位第二媒体数据中的一组访问单元，所述一组访问单元的索引信息包括在所述依赖元数据中；所述第二媒体数据满足以下条件之一：

如果第二媒体数据为时序媒体数据，则所述至少两个在时间上不连续的样本定位到的为第二媒体数据中同一组访问单元，并且所述同一组访问单元与所述第一媒体数据的至少两个样本中的至少一个样本的时间段不对齐；或者，

如果第二媒体数据为非时序媒体数据，则所述第一媒体数据的所述的两个样本定位到的为同一个第二媒体数据访问单元。
一种传输媒体数据的装置，其特征在于，所述装置包括：

处理器；

存储器；

传输器；以及

一个或多个程序用于完成以下方法：

处理器处理存储器中存在的媒体数据；

处理器将第一媒体数据切分为媒体分片单元，其中所述的第一媒体数据为时序媒体数据，所述第一媒体数据包括至少两个在时间上不连续的样本；

处理器提取所述第一媒体数据媒体分片单元对应的依赖索引信息，所述依赖索引信息为除所述媒体分片单元所属的样本的呈现时间信息以外的信息；

传输器传输所述提取的第一媒体数据媒体分片单元；

处理器根据所述第一媒体数据媒体分片单元对应的依赖索引信息，定位第二媒体数据访问单元，所述第二媒体数据访问单元被所述媒体分片单元所属的第一媒体数据样本的编码或解码所参考；其中所述第二媒体数据满足以下条件之一：

如果第二媒体数据为时序媒体数据，则所述的第一媒体数据中所述的至少两个在时间上不连续的样本定位到的为同一个第二媒体数据访问单元，并且所述第二媒体数据访问单元与所述第一媒体数据的至少两个样本中的至少一个样本的时间段不对齐；或者，

如果第二媒体数据为非时序媒体数据，则所述第一媒体数据的所述的两个样本定位到的为同一个第二媒体数据访问单元；

处理器在模拟缓存中查找所述第二媒体数据访问单元；

处理器如果所述模拟缓存中不存在所述第二媒体数据访问单元，将所述第二媒体数据访问单元切分为媒体分片单元；

传输器传输所述第二媒体数据访问单元被切分的媒体分片单元。