WO2012100537A1

WO2012100537A1 - 辅助视频补充信息承载方法、处理方法、装置与系统

Info

Publication number: WO2012100537A1
Application number: PCT/CN2011/079233
Authority: WO
Inventors: 惠宇; 张园园; 石腾; 张楚雄
Original assignee: 华为技术有限公司
Priority date: 2011-01-28
Filing date: 2011-09-01
Publication date: 2012-08-02
Also published as: CN105100822A; CN102158733B; EP2661090A4; CN102158733A; EP2661090A1; CN105100822B; US20130314498A1

Description

辅助视频补充信息承载方法、处理方法、装置与系统本申请要求于 2011 年 01 月 28 日提交中国专利局、申请号为 201110031704.1、发明名称为"辅助视频补充信息承载方法、处理方法、装置与系统"的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本发明涉及视频技术领域，特别涉及一种辅助视频补充信息承载方法、处理方法、装置与系统。

背景技术

二维视频仅能传送物体的平面信息，用户只能感知物体的高度、宽度、颜色、纹理等；而三维视频还可表达物体的深度信息等信息，用户可感知物体的凹凸、远近距离等。 3D视频可以采用不同的数据格式。二维加辅助视频（ 2d plus auxiliary video )是一种常见的 3D格式。

二维加辅助视频格式具有节省带宽，向后兼容，景深调节等优点，特别是传输时相对于一路视频，带宽只增加 10-20%; 可广泛适用于多种带宽受限的环境。其数据表示包含：二维视频、其辅助视频和辅助视频补充信息（ Auxiliary video supplemental information, AVSI )。三维显示终端在获取到基于二维力口辅助视频格式表示的三维内容时，需要获得二维视频、辅助视频以及辅助视频补充信息。现有技术实现了将二维视频和辅助视频编码生成视频比特流，根据视频比特流的分发接口分发到不同传输系统和媒体介质，并且在 TS传输层通过新增描述符承载辅助视频补充信息。由于辅助视频补充信息的承载需要在传输层或者媒体介质中增加新的承载结构，不同传输系统和媒体介质对应的具体实现方案不同，造成配置成本和适配难度的增加。

发明内容

本发明实施例提供一种辅助视频补充信息承载方法、处理方法、装置与系统，为包含了辅助视频、与所述辅助视频对应的主视频、以及辅助视频补充信息的媒体内容提供了内容分发的通用接口。

一方面，本发明实施例提供一种辅助视频补充信息承载方法，所述方法包括：在视频比特流中承载辅助视频补充信息；将所述视频比特流分发到传输网络生成媒体流或者分发到媒体介质中。另一方面，本发明实施例还提供一种辅助视频补充信息处理方法，所述方法包括：获取视频比特流，所述视频比特流包括辅助视频、与所述辅助视频对应的主视频、以及辅助视频补充信息；解码所述视频比特流，获得所述辅助视频、所述主视频、以及所述辅助视频补充信息；根据所述辅助视频、所述主视频、以及所述辅助视频补充信息进行合成计算并显示。

又一方面，本发明实施例还提供一种媒体内容服务器，所述服务器包括：视频比特流生成单元，用于生成媒体内容的视频比特流，所述媒体内容的视频比特流中承载了所述辅助视频补充信息；视频比特流分发单元，用于将所述视频比特流生成单元生成的述视频比特流分发到传输网络生成媒体流或者分发到媒体介质中。

再一方面，本发明实施例还提供一种媒体内容显示终端，所述终端包括：获取单元，用于获取视频比特流，所述视频比特流包括辅助视频、与所述辅助视频对应的主视频、以及辅助视频补充信息；解码单元，用于解码所述获取单元获取的视频比特流，获得所述辅助视频、所述主视频、以及所述辅助视频补充信息；处理单元，用于根据所述解码单元解码获得的所述辅助视频、所述主视频、以及所述辅助视频补充信息进行合成计算并显示。

还有一方面，本发明实施例还提供一种视频播放系统，所述系统包括：服务器，用于生成媒体内容的视频比特流，在所述视频比特流中承载辅助视频补充信息，将所述视频比特流分发到传输网络生成媒体流或者分发到媒体介质中；终端，用于获取所述服务器生成的所述视频比特流，所述视频比特流包括辅助视频、与所述辅助视频对应的主视频、以及辅助视频补充信息；解码所述视频比特流，获得所述辅助视频、所述主视频、以及所述辅助视频补充信息；根据所述辅助视频、所述主视频、以及所述辅助视频补充信息进行合成计算并显示。

本实施例的方案在对包含了辅助视频，及该辅助视频对应的主视频以及辅助视频补充信息的媒体内容进行编码时，可以将主视频，辅助视频，辅助视频补充信息编码生成视频比特流，再利用视频比特流与传输物理的接口将媒体内容分发到不同的多媒体系统上，从而可以将辅助视频补充信息直接携带于视频比特流进行传输，而不需要针对辅助视频补充信息在运营网络或者媒体介质上增加新的承载结构，降低了内容分发的成本和适配的难度。该方案具有良好的网络亲和性，可

附图说明

图 1为本发明实施例辅助视频补充信息承载方法流程图；

图 2为本发明实施例辅助视频补充信息处理方法流程图；

图 2a为本发明实施例系统的连接关系示意图；

图 3为本发明实施例服务器 10的功能框图；

图 4为本发明实施例服务器 10的视频比特流生成单元 301的细化功能框图之一；

图 5为本发明实施例服务器 10的视频比特流生成单元 301的细化功能框图之二；

图 6为本发明实施例终端 20的功能框图；

图 7为本发明实施例终端 20的解码单元 602的细化功能框图之一；图 8为本发明实施例终端 20的解码单元 602的细化功能框图之二。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例 1 :

本实施例提供了一种辅助视频补充信息承载方法。图 1为该方法的流程图，如图 1所示，该方法包括：

S101、在视频比特流中承载辅助视频补充信息；

S102、将该视频比特流分发到传输网络生成媒体流或者分发到媒体介质中可选地，本实施例的辅助视频补充信息是用于和辅助视频进行合成计算的信息，包括但不限于下述信息中的一种或多种组合：

1、辅助视频类型，不同辅助视频的类型对应各自的补充信息类型，如辅助视频是深度图时，对应补充信息类型为 1 ;

2、辅助视频和与所述辅助视频对应的主视频的空间对应关系，主视频和辅助视频在采样频率不同时，描述两个视频采样点的空间对应关系，通常情况下，主视频中一个像素对应辅助视频的一个像素，为了适当压缩辅助视频，满足低码率传输，可对辅助视频使用子采样；

3、不同类型的辅助视频对应的计算参数。

辅助视频类型众多，种类不同作用也不同。当辅助视频类型是深度图、视差图时，可以应用于三维内容显示；辅助视频类型还可以是描述主视频的透明度信息等等。辅助视频补充信息的定义也随着辅助视频类型的不同而不同。

可选地， S101可以包括：对所述辅助视频和所述辅助视频补充信息进行视频编码，生成辅助视频比特流；对与所述辅助视频对应的主视频进行视频编码，生成主视频比特流。

具体地，当采用 h.264对所述辅助视频和所述辅助视频补充信息进行视频编码时，可以使用所述辅助视频比特流中的 Nal ( Network Abstraction Layer, 网络提取层）单元承载所述辅助视频补充信息。

具体地，当采用 h.264对所述辅助视频和所述辅助视频补充信息进行视频编码时，也可以使用所述辅助视频比特流的 SEI ( Supplemental Enhancement Information,辅助增强信息）Nal单元中的 SEI消息承载所述辅助视频补充信息。

具体地，当采用 mpeg2 ( Motion Picture Expert Group , 活动图像专家组）标准对所述辅助视频和所述辅助视频补充信息进行视频编码时，可以在所述辅助视频比特流中通过用户数据结构承载所述辅助视频补充信息。可选地， S101还可以包括：将所述辅助视频、和所述辅助视频补充信息、和与所述辅助视频对应的主视频联合进行视频编码，生成一路视频比特流。

具体地，当采用 h.264进行所述视频编码，在将所述辅助视频、和所述辅助视频补充信息、和与所述辅助视频对应的主视频联合进行视频编码时，可以使用 Nal单元承载所述辅助视频补充信息。

具体地，当采用 h.264进行所述视频编码，在将所述辅助视频、和所述辅助视频补充信息、和与所述辅助视频对应的主视频联合进行视频编码时，也可以使用 SEI Nal单元中的 SEI消息承载所述辅助视频补充信息。

这种具体的实现方式也将在后续实施例中展开详细的描述。本实施例的方法将辅助视频补充信息直接携带于视频比特流进行传输，将包含了辅助视频，所述辅助视频对应的主视频以及辅助视频补充信息的媒体内容编码生成视频比特流，利用视频比特流与传输物理的接口可将媒体内容直接分发到不同的多媒体系统上，从而为所述媒体内容提供了内容分发的通用接口；对于同一媒体内容，可通过通用接口直接分发到不同的多媒体系统上，而不需要针对辅助视频补充信息在运营网络或媒体介质上增加新的承载结构，降低了内容分发的成本和难度。该方案具有良好的网络亲和性，可适应于各种传输网络上的传输和媒体介质的存储。

实施例 2:

本实施例提供了一种具体的辅助视频补充信息承载方法。本实施例使用 h.2647|载包含了辅助视频，所述辅助视频对应的主视频，以及辅助视频补充信息的媒体内容。 h.264的 Nal单元规范了视频数据的格式，是视频比特流到传输网络或者媒体介质的通用接口，本实施例通过新增一种类型的 Nal单元，该 Nal单元用于在视频比特流中承载辅助视频补充信息。

具体地，本实施例的方法包括：对媒体内容所包含的辅助视频、所述辅助视频对应的主视频、以及辅助视频补充信息进行视频编码，生成视频比特流，该视频比特流中包含了新增的 Nal单元，用于承载辅助视频补充信息；将视频比特流分发到传输网络上或者媒体介质上。这样，终端通过传输网络或者媒体介质获取到该视频比特流时，就可以从视频比特流中获得辅助视频、所述辅助视频对应的主视频、以及辅助视频补充信息，并进行合成计算再显示。根据对主视频和辅助视频所采用的不同编码方式，本实施例又可以细分为以下两种情况。

( 1 ) 第一种情况：将辅助视频和所述辅助视频对应的主视频独立地进行视频编码，得到两路 h.264视频比特流，即主视频比特流和辅助视频比特流，在辅助视频比特流中携带辅助视频补充信息。

h.264编码器输出的视频比特流包括一系列的 Nal单元，提供了编解码器与传输网络或者媒体介质的通用接口。 h.264中定义了多种类型的 Nal单元，可用于承载视频帧，也可承载与视频帧编解码 /显示有关的信息。表 1显示了一个 h.264视频比特流包含的一些 Nal单元及其排列顺序。 Access Unit SPS SEI PPS Slice Nal Slice Nal Unit delimiter Nal Nal Nal Unit Nal Unit Unit (Redundant

Unit Unit ( 辅助 ( 图像 (Primary coded picture ,

(访问单元 (序列增强信参数集 coded 冗余编码图像）分隔符 Nal单参数集息 Nal Nal picture , 基

元） Nal 单单元）单元）本编码图

元）像）

本实施例新增的 Nal单元的内容如表 2所示。 "MPEG C Part-3"标准对辅助视频补充信息进行了定义，定义的结构为 "SI— rbsp", 本实施例以" MPEG C Part 3"定义的补充信息结构 "Si— rbsp"作为本实施例补充信息的一个示例。在辅助视频比特流中，视频帧作为基本编码图像由 Nal单元承载。辅助视频补充信息至少随每个 IDR ( Instantaneous Decoding Refresh解码即时刷新）图像或 RAP (随机接入点 Random access point )传输。具体的 "nal— unit— type"可才艮据 h.264规范的定义使用预留值。

本实施例新增一种 Nal单元，用于在辅助视频比特流中承载辅助视频补充信息。终端在接收到包含了辅助视频和辅助视频补充信息的辅助视频比特流后, 需要将辅助视频补充信息和辅助视频比特流中的基本编码图像 ( primary coded picture )进行合成计算。

( 2 )第二种情况：使用 h.264"Auxiliary Picture"语法，将辅助视频和所述辅助视频对应的主视频进行视频编码生成一路 h.264视频比特流。表 3显示了一个携带 Auxiliary Picture 的 h.264视频比特流包含的一些 Nal单元及其排列顺序。如表 3所示，主视频帧作为基本编码图像由 Nal单元承载，辅助视频帧作为辅助编码图像 ( auxiliary coded picture )由" nal unit type"为 19的 Nal单元承载，根据 h.264的定义，辅助视频和主视频具有相同的大小。 Access SPS SEI PPS Slice Nal Slice Nal Slice Nal

Unit Nal Nal Nal Unit Unit Unit delimiter Unit Unit Unit (Primary (Redundant (Auxiliary

Nal (序歹' J (辅助 ( 图像 coded coded coded

Unit (访问参数增强信参数集 picture , 基 picture , 冗 picture , 辅单元分隔集 Nal 息 Nal Nal 单本编码图余编码图助编码图符 Nal单单元）单元）元）像）像）像）

元）

本实施例新增一种 Nal单元，用于在视频比特流中承载辅助视频补充信息，接收终端需要将辅助视频补充信息和视频比特流中的辅助编码图像进行合成。新增的 Nal单元的格式定义如表 4所示，具体的 "nal— unit— type"可根据 h.264规范的定义使用预留值。

第一种情况中辅助视频补充信息需要和视频流中的基本编码图像进行合成计算，第二种情况中辅助视频补充信息需要和视频流中的辅助编码图像进行合成计算，终端区分两种情况可有多种方式，例如两种情况下 nal_unit_type取值不同，终端可根据承载辅助视频补充信息的 nal_unit_type值来判定，又例如两种情况下 nal_unit_type取值相同，终端可根据该视频流中是否携带了辅助编码图像来判定。

本实施例的方法通过新增的 Nal单元来承载辅助视频补充信息，以实现在视频比特流中携带辅助视频补充信息，该方法为包含了辅助视频，所述辅助视频对应的主视频以及辅助视频补充信息的媒体内容提供了内容分发的通用接口。对于同一媒体内容，可通过通用接口直接分发到不同的多媒体系统上，而不需要针对辅助视频补充信息在运营网络或媒体介质上增加新的承载结构，降低了内容分发的成本和难度。该方案具有良好的网络亲和性，可适应于各种传输网络上的传输和媒体介质的存储。

实施例 3 :

本实施例仍然使用 h.264承载包含了辅助视频，所述辅助视频对应的主视频以及辅助视频补充信息的媒体内容。所不同的是，本实施例的方法是定义新的辅助增强信息 SEI承载辅助视频补充信息。 SEI消息在解码、显示或其它过程中起到辅助作用，如表 1所示，一个 SEI Nal单元可包括一个或多个 SEI消息。通过不同的净荷类型（payload Type ) 区分每个 SEI消息， SEI消息封装在 Nal 单元作为视频比特流的一部分进行传输。

本实施例中，第一种情况是主视频和辅助视频作为两路 h.264视频比特流，在辅助视频比特流中携带辅助视频补充信息。本实施例定义新的 SEI消息携带辅助视频补充信息。

表 5为本实施例定义的一种用于承载辅助视频补充信息的 SEI消息类型，其中 payload Type可取 SEI消息预留的类型值，如 46。表 6为本实施例中新增的 SEI 消息结构的一种具体定义。这里以辅助视频是深度图或者视差图为例定义了辅助视频补充信息，但辅助视频可有多种类型，包括不限于此。表 6中的 "generic_params"描述辅助视频采样点和主视频采样点的空间对应关系，其定义如表 7所示。表 6中的" depth_params"用于和深度图进行合成，计算出视差，其定义如表 8所示。表 6中的" Parallax_params"用于对视差图（记录制作时参考视差）进行转换，计算出观看时的真实视差，其定义如表 9所示。表 6中的 "reserved— si— message"预留扩展其他类辅助视频补充信息的定义。

aux_pic_si(payloadSize ) { 描述符描述信息

is_avsi = FALSE u(l) 辅助视频补充信息的标

志位

auxpicType u(8) 辅助视频的类型 if(auxpicType == 0 II auxpicType

== i ) {

is_avsi = TRUE

generic_params( ) 辅助视频进行子采样时，辅助视频采样点和主视频采样点的空间对应关系

}

if(auxpicType == 0 )

depth—par ams( ) 包含和深度图进行计算的参数

else if(auxpicType == 1 )

parallax_params( ) 包含和视差图进行计算的参数

Else

r eser ved_si_message( payloadSize ) 预留其他类型的辅助视频补充信息的定义

}

表 7:

generic_params( ) { 描述符

else aux_is_interlaced u(l) 辅助视频采样点和主视频两

个场单独对应还是和整个主视频帧的采样点对应

}

position_offset_h u(8) 对辅助视频进行子采样时，

辅助视频采样点和主视频采样点的水平位置偏移值

position_offset_v u(8) 对辅助视频进行子采样时，

辅助视频采样点和主视频采样点的垂直位置偏移值

}

本实施例的第二种情况是将主视频、辅助视频、和辅助视频补充信息联合进行视频编码，生成一路视频比特流。视频比特流中使用辅助增强信息 SEI Nal 单元中的 SEI消息承载辅助视频补充信息，使用基本编码图像单元承载主视频帧，使用辅助编码图像单元承载辅助视频帧。 SEI消息的具体定义的示例可以和第一种情况相同，其中 payload type取值也可以与第一种情况不同。

需要说明的是第一种情况中辅助视频补充信息需要和视频流中的基本编码图像进行合成计算，第二种情况中辅助视频补充信息需要和视频流中的辅助编码图像进行合成计算，终端区分两种情况可有多种方式，例如终端可根据 SEI 消息的 payload type取值不同判定辅助视频补充信息和哪类视频帧进行合成计本实施例的方法通过在 SEI Nal单元中新增的 SEI消息来承载辅助视频补充信息，以实现在辅助视频比特流中携带辅助视频补充信息，该方法为包含了辅助视频，所述辅助视频对应的主视频以及辅助视频补充信息的媒体内容提供了内容分发的通用接口。对于同一媒体内容，可通过通用接口直接分发到不同的多媒体系统上，而不需要针对辅助视频补充信息在运营网络或者媒体介质上增加新的承载结构，降低了内容分发的成本和难度。该方案具有良好的网络亲和性,

实施例 4:

本实施例使用 mpeg2承载包含了辅助视频，所述辅助视频对应的主视频以及辅助视频补充信息的媒体内容。具体方法为：辅助视频和所述辅助视频对应的主视频经过编码生成两路 mpeg2视频比特流，即主视频比特流和辅助视频比特流；相应的，在辅助视频比特流中携带辅助视频补充信息。具体地，可通过扩展用户数据结构来承载辅助视频补充信息。

mpeg2视频比特流分为 6个层次，视频序列层 (Sequence), 图像组层 (Group of Picture, GOP), 图像层 (Picture), 像条层（Slice), 宏块层 (Macro Block)和像块层 (Block), 从一个序列头开始，后面可以任选地跟随一组图头，随后是一个或者多个编码帧。

用户数据（如， user_data ) 结构通常被扩展用于辅助显示，携带如字幕，显示参数等信息，并可位于视频比特流不同层次。 extension_and_user_data(i) 中 i取值不同表示 user_data位于视频比特流的不同位置。如在视频序列层之后的 extension_and_user_data对应的 i为 0 , 在图像层之后的 extension_and_user_data 对应的 i为 2, 具体定义表 10所示。表 10:

extension_and_user_data(i){

while((nextbits()==extension_start_code) II

(nextbits()==user_data_start_code)){

if(nextbits()==extension_start_code)

extension_data(i)

if(nextbits()==user_data_start_code)

user_data()

本实施例通过扩展用户数据结构来携带补充信息， user_data结构如表 11所示, 其中 user_data_identifier是一个全局标识用于区分不同的 user—structure , 如 ATSC注册了 "0x47413934" 标识 ATSC_user_data, 实现了对 user_data多种用途的扩展。为了避免和其他系统扩展的用户数据冲突， user_data_identifier可以使用 MPEG注册值 "0x4D504547"。

表 11 :

表 12定义了 user—structure的一个示例。其中 user_data_type_code用以区 mpeg系统下对 user_data的不同扩展。

表 12:

语法比特格式

位

user—structure () {

user_data_type_code

If ( user_data_type_code 8 无符号

==xx )

{

User_data_type_structure () 8 无符号

}

表 13定义了不同的 user_data_type_code类型区分出扩展的用户数据类型。当 user_data_type_code表示补充信息类型时，对应的扩展用户数据为补充信息。

表 13:

表 14具体定义了辅助视频补充信息的结构，本实施例中具体以" MPEG C Part 3"中定义的补充信息结构" Si— rbsp"作为补充信息的一个示例结构。

表 14:

辅助视频补充信息，为包含了辅助视频，所述辅助视频对应的主视频以及辅助视频补充信息的媒体内容提供了内容分发的通用接口。对于同一媒体内容，可通过通用接口直接分发到不同的多媒体系统上，而不需要针对辅助视频补充信息在运营网络或媒体介质上增加新的承载结构，降低了内容分发的成本和难度。该方案具有良好的网络亲和性，可适应于各种传输网络上的传输和媒体介质的存储。

实施例 5:

本实施例提供了一种辅助视频补充信息处理方法，该方法与实施例 1-4的承载方法相对应。图 2为本实施例方法的流程图。如图 2所示，该方法包括：

S201、获取视频比特流，所述视频比特流包括辅助视频、与所述辅助视频对应的主视频、以及辅助视频补充信息；

S202、解码所述视频比特流，获得所述辅助视频、所述主视频、以及所述辅助视频补充信息；

S203、根据所述辅助视频、所述主视频、以及所述辅助视频补充信息进行合成计算并显示。

可选地，获取的视频比特流包括主视频比特流和辅助视频比特流；此时， S202可以包括：解码所述辅助视频比特流，获得辅助视频和辅助视频补充信息；解码所述主视频比特流，获得主视频。

可选地，获取的视频比特流为一路视频比特流；此时， S202可以包括：解码所述一路视频比特流，获得所述主视频、辅助视频和辅助视频补充信息。

当采用 h.264进行视频解码时，如果获取的视频比特流包括主视频比特流和辅助视频比特流， S202可以具体包括：从所述辅助视频比特流中承载了辅助视频补充信息的 Nal单元中解析获得辅助视频补充信息；也可以从所述辅助视频比特流中承载了辅助视频的 Nal单元中解析获得辅助视频。 S203可以具体包括：将辅助视频补充信息和辅助视频比特流中的基本编码图像进行合成。

当采用 h.264进行视频解码时，如果获取的视频比特流为一路视频比特流， S202还可以具体包括：从该一路视频比特流中承载了辅助视频补充信息的 Nal 单元中解析获得辅助视频补充信息；也可以从所述一路视频比特流中承载了辅助视频的 Nal单元中解析获得辅助视频，以及从所述一路视频比特流中承载了主视频的 Nal单元中解析获得主视频。 S203可以具体包括：将辅助视频补充信息和视频比特流中的辅助编码图像进行合成。当采用 h.264进行视频解码时，如果获取的视频比特流包括主视频比特流和辅助视频比特流， S202还可以具体包括：解码所述主视频比特流以获得主视频；从辅助视频比特流中承载了辅助视频的 Nal单元解析获得辅助视频，从辅助视频比特流中承载了辅助视频补充信息的 SEI Nal单元的 SEI消息中解析获得辅助视频补充信息； S203还可以具体包括：将辅助视频补充信息和辅助视频比特流中的基本编码图像进行合成。

当采用 h.264进行视频解码时，如果获取的视频比特流为一路视频比特流， S202还可以具体包括：从所述一路视频比特流中承载了辅助视频补充信息的 SEI Nal单元的 SEI消息中解析获得辅助视频补充信息；也可以从所述一路视频比特流中承载了辅助视频的 Nal单元中解析获得辅助视频，以及从所述一路视频比特流中承载了主视频的 Nal单元中解析获得主视频。 S203可以具体包括：将辅助视频补充信息和视频比特流中的辅助编码图像进行合成。

当采用 mpeg2标准进行视频解码时，如果获取的视频比特流包括主视频比特流和辅助视频比特流， S202还可以具体包括：解码所述主视频比特流以获得主视频；解码所述辅助视频比特流以获得辅助视频和辅助视频补充信息，其中，具体可以从辅助视频比特流中承载了辅助视频补充信息的用户数据结构中解析获得辅助视频补充信息； S203可以具体包括：将辅助视频补充信息和辅助视频比特流中的视频帧进行合成。

本实施例的方法对包含了辅助视频，所述辅助视频对应的主视频以及辅助视频补充信息的媒体内容提供了内容获取的通用接口；具有良好的网络亲和性, 实施例 6

本实施例提供一种视频播放系统，以实现前述实施例所述的辅助视频补充信息的承载与处理方法。图 2a为该系统的连接关系图，如图 2a所示，该系统包括：服务器 10, 用于生成媒体内容的视频比特流，在所属视频比特流中承载辅助视频补充信息，将所述视频比特流分发到传输网络生成媒体流或者分发到媒体介质中；终端 20, 用于获取所述服务器 10生成的所述视频比特流，所述视频比特流包括辅助视频、与所述辅助视频对应的主视频、以及辅助视频补充信息；解码所述视频比特流，获得所述辅助视频、所述主视频、以及所述辅助视频补充信息；根据所述辅助视频、所述主视频、以及所述辅助视频补充信息进行合成计算并显示。

本实施例的辅助视频补充信息是用于和辅助视频进行合成计算的信息，包括但不限于下面定义的几类信息中的一种或几种：辅助视频类型；辅助视频和与所述辅助视频对应的视频的空间对应关系；不同类型的辅助视频对应的具体计算参数。

图 3为服务器 10的功能框图。如图 3所示，该服务器 10包括：视频比特流生成单元 301 , 用于生成媒体内容的视频比特流，所述媒体内容的视频比特流中承载了所述辅助视频补充信息；视频比特流分发单元 302, 用于将视频比特流生成单元 301生成的视频比特流分发到传输网络生成媒体流或者分发到媒体介质中。

图 4为视频比特流生成单元 301的细化功能框图之一。如图 4所示，视频比特流生成单元 301进一步包括：第一编码单元 401 , 用于对所述辅助视频和所述辅助视频补充信息进行视频编码，生成辅助视频比特流；第二编码 402, 用于对与所述辅助视频对应的主视频进行视频编码，生成主视频比特流。

图 5为视频比特流生成单元 301的细化功能框图之二。如图 5所示，视频比特流生成单元 301或者包括：第三编码单元 501 , 用于将所述辅助视频、和所述辅助视频补充信息、和与所述辅助视频对应的主视频联合进行视频编码，生成一路视频比特流。

第一编码单元 401 , 具体用于采用 h.264进行所述视频编码，在对所述辅助视频和所述辅助视频补充信息进行视频编码时，使用网络提取层 Nal单元承载所述辅助视频补充信息。

第三编码单元 501 , 具体用于采用 h.264进行所述视频编码，在将所述辅助视频、和所述辅助视频补充信息、和与所述辅助视频对应的主视频联合进行视频编码时，使用 Nal单元承载所述辅助视频补充信息。

第一编码单元 401 , 具体用于采用 h.264进行所述视频编码，在对所述辅助视频和所述辅助视频补充信息进行视频编码时，使用辅助增强信息 SEI Nal单元中的 SEI消息承载所述辅助视频补充信息。

第三编码单元 501 , 具体用于采用 h.264进行所述视频编码，在将所述辅助视频、和所述辅助视频补充信息、和与所述辅助视频对应的主视频联合进行视频编码时，使用 SEI Nal单元中的 SEI消息承载所述辅助视频补充信息。

第一编码单元 401 , 具体用于采用 mpeg2标准进行所述视频编码，在对所述辅助视频和所述辅助视频补充信息进行视频编码时，使用用户数据结构承载所述辅助视频补充信息。

图 6为终端 20的功能框图。如图 6所示，终端 20包括：获取单元 601 , 用于获取视频比特流，所述视频比特流包括辅助视频、与所述辅助视频对应的主视频、以及辅助视频补充信息；解码单元 602, 用于解码所述获取单元 601获取的视频比特流，获得所述辅助视频、所述主视频、以及所述辅助视频补充信息；处理单元 603 , 用于根据所述解码单元 602解码获得的所述辅助视频、所述主视频、以及所述辅助视频补充信息进行合成计算并显示。

图 7为解码单元 602的细化功能框图之一。如图 7所示，当获取的视频比特流包括主视频比特流和辅助视频比特流时，本实施例的解码单元 602包括：第一解码单元 701 , 用于解码所述辅助视频比特流，获得辅助视频和辅助视频补充信息；第二解码单元 702, 用于解码所述主视频比特流，获得主视频。

图 8为解码单元 602的细化功能框图之二。如图 8所示，当所获取的视频比特流为一路视频比特流时，本实施例的解码单元 602或者包括：第三解码单元 801 , 用于解码所述一路视频比特流，获得所述主视频、辅助视频和辅助视频补充信息。

具体地，当服务器 10采用 h.264进行视频编码，且将主视频和辅助视频独立地进行视频编码时，终端 20也采用 h.264进行视频解码。此时，第一解码单元 701 ,用于从所述辅助视频比特流中承载了辅助视频补充信息的 Nal单元中解析获得辅助视频补充信息；处理单元 603 , 用于将辅助视频补充信息和辅助视频比特流中的基本编码图像进行合成。

具体地，当服务器 10采用 h.264进行视频编码，且将主视频和辅助视频联合进行视频编码生成一路视频比特流时，终端 20也采用 h.264进行视频解码。此时，第三解码单元 801 , 用于从所述一路视频比特流中承载了辅助视频补充信息的 Nal单元中解析获得辅助视频补充信息；处理单元 603 , 用于将辅助视频补充信息和视频比特流中的辅助编码图像进行合成。具体地，当服务器 10采用 h.264进行视频编码，且将主视频和辅助视频独立地进行视频编码时，终端 20也采用 h.264进行视频解码。此时，第一解码单元 701 , 还用于从辅助视频比特流中承载了辅助视频补充信息的 SEI Nal单元的 SEI消息中解析获得辅助视频补充信息；处理单元 603 ,还用于将辅助视频补充信息和辅助视频比特流中的基本编码图像进行合成。

具体地，当服务器 10采用 h.264进行视频编码，且将主视频和辅助视频联合进行视频编码生成一路视频比特流时时，终端 20也采用 h.264进行视频解码。此时，第三解码单元 801 , 用于解码所述一路视频比特流以获得所述主视频、辅助视频和辅助视频补充信息，其中，具体可以从所述一路视频比特流中承载了辅助视频补充信息的 SEI Nal单元的 SEI消息中解析获得辅助视频补充信息；处理单元 603 , 用于将辅助视频补充信息和视频比特流中的辅助编码图像进行合成。

具体地，当服务器 10当采用 mpeg2标准进行视频编码时，终端 20也采用 mpeg2标准进行视频解码。此时，第一解码单元 701 , 用于从辅助视频比特流中承载了辅助视频补充信息的用户数据结构中解析获得辅助视频补充信息；处理单元 603 ,用于将辅助视频补充信息和辅助视频比特流中的视频帧进行合成。

下面以三维电视系统为例，对本实施例系统的工作原理进行说明，但是下的保护范围进行限定。除了三维电视系统之外的其他视频播放系统，只要能够实现本发明实施例的功能，都在权利要求的保护范围之内。

采用三维电视系统来实现本发明实施例的视频播放过程如下：

( 1 )服务器端制作出三维数据内容。

基于二维加辅助视频格式的三维内容的数据表示包含二维视频、其辅助视频和辅助视频补充信息，例如深度图（depth map)可看作二维视频的一种辅助视频 (auxiliary video)。深度图中一个像素表示一个深度值，一个深度值对应描述二维视频一个像素的深度，使用一个 N位比特的值表示，通常 N取为 8, 深度图可看作一路单色视频进行处理。在三维系统中，由于视差和深度成反比，视差图（parallax map)也是二维视频的一种辅助视频。

使用现有视频编码标准对三维视频内容进行编码并传输。辅助视频种类众多，种类不同，作用也不同，例如辅助视频可以描述主视频的透明度信息用于二维显示，因此辅助视频不限于这里提到的深度图，视差图，透明度图；辅助视频补充信息定义随辅助视频类型的不同而不同。

( 2 )终端从接收到的媒体流或者从媒体介质中获取基于二维加辅助视频格式表示的三维内容。

终端合成基于二维加辅助视频的三维内容，需要根据二维视频和辅助视频计算得到具有视差的左右眼视频帧。首先，根据辅助视频和辅助视频补充信息计算出实际显示视差（例如辅助视频是深度图，根据深度值计算出每个像素的实际显示视差），视差直接反应出用户对深度的感知。对于正视差用户感知到的深度在屏幕后方，对于负视差用户感知到的深度在屏幕前方，零视差位于屏幕上。其次，根据二维视频和各像素的实际显示视差计算得到具有视差的左右眼视频帧。

终端显示时，屏幕上交替或者分离显示左视图和右视图，通过特制的三维目艮镜或者特制的显示系统，让左眼只看左视图、右眼只看右视图，从而让用户对视频内容产生深度知觉。

本实施例的系统将辅助视频补充信息直接携带于视频比特流，为包含了辅助视频、所述辅助视频对应的主视频、以及辅助视频补充信息的媒体内容；对于同一媒体内容，可通过通用接口直接分发到不同的多媒体系统上，而不需要针对辅助视频补充信息在运营网络或媒体介质上增加新的承载结构，降低了内容分发的成本和难度。该方案具有良好的网络亲和性，可适应于各种传输网络上的传输和媒体介质的存储。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体 ( Read-Only Memory , ROM )或随机存储记忆体 ( Random Access Memory, RAM )等。照前述实施例对本发明实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例各实施例技术方案的精神和范围。

Claims

权利要求

1、一种辅助视频补充信息承载方法，其特征在于，所述方法包括：在视频比特流中承载辅助视频补充信息；

将所述视频比特流分发到传输网络生成媒体流或者分发到媒体介质中。

2、根据权利要求 1所述的方法，其特征在于，所述在视频比特流中承载辅助视频补充信息包括：

对所述辅助视频和所述辅助视频补充信息进行视频编码，生成辅助视频比特流；对与所述辅助视频对应的主视频进行视频编码，生成主视频比特流。

3、根据权利要求 1所述的方法，其特征在于，所述在视频比特流中承载辅助视频补充信息包括：

将所述辅助视频、和所述辅助视频补充信息、和与所述辅助视频对应的主视频联合进行视频编码，生成一路视频比特流。

4、根据权利要求 2所述的方法，其特征在于，采用 h.264进行所述视频编码，在对所述辅助视频和所述辅助视频补充信息进行视频编码时，使用网络提取层 Nal单元承载所述辅助视频补充信息。

5、根据权利要求 3所述的方法，其特征在于，采用 h.264进行所述视频编码，在将所述辅助视频、和所述辅助视频补充信息、和与所述辅助视频对应的主视频联合进行视频编码时，使用 Nal单元承载所述辅助视频补充信息。

6、根据权利要求 2所述的方法，其特征在于，采用 h.264进行所述视频编码 ,在对所述辅助视频和所述辅助视频补充信息进行视频编码时，使用辅助增强信息 SEI Nal单元中的 SEI消息承载所述辅助视频补充信息。

7、根据权利要求 3所述的方法，其特征在于，采用 h.264进行所述视频编码，在将所述辅助视频、和所述辅助视频补充信息、和与所述辅助视频对应的主视频联合进行视频编码时，使用 SEI Nal单元中的 SEI消息承载所述辅助视频补充信息。

8、根据权利要求 2所述的方法，其特征在于，采用 mpeg2标准进行所述视频编码，在对所述辅助视频和所述辅助视频补充信息进行视频编码时，使用用户数据结构承载所述辅助视频补充信息。

9、根据权利要求 1-8中任意一项权利要求所述的方法，其特征在于，所述辅助视频补充信息包括下述信息中的一种或多种组合：

辅助视频类型；

辅助视频和与所述辅助视频对应的主视频的空间对应关系；

不同类型的辅助视频对应的计算参数。

10、一种辅助视频补充信息处理方法，其特征在于，所述方法包括：获取视频比特流，所述视频比特流包括辅助视频、与所述辅助视频对应的主视频、以及辅助视频补充信息；

解码所述视频比特流，获得所述辅助视频、所述主视频、以及所述辅助视频补充信息；

根据所述辅助视频、所述主视频、以及所述辅助视频补充信息进行合成计算并显示。

11、根据权利要求 10所述的方法，其特征在于，获取的视频比特流包括主视频比特流和辅助视频比特流；

解码所述视频比特流，获得所述辅助视频、所述主视频、以及所述辅助视频补充信息包括：

解码所述辅助视频比特流，获得辅助视频和辅助视频补充信息；解码所述主视频比特流，获得主视频。

12、根据权利要求 10所述的方法，其特征在于，获取的视频比特流为一路视频比特流；

解码所述一路视频比特流，获得所述主视频、辅助视频和辅助视频补充信息。

13、根据权利要求 11所述的方法，其特征在于，采用 h.264进行所述视频解码；

解码所述辅助视频比特流，获得辅助视频和辅助视频补充信息包括：从所述辅助视频比特流中承载了辅助视频补充信息的网络提取层 Nal单元中解析获得辅助视频补充信息。

14、根据权利要求 12所述的方法，其特征在于，采用 h.264进行所述视频解码；

解码所述一路视频比特流，获得所述主视频、辅助视频和辅助视频补充信息包括：

从所述一路视频比特流中承载了辅助视频补充信息的 Nal单元中解析获得辅助视频补充信息。

15、根据权利要求 11所述的方法，其特征在于，采用 h.264进行所述视频解码；

解码所述辅助视频比特流，获得辅助视频和辅助视频补充信息包括：从所述辅助视频比特流中承载了辅助视频补充信息的辅助增强信息 SEI Nal单元的 SEI消息中解析获得辅助视频补充信息。

16、根据权利要求 12所述的方法，其特征在于，采用 h.264进行所述视频编码；

从所述一路视频比特流中承载了辅助视频补充信息的 SEI Nal单元的 SEI 消息中解析获得辅助视频补充信息。

17、根据权利要求 11所述的方法，其特征在于，采用 mpeg2标准进行所述视频解码；

解码所述辅助视频比特流，获得辅助视频和辅助视频补充信息包括：从所述辅助视频比特流中承载了辅助视频补充信息的用户数据结构中解析获得辅助视频补充信息。

18、一种媒体内容服务器，其特征在于，所述服务器包括：

视频比特流生成单元，用于生成媒体内容的视频比特流，所述媒体内容的视频比特流中承载了辅助视频补充信息；

视频比特流分发单元，用于将所述视频比特流生成单元生成的视频比特流分发到传输网络生成媒体流或者分发到媒体介质中。

19、根据权利要求 18所述的媒体内容服务器，其特征在于，所述视频比特流生成单元包括：

第一编码单元，用于对辅助视频和所述辅助视频补充信息进行视频编码，生成辅助视频比特流；

第二编码单元，用于对与所述辅助视频对应的主视频进行视频编码，生成主视频比特流。

20、根据权利要求 18所述的媒体内容服务器，其特征在于，所述视频比特流生成单元包括：

第三编码单元，用于将辅助视频、和所述辅助视频补充信息、和与所述辅助视频对应的主视频联合进行视频编码，生成一路视频比特流。

21、根据权利要求 19所述的媒体内容服务器，其特征在于，

所述第一编码单元，具体用于采用 h.264进行所述视频编码，在对所述辅助视频和所述辅助视频补充信息进行视频编码时，使用网络提取层 Nal单元承载所述辅助视频补充信息。

22、根据权利要求 20所述的媒体内容服务器，其特征在于，

所述第三编码单元，具体用于采用 h.264进行所述视频编码，在将所述辅助视频、和所述辅助视频补充信息、和与所述辅助视频对应的主视频联合进行视频编码时，使用 Nal单元承载所述辅助视频补充信息。

23、根据权利要求 19所述的媒体内容服务器，其特征在于，

所述第一编码单元，具体用于采用 h.264进行所述视频编码，在对所述辅助视频和所述辅助视频补充信息进行视频编码时，使用辅助增强信息 SEI Nal 单元中的 SEI消息承载所述辅助视频补充信息。

24、根据权利要求 20所述的媒体内容服务器，其特征在于，

所述第三编码单元，具体用于采用 h.264进行所述视频编码，在将所述辅助视频、和所述辅助视频补充信息、和与所述辅助视频对应的主视频联合进行视频编码时，使用 SEI Nal单元中的 SEI消息承载所述辅助视频补充信息。

25、根据权利要求 19所述的媒体内容服务器，其特征在于，

所述第一编码单元，具体用于采用 mpeg2标准进行所述视频编码，在对所述辅助视频和所述辅助视频补充信息进行视频编码时，使用用户数据结构承载所述辅助视频补充信息。

26、一种媒体内容显示终端，其特征在于，所述终端包括：

获取单元，用于获取视频比特流，所述视频比特流包括辅助视频、与所述辅助视频对应的主视频、以及辅助视频补充信息；

解码单元，用于解码所述获取单元获取的视频比特流，获得所述辅助视频、所述主视频、以及所述辅助视频补充信息；

处理单元，用于根据所述解码单元解码获得的所述辅助视频、所述主视频、以及所述辅助视频补充信息进行合成计算并显示。

27、根据权利要求 26所述的终端，其特征在于，当获取的视频比特流包括主视频比特流和辅助视频比特流时，所述解码单元包括：

第一解码单元，用于解码所述辅助视频比特流，获得辅助视频和辅助视频补充信息；

第二解码单元，用于解码所述主视频比特流，获得主视频。

28、根据权利要求 26所述的终端，其特征在于，当所获取的视频比特流为一路视频比特流时，所述解码单元包括：

第三解码单元，用于解码所述一路视频比特流，获得所述主视频、辅助视频和辅助视频补充信息。

29、根据权利要求 27所述的终端，其特征在于，当采用 h.264进行视频解码时：

所述第一解码单元，具体用于从所述辅助视频比特流中承载了辅助视频补充信息的网络提取层 Nal单元中解析获得辅助视频补充信息。

30、根据权利要求 28所述的终端，其特征在于，当采用 h.264进行视频解码时：

所述第三解码单元，具体用于从所述一路视频比特流中承载了辅助视频补充信息的 Nal单元中解析获得辅助视频补充信息。

31、根据权利要求 27所述的终端，其特征在于，当采用 h.264进行视频解码时：

所述第一解码单元，具体用于从所述辅助视频比特流中承载了辅助视频补充信息的辅助增强信息 SEI Nal单元的 SEI消息中解析获得辅助视频补充信息。

32、根据权利要求 28所述的终端，其特征在于，当采用 h.264进行视频解码时；

所述第三解码单元，具体用于从所述一路视频比特流中承载了辅助视频补充信息的辅助增强信息 SEI Nal单元的 SEI消息中解析获得辅助视频补充信息。

33、根据权利要求 27所述的终端，其特征在于，当采用 mpeg2标准进行视频解码时，

所述第一解码单元，具体用于从所述辅助视频比特流中承载了辅助视频补充信息的用户数据结构中解析获得辅助视频补充信息。

34、一种视频播放系统，其特征在于，包括如权利要求 18至 25任一所述的媒体内容服务器，和 /或包括如权利要求 26至 33任一所述的终端。