WO2008131636A1

WO2008131636A1 - Procédé de mesure de données multimédia

Info

Publication number: WO2008131636A1
Application number: PCT/CN2008/000421
Authority: WO
Inventors: Rui Chen; Xiujiang Guo; Zhiying Wang; Zhijun Dai; Ning Wang
Original assignee: Zte Corporation
Priority date: 2007-04-29
Filing date: 2008-03-03
Publication date: 2008-11-06

Description

一种多媒体数据的测量方法

技术领域

本发明涉及一种多媒体信息传输和处理技术，具体说，涉及一种多媒体数据的测量方法。

背景技术

随着有线网络和无线网络的发展和用户需求的驱动，多媒体技术和相关的应用得到了越来越多的关注，被认为是未来高速网络的主流应用之一。多媒体应用包括视频应用和音频应用，相对于 Internet的传统应用如 WWW、 E-mail等，对带宽的需求更大。现有的视频和音频等多媒体数据传输釆取了高压缩率的编码技术，这些编码技术利用了视频和音频等多媒体信息在时间、空间和统计上的相关性来进行数据压缩。压缩后的多媒体数据对传输错误非常敏感，特别是现有的有线或者无线网络不提供传输的 QoS ( Quality of Services )保证，数据包的丟失或者延迟不可避免，这都会造成接收端的用户体验质量下降。因此对多媒体服务性能进行监测成为多媒体通信领域的研究热点。

在传统的多媒体服务性能监测方法中，服务器端对多媒体数据进行打包，并将其发送到接收端，期间要经过若干个网络节点。在多媒体数据的传送过程中，多媒体数据包可能会发生延迟或者丟失，造成接收端不能正确接收所有的数据包。此时，接收端通过多媒体解码处理，找到多媒体内容中的错误信息，并将其反馈至服务器端。监测服务器再根据接收到的反馈错误信息，利用多媒体解码器估计出被监测的接收端多媒体数据。将被监测的多媒体数据与参考多媒体数据进行比较，实现多媒体服务性能的监测。

上述方法存在的缺点包括：

一、需要在接收端进行多媒体解码处理，才能将由于网络传输错误引起的多媒体内容中的错误信息反馈给服务器端 , 不利于数字版权的保护。

二、在服务器端进行多媒体服务性能评价时，需要对每个被监测的接收端进行完整的多媒体解码处理。因此当一个服务器端对多个接收端同时进行监测时，会占用大量的计算资源。

发明内容

为了解决上述技术问题，本发明提供了一种多媒体数据的测量方法，应用于包括发送端、接收端和中间网络传输节点的系统，包括如下步骤：

( 1 )构建多媒体数据包，在参考点建立所述多媒体数据包的包序号与对应的多媒体数据之间的索引；

( 2 )根据采样点返回来的丟失多媒体数据包的包序号，以及所述索引中保存的索引数据构建差错多媒体数据；

( 3 )在参考点利用构建的差错多媒体数据和参考多媒体数据进行比较，得出多媒体数据的质量评价结果。

进一步地，上述方法还可具有以下特点，在步骤（ 1 )之前还包括在系统中设置参考点和采样点，所述参考点设置在网络传输节点 A，所述采样点位于网络传输节点 A或之后的任意需要进行服务监测的网络传输节点，参考点和采样点之间存在双向通信通道。

进一步地，上述方法还可具有以下特点，所述多媒体数据包的包序号是编码后多媒体数据发送的序号，在 RTP协议中，多媒体数据包的包序号是 RTP包序号；或者，在 TCP/IP协议中，多媒体数据包的包序号是 IP包序号；或者，在 H.324M协议中，多媒体数据包的包序号是数据帧序号。

进一步地，上述方法还可具有以下特点，步骤（1 ) 中，所述索引中包含数据包号、数据类型和索引数据，所述数据包号表示接收或者发送的多媒体数据包的包序号，所述数据类型表示多媒体数据包类型，所述索引数据表示与数据包号对应的多媒体数据。

进一步地，上述方法还可具有以下特点，步骤（2 ) 中，所述丟失多媒体数据包的包序号通过在釆样点的解码得到。

进一步地，上述方法还可具有以下特点，所述在采样点的解码是在采样点根据多媒体数据包的包序号对接收的数据包进行排序 ,检测数据包的完整性，如有数据包丟失，将其包序号反馈至参考点得到。

进一步地，上述方法还可具有以下特点，所述在采样点的解码是在采样点用多媒体解码器进行多媒体数据解码，如有数据包丟失，将其包序号反馈至参考点得到。

进一步地，上述方法还可具有以下特点，步骤（2 ) 中，根据所述采样点返回来的丟失多媒体数据包的包序号，以及所述索引中保存的信息，区分差错多媒体数据的差错区域和非差错区域。

进一步地，上述方法还可具有以下特点，步骤（2 ) 中，利用找出的所述差错区域和非差错区域，以及所述索引文件中保存的索引数据构建差错多媒体数据。

进一步地，上述方法还可具有以下特点，步骤（3 ) 中，所述参考多媒体数据是指正确解码的多媒体数据，或者是没有错误数据的多媒体数据。

进一步地，上述方法还可具有以下特点，所述数据类型为视频数据时，所述索引数据包括视频参数和视频图像帧的帧号，所述视频参数是指视频序列编码参数信息，所述视频图像帧的帧号是指当前多媒体数据包对应的视频图像帧的序号。

进一步地，上述方法还可具有以下特点，所述视频参数包括图像高、图像宽、视频帧速率或者视频格式；所述宏块信息包括图像块的类型、图像块的编号、图像块的运动信息或者参考帧信息。

进一步地，上述方法还可具有以下特点，所述数据类型为视频数据时，所述索引数据还包含宏块信息和 /或残差信息，所述宏块信息是指用于重建视频图像帧的图像块特征数据，所述残差信息是指图像块内部象素点的预测值和解码值之间的差分数据。

进一步地，上述方法还可具有以下特点，所述数据类型为音频数据时，所述索引数据包含包括音频参数和音频数据帧的帧号，所述音频参数是指音频数据的编码参数，所述音频数据帧的帧号是指当前多媒体数据包对应的音频数据帧的序号。进一步地，上述方法还可具有以下特点，所述音频参数包括语音编码的采样率和采样间隔。进一步地，上述方法还可具有以下特点，步骤（1 ) 中，所述索引中包括包序号、索引项的数据长度、段信息、宏块、块信息或者残差信息。

进一步地，上述方法还可具有以下特点，在参考点按如下方法区分差错区域和非差错区域，依据所述错误多媒体数据包对应的多媒体数据，查找错误多媒体数据包所在数据帧的帧号，该帧号所在数据帧称为错误数据帧，错误数据帧中对应于错误多媒体数据包的区域及后续多媒体数据帧中受该错误多媒体数据包影响的区域为差错区域，其余区域为非差错区域。

进一步地，上述方法还可具有以下特点，在参考点进行多媒体数据的重建时，非差错区域的重建直接从参考多媒体数据的对应位置复制得到，对差错区域，按照视频差错掩盖方法或丟包补偿方法进行重建。

进一步地，上述方法还可具有以下特点，在参考点进行多媒体数据的重建时，非差错区域的重建直接从参考多媒体数据的对应位置复制得到，对差错区域进行重建时，对差错区域直接赋值为 0，或从参考多媒体数据中与错多媒体数据的前一帧对应的位置的数据复制到差错区域，或根据图像的宏块信息和残差信息按照运动补偿方法得到。

进一步地，上述方法还可具有以下特点，步骤（3 ) 中，用有效峰值信噪比方法，对重建的差错多媒体数据和参考多媒体数据计算视频质量监测值，利用所述视频盾量监测值进行比较，进行多媒体服务性能监测。

本发明方法通过建立发送的多媒体数据包的包序号和多媒体数据之间的索引，在多媒体数据传输错误时，返回多媒体数据包的包序号，根据该包序号在索引中查找多媒体数据，进行多媒体数据重建，将重建后多媒体数据与参考多媒体数据进行比较，得到多媒体服务性能的评价指标，方便地实现多媒体服务性能的监测和评价，从而简化了多媒体服务质量评价时的多媒体数据的重建过程，有利于在参考点同时对多个采样点进行多媒体服务性能监测。附图概述

图 1是基于索引和反馈信息的多媒体服务质量评测系统图；

图 2是本发明实施例一索引文件的结构示意图；

图 3是本发明实施例一差错视频序列的重建方法流程图；

图 4是本发明实施例二索引的结构示意图；

图 5是 H.264中的块划分示意图；

图 6是本发明实施例二差错视频序列的重建过程示意图。

本发明的较佳实施方式

本发明通过建立发送的多媒体数据包的包序号和多媒体数据之间的索引，通过索引获得错误多媒体数据的位置，重建视频，从而简化了多媒体服务质量评价时的多媒体数据的重建过程，有利于在参考点对多个采样点进行多媒体服务性能监测。

下面参照附图，对本发明的优选实施例作详细描述。

参照图 1所示，发送端对多媒体数据进行打包，并将其发送到接收端，期间要经过若干个网络传输节点。在系统中设置参考点和釆样点，参考点设置在网络传输节点 A，采样点位于网络传输节点 A或之后的任意需要进行服务监测的网络传输节点，参考点和采样点之间存在双向通信通道。参考点在进行打包过程中要建立发送的多媒体数据包号和多媒体数据之间的索引，即建立发送多媒体数据包的包序号与对应的多媒体数据之间的索引。多媒体数据的传送过程中，多媒体数据包可能会发生延迟或者丟失，造成采样点不能正确接收所有的多媒体数据包。采样点检测得到丢包的包序号，并将其反馈至参考点。参考点根据接收到的丢包的包序号在索引文件中查找该包所包含的多媒体数据的区域，确定非差错区域和差错区域，对非差错区域和差错区域进行不同的重建，得到重建的多媒体数据，与参考多媒体数据（正确解码的多媒体数据 )进行比较，实现多媒体服务性能的监测。

下面以典型的基于 H.264视频编码标准的多媒体视频服务的性能监测为例，进一步描述本发明的性能监测原理和实施方法，但是并不局限于该应用。

在图 1所示的实施例中，视频数据在发送端经符合 H.264视频编码标准的编码器编码后被打成 RTP包，经过网络节点 1和网络节点 2后，到达接收端。由于数据传送网络无法保证服务质量，接收端得到的多媒体数据可能与发送端的数据不一致。发送端到网络节点 1之间、网络节点 1到网络节点 2之间或者网络节点 2到接收端之间都存在数据包丟失的可能。

本发明实施例一的多媒体数据的测量方法如下：

步骤 110,构建基于索引的多媒体数据包，建立索引，并写入索引文件。参考点在发送多媒体码流时进行正常的解码操作，参考点在进行打包过程中要建立发送的多媒体数据包号和多媒体数据之间的索引，即建立发送多媒体数据包的包序号与对应的多媒体数据之间的索引。发送多媒体数据包的包序号是编码后多媒体数据发送的序号，在基于包传输协议的流媒体传送过程中，发送多媒体数据包的包序号是包序号和其他一些重建多媒体数据所需要的信息。在 RTP协议中，发送多媒体数据包的包序号是 RTP包序号。用于建立索引的多媒体信息包括数据包对应的多媒体数据信息。

参考点建立索引并向索引文件写入索引数据，索引文件包含写入的索引数据，最终建立的索引文件结构如图 2所示，但也有可能索引文件中的字段名字和顺序不同。

参照图 2所示，对索引结构作详细描述。

在现有基于块的混合视频编码标准中，索引结构应包含（不限于）以下信息：

( 1 ) 包序号。

为索引关键字，用于标示该包内所包含的多媒体数据。

( 2 ) 索引项的数据长度（可选）。

标示该索引项内包含多少个字节的索引项数据，它可以不包含包序号和其本身的数据长度，其主要用于包的快速查找和索引。 ( 3 )段信息（Segment信息）， Segment在不同的音视频编码标准中表示不同的意思，如 h.263中的宏块组（GOB， Group of Blocks ) ，其它视频标准中的分片 ( Slice )和条带。

它主要包括（但不限于）：每个包内包括 Segment的总数、当前 Segment 的号码（Index ) 、当前 Segment所在的帧号、当前 Segment的类型、当前 Segment所包含的宏块的开始位置、当前 Segment所包含的宏块的结束位置。

( 4 )宏块和块信息。

它主要包括（但不限于）：宏块的地址，宏块的类型，运动矢量，参考帧号。

( 5 ) 残差信息。

表示每个块经反离散余弦变换（IDCT ) 变换后的残差。

步骤 120，在参考点，如果想对某一接收端（即采样点）进行多媒体服务质量进行监测和评价的时候，根据该采样点返回来的丟包的包号，在索引文件中进行查找，根据索引文件中保存的信息，查找该包所包含的多媒体数据在差错帧所在区域，区分差错所在帧的差错区域和非差错区域。

在多媒体视频数据传输过程中建立若干个采样点。在图 1的示例中，分别在网络节点 1、网络节点 2和接收端位置建立采样点 1、采样点 2和采样点 3。在实际应用中，采样点可以在任意的网络节点位置。每个采样点对接收的视频数据包的序号（例如 RTP 包序号）进行判断，然后将错误视频数据包的序号通过反馈信道发送至参考点，参考点根据错误视频数据包的序号可以知道在釆样点进行解码的时候已经丢失了哪些视频信息。

步骤 130, 重建带有差错的多媒体数据，对差错区域和非差错区域使用不同的方法进行重建。

根据釆样点返回来的丢包的包号、索引文件和参考点保存的正确的解码视频文件，在参考点模拟采样点快速重建带有差错的多媒体数据。

根据釆样点反馈过来的丢包的包号和索引文件就能知道釆样点丟失信息在视频中所在的位置，重建差错视频。在重建差错多媒体数据的过程中，只对差错多媒体数据中受差错影响的区域进行部分解码操作，不受差错影响的区域直接从已经正确解码的多媒体数据中拷贝过来填充。所谓部分解码，是指利用索引文件中保存的信息进行多媒体数据重建，不需要从码流文件中读取码流进行完整的解码操作。因此不需要在参考点进行额外的多媒体解码过程处理，从而降低了参考点的资源要求，有利于在参考点对多个采样点的多媒体服务性能进行监测。

参照图 3所示，是用索引文件、正确解码文件和采样点反馈过来的差错信息模拟差错视频重建的过程。

假设两个 I帧之间的视频帧（包含前一个 I帧，不包含后一个 I帧）作为一个图片组（GOP, Group Of Picture ) , 如图所示，将 II、 2Ρ、 3Β、 4Β、

5Ρ 到下一个 I帧之前作为一个 GOP。根据索引文件和丟包的包号在当前 GOP中找到该 GOP中的第一个丢包所在的帧（如图 3中的 3P ) ，从该 GOP的 I帧到该丟包所在帧之前的所有帧没有错误（如图 3中的 II和 2B )，可以从正确解码文件拷贝相应的视频帧到重建视频文件相应的位置。

然后，在丟包所在帧进行一般的错误处理，例如最简单的方法是从前一帧拷贝相应的块到差错位置（如图 3中 3P帧中的黑色部分），对于其它没有错误的位置，则从正确解码文件拷贝相应的图像块填补。

最后，对受该错误影响的后续帧中的错误部分（如图 3中 4B和 5P中的黑色部分），根据其中相应块的运动矢量和和参考帧进行预测得到相应图像块的预测值，加上残差后即为重建的像素块的值，此即为部分解码的方法。对该帧内其它不受错误参考帧影响的部分，则从正确解码的视频中拷贝过来填充，从而模拟采样点的带有差错的解码过程。

步骤 140，服务盾量评价。

对重建的差错多媒体数据和正确解码的多媒体数据进行比较，得到评价结果，可以用有效峰值信噪比（EPSNR， Effective Peak Signal Noise Ratio ) 方法，对重建的差错视频和正确解码视频计算视频质量测量（VQM )值，将该 VQM值作为最终的评价结果。

从上面的叙述可以看出，本发明所描述的过程与传统的基于完整解码一次差错视频的过程相比，可以减少以下计算： 1 ) 不需要处理色度信息； 2 ) 不需要读码流和 VLC解码。 3 )不需要运动矢量的预测。 4 )不需要做 IDCT 变换。 5 )计算复杂度与丟包位置和数量有关，第一次丢包离 I帧越远，计算量越低。

其中，索引文件也可以釆用不同于实施例一的其他结构，下面通过另一实施例进行具体说明。

本发明实施例二具体包含如下步骤：

第一步，建立发送的多媒体数据包的包序号与对应的多媒体信息之间的索引。

发送的多媒体数据包的包序号是编码后多媒体数据发送的序号，在 RTP 协议中，发送的多媒体数据包的包序号是 RTP包序号；在 TCP/IP协议中，发送的多媒体数据包的包序号是 IP包序号；在 H.324M协议中，发送的多媒体数据包的包序号是数据帧序号。多媒体信息可以是压缩后的视频或者音频数据，或者其它数据类型。如图 4所示，建立的索引应包含（不限于）以下信息：

1、数据包号（Packet No. )：表示接收或者发送的多媒体数据包的包序号，该数据包号可以作为索引的检索关键字，检索出需要的多媒体数据。

2、数据类型（Packet Type ) ：表示当前索引的多媒体数据包类型，该数据类型可以是视频或者音频（ Video Type/Audio Type ) 。

3、索引数据（Index Data )：表示与数据包号对应的多媒体数据的特征数据。对于不同的多媒体数据类型（视频或者音频），索引数据的内容也不同。

A、对于视频类型的多媒体数据，其索引数据应包括视频参数、视频图像帧的帧号、宏块信息以及残差信息等。其中宏块信息和残差信息可以作为可选的索引数据内容。 ( 1 )视频参数 ( Video Parameters )是指视频序列编码参数信息，例如图像高、图像宽、视频帧速率、视频格式等内容。

( 2 )视频图像帧的帧号（ Video Frame No. )是指当前多媒体数据包对应的视频图像帧的序号。

当一个视频数据包中包含有多个图像帧时，索引数据应包含有多个图像帧的帧号。

( 3 )宏块信息（Macro_block Information )是指用于重建视频图像帧的图像块特征数据，例如图像块的类型、图像块的编号、图像块的运动信息、参考帧信息等。

当一个视频数据包中包含有多个宏块时，宏块信息应包含有多个宏块的特征数据。一帧图像由多个宏块组成。

( 4 )残差信息（ Residual Information )是指用于重建视频图像帧的特征数据，包括图像块内部的每个象素点的预测值和解码值之间的差分数据。

如图 5所示，以 H.264为例 ,一帧图像 ( Picture )包含多个条带 ( Slice ) , 每个条带包含多个宏块（Macroblock )。其中每个宏块大小为 16 χ 16象素，它又分为 16个 4 x 4象素的子块（Block ) 。在存储宏块信息时需要记录每个宏块在图像中的位置，以及每个子块的运动矢量、子块类型以及参考帧信

以 Η.264为例，当一个宏块包含有 16个 4 x 4象素子块时，需要记录每个 4 x 4子块中的 16个象素的残差信息。

B、对于音频类型的多媒体数据，索引数据应包括音频参数和音频数据帧的帧号。

( 1 )音频参数 ( Audio Parameters )是指音频数据的编码参数。例如语音编码的采样率和采样间隔等。

( 2 )音频数据帧的帧号（ Audio Frame No. )是指当前多媒体数据包对应的音频数据帧的序号。当一个音频数据包中包含有多个音频帧时，索引数据应包含有多个音频帧的帧号。第二步，基于索引数据的多媒体数据的重建。

在索引中，建立了多媒体数据包的包序号与索引数据之间的对应关系，可以根据多媒体数据包的包序号获得索引数据，再根据索引数据重建多媒体数据。

当采样点根据接收到数据状态信息，该数据状态信息包含错误多媒体数据包的包序号，将错误数据包的序号反馈给参考点后，参考点就可以按照索引中多媒体数据包的包序号和索引数据的关系，检索出对应的多媒体信息，从而进行多媒体数据的重建。将重建的多媒体数据与参考多媒体数据进行比较，得到多媒体服务性能评价指标，参考多媒体数据为正确解码的多媒体数据。

具体的多媒体数据重建方法如下：

1、参考点获取多媒体数据包的数据状态信息。

如果釆样点出现丟包情况，该数据状态信息包含所丟数据包的序号。多媒体数据包的状态信息可以通过反馈信道获取。

2、参考点根据该所丢数据包的序号查找索引中的数据包号，根据索引的数据包号检索出对应的索引数据。

3、根据索引数据，重新构建出错的多媒体数据。

若当前数据为视频类型，则进行视频图像重建，具体重建方法如下：

( 1 )根据视频索引数据确定非差错区域和差错区域。

参考点根据所丢数据包的序号查找索引数据，获得所丢数据包所在数据帧的帧号，该帧号所在数据帧称为错误数据帧，错误数据帧中对应于所丟数据包的区域及后续多媒体数据包中受该丟失数据包影响的区域为差错区域，其余区域为非差错区域。

如图 6所示，假设两个 I帧之间的视频帧（包含前一个 I帧，不包含一个 I帧）作为一个图片组 GOP ( Group Of Picture ) ， II , P2， P3, B4, P5,…到下一个 I帧之前为一个 GOP。根据索引数据和丟包信息在当前 GOP 中找到该 GOP中的第一个丢包所在的帧（如图 6中的 P3 ) ，从该 GOP的 I 帧到该丟包所在帧之前的所有帧没有错误（如图 6中的 II和 P2 ) , 是非差错区域。在丟包所在帧（P3 )中，差错区域为黑色部分，对应于丟失数据包所在的位置， P3中的空白部分为非差错区域。对受该错误影响的后续帧中，如 B4、 P5，直到当前 GOP结束，根据其中相应块的运动矢量和参考帧信息，判断差错区域，如 B4、 P5中的条纹部分所示。其它的空白部分为非差错区域。

( 2 )对非差错区域的视频图像进行重建，可以直接从参考视频序列中的对应位置复制得到，参考视频序列是参考点保存的参考多媒体数据，是正确解码的多媒体数据，或者是没有错误数据的多媒体数据，或者是发送端原始发送的多媒体数据。

( 3 )对差错区域的视频图像进行重建，可以对差错区域直接赋值为 0; 也可以从参考视频序列中与差错视频图像对应的视频图像前一帧的对应位置复制得到；也可以根据图像特征数据（宏块信息和残差信息）按照运动补偿方法得到；或者按照其它视频差错掩盖方法得到。

若当前数据为音频类型，则按照音频重建方法进行音频数据重建。

( 1 )根据音频索引数据确定非差错数据和差错数据。

( 2 )对非差错数据进行重建，可以直接从参考音频数据中复制得到。

( 3 )对差错数据进行重建，可以对差错区域直接赋值为 0; 或者按照其它丟包补偿方法得到。

第三步，将重建后的多媒体数据与参考多媒体数据进行比较，得到多媒体服务性能的评价指标。

在得到重建的多媒体数据后，可以将其与参考多媒体数据进行比较，得到多媒体服务性能的评价指标。例如，在对视频服务性能进行评价时，可以使用重建图像和参考图像的峰值信噪比（Peak Signal to Noise Ratio )作为评价指标。

当然，索引的建立不限于本发明所描述的实施方式，也可以采用其他结构，包含其他信息。

综上所述，本发明不需要在参考点进行额外的多媒体解码过程处理，从而降低了参考点的资源要求，有利于在参考点对多个采样点的多媒体服务性能进行监测，从而大大减少了参考点的资源消耗。

工业实用性

本发明方法通过建立发送的多媒体数据包的包序号和多媒体数据之间的索引，在多媒体数据传输错误时，返回多媒体数据包的包序号将重建后多媒体数据与参考多媒体数据进行比较，得到多媒体服务性能的评价指标，通过评价指标能够方便地实现多媒体服务性能的监测和评价。从而简化了多媒体服务质量评价时的多媒体数据的重建过程，有利于在参考点同时对多个采样点进行多媒体服务性能监测。

Claims

权利要求书

1、一种基于索引的多媒体数据的测量方法，应用于包括发送端、接收端和中间网络传输节点的系统，包括如下步骤：

2、如权利要求 1所述的方法，其特征在于，在步骤（ 1 )之前还包括在系统中设置参考点和采样点，所述参考点设置在网络传输节点 A，所述釆样点位于网络传输节点 A或之后的任意需要进行服务监测的网络传输节点，参考点和采样点之间存在双向通信通道。

3、如权利要求 1所述的方法，其特征在于，所述多媒体数据包的包序号是编码后多媒体数据发送的序号，在 RTP协议中，多媒体数据包的包序号是 RTP包序号；或者，在 TCP/IP协议中，多媒体数据包的包序号是 IP 包序号；或者，在 H.324M协议中，多媒体数据包的包序号是数据帧序号。

4、如权利要求 1所述的方法，其特征在于，步骤（ 1 )中，所述索引中包含数据包号、数据类型和索引数据，所述数据包号表示接收或者发送的多媒体数据包的包序号，所述数据类型表示多媒体数据包类型，所述索引数据表示与数据包号对应的多媒体数据。

5、如权利要求 1所述的方法，其特征在于，步骤（2 ) 中，所述丟失多媒体数据包的包序号通过在采样点的解码得到。

6、如权利要求 5所述的方法，其特征在于，所述在采样点的解码是在釆样点根据多媒体数据包的包序号对接收的数据包进行排序，检测数据包的完整性，如有数据包丟失，将其包序号反馈至参考点得到。

7、如权利要求 5所述的方法，其特征在于，所述在采样点的解码是在釆样点用多媒体解码器进行多媒体数据解码，如有数据包丢失，将其包序号反馈至参考点得到。

8、如权利要求 1所述的方法，其特征在于，步骤（2 ) 中，根据所述采样点返回来的丟失多媒体数据包的包序号，以及所述索引中保存的信息, 区分差错多媒体数据的差错区域和非差错区域。

9、如权利要求 8所述的方法，其特征在于，步骤（2 )中，利用找出的所述差错区域和非差错区域，以及所述索引文件中保存的索引数据构建差错多媒体数据。

10、如权利要求 1所述的方法，其特征在于，步骤（3 )中，所述参考多媒体数据是指正确解码的多媒体数据，或者是没有错误数据的多媒体数据。

11、如权利要求 4所述的方法，其特征在于，所述数据类型为视频数据时，所述索引数据包括视频参数和视频图像帧的帧号，所述视频参数是指视频序列编码参数信息，所述视频图像帧的帧号是指当前多媒体数据包对应的视频图像帧的序号。

12、如权利要求 11所述的方法，其特征在于，所述视频参数包括图像高、图像宽、视频帧速率或者视频格式；所述宏块信息包括图像块的类型、图像块的编号、图像块的运动信息或者参考帧信息。

13、如权利要求 4或 11所述的方法，其特征在于，所述数据类型为视频数据时，所述索引数据还包含宏块信息和 /或残差信息，所述宏块信息是指用于重建视频图像帧的图像块特征数据，所述残差信息是指图像块内部象素点的预测值和解码值之间的差分数据。

14、如权利要求 4所述的方法，其特征在于，所述数据类型为音频数据时，所述索引数据包含包括音频参数和音频数据帧的帧号，所述音频参数是指音频数据的编码参数，所述音频数据帧的帧号是指当前多媒体数据包对应的音频数据帧的序号。

15、如权利要求 14所述的方法，其特征在于，所述音频参数包括语音编码的采样率和采样间隔。

16、如权利要求 1所述的方法，其特征在于，步骤（ 1 )中，所述索引中包括包序号、索引项的数据长度、段信息、宏块、块信息或者残差信息。

17、如权利要求 1或 8或 9所述的方法，其特征在于，在参考点按如下方法区分差错区域和非差错区域，依据所述错误多媒体数据包对应的多媒体数据，查找错误多媒体数据包所在数据帧的帧号，该帧号所在数据帧称为错误数据帧 ,错误数据帧中对应于错误多媒体数据包的区域及后续多媒体数据帧中受该错误多媒体数据包影响的区域为差错区域，其余区域为非差错区域。

18、如权利要求 1或 8或 9所述的方法，其特征在于，在参考点进行多媒体数据的重建时，非差错区域的重建直接从参考多媒体数据的对应位置复制得到，对差错区域，按照视频差错掩盖方法或丟包补偿方法进行重建。

19、如权利要求 1或 8或 9所述的方法，其特征在于，在参考点进行多媒体数据的重建时，非差错区域的重建直接从参考多媒体数据的对应位置复制得到，对差错区域进行重建时，对差错区域直接赋值为 0，或从参考多媒体数据中与差错多媒体数据的前一帧对应的位置的数据复制到差错区域，或根据图像的宏块信息和残差信息按照运动补偿方法得到。

20、如权利要求 1所述的方法，其特征在于，步骤（3 ) 中，用有效峰值信噪比方法，对重建的差错多媒体数据和参考多媒体数据计算视频质量监测值，利用所述视频质量监测值进行比较，进行多媒体服务性能监测。