WO2012159485A1

WO2012159485A1 - 数据上报、数据分析方法及装置

Info

Publication number: WO2012159485A1
Application number: PCT/CN2012/072696
Authority: WO
Inventors: 徐国平; 王干; 吴亮
Original assignee: 中兴通讯股份有限公司
Priority date: 2011-05-26
Filing date: 2012-03-21
Publication date: 2012-11-29
Also published as: CN102209347A

Abstract

本发明公开了一种数据上报、数据分析方法及装置。该方法包括，获取到上报用户数据时所采用的策略，其中，策略是根据对用户数据进行分析的需要预先设置的（S102）；在对用户数据进行采集之后，根据策略上报用户数据（S104）。通过本发明解决了在现有技术中不能有效的获取用户数据的问题，进而使网络侧可以有效的得到用户数据。

Description

数据上报、数据分析方法及装置技术领域本发明涉及通信领域，具体而言，涉及一种数据上报、数据分析方法及装置。背景技术随着 3G技术的不断发展，尤其是高速下行分组接入技术（High Speed Downlink Packet Access, 简称为 HSDPA) 高速接入产品的不断部署，移动用户的接入带宽越来越大，在这种情况下，移动网络为用户所能提供的业务的种类也越来也越多，但是，这也给移动核心网络带来了巨大的挑战。例如，对于用户恶意呼叫等。另外，随着业务种类的增多，用户在进行业务时与网络侧设备的交互过程中的数据对于网络的性能的评估、网络的扩容或者网络安全的评估变的日益重要，但是在现有技术中对于用户数据的获取并没有公开一个有效的获取方案。发明内容本发明的主要目的在于提供一种数据上报、数据分析方法及装置，以至少解决上述问题。根据本发明的一方面，提供了一种数据上报方法，包括如下步骤：获取到上报用户数据时所采用的策略，其中，所述策略是根据对所述用户数据进行分析的需要预先设置的；在对所述用户数据进行采集之后，根据所述策略上报用户数据。优选地，对所述用户数据进行采集包括：根据所述策略对所述用户数据进行采集。优选地，所述策略包括：需要上报的用户数据的字段。根据本发明的另一方面，提供了一种数据分析方法，包括如下步骤：根据对所述用户数据进行分析需要的设置并发送策略；接收根据所述策略上报的用户数据；对上报的所述用户数据进行分析。优选地，所述策略包括：需要上报的用户数据的字段。优选地，在根据对所述用户数据进行分析的需要设置所述策略之后，所述方法还包括：根据所述策略中需要上报的用户数据的字段预留存储空间。根据本发明的另一方面，提供了一种数据上报装置，包括：获取模块，设置为获取到上报用户数据时所采用的策略，其中，所述策略是根据对所述用户数据进行分析的需要预先设置的；上报模块，设置为在对所述用户数据进行采集之后，根据所述策略上报用户数据。优选地，该装置还包括：采集模块，设置为根据所述策略对所述用户数据进行采集。优选地，所述策略包括：需要上报的用户数据的字段。根据本发明的另一方面，提供了一种数据分析装置，包括：设置模块，设置为根据对所述用户数据进行分析的需要设置并发送策略；接收模块，设置为接收根据所述策略上报的用户数据；分析模块，设置为对上报的所述用户数据进行分析。通过本发明，采用获取到上报用户数据时所采用的策略，其中，所述策略是根据对所述用户数据进行分析的需要预先设置的；在对所述用户数据进行采集之后，根据所述策略上报用户数据，解决了在现有技术中不能有效的获取用户数据的问题，进而使网络侧可以有效的得到用户数据。附图说明此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：图 1是根据本发明实施例的数据上报方法的流程图；图 2是根据本发明实施例的数据分析方法的流程图；图 3是根据本发明实施例的数据上报装置的结构框图；图 4是根据本发明实施例的数据分析装置的结构框图；图 5是根据本发明实施例的 TIN编码的格式的示意图；图 6是根据本发明实施例的使用 TIN编码后字段的编码结构示意图；图 7是根据本发明优选实施例的数据上报的示意图一；图 8是根据本发明优选实施例的数据上报的示意图二。具体实施方式下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。在本实施例中，通过网元（或称为网元系统）采集用户数据之后，将采集的用户数据上报给数据分析系统，通过这样的处理，数据分析系统就可以对用户数据进行分析，从而网络优化、业务优化、安全保证等提供用户数据的支持。网元系统在上报数据时，可以采用固定字段的方式，即这些字段是不可调整的。是必须采集和上报的。例如，协议类型值、连接数、下行流量、上行流量、持续时长值等均是固定上报的。采用固定上报的方式实现比较容易。但是，在本实施例实施时，发现这样的实施方式会出现问题，例如，网元系统中的数据采集模块会收集记录当前系统中每一个用户的具体详细的信息，然后采集这些要上报的值。如果数据分析系统只关心协议类型值、上行流量、下行流量这三个值时，前台网元系统也会按原来的方式处理，上报全部字段，这时上报这些字段就会浪费带宽资源，虽然，这些字段单个看浪费不是很严重，当运营商有几千万的用户在系统上进行上网时，性能和资源的浪费比较严重了。在本实施例中提供了一种优选的用户数据上报方法，图 1是根据本发明实施例的数据上报方法的流程图，如图 1所示，该方法包括如下步骤：步骤 S102, 获取到上报用户数据时所采用的策略（例如，需要上报的用户数据的字段），该策略是根据对用户数据进行分析的需要预先设置的（例如，可以预先设置一个默认策略），例如，该策略可以是从数据分析系统获取到的，也可以是从其他的网管系统或者网元获取到；步骤 S104, 在对用户数据进行采集之后，根据策略上报用户数据。通过以上步骤，不需要对用户所采集的数据均进行上报，而仅仅根据对用户数据进行分析的需要来进行上报，这样就可以减少对网络带宽的浪费。例如，如果原来需要上报协议类型值、连接数、下行流量、上行流量、持续时长这些值。此时数据分析系统只对协议类型值、上行流量、下行流量字段进行处理，其它的字段不处理，在本优选实施方式中就可以只上报这三个字段，如果不上报连接数、持续时长值，则节省了带宽资源。当然，这是一个方面，从另外一个方面来讲，对用户数据的分析可能也希望采集特定时间段的用户数据，这也是固定采集的方式所无法做到的，通过上述的策略也可以得到解决。在一个优选的实施方式中，根据制定的策略进行上报，可以动态地改变策略。在一个优选的实施方式中，网元对用户的数据进行采集之后，需要进行存储，这就要求数据采集模块在内存中开辟一定的内存空间，为这些要上报的字段划分一定的临时存储空间来存储这些信息。如果数据分析系统只关心协议类型值、上行流量、下行流量这三个值时，假设存储了 5个字段，那么也会带来存储资源的浪费，因此，在采集时也可以根据上述策略来进行采集（需要说明的是，采集策略和上报策略可以是相同的策略，也可以是不同的策略，或者是一个相同的策略的两个不同的部分分别用来指示上报和采集），例如，可以只采集协议类型值、上行流量、下行流量这三个值，从而节约存储空间。当然，目前对用户数据分析不需要的字段并不代表以后用户分析就一定不需要该字段，因此，在采集时，可以适当考虑日后分析的需要多采集一些字段，在存储空间和日后需求之间获得一个适当的平衡。如果策略直接来源于数据分析系统（当然也可以来自于其他网元），那么该策略将直接反应数据分析系统的需求。基于此，在本实施例中还提供了一种数据分析方法，图 2是根据本发明实施例的数据分析方法的流程图，如图 2所示，该方法包括如下步骤：步骤 S202, 根据对用户数据进行分析需要的设置并发送策略；步骤 S204,接收根据该策略上报的用户数据（例如，需要上报的用户数据的字段）; 对上报的用户数据进行分析。通过上述步骤，通过发送制定的策略（例如，可以预先设置一个默认策略）来选择需要上报的数据，相比于现有技术中不进行选择而直接进行上报，避免了上报无用数据造成系统资源浪费的现象。在一优选的实施方式中，在设置的策略中可以是在数据上报的步骤对无用的数据字段进行过滤，也可以选择在对数据采集的阶段对用户不需要的字段就进行过滤。如果考虑到数据分析系统存储空间的问题，可以根据策略中需要上报的用户数据的字段预留存储空间。在本实施例中还提供了一种数据上报装置和数据分析装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的在此不再赘述，下面对该装置中的模块进行说明。如以下所使用的，术语"模块"可以实现预定功能的软件和 /或硬件的组合。尽管以下实施例所描述的系统和方法较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。图 3是根据本发明实施例的数据上报装置的结构框图，如图 3所示，该装置包括获取模块 32和上报模块 34，下面对该装置进行说明。获取模块 32，该模块设置为获取到上报用户数据时所采用的策略，其中，该策略是根据对用户数据进行分析的需要预先设置的；上报模块 34连接至获取模块 32，该模块设置为在对用户数据进行采集之后，根据策略上报用户数据。优选地，该装置还包括：采集模块 36，连接至获取模块 32和上报模块 34，设置为根据策略对用户数据进行采集。图 4是根据本发明实施例的数据分析装置的结构框图，如图 4所示，该装置包括设置模块 42、接收模块 44和分析模块 46，下面对该装置进行说明。设置模块 42，设置为根据对用户数据进行分析的需要设置并发送策略；接收模块

44连接至设置模块 42，该模块设置为接收根据策略上报的用户数据；分析模块 46连接至接收模块 44，该模块设置为对上报的用户数据进行分析。以下结合一个优选实施例进行说明，该优选实施例结合了上述实施例及优选的实施方式。本优选实施例涉及移动通信网中电信系统和网元（单个或多个）之间的数据采集、清洗的方法及装置，尤其涉及移动通信网中网管系统、网元系统与数据分析系统之间的数据采集、清洗的方法及装置。其中的数据分析系统可以进行如下分析：其一，对海量数据进行分析挖掘，从而发现某些潜在的特征。其二，用户行为分析系统，分析移动用户的行为与特征，从而让运营商了解用户的特征行为。本优选实施例提供的模块包括：数据采集模块（功能与采集模块 36相同），数据管理模块（位于数据分析系统内部，功能涉及获取模块 32、上报模块 34和接收模块 44)，数据清洗模块（功能与分析模块 46相同）。在本优选实施例中，网元系统根据数据分析的订阅，可以动态采集订阅数据。数据采集模块根据订阅字段，通知前台网元系统对订阅的字段进行采集。同时，在数据分析系统内部，数据策略模块（功能与设置模块相同）通知数据管理模块，订阅要采集的字段在磁盘（磁阵）上的对应空间。本优选实施例在已有的功能系统上提供了一种采集移动通讯数据的方案：根据预先设置的采集策略，对网元上报的数据字段进行订阅采集、清洗和 /或装载（LOAD) 入库。在上报数据时，可以节省空口资源，在采集数据时可以提高存储空间的利用率，从而提升系统的性能。在本优选实施例中，可以采用类型长度值的（ Type/Length/Value，简称为 ΤΙΛ 方式处理数据。下面对本实施例涉及的 TIN编码进行简单说明。 TIN编码是一种可变格式， TIN 的意思就是： Type类型， Length长度， Value值。例如，图 5是根据本发明实施例的 TIN编码的格式的示意图，如图 5所示，对于一个结构的每一个字段，分别根据类型、长度和值三种类型的信息进行编码。例如，前台网元系统可以上报如下字段，如表 1所示：表 1

定义的结构体类似如下: Struct {

WORD16 wProtocolID WORD 16 dwConnectNum WORD32 dwDlVolum WORD32 dwUlVolum WORD32 dwTimeUsage

} Package Vol Rpt 其原始编码长度为 16个字节。图 6是根据本发明实施例的使用 TIN编码后字段的编码结构示意图，如图 6所示，在 TIN编码后，一个结构就变成图 6中的 37个字节（TYPE按一个字节计算， LENGTH 字段按两个字节计算）。经过 TIN编码以后会导致数据流量的增加（数据量扩大了约 3倍多， 37/10=3.7倍）。网元系统在上报数据时，这些字段是固定的，不可调整的。即这些字段是必须采集和上报的。例如，协议类型值、连接数、下行流量、上行流量、持续时长值是固定上报的。在本优选实施例中，如果不上报连接数、持续时长值，节省了 32%字段上报，明显带来的好处是带宽资源节省了（5+7 ) I ( 5+5+7+7+7 ) * 100%=32%, 存储空间会节省 ( 2+4 ) I C 2+2++4+4+4 ) * 100%=37.5%。图 7是根据本发明优选实施例的数据上报的示意图一，如图 7所示，该数据上报的流程包括以下步骤：步骤 S2，在数据分析系统上的网管系统上配置需要前台网元系统上报的数据，以及清洗策略等，例如，需要上报的 Type值，这样前台网元系统就专注上报符合这些策略控制条件的值（字段），前台网元系统一旦发现条件符合则触发相应的动作发生，使数据上报符合预期。从而确保系统的上报的是数据分析系统所要的。步骤 S4，网元系统采集完成后，根据数据策略上报数据分析系统所需要的字段。如果存在冗余的字段或其它一些条件字段，则可以在这里过滤掉，不再打包、上报给数据分析系统。从而节省了两个系统之间的带宽资源。步骤 S6，数据分析系统根据数据策略，通知数据管理模块，则磁盘空间进行优化处理。对于前台网元系统不上报的字段，则在数据仓库中不进行初始化，不进行存储空间的分配。从而节省的磁盘（磁阵）。上面说明了本实施例的实现步骤，可以按照上面的步骤来实现。当然，根据具体的实现方式不同，具体实现步骤可以有所不同，实现时稍做修改即可。图 8是根据本发明优选实施例的数据上报的示意图二，如图 8所示，用户在数据策略上进行配置，即在数据分析系统上配置前台网元系统要上报的字段，在本优选实施例中，配置如表 2所示字段：表 2

配置完成后，发送消息通知前台网元系统数据管理模块，网元系统获取消息后，得到数据分析系统只关心协议类型值、下行流量、上行流量这些字段，不关心其它字段。然后数据管理模块通知数据采集模块，只采集协议类型值、下行流量、上行量字段，其它的字段，不用采集。这样，数据采集模块就专注处理这三个字段》采集模块、数据管理模板都会节省一定的性能。同时由于上报的字段减少，对于两个系统之间的带宽依赖就减少了。从而节省了网络资源。另外数据分析系统上的数据管理模块，会动态调整磁盘（磁阵），在磁盘（磁阵）上，只开辟这两个字段的存储空间，其它的冗余字段，不再开辟空间。本优选实施例具有如下优点：

( 1 ) 由前台网元系统（例如，前台单板）、数据分析系统共同组成。数据分析系统提供数据采集策略，然后通知网元系统采集需要的数据，数据分析系统根据网元系统数据进行分析。在数据分析系统上提供数据策略机制，数据采集管理机制可以根据需要决定是否需要收集这些字段的信息，如果不关心这些字段，则可以设置网元系统不要采集、上报不关心的字段。从而减少网元系统采集、上报这些无用字段而浪费的性能等。例如，对于资源充裕的运营商，可以多上报一些消息，对于资源紧张的用户（运营商），可以少报一些字段。对于用户（运营商）不关心的数据（字段）前台网元系统不采集、不上报，提升了前台网元系统的数据处理能力，提高了前台网元单板的利用率。从而更专注于原来的处理流程，数据管理模块也无需管理、发送这些数据给数据分析系统，从而节省网元系统和数据分析系统之间的带宽。

(2) 提高数据分析系统的数据清洗能力。由于采用了 TIN格式进行数据传输，因此，前台网元系统不上报的字段，数据管理模块也就不用去解析、清洗。从而有效地提升 ET数据清洗的能力。在另外一个实施例中，还提供了一种软件，该软件用于执行上述实施例及优选实施方式中描述的技术方案。在另外一个实施例中，还提供了一种存储介质，该存储介质中存储有上述软件，该存储介质包括但不限于：光盘、软盘、硬盘、可擦写存储器等。显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

权利要求书

1. 一种数据上报方法，包括：

获取到上报用户数据时所采用的策略，其中，所述策略是根据对所述用户数据进行分析的需要预先设置的；

在对所述用户数据进行采集之后，根据所述策略上报用户数据。

2. 根据权利要求 1所述的方法，其中，对所述用户数据进行采集包括：

根据所述策略对所述用户数据进行采集。

3. 根据权利要求 1或 2所述的方法，其中，所述策略包括：需要上报的用户数据的字段。

4. 一种数据分析方法，包括：

根据对所述用户数据进行分析的需要设置并发送策略；

接收根据所述策略上报的用户数据；

对上报的所述用户数据进行分析。根据权利要求 4所述的方法，其中，所述策略包括：需要上报的用户数据的字段。

6. 根据权利要求 5所述的方法，其中，在根据对所述用户数据进行分析的需要设置所述策略之后，所述方法还包括: 根据所述策略中需要上报的用户数据的字段预留存储空间。

7. 一种数据上报装置，包括：

获取模块，设置为获取到上报用户数据时所采用的策略，其中，所述策略是根据对所述用户数据进行分析的需要预先设置的；

上报模块，设置为在对所述用户数据进行采集之后，根据所述策略上报用户数据。

8. 根据权利要求 7所述的装置，其中，所述装置还包括：采集模块，设置为根据所述策略对所述用户数据进行采集。根据权利要求 7或 8所述的装置，其中，所述策略包括：需要上报的用户数据的字段。一种数据分析装置，包括：

设置模块，设置为根据对所述用户数据进行分析的需要设置并发送策略；接收模块，设置为接收根据所述策略上报的用户数据；

分析模块，设置为对上报的所述用户数据进行分析。