WO2013000294A1

WO2013000294A1 - 网元日志同步方法和系统

Info

Publication number: WO2013000294A1
Application number: PCT/CN2012/072354
Authority: WO
Inventors: 宋奇兵
Original assignee: 中兴通讯股份有限公司
Priority date: 2011-06-30
Filing date: 2012-03-15
Publication date: 2013-01-03
Also published as: CN102855249A

Abstract

本发明提供了一种网元日志同步方法和系统。涉及电信网络管理与维护；解决了现有网元日志文件同步过程通信复杂性高、可靠性低的问题。该方法包括：登录待同步网元的网元FTP服务器；从所述网元FTP服务器中获取所述网元的网元日志文件，执行网元日志同步。本发明提供的技术方案适用于网管网络，实现了高效高可靠性的网元日志同步。

Description

网元日志同步方法和系统

技术领域

本发明涉及到电信网络管理与维护，尤其涉及一种网元日志同步方法和系统。

背景技术

能够同步并处理网元日志文件是一个网管软件必备的基本功能，网元曰志文件记录了网元设备运行过程中的异常信息、运行信息以及操作信息，便于设备提供商进行故障定位，为设备的可靠性分析提供数据基础。

目前，同步网元日志文件的通常做法是网管通过简单网络管理协议 ( Simple Network Management Protocol , SNMP )直接下发同步命令，网元有两种方法响应：一是网元先将日志文件更名以便与其它网元日志文件区分，一般加上 IP地址或者网元名称为前缀，将更名后的文件上传至网管文件传输协议（ File Transfer Protocol, FTP )服务器的某个指定的统一目录下；另外一种就是网元不必更改日志文件名称，直接通过 FTP 方式将文件上传至网管 FTP服务器上指定的独立目录下，目录名称为网元 IP地址或网元名称。后一种方法要求下发的同步命令参数中包含日志文件的存放目录。批量处理时先将同步命令下发至所有网元，等待所有网元都上传完毕后再进行集中解析所有文件。

上述做法在以下缺点：

网管首先需要通过 SNMP给网元下发同步日志文件命令，网元响应命令时需要登录网管服务器通过 FTP上传日志文件，每次交互均使用到两种通信方式，提高通信复杂性，使得通信可靠性降低。发明内容

本发明提供了一种网元日志同步方法和系统，解决了现有网元日志文件同步过程通信复杂性高、可靠性低的问题。一种网元日志同步方法，包括：

登录待同步网元的网元 FTP服务器；

从所述网元 FTP服务器中获取所述网元的网元日志文件，执行网元曰志同步。

优选的，从所述网元 FTP服务器中获取所述网元的网元日志文件，执行网元日志同步的步骤包括：

确定所述网元 FTP服务器中较上一次网元日志同步时新增的网元日志文件；

获取所述新增的网元日志文件。

优选的，所述确定所述网元 FTP服务器中较上一次网元日志同步时新增的网元日志文件为：

将上一次网元日志同步时同步的网元日志名与当前所述网元 FTP服务器中的网元日志名进行对比，上一次网元日志同步时同步的网元日志名中所没有的网元日志文件即为所述网元 FTP服务器中新增的网元日志文件。

优选的，所述登录待同步网元的网元 FTP服务器的步骤之前，还包括：在多网元批量进行网元日志同步时，建立线程池；

为各个待同步网元分别建立一同步任务，将同步任务放入所述线程池的任务队列中；

按照所述任务队列的次序，依序对待同步网元执行日志同步。

优选的，上述网元日志同步方法还包括：

在所述网元 FTP服务器不可用时，依据 SNMP向所述待同步网元发送命令，指示所述待同步网元回复所述网元 FTP上全部网元日志文件的名称；将上一次网元日志同步时同步的网元日志名与当前所述网元 FTP服务器中的网元日志名进行对比，上一次网元日志同步时同步的网元日志名中所没有的网元日志文件即为所述网元 FTP服务器中新增的网元日志文件；

向所述网元发送 SNMP指示，指示所述网元 FTP服务器返回新增的网元日志文件。优选的 , 所述从所述网元 FTP服务器中获取所述网元的网元日志文件 , 执行网元日志同步的步骤之后，还包括：

将所述网元的标识号（ID )作为该网元对应的网元日志文件名称前缀，创建网元日志文件名称数据库表存储已同步的网元日志文件名称。

本发明还提供了一种网元日志同步方法，包括：

接受网管登录本地的网元 FTP服务器；

根据所述网管的指示，向所述网管同步所述本地网元 FTP服务器上的网元日志文件。

优选的，上述网元日志同步方法还包括：

接收所述网管发送的指示回复所述本地的网元 FTP服务器上全部网元日志文件名称的命令，向所述网管上报所述本地的网元 FTP服务器上全部网元日志文件的名称；

接收所述网管发送的上传网元日志文件的 SNMP指示，向所述网管上传其在该 SNMP指示中指定的网元日志文件。

本发明还提供了一种网元日志同步系统，该系统包括网管和该网管下至少一个网元；

所述网管，其设置为：登录待同步网元的网元 FTP服务器，并从所述网元 FTP服务器中获取所述网元的网元日志文件，执行网元日志同步；

所述网元，其设置为：接受网管登录本地的网元 FTP服务器，并根据所述网管的指示，向所述网管同步所述本地网元 FTP服务器上的网元日志文件。

优选的，所述网管还设置为：在所述网元 FTP服务器不可用时，依据 SNMP向所述待同步网元发送命令，指示所述待同步网元回复所述网元 FTP 上全部网元日志文件的名称，将上一次网元日志同步时同步的网元日志名与当前所述网元 FTP服务器中的网元日志名进行对比，上一次网元日志同步时同步的网元日志名中所没有的网元日志文件即为所述网元 FTP服务器中新增的网元日志文件，并向所述网元发送 SNMP指示，指示所述网元 FTP服务器返回新增的网元日志文件；

所述网元还设置为：接收所述网管发送的指示回复所述本地的网元 FTP 服务器上全部网元日志文件名称的命令，向所述网管上报所述本地的网元 FTP服务器上全部网元日志文件的名称，并在其后接收所述网管发送的上传网元日志文件的 SNMP指示，向所述网管上传其在该 SNMP指示中指定的网元日志文件。

优选的，所述网管还设置为：在多网元批量进行网元日志同步时，建立线程池，为各个待同步网元分别建立一同步任务，将同步任务放入所述线程池的任务队列中，按照所述任务队列的次序，依序对待同步网元执行日志同步。

本发明实施例提供了一种网元日志同步方法和系统，网管登录待同步网元的网元 FTP服务器 ,并从所述网元 FTP服务器中获取所述网元的网元曰志，执行网元日志同步，仅通过 FTP服务器就完成了网元日志文件的同步，降低了网络的复杂度，解决了现有网元日志文件同步过程通信复杂性高、可靠性低的问题。附图概述

图 1为本发明的实施例一提供的一种网元日志同步方法的流程图；图 2为图 1中步骤 104的具体流程图；

图 3为本发明的实施例二中处理同步网元日志总体流程图；

图 4为为本发明实施例中同步日志执行线程的业务流程图。本发明的较佳实施方式

现有的网元日志文件同步过程中，网管首先需要通过 SNMP给网元下发同步日志文件命令，网元响应命令时需要登录网管服务器通过 FTP上传曰志文件，每次交互均使用到两种通信方式，提高通信复杂性，使得通信可靠性降低。

此外，当网元 IP地址发生变化或者网元名称发生重复时，以网元 IP地址或网元名称作为日志文件命名前缀或者目录名称时会造成文件读写错误；每次同步网元日志文件釆用全新同步获取所有日志文件，当网元拥有众多数量的日志文件时，全新同步与解析文件非常浪费带宽及系统资源；批量同步时，当网管下接网元数量众多时，所有网元同时上传日志文件时会产生文件上传风暴，给网管性能带来冲击。

为了解决上述问题，本发明的实施例提供了一种网元日志同步方法和系统。下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

首先结合附图，对本发明的实施例一进行说明。

本发明实施例提供了一种网元日志同步方法，使用该方法完成网元日志文件向网管同步的流程如图 1所示，包括：

步骤 101、网管在多网元批量进行网元日志同步时，建立线程池；本发明实施例中，网管收到网元日志同步命令后，若为多网元批量同步则建立线程池，基于多线程机制来处理批量网元同步命令，为每个网元建立一个同步任务，放入线程池任务队列中；若为单个网元则开启新线程执行同步任务。

本发明实施例中，线程池最大线程数 N决定网管同时进行日志同步并处理的网元数量，避免所有网元同时上传文件时产生上传风暴，故，可根据当前网络^载能力和网元日志同步的规模适当的确定 N值，以使得在不影响网络质量和正常业务的情况下，高效稳定的完成网元日志同步。

步骤 102、网管按照所述任务队列的次序，依序对待同步网元执行曰志同步；判断 FTP服务器是否可用，如果可用，执行步骤 103; 如果不可用，执行步骤 105;

步骤 103、登录待同步网元的网元 FTP服务器；

本步骤中，每个同步线程中，网管直接登录网元 FTP服务器；网元亦已开启了网元 FTP服务器并且存放了网元日志文件。网管由网元 FTP服务器中获取网元当前所有日志文件的文件名称，然后釆用增量方式获取日志文件。

步骤 104、从所述网元 FTP服务器中获取所述网元的网元日志文件，执行网元日志同步；

本步骤可以获取当前网元 FTP服务器中的网元日志文件；优选的，还可部分获取，以进一步降低网络压力，具体如图 2所示，包括：

步骤 1041、确定所述网元 FTP服务器中较上一次网元日志同步时新增的网元日志文件；

具体的，将上一次网元日志同步时同步的网元日志名与当前所述网元 FTP服务器中的网元日志名进行对比，上一次网元日志同步时同步的网元日志名中所没有的网元日志文件即为所述网元 FTP服务器中新增的网元日志文件。

步骤 1042、获取所述新增的网元日志文件；

本步骤中，网管指示网元将步骤 1041确定的新增的网元日志文件上传至网管 FTP服务器，具体的，通过 FTP GET操作获取文件到网管 FTP服务器上指定的统一目录下，文件名称釆用网元 ID号作为前缀，完成网元日志同步。所述网元 ID 号指在网管系统中新建网元时分配给该网元区分与其它网元的唯一标识，如 "mw.nr8250=12" 、 "mw.nr8250=80" 等， ID号中等号后的数值由 1向上递增且不重复。

在网元日志同步完成后，网管保存同步得到的所有网元日志文件名称，具体方法为：在网管数据库中维护一张网元日志文件名称表，包含网元 ID号与日志文件名称两个字段，记录所有网元上的日志文件名称。

对于步骤 104, 如果获取成功，同步结束，若网元 FTP服务器损坏或不可用导致获取日志文件失败，则需要依赖其他手段，如 SNMP, 来完成网元曰志同步，进入步骤 105。

步骤 105、在所述网元 FTP服务器不可用时，网管依据 SNMP向所述待同步网元发送命令，指示所述待同步网元回复所述网元 FTP上全部网元日志文件的名称；本步骤中，通过 SNMP向网元下发同步日志命令，等待网元反馈当前所有日志文件名称。

步骤 106、网元接收所述网管发送的指示回复所述本地的网元 FTP服务器上全部网元日志文件名称的命令，向所述网管上报所述本地的网元 FTP服务器上全部网元日志文件的名称；

步骤 107、网管将上一次网元日志同步时同步的网元日志名与当前所述网元 FTP服务器中的网元日志名进行对比，上一次网元日志同步时同步的网元曰志名中所没有的网元日志文件即为所述网元 FTP服务器中新增的网元曰志文件；

步骤 108、网管向所述网元发送 SNMP指示，指示所述网元 FTP服务器返回新增的网元日志文件；本步骤中，将新增的网元日志文件名称、网元 ID号、网管 FTP参数（IP、用户名、密码、目录）通过 SNMP下发至网元，以指定网元上传网管所指定的网元日志文件。

步骤 109、网元接收所述网管发送的上传网元日志文件的 SNMP指示，向所述网管上传其在该 SNMP指示中指定的网元日志文件；

本步骤中，网元响应命令，登录网管 FTP服务器，将新增的文件上传至指定目录，文件名称以网元 ID号作为前缀。

优选的，网元在上传完所有的日志文件后，向网管发送 trap消息 4艮告传送结果， trap消息中包含本次成功传送文件名称。

下面结合附图，对本发明的实施二进行详细说明。

为了解决现有网元日志文件同步过程通信复杂性高、可靠性低的问题，本发明实施例提供了一种网元日志同步方法。

图 3为本发明处理同步网元日志总体流程，包括以下步骤：

步骤 301、用户向网管发起日志同步命令或者定时器任务自动发起，网管接受命令并开始处理；步骤 302、判断是多网元批量同步还是单网元同步；多网元批量同步，执行步骤 303 , 否则，执行步骤 306;

步骤 303、多网元批量同步操作：在主线程中建立一个线程池，并且为每一个网元建立一个同步任务，将任务放入线程池的任务队列中等待执行。线程池拥有的线程数决定进行同时处理同步任务的网元数量；

步骤 304、主线程休眠 100ms, 等待所有同步任务执行完毕；

步骤 305、主线程完成休眠，判断所有的同步任务是否已经执行完毕，如果完毕则结束本次同步操作，否则返回步骤 304, 继续休眠等待；

步骤 306、单网元同步操作：主线程中启动新线程执行同步任务，并等待；

步骤 307、同步线程执行完毕，返回主线程，结束本次同步操作。

在网元日志同步任务的顺序确定后，即可执行网元日志同步。图 4为本发明实施例中同步日志执行线程的业务流程，包括以下步骤：

步骤 401、登录网元 FTP服务器。

步骤 402、判断网元 FTP服务器是否可以正常使用，若正常则进入步骤

403 , 登录网元 FTP直接获取文件的分支流程，若不可用则釆用 SNMP下发同步命令、网元上传日志文件至网管 FTP服务器的分支流程，转入步骤 406。

步骤 403、网元 FTP可用，获取网元当前所有日志文件名称。

步骤 404、从网元日志文件名称数据库表中读取该网元上次同步时所有的日志文件名称并进行校对，得到新增的文件名称。

步骤 405、利用 get操作从网元 FTP服务器上获取新增的日志文件，存放在网管一个统一的路径下，文件命名以网元 ID号作为前缀，保证文件名绝对唯一。

在网元 FTP服务器不可用的情况下，仍需要通过 SNMP来完成网元日志同步，具体流程如下：

步骤 406、在网元 FTP不可用的情况下：通过 SNMP命令下发同步命令，要求网元在接受命令后通过 SNMP反馈当前所有日志文件名称。步骤 407、判断网元是否反馈了当前所有日志文件名称，如果反馈成功，执行步骤 408, 如果反馈失败则结束同步。

步骤 408、从网元日志文件名称数据库表中读取该网元上次同步时所有的日志文件名称，与网元反馈回来的文件名称进行校对，得到新增的文件名称。

步骤 409、通过 SNMP将新增的网元日志文件名称、网管给网元分配的网元 ID号、网管 FTP服务器参数（IP地址、用户名、密码、文件存放路径）下发给网元。

步骤 410、网元登录网管 FTP服务器，将新增的日志文件上传至指定的存放目录下，文件命名以网元 ID号作为前缀。

步骤 411、网管判断网元日志文件是否上传成功；如果成功，执行步骤 412, 否则结束同步。

网元将所有日志文件上传至网管服务器后，给网管上报一个文件传送结果的 trap消息， trap消息中包含本次成功传送文件名称。

步骤 412、将本次获取的网元日志文件名称更新到数据库日志文件名称表中。

步骤 413、解析获取的日志文件，将日志内容入库；解析完毕后删除文件记录，结束同步线程。

下面，对本发明的实施例三进行说明。

本发明实施例提供了网元日志同步系统，该系统包括网管和该网管下至少一个网元；

所述网管，用于登录待同步网元的网元 FTP服务器，并从所述网元 FTP 服务器中获取所述网元的网元日志文件，执行网元日志同步；

所述网元，用于接受网管登录本地的网元 FTP服务器，并根据所述网管的指示，向所述网管同步所述本地网元 FTP服务器上的网元日志文件。

优选的，所述网管，还用于在所述网元 FTP服务器不可用时，依据 SNMP 向所述待同步网元发送命令 , 指示所述待同步网元回复所述网元 FTP上全部网元日志文件的名称，将上一次网元日志同步时同步的网元日志名与当前所述网元 FTP服务器中的网元日志名进行对比，上一次网元日志同步时同步的网元日志名中所没有的网元日志文件即为所述网元 FTP服务器中新增的网元日志文件，并向所述网元发送 SNMP指示，指示所述网元 FTP服务器返回新增的网元日志文件；

对应的，所述网元，还用于接收所述网管发送的指示回复所述本地的网元 FTP服务器上全部网元日志文件名称的命令，向所述网管上报所述本地的网元 FTP服务器上全部网元日志文件的名称，并在其后接收所述网管发送的上传网元日志文件的 SNMP指示，向所述网管上传其在该 SNMP指示中指定的网元日志文件。

优选的，所述网管，还用于在多网元批量进行网元日志同步时，建立线程池，为各个待同步网元分别建立一同步任务，将同步任务放入所述线程池的任务队列中，按照所述任务队列的次序，依序对待同步网元执行日志同步。

本发明的实施例提供的网元日志同步系统，能够与本发明的实施例所提供的网元日志同步方法相结合，网管登录待同步网元的网元 FTP服务器，并从所述网元 FTP服务器中获取所述网元的网元日志，执行网元日志同步，仅通过 FTP服务器就完成了网元日志文件的同步，降低了网络的复杂度，解决了现有网元日志文件同步过程通信复杂性高、可靠性低的问题。

本发明实施例中，向网管同步网元日志文件的操作以增量同步文件方式进行，大大节省了同步日志文件所需要的网络流量，同时也节省因解析曰志文件带来的系统开销；而釆用本发明基于线程池的多线程机制来批量处理同步网元日志命令，则实现了同时处理固定数量的网元，避免了文件上传风暴造成对系统的冲击。

此外，网管优先直接登录网元 FTP获取日志文件，避免 SNMP与 FTP配合使用提高通信复杂度和降低可靠性，后者用于保证网管在网元 FTP服务器不可用的情况下获取到日志文件；将网元 ID号作为日志文件名前缀，可以绝对保证文件名称的唯一性。本领域普通技术人员可以理解上述实施例的全部或部分步骤可以使用计算机程序流程来实现，所述计算机程序可以存储于一计算机可读存储介质中，所述计算机程序在相应的硬件平台上（如系统、设备、装置、器件等）执行，在执行时，包括方法实施例的步骤之一或其组合。

可选地，上述实施例的全部或部分步骤也可以使用集成电路来实现，这些步骤可以被分别制作成一个个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

上述实施例中的各装置 /功能模块 /功能单元可以釆用通用的计算装置来实现，它们可以集中在单个的计算装置上，也可以分布在多个计算装置所组成的网络上。

上述实施例中的各装置 /功能模块 /功能单元以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。上述提到的计算机可读取存储介质可以是只读存储器，磁盘或光盘等。

任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求所述的保护范围为准。

工业实用性本发明实施例提供了一种网元日志同步方法和系统，网管登录待同步网元的网元 FTP服务器 ,并从所述网元 FTP服务器中获取所述网元的网元曰志，执行网元日志同步，仅通过 FTP服务器就完成了网元日志文件的同步，降低了网络的复杂度，解决了现有网元日志文件同步过程通信复杂性高、可靠性低的问题。

Claims

权利要求书

1、一种网元日志同步方法，包括：

登录待同步网元的网元文件传输协议（FTP )服务器；

2、根据权利要求 1 所述的网元日志同步方法，其中，从所述网元 FTP 服务器中获取所述网元的网元日志文件，执行网元日志同步的步骤包括：确定所述网元 FTP服务器中较上一次网元日志同步时新增的网元日志文件；

获取所述新增的网元日志文件。

3、根据权利要求 2所述的网元日志同步方法，其中，所述确定所述网元 FTP服务器中较上一次网元日志同步时新增的网元日志文件为：

4、根据权利要求 1所述的网元日志同步方法，其中，所述登录待同步网元的网元 FTP服务器的步骤之前，还包括：

在多网元批量进行网元日志同步时，建立线程池；

5、根据权利要求 1所述的网元日志同步方法，其中，该方法还包括：在所述网元 FTP服务器不可用时，依据简单网络管理协议（SNMP ) 向所述待同步网元发送命令，指示所述待同步网元回复所述网元 FTP上全部网元日志文件的名称；将上一次网元日志同步时同步的网元日志名与当前所述网元 FTP服务器中的网元日志名进行对比，上一次网元日志同步时同步的网元日志名中所没有的网元日志文件即为所述网元 FTP服务器中新增的网元日志文件；

向所述网元发送 SNMP指示，指示所述网元 FTP服务器返回新增的网元日志文件。

6、根据权利要求 1 所述的网元日志同步方法，其中，所述从所述网元 FTP服务器中获取所述网元的网元日志文件，执行网元日志同步的步骤之后，还包括：将所述网元的标识号（ID )作为该网元对应的网元日志文件名称前缀，创建网元日志文件名称数据库表存储已同步的网元日志文件名称。

7、一种网元日志同步方法，包括：

接受网管登录本地的网元 FTP服务器；

8、根据权利要求 7所述的网元日志同步方法，其中，该方法还包括：接收所述网管发送的指示回复所述本地的网元 FTP服务器上全部网元日志文件名称的命令，向所述网管上报所述本地的网元 FTP服务器上全部网元日志文件的名称；

9、一种网元日志同步系统，该系统包括网管和该网管下至少一个网元；所述网管，其设置为：登录待同步网元的网元 FTP服务器，并从所述网元 FTP服务器中获取所述网元的网元日志文件，执行网元日志同步；

10、根据权利要求 9所述的网元日志同步系统，其中，

所述网管还设置为：在所述网元 FTP服务器不可用时，依据 SNMP向所述待同步网元发送命令，指示所述待同步网元回复所述网元 FTP上全部网元日志文件的名称，将上一次网元日志同步时同步的网元日志名与当前所述网元 FTP服务器中的网元日志名进行对比，上一次网元日志同步时同步的网元曰志名中所没有的网元日志文件即为所述网元 FTP服务器中新增的网元曰志文件，并向所述网元发送 SNMP指示，指示所述网元 FTP服务器返回新增的网元日志文件；

11、根据权利要求 9所述的网元日志同步系统，其中，

所述网管还设置为：在多网元批量进行网元日志同步时，建立线程池，为各个待同步网元分别建立一同步任务，将同步任务放入所述线程池的任务队列中，按照所述任务队列的次序，依序对待同步网元执行日志同步。