WO2017124660A1 - 关联多段组件交易的系统及方法 - Google Patents

关联多段组件交易的系统及方法 Download PDF

Info

Publication number
WO2017124660A1
WO2017124660A1 PCT/CN2016/081058 CN2016081058W WO2017124660A1 WO 2017124660 A1 WO2017124660 A1 WO 2017124660A1 CN 2016081058 W CN2016081058 W CN 2016081058W WO 2017124660 A1 WO2017124660 A1 WO 2017124660A1
Authority
WO
WIPO (PCT)
Prior art keywords
transaction
component
starting point
tracking record
transaction tracking
Prior art date
Application number
PCT/CN2016/081058
Other languages
English (en)
French (fr)
Inventor
贺晓麟
王涛
周育樑
杨光辉
Original Assignee
上海天旦网络科技发展有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 上海天旦网络科技发展有限公司 filed Critical 上海天旦网络科技发展有限公司
Priority to US15/751,878 priority Critical patent/US20180240053A1/en
Publication of WO2017124660A1 publication Critical patent/WO2017124660A1/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067Enterprise or organisation modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • G06F16/9017Indexing; Data structures therefor; Storage structures using directory or table look-up
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/90335Query processing
    • G06F16/90344Query processing by using string matching techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling

Abstract

一种关联多段组件交易的系统及方法,包括:生成各个组件的交易追踪记录;设置待关联交易的关联筛选参数;从起始点组件的交易追踪记录中,筛选出符合所述关联筛选参数的交易追踪记录;从非起始点组件的交易追踪记录中,筛选出匹配于已筛选出的起始点组件的交易追踪记录。该系统和方法解决了业务链路中前后多个组件处理同笔交易的关联问题,在保证关联数据的完整性和安全性的前提下,加快搜索所需的时间;且能够实时、准确计算并确定关联的交易且完整统计,其中,以前后组件之间的依赖关系判定为前提来统计组件间的关联交易,大大缩短搜索时间,并采用了多个判定原则,提高了判断的准确性。

Description

关联多段组件交易的系统及方法 技术领域
本发明属于性能监控领域,具体涉及一种关联多段组件交易的系统和方法,本发明可使用户方便地追踪历史交易信息。
背景技术
目前在企业,尤其是大型金融企业内部都有一套自己的业务性能管理系统来监测自己业务运行的实时情况。
在企业的业务系统中由于业务的类型不同,处理交易的设备与流程也不尽相同。在一个案例中,如图1所示,是一个典型的某企业业务处理数据请求与响应的过程。图1中,从客户端发来一个数据处理请求,会经过路由器、防火墙、负载均衡器、web服务器、中间件及数据库等多个组件,最后每个组件再逐一将处理结果的响应信息返回给客户端。
一般情况下,业务交易由交易请求和交易响应组成。对于单一组件来说,一次请求、响应的交互即完成一笔交易。在企业的业务性能管理系统中,通过数据解码器可以得到所需要的报文数据,这些数据包括:请求时间、响应时间、交易类型,交易渠道,返回码等字段,这样企业的业务管理部门能够很轻松的监控到每一个组件对于某个请求和响应的处理结果,即一笔交易的处理情况。
然而随着时代的发展,业务类型的多变、业务量的迅猛增加,各企业对于系统性能的要求也越来越高,单一组件的交易监控已满足不了企业业务管理部门对于整个业务系统监控的需求。其实在整个业务链路中,对于同一笔交易各个组件都经历了请求和响应的交互过程。只是每个组件由于处理数据的目的不同,所使用的处理方法和报文协议规范不同,因此所得到的报文数据也不同。所以想要把一笔交易信息在整个业务链路的各个组件关联起来,十分困难。在业务监控的过程中,想要监控整个业务链路得把所有组件的交易情况进行统计,再经过人工整合得方式得出。这增加了企业对于整体业务性能分析的困难,也制约了整个企业核心业务数据监控领域的发展。
经检索,发现如下相关检索结果
相关检索结果1:
申请号:201410797686.1
名称:一种交易关联性的分析方法及系统
公开号:CN104408584A
该专利文献公开了一种交易关联性的分析方法,包括:导出并存储目标交易报文;第一次遍历所述目标交易报文中的私有报文,确定所述私有报文对应的拆分模式;第一次遍历结束后,所述目标交易报文中私有报文均被拆分为多个片段,而所述多个片段构成了每笔交易的片段集合内的片段元素;第二次遍历,利用最简拆分模式集合中的拆分模式对相应的私有报文进行拆分;第三次遍历,将任两条私有报文利用所述片段集合中的片段元素进行比较,当存在两个片段元素内的比较结果满足预定条件时,确定所述两个交易间具有关联性;构建网络图,并以交易作为节点,交易之间的关联性作为有向边。
技术要点比较:
该专利文献虽然与本发明都实现了组件间交易关联的结果,但是,两者采用的技术手段完全不同。本发明的方法是通过通配字段确定组件与组件的依赖关系以及关联字段的合理匹配来实现多段交易关联,而该专利文献直接采用拆解数据报文的方式,存在时间耗费长且不容易匹配的不足之处。
相关检索结果2:
申请号:201010538396.7
名称:一种易扩展的多级分类检索方法及系统
公开号:CN102467521A
该专利文献公开了一种易扩展的多级分类检索方法及系统,属于数据库检索技术领域。其根据数据分类信息在数据表中设置分类字段,存储分类节点之间的层次关系;将数据表与该数据表中的分类字段之间的关联关系存储到分类字段关联表中;再根据分类节点之间的层次关系将每个节点拆分成独立的字段,与数据表中其他字段组合,生成分类关联表;检索时利用数据库索引在分类关联表中检索数据。当数据表中增加分类字段时,自动将增加的分类字段与该数据表之间的关联关系存储到分类字段关联表中;在给增加的分类字段赋值时,根据分类字段关联表中的关联关系,自动将与该数据表关联的所有分类字段值汇总在一起,写入到数据表的汇 总分类字段中。
技术要点比较:
1.相同点:该专利文献与本发明都采用了数据库索引方式来匹配关联字段的准确性;
2.不同点:该专利文献采用的索引方式是直接索引关联字段表,本发明采用的是二进制表转译索引法,方法不同,且对方的发明所达到的效果只是我方发明中的一个功能模块。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种关联多段组件交易的系统和方法。
根据本发明提供的一种关联多段组件交易的方法,包括如下步骤:
交易追踪记录生成步骤:生成各个组件的交易追踪记录;
交易信息设置步骤:设置待关联交易的关联筛选参数,其中,所述关联筛选参数包括起始点组件;
起始点组件记录筛选步骤:从起始点组件的交易追踪记录中,筛选出符合所述关联筛选参数的交易追踪记录;
非起始点组件记录筛选步骤:从非起始点组件的交易追踪记录中,筛选出匹配于已筛选出的起始点组件的交易追踪记录;
其中,将筛选出的起始点组件、非起始点组件的交易追踪记录作为关联的多段组件交易信息。
优选地,所述交易追踪记录生成步骤,包括如下步骤:
关联字段提取步骤:从各个组件的数据包中分别提取关联字段;
通配步骤:将关联字段作为通配字段,其中,通配字段的值为通配字符;
交易信息生成步骤:对各个组件分别将交易请求与交易响应进行关联,得到交易信息,其中,所述交易信息包括通配字符;
交易追踪记录生成步骤:对各个组件分别根据交易信息生成交易追踪记录。
优选地,所述关联筛选参数还包括:搜索时间范围、通配字符搜索值、交易延时阈值;
所述起始点组件记录筛选步骤,包括如下步骤:
第一筛选步骤:将起始点组件的符合条件A的交易追踪记录保存在缓存中,将起始点组件的不符合条件A的交易追踪记录进行丢弃,其中,所述条件A包括:
-交易追踪记录中交易请求的请求时间戳位于搜索时间范围内;
-交易追踪记录中的通配字符与通配字符搜索值一致;
-交易追踪记录中的交易处理时间小于交易延时阈值。
优选地,所述非起始点组件记录筛选步骤,包括如下步骤:
第二筛选步骤:将非起始点组件的符合条件B的交易追踪记录保存在缓存中,将非起始点组件的不符合条件B的交易追踪记录进行丢弃,其中,所述条件B包括:
-交易追踪记录中的通配字符与起始点组件的交易追踪记录中的通配字符一致;
-交易追踪记录中交易请求的请求时间戳晚于起始点组件的交易追踪记录中交易请求的请求时间戳;
-交易追踪记录中的交易处理时间小于起始点组件的交易追踪记录中的交易处理时间。
优选地,所述交易追踪记录生成步骤,包括如下步骤:
根据通配字符生成索引号,其中,所述索引号为一组二进制数;
根据索引号生成索引表,其中,所述索引表包括多个二进制的查询表,所述索引号中的二进制数分布在这多个二进制的查询表中;
其中,所述交易追踪记录包括索引号、索引表;
所述第二筛选步骤,包括如下步骤:
索引匹配步骤:按照非起始点组件的索引号在索引表中的分布位置,将起始点组件的交易追踪记录中的索引号与非起始点组件的交易追踪记录中的索引表进行匹配,若匹配,则认为非起始点组件的交易追踪记录中的通配字符与起始点组件的交易追踪记录中的通配字符一致,否则,则认为非起始点组件的交易追踪记录中的通配字符与起始点组件的交易追踪记录中的通配字符不一致;
其中,交易追踪记录包括如下任一个或任多个信息:
-交易时间;
-类型;
-流水号。
根据本发明提供的一种关联多段组件交易的系统,包括如下装置:
交易追踪记录生成装置:用于生成各个组件的交易追踪记录;
交易信息设置装置:用于设置待关联交易的关联筛选参数,其中,所述关联筛选参数包括起始点组件;
起始点组件记录筛选装置:用于从起始点组件的交易追踪记录中,筛选出符合所述关联筛选参数的交易追踪记录;
非起始点组件记录筛选装置:用于从非起始点组件的交易追踪记录中,筛选出匹配于已筛选出的起始点组件的交易追踪记录;
其中,将筛选出的起始点组件、非起始点组件的交易追踪记录作为关联的多段组件交易信息。
优选地,所述交易追踪记录生成装置,包括如下装置:
关联字段提取装置:用于从各个组件的数据包中分别提取关联字段;
通配装置:用于将关联字段作为通配字段,其中,通配字段的值为通配字符;
交易信息生成装置:用于对各个组件分别将交易请求与交易响应进行关联,得到交易信息,其中,所述交易信息包括通配字符;
交易追踪记录生成装置:用于对各个组件分别根据交易信息生成交易追踪记录。
优选地,所述关联筛选参数还包括:搜索时间范围、通配字符搜索值、交易延时阈值;
所述起始点组件记录筛选装置,包括如下装置:
第一筛选装置:用于将起始点组件的符合条件A的交易追踪记录保存在缓存中,将起始点组件的不符合条件A的交易追踪记录进行丢弃,其中,所述条件A包括:
-交易追踪记录中交易请求的请求时间戳位于搜索时间范围内;
-交易追踪记录中的通配字符与通配字符搜索值一致;
-交易追踪记录中的交易处理时间小于交易延时阈值。
优选地,所述非起始点组件记录筛选装置,包括如下装置:
第二筛选装置:用于将非起始点组件的符合条件B的交易追踪记录保存在缓存中,将非起始点组件的不符合条件B的交易追踪记录进行丢弃,其中,所述条件B包括:
-交易追踪记录中的通配字符与起始点组件的交易追踪记录中的通配字符一致;
-交易追踪记录中交易请求的请求时间戳晚于起始点组件的交易追踪记录中交易请求的请求时间戳;
-交易追踪记录中的交易处理时间小于起始点组件的交易追踪记录中的交易处理时间。
优选地,所述交易追踪记录生成装置,包括如下装置:
根据通配字符生成索引号,其中,所述索引号为一组二进制数;
根据索引号生成索引表,其中,所述索引表包括多个二进制的查询表,所述索引号中的二进制数分布在这多个二进制的查询表中;
其中,所述交易追踪记录包括索引号、索引表;
所述第二筛选装置,包括如下装置:
索引匹配装置:按照非起始点组件的索引号在索引表中的分布位置,将起始点组件的交易追踪记录中的索引号与非起始点组件的交易追踪记录中的索引表进行匹配,若匹配,则认为非起始点组件的交易追踪记录中的通配字符与起始点组件的交易追踪记录中的通配字符一致,否则,则认为非起始点组件的交易追踪记录中的通配字符与起始点组件的交易追踪记录中的通配字符不一致;
其中,交易追踪记录包括如下任一个或任多个信息:
-交易时间;
-类型;
-流水号。
与现有技术相比,本发明具有如下的有益效果:
1、本发明解决了业务链路中前后多个组件处理同笔交易的关联问题,在保证关联数据的完整性和安全性的前提下,加快搜索所需的时间;
2、本发明对于系统资源占用小,不影响数据信息的传递及业务监控系统的性能;能够实时、准确计算并确定关联的交易且完整统计。
3、本发明以关联字段通配方式实现前后组件对于同一笔交易的关联,关联准确性高;其中,本发明以前后组件之间的依赖关系判定为前提来统计组件间的关联交易,大大缩短搜索时间;
4、本发明在索引匹配时采用二进制表位置匹配法,系统空间资源占用小,并且匹配关联时,采用了多个判定原则,提高了判断的准确性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为数据处理过程图。
图2为本发明的系统模型图。
图3为本发明的系统模块关系图。
图4为三组件同一关联字段系统模型图。
图5为三组件不同关联字段系统模型图。
图6为多组件多关联字段系统模型图。
图7为本发明提供方法的步骤流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种关联多段组件交易的系统,包括如下装置:
交易追踪记录生成装置:用于生成各个组件的交易追踪记录;
交易信息设置装置:用于设置待关联交易的关联筛选参数,其中,所述关联筛选参数包括起始点组件;
起始点组件记录筛选装置:用于从起始点组件的交易追踪记录中,筛选出符合所述关联筛选参数的交易追踪记录;
非起始点组件记录筛选装置:用于从非起始点组件的交易追踪记录中,筛选出匹配于已筛选出的起始点组件的交易追踪记录;
其中,将筛选出的起始点组件、非起始点组件的交易追踪记录作为关联的多段组件交易信息。
优选地,所述交易追踪记录生成装置,包括如下装置:
关联字段提取装置:用于从各个组件的数据包中分别提取关联字段;
通配装置:用于将关联字段作为通配字段,其中,通配字段的值为通配字符;
交易信息生成装置:用于对各个组件分别将交易请求与交易响应进行关联,得到交易信息,其中,所述交易信息包括通配字符;
交易追踪记录生成装置:用于对各个组件分别根据交易信息生成交易追踪记录。
优选地,所述关联筛选参数还包括:搜索时间范围、通配字符搜索值、交易延时阈值;
所述起始点组件记录筛选装置,包括如下装置:
第一筛选装置:用于将起始点组件的符合条件A的交易追踪记录保存在缓存中,将起始点组件的不符合条件A的交易追踪记录进行丢弃,其中,所述条件A包括:
-交易追踪记录中交易请求的请求时间戳位于搜索时间范围内;
-交易追踪记录中的通配字符与通配字符搜索值一致;
-交易追踪记录中的交易处理时间小于交易延时阈值。
优选地,所述非起始点组件记录筛选装置,包括如下装置:
第二筛选装置:用于将非起始点组件的符合条件B的交易追踪记录保存在缓存中,将非起始点组件的不符合条件B的交易追踪记录进行丢弃,其中,所述条件B包括:
-交易追踪记录中的通配字符与起始点组件的交易追踪记录中的通配字符一致;
-交易追踪记录中交易请求的请求时间戳晚于起始点组件的交易追踪记录中交易请求的请求时间戳;
-交易追踪记录中的交易处理时间小于起始点组件的交易追踪记录中的交易处理时间。
优选地,所述交易追踪记录生成装置,包括如下装置:
根据通配字符生成索引号,其中,所述索引号为一组二进制数;
根据索引号生成索引表,其中,所述索引表包括多个二进制的查询表,所述索引号中的二进制数分布在这多个二进制的查询表中;
其中,所述交易追踪记录包括索引号、索引表;
所述第二筛选装置,包括如下装置:
索引匹配装置:按照非起始点组件的索引号在索引表中的分布位置,将起始点组件的交易追踪记录中的索引号与非起始点组件的交易追踪记录中的索引表进行匹配,若匹配,则认为非起始点组件的交易追踪记录中的通配字符与起始点组件的交易追踪记录中的通配字符一致,否则,则认为非起始点组件的交易追踪记录中的通配字符与起始点组件的交易追踪记录中的通配字符不一致。
所述关联多段组件交易的系统可以通过本发明提供的一种关联多段组件交易的方法的步骤流程予以实现。本领域技术人员可以将所述关联多段组件交易的方法理解为所述关联多段组件交易的系统的一个具体实施例。
具体地,根据本发明提供的一种关联多段组件交易的方法,包括如下步骤:
交易追踪记录生成步骤:生成各个组件的交易追踪记录;
交易信息设置步骤:设置待关联交易的关联筛选参数,其中,所述关联筛选参数包括起始点组件;
起始点组件记录筛选步骤:从起始点组件的交易追踪记录中,筛选出符合所述关联筛选参数的交易追踪记录;
非起始点组件记录筛选步骤:从非起始点组件的交易追踪记录中,筛选出匹配于已筛选出的起始点组件的交易追踪记录;
其中,将筛选出的起始点组件、非起始点组件的交易追踪记录作为关联的多段组件交易信息。
优选地,所述交易追踪记录生成步骤,包括如下步骤:
关联字段提取步骤:从各个组件的数据包中分别提取关联字段;
通配步骤:将关联字段作为通配字段,其中,通配字段的值为通配字符;
交易信息生成步骤:对各个组件分别将交易请求与交易响应进行关联,得到交易信息,其中,所述交易信息包括通配字符;
交易追踪记录生成步骤:对各个组件分别根据交易信息生成交易追踪记录。
优选地,所述关联筛选参数还包括:搜索时间范围、通配字符搜索值、交易延时阈值;
所述起始点组件记录筛选步骤,包括如下步骤:
第一筛选步骤:将起始点组件的符合条件A的交易追踪记录保存在缓存中,将起始点组件的不符合条件A的交易追踪记录进行丢弃,其中,所述条件A包括:
-交易追踪记录中交易请求的请求时间戳位于搜索时间范围内;
-交易追踪记录中的通配字符与通配字符搜索值一致;
-交易追踪记录中的交易处理时间小于交易延时阈值。
优选地,所述非起始点组件记录筛选步骤,包括如下步骤:
第二筛选步骤:将非起始点组件的符合条件B的交易追踪记录保存在缓存中,将非起始点组件的不符合条件B的交易追踪记录进行丢弃,其中,所述条件B包括:
-交易追踪记录中的通配字符与起始点组件的交易追踪记录中的通配字符一致;
-交易追踪记录中交易请求的请求时间戳晚于起始点组件的交易追踪记录中交易请求的请求时间戳;
-交易追踪记录中的交易处理时间小于起始点组件的交易追踪记录中的交易处理时间。
优选地,所述交易追踪记录生成步骤,包括如下步骤:
根据通配字符生成索引号,其中,所述索引号为一组二进制数;
根据索引号生成索引表,其中,所述索引表包括多个二进制的查询表,所述索引号中的二进制数分布在这多个二进制的查询表中;
其中,所述交易追踪记录包括索引号、索引表;
所述第二筛选步骤,包括如下步骤:
索引匹配步骤:按照非起始点组件的索引号在索引表中的分布位置,将起始点组件的交易追踪记录中的索引号与非起始点组件的交易追踪记录中的索引表进行匹配,若匹配,则认为非起始点组件的交易追踪记录中的通配字符与起始点组件的交易追踪记录中的通配字符一致,否则,则认为非起始点组件的交易追踪记录中的通配字符与起始点组件的交易追踪记录中的通配字符不一致。
,如图2所示,本发明提供的关联多段组件交易的方法应用中的最小模型基于2个前后对接的组件,即组件A与组件B。
当客户端有一个具体业务的交易需要处理时,数据的处理流程需要经过以下步骤:
S1、数据请求先经过组件A,组件A接收完数据请求经过数据处理后再把数据请求转发给组件B;
S2、组件B接收到数据请求后,处理完具体的交易,会生成响应数据,对于组件B来说这一笔交易完成;
S3、组件B发数据响应发送给组件A,对于组件A来说这一笔交易完成;
S4、组件A把数据响应(即交易结果)发送给客户端。
在该模型中,如果组件A没有数据请求给组件B,那么组件B就无法处理该笔交易,并且组件A与组件B有关联字段可关联,因此组件B依赖于组件A。每个组件根据不同的报文规范和协议配置,生成属于该组件的交易追踪记录,对于组件A来说,交易追踪记录就是交易追踪记录A,对于组件B来说,交易追踪记录就是交易追踪记录B。
在交易关联之前对于客户端来说一个交易请求分别经过了组件A和组件B的处理,然后再得到处理结果;但对于组件来说,组件A的一笔交易和组件B的一笔交易是分开独立的。因此需要先指定一个交易的关联字段,这个关联字段可以在组件A和组件B的交易追踪记录中都能找到,例如:交易序列号、交易类型、交易渠道、返回码等。在模型中可以先指定交易追踪记录A中的关联字段a,交易追踪记录B中的关联字段b。
本发明把关联字段a提取出来,把关联字段a的具体值和关联字段b的具体值进行 比对,如果对比结果一致且在最长交易延时内,则认定组件A和组件B在这一笔交易中关联成功。
在另一个优选例中,如图3所示,本发明提供的关联多段组件交易的系统,包括以下模块:
一、任务生成模块,其用于:
1)设置多段交易追踪任务的起始点组件(对于最小模型即组件A)、搜索的时间范围、该任务需要关联的字段(即字段C)以及具体的值(即xxx);
2)在系统中生成该任务的缓存空间。
二、交易追踪记录生成模块,其用于:
1)根据报文规范和协议格式,将各组件的数据包进行解码并获取所需的信息字段;
2)各组件关联字段可能名称不同,例:组件A的关联字段是A,组件B的关联字段是B;把各组件的关联字段作为通配字段,将通配字段的值转译成一个通配字符C;
3)通过数据流序列号或可以配对的其他字段,将一个组件中的请求和响应字段信息关联起来生成一笔交易信息;
4)把一笔交易信息中的字段排列生成为一条交易追踪记录并生成和该记录匹配的索引号及索引表;
5)将该条交易追踪记录和匹配的索引表存储在数据库中(每个组件都有自己的交易追踪记录和索引表)。
三、过滤模块,其用于:
1)根据多段关联任务的搜索时间范围,搜索该任务设置的起始点组件(组件A)的请求时间戳字段,请求时间戳字段在搜索时间范围内的交易追踪记录被保留下,其余的丢弃;
2)根据多段关联任务的搜索条件:关联字段及其具体的值,在保留的交易追踪记录中进行第二轮搜索,符合条件的保留,其余的丢弃;
3)将保留的交易追踪记录放入任务缓存中。
四、索引模块,其用于:
1)根据起始点组件的搜索结果中的关联字段值以及后续组件的索引号比对数据库中的后续组件索引表表。例如:在系统最小模型中,把组件A设置为交易多段关联的起始点组件,并通过关联字段C具体的值XXX和组件B的索引号来比对数据库中组件B的索引表(其中通配字符C也是组件B的关联字段的值);
2)索引表以二进制的形式存储,一个索引表配有多个二进制的查询表;
索引号4)当字段C的二进制数和组件B的索引表中所有的二进制表的位置都匹配时则表示组件B对应的该条交易追踪记录匹配成功;
5)索引完所有的组件B的交易追踪记录并保留所需要的交易追踪记录,其余的丢弃;
6)将保留的交易追踪记录放入任务缓存中。
五、提取/统计模块,其用于:
1)将缓存中各组件的交易追踪记录中的关联字段C,请求时间戳、响应时间戳等字段提取出来;
2)其中,把请求时间戳-响应时间戳,统计后得出每个组件的交易时间。
六、匹配模块,其用于:
1)匹配基于以下原则:
(1)起始点组件(即组件A)的请求时间戳在搜索的时间范围内;
(2)各组件的一个交易有最长交易延时,当组件的一个交易处理时间>交易延时时间,则判定该交易失败,不作为本次多段交易关联的记录;
(3)组件B的请求时间戳>组件A的请求时间戳,即组件B的请求时间在组件A后;
(4)组件A的交易处理时间>组件B的交易处理时间;
2)匹配完成后将组件A和组件B的交易追踪记录进行1对1配对;
3)生成新的多段交易关联记录并放入任务缓存中;
七、呈现模块,其用于:
1)读取缓存中的多段交易关联记录信息;
2)通过任务生成模块选定的关键字,呈现多段交易关联的统计结果;
3)结果以增量方式呈现,即一边读取缓存一边呈现。
在又一个优选例中,如图4,基于最小系统模型可以衍生出可由三个组件关于一个关联字段进行多段关联的系统:
其中客户端发送业务交易请求给组件A,组件A收到请求经过数据处理后,转发给组件B,组件B收到请求经过数据处理后再转发给组件C,组件C处理完数据后生成响应数据包。组件C把响应数据发送给组件B,组件B再发送给组件A,最后组件A会把交易处理结果返还给客户端,这样一笔交易完成。
对于组件B来说,会接收组件A转发的数据请求,和组件A有相同的关联字段,因 此组件B依赖于组件A。对于组件C来说,会接收组件B转发的数据请求,且和组件B、组件A有相同的关联字段,因此组件C既依赖于组件A也依赖于组件B。
此外组件A、组件B、组件C的关联字段A、B、C的值都可以设定(通配)成通配字符D。当多段关联以组件A作为起始点组件开始任务后,由于组件B和组件C都依赖于组件A,所以会同时开始如图3的系统步骤,最后得出搜索结果。
在又一个优选例中,如图5,基于最小系统模型可以衍生出可由三个组件关于两个关联字段进行多段关联的系统:
其中客户端从发送业务交易请求到经过组件A、组件B、组件C再到一笔交易完成的流程和图4一致。对于组件B来说,会接收组件A转发的数据请求,和组件A有相同的关联字段,因此组件B依赖于组件A。对于组件C来说,会接收组件B转发的数据请求,且和组件B有相同的关联字段(相同的关联字段,是指:指关联字段的值相同),因此组件C依赖于组件B。此外组件A,组件B的关联字段A、B的值可以设定(通配)成通配字符E;组件B,组件C的关联字段C、D可以通配成通配字符F。当多段关联以组件A作为起始点组件开始任务后,由于组件B依赖于组件A,所以会开始如图3的系统步骤;由于组件C依赖于组件B,所以会等组件B收到数据请求后开始如图3的系统步骤,最后系统综合组件A-组件B、组件B-组件C两段的搜索结果得出最后的处理结果。
在又一个优选例中,如图6,基于最小系统模型以及图4、图5的系统还可以衍生出可由多个组件关于多个关联字段进行多段关联的系统:
其中客户端从发送业务交易请求到经过组件A、组件B、组件C、…、组件N,再到一笔交易完成的流程和图4、图5一致。对于组件B来说,会接收组件A转发的数据请求,和组件A有相同的关联字段,因此组件B依赖于组件A。对于组件C来说,会接收组件B转发的数据请求,且和组件B有相同的关联字段,因此组件C依赖于组件B,以此类推。此外组件A、组件B的关联字段A、B可以通配成通配字符;组件B、组件C的关联字段C、D可以通配成通配字符;组件C、组件N的关联字段E,N可以通配成通配字符。当多段关联以组件A作为起始点组件开始任务后,由于组件B依赖于组件A,所以会开始如图3的系统步骤;由于组件C依赖于组件B,所以会等组件B收到数据请求后开始如图3的系统步骤;由于组件N依赖于组件C,所以会等组件C收到数据请求后开始如图3的系统步骤,最后系统综合组件A-组件B、组件B-组件C、…、组件C-组件N,多段的搜索结果得出最后的处理结果。
可见,通过本发明可以将多组件通过时间范围和多个关联字段的设置,准确而快速的统计出多段交易关联结果,并呈现在操作人员面前。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以,本发明提供的系统及其各项装置可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构;也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

  1. 一种关联多段组件交易的方法,其特征在于,包括如下步骤:
    交易追踪记录生成步骤:生成各个组件的交易追踪记录;
    交易信息设置步骤:设置待关联交易的关联筛选参数,其中,所述关联筛选参数包括起始点组件;
    起始点组件记录筛选步骤:从起始点组件的交易追踪记录中,筛选出符合所述关联筛选参数的交易追踪记录;
    非起始点组件记录筛选步骤:从非起始点组件的交易追踪记录中,筛选出匹配于已筛选出的起始点组件的交易追踪记录;
    其中,将筛选出的起始点组件、非起始点组件的交易追踪记录作为关联的多段组件交易信息。
  2. 根据权利要求1所述的关联多段组件交易的方法,其特征在于,所述交易追踪记录生成步骤,包括如下步骤:
    关联字段提取步骤:从各个组件的数据包中分别提取关联字段;
    通配步骤:将关联字段作为通配字段,其中,通配字段的值为通配字符;
    交易信息生成步骤:对各个组件分别将交易请求与交易响应进行关联,得到交易信息,其中,所述交易信息包括通配字符;
    交易追踪记录生成步骤:对各个组件分别根据交易信息生成交易追踪记录。
  3. 根据权利要求2所述的关联多段组件交易的方法,其特征在于,所述关联筛选参数还包括:搜索时间范围、通配字符搜索值、交易延时阈值;
    所述起始点组件记录筛选步骤,包括如下步骤:
    第一筛选步骤:将起始点组件的符合条件A的交易追踪记录保存在缓存中,将起始点组件的不符合条件A的交易追踪记录进行丢弃,其中,所述条件A包括:
    -交易追踪记录中交易请求的请求时间戳位于搜索时间范围内;
    -交易追踪记录中的通配字符与通配字符搜索值一致;
    -交易追踪记录中的交易处理时间小于交易延时阈值。
  4. 根据权利要求3所述的关联多段组件交易的方法,其特征在于,所述非起始点组件记录筛选步骤,包括如下步骤:
    第二筛选步骤:将非起始点组件的符合条件B的交易追踪记录保存在缓存中,将非 起始点组件的不符合条件B的交易追踪记录进行丢弃,其中,所述条件B包括:
    -交易追踪记录中的通配字符与起始点组件的交易追踪记录中的通配字符一致;
    -交易追踪记录中交易请求的请求时间戳晚于起始点组件的交易追踪记录中交易请求的请求时间戳;
    -交易追踪记录中的交易处理时间小于起始点组件的交易追踪记录中的交易处理时间。
  5. 根据权利要求4所述的关联多段组件交易的方法,其特征在于,所述交易追踪记录生成步骤,包括如下步骤:
    根据通配字符生成索引号,其中,所述索引号为一组二进制数;
    根据索引号生成索引表,其中,所述索引表包括多个二进制的查询表,所述索引号中的二进制数分布在这多个二进制的查询表中;
    其中,所述交易追踪记录包括索引号、索引表;
    所述第二筛选步骤,包括如下步骤:
    索引匹配步骤:按照非起始点组件的索引号在索引表中的分布位置,将起始点组件的交易追踪记录中的索引号与非起始点组件的交易追踪记录中的索引表进行匹配,若匹配,则认为非起始点组件的交易追踪记录中的通配字符与起始点组件的交易追踪记录中的通配字符一致,否则,则认为非起始点组件的交易追踪记录中的通配字符与起始点组件的交易追踪记录中的通配字符不一致;
    其中,交易追踪记录包括如下任一个或任多个信息:
    -交易时间;
    -类型;
    -流水号。
  6. 一种关联多段组件交易的系统,其特征在于,包括如下装置:
    交易追踪记录生成装置:用于生成各个组件的交易追踪记录;
    交易信息设置装置:用于设置待关联交易的关联筛选参数,其中,所述关联筛选参数包括起始点组件;
    起始点组件记录筛选装置:用于从起始点组件的交易追踪记录中,筛选出符合所述关联筛选参数的交易追踪记录;
    非起始点组件记录筛选装置:用于从非起始点组件的交易追踪记录中,筛选出匹配于已筛选出的起始点组件的交易追踪记录;
    其中,将筛选出的起始点组件、非起始点组件的交易追踪记录作为关联的多段组件交易信息。
  7. 根据权利要求6所述的关联多段组件交易的系统,其特征在于,所述交易追踪记录生成装置,包括如下装置:
    关联字段提取装置:用于从各个组件的数据包中分别提取关联字段;
    通配装置:用于将关联字段作为通配字段,其中,通配字段的值为通配字符;
    交易信息生成装置:用于对各个组件分别将交易请求与交易响应进行关联,得到交易信息,其中,所述交易信息包括通配字符;
    交易追踪记录生成装置:用于对各个组件分别根据交易信息生成交易追踪记录。
  8. 根据权利要求7所述的关联多段组件交易的系统,其特征在于,所述关联筛选参数还包括:搜索时间范围、通配字符搜索值、交易延时阈值;
    所述起始点组件记录筛选装置,包括如下装置:
    第一筛选装置:用于将起始点组件的符合条件A的交易追踪记录保存在缓存中,将起始点组件的不符合条件A的交易追踪记录进行丢弃,其中,所述条件A包括:
    -交易追踪记录中交易请求的请求时间戳位于搜索时间范围内;
    -交易追踪记录中的通配字符与通配字符搜索值一致;
    -交易追踪记录中的交易处理时间小于交易延时阈值。
  9. 根据权利要求8所述的关联多段组件交易的系统,其特征在于,所述非起始点组件记录筛选装置,包括如下装置:
    第二筛选装置:用于将非起始点组件的符合条件B的交易追踪记录保存在缓存中,将非起始点组件的不符合条件B的交易追踪记录进行丢弃,其中,所述条件B包括:
    -交易追踪记录中的通配字符与起始点组件的交易追踪记录中的通配字符一致;
    -交易追踪记录中交易请求的请求时间戳晚于起始点组件的交易追踪记录中交易请求的请求时间戳;
    -交易追踪记录中的交易处理时间小于起始点组件的交易追踪记录中的交易处理时间。
  10. 根据权利要求9所述的关联多段组件交易的系统,其特征在于,所述交易追踪记录生成装置,包括如下装置:
    根据通配字符生成索引号,其中,所述索引号为一组二进制数;
    根据索引号生成索引表,其中,所述索引表包括多个二进制的查询表,所述索引号 中的二进制数分布在这多个二进制的查询表中;
    其中,所述交易追踪记录包括索引号、索引表;
    所述第二筛选装置,包括如下装置:
    索引匹配装置:按照非起始点组件的索引号在索引表中的分布位置,将起始点组件的交易追踪记录中的索引号与非起始点组件的交易追踪记录中的索引表进行匹配,若匹配,则认为非起始点组件的交易追踪记录中的通配字符与起始点组件的交易追踪记录中的通配字符一致,否则,则认为非起始点组件的交易追踪记录中的通配字符与起始点组件的交易追踪记录中的通配字符不一致;
    其中,交易追踪记录包括如下任一个或任多个信息:
    -交易时间;
    -类型;
    -流水号。
PCT/CN2016/081058 2016-01-18 2016-05-05 关联多段组件交易的系统及方法 WO2017124660A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/751,878 US20180240053A1 (en) 2016-01-18 2016-05-05 System and Method for Associating a Multi-segment Component Transaction

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610031063.2A CN105719072B (zh) 2016-01-18 2016-01-18 关联多段组件交易的系统及方法
CN201610031063.2 2016-01-18

Publications (1)

Publication Number Publication Date
WO2017124660A1 true WO2017124660A1 (zh) 2017-07-27

Family

ID=56147382

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/081058 WO2017124660A1 (zh) 2016-01-18 2016-05-05 关联多段组件交易的系统及方法

Country Status (3)

Country Link
US (1) US20180240053A1 (zh)
CN (1) CN105719072B (zh)
WO (1) WO2017124660A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038181A (zh) * 2016-09-07 2017-08-11 阿里巴巴集团控股有限公司 交易操作的交易日期的确定方法及装置
CN111784516B (zh) * 2020-06-15 2023-12-22 华青融天(北京)软件股份有限公司 业务路径的确定方法、装置和电子设备
CN112532485B (zh) * 2020-11-27 2022-07-01 北京嘀嘀无限科技发展有限公司 业务检测控制方法、装置、电子设备和可读存储介质
CN112950372B (zh) * 2021-03-03 2022-11-22 上海天旦网络科技发展有限公司 自动交易关联的方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008107020A1 (en) * 2007-03-08 2008-09-12 Telefonaktiebolaget L M Ericsson (Publ) An arrangement and a method relating to performance monitoring
CN102467521A (zh) * 2010-11-08 2012-05-23 北大方正集团有限公司 一种易扩展的多级分类检索方法及系统
CN104408584A (zh) * 2014-12-18 2015-03-11 中国农业银行股份有限公司 一种交易关联性的分析方法及系统
CN104504526A (zh) * 2014-12-30 2015-04-08 厦门八界互联网科技有限公司 一种事件数据检验方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7546304B1 (en) * 1999-10-29 2009-06-09 Computer Sciences Corporation Configuring keys for use in processing business data
US8590032B2 (en) * 2003-12-10 2013-11-19 Aventail Llc Rule-based routing to resources through a network
US20060218086A1 (en) * 2005-03-24 2006-09-28 Heather Campbell Payee aliasing
US8346661B2 (en) * 2010-03-24 2013-01-01 Bank Of America Corporation Aggregation of customer transaction data
CN103150338A (zh) * 2013-02-04 2013-06-12 北京大学 一种用于影像数据提取的剖分预处理方法及数据提取方法
US9817884B2 (en) * 2013-07-24 2017-11-14 Dynatrace Llc Method and system for real-time, false positive resistant, load independent and self-learning anomaly detection of measured transaction execution parameters like response times
CN103426063A (zh) * 2013-08-19 2013-12-04 远光软件股份有限公司 内部关联业务的协同处理方法及装置
CN105139241A (zh) * 2014-05-26 2015-12-09 杭州智尔科技有限公司 一种网络交易的实现方法以及系统
CN105005518B (zh) * 2015-08-24 2018-12-04 上海天旦网络科技发展有限公司 自动聚合冗余系统交易数据的系统及其处理器和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008107020A1 (en) * 2007-03-08 2008-09-12 Telefonaktiebolaget L M Ericsson (Publ) An arrangement and a method relating to performance monitoring
CN102467521A (zh) * 2010-11-08 2012-05-23 北大方正集团有限公司 一种易扩展的多级分类检索方法及系统
CN104408584A (zh) * 2014-12-18 2015-03-11 中国农业银行股份有限公司 一种交易关联性的分析方法及系统
CN104504526A (zh) * 2014-12-30 2015-04-08 厦门八界互联网科技有限公司 一种事件数据检验方法及系统

Also Published As

Publication number Publication date
CN105719072A (zh) 2016-06-29
CN105719072B (zh) 2021-11-23
US20180240053A1 (en) 2018-08-23

Similar Documents

Publication Publication Date Title
US11281793B2 (en) User permission data query method and apparatus, electronic device and medium
WO2017124660A1 (zh) 关联多段组件交易的系统及方法
US10691748B2 (en) Methods and apparatus to process call packets collected in a communications network
CN111897863B (zh) 多源异构数据融合汇聚方法
CN107634848A (zh) 一种采集分析网络设备信息的系统和方法
US9430525B2 (en) Access plan for a database query
US11176173B2 (en) Arrangement for enriching data stream in a communications network and related method
WO2015096609A1 (zh) 视频资源的倒排索引文件建立方法及其系统
US20100281053A1 (en) Method, apparatus, and computer-readable medium for distributing a query
CN108268468B (zh) 一种大数据的分析方法及系统
CN110851473A (zh) 一种数据处理方法、装置和系统
US20190197140A1 (en) Automation of sql tuning method and system using statistic sql pattern analysis
US11792157B1 (en) Detection of DNS beaconing through time-to-live and transmission analyses
US8694503B1 (en) Real-time indexing of data for analytics
WO2020258982A1 (zh) 一种分析基站安全日志的方法、系统及计算机可读存储介质
WO2016082616A1 (zh) 为搜索引擎提供网站认证数据的方法及装置
CN111026709A (zh) 基于集群访问的数据处理方法及装置
CN104253875B (zh) 一种dns流量分析方法
WO2017000592A1 (zh) 数据处理方法、装置及系统
WO2018205736A1 (zh) 多媒体信息检索方法、装置及存储介质
US8762387B1 (en) Inverted indexes for accelerating analytics queries
Psallidas et al. Soc web: Efficient monitoring of social network activities
US11494408B2 (en) Asynchronous row to object enrichment of database change streams
CN105515842B (zh) 一种基于网络数据的通用查询系统及查询方法
US8849833B1 (en) Indexing of data segments to facilitate analytics

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16885923

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15751878

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 26/10/2018)

122 Ep: pct application non-entry in european phase

Ref document number: 16885923

Country of ref document: EP

Kind code of ref document: A1