WO2017185977A1 - 一种交易质量分析装置以及交易质量分析方法 - Google Patents

一种交易质量分析装置以及交易质量分析方法 Download PDF

Info

Publication number
WO2017185977A1
WO2017185977A1 PCT/CN2017/080089 CN2017080089W WO2017185977A1 WO 2017185977 A1 WO2017185977 A1 WO 2017185977A1 CN 2017080089 W CN2017080089 W CN 2017080089W WO 2017185977 A1 WO2017185977 A1 WO 2017185977A1
Authority
WO
WIPO (PCT)
Prior art keywords
transaction
quality analysis
module
filtering
monitoring
Prior art date
Application number
PCT/CN2017/080089
Other languages
English (en)
French (fr)
Inventor
陈林
张晓明
徐立伟
张峻浩
杨森
Original Assignee
中国银联股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国银联股份有限公司 filed Critical 中国银联股份有限公司
Publication of WO2017185977A1 publication Critical patent/WO2017185977A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries

Definitions

  • the present invention relates to a data processing apparatus and a data processing method, and in particular to a transaction quality analysis apparatus and a transaction quality analysis method.
  • the present invention is directed to a transaction quality analysis apparatus and a transaction quality analysis method capable of reducing operations on a database and capable of analyzing transaction quality in real time.
  • a transaction fetch module for fetching transaction data from a database and caching it
  • a transaction monitoring module configured to monitor transaction data captured by the transaction capture module
  • a transaction filtering module configured to filter monitoring results of the transaction monitoring module
  • the quality analysis module is configured to perform quality analysis on the filtered result of the transaction filtering module and output the calculation result.
  • the transaction fetch module fetches transaction data from a database and builds a cache linked list with a timestamp for caching.
  • the cache linked list is a first in first out chain list.
  • the transaction monitoring module reads and processes the linked list into a tree representing a transaction success/failure rate.
  • the tree is a binary tree, wherein a root node of the binary tree stores unit time The total amount of transactions, one side of the leaf stores the number of successful transactions per unit time, and the other side stores the number of failed transactions per unit time.
  • the transaction filtering module determines whether the transaction is successful according to the transaction time and the response code element in the transaction data, and if the determination is successful, the node counter of the one side leaf is incremented by one, otherwise on the other side The node counter of the leaf is incremented by one.
  • the quality analysis module reads the N node data at a certain time for the result of the filtering by the transaction filtering module, and outputs a calculation result, where N is a natural number.
  • the transaction fetching step fetching transaction data from the database and caching it;
  • the quality analysis step performs quality analysis on the filtered result of the transaction filtering step and outputs the calculated result.
  • the transaction data is fetched from the database and the FIFO cache linked list is constructed with a timestamp for caching.
  • the linked list is read and processed into a binary tree representing a transaction success/failure rate.
  • the root node of the binary tree is set to store the total transaction amount per unit time, one side of the leaf stores the number of successful transactions per unit time, and the other side stores the number of failed transactions per unit time.
  • the transaction filtering step determining whether the transaction is successful according to the transaction time and the response code element in the transaction data, and if the determination is successful, the node counter of the one side leaf is incremented by one, otherwise The node counter of the other side of the leaf is incremented by one.
  • the filtered result of the transaction filtering step reads N node data at a certain time for a success rate calculation and outputs a calculation result, where N is a natural number.
  • the quality analysis device and the quality analysis method of the present invention by grabbing data from the database and then operating the captured data, instead of directly operating the database and operating on the cached data, the online transaction core can be effectively avoided. Database interference.
  • Figure 1 is a block diagram showing the construction of a transaction quality analyzing apparatus of the present invention.
  • Fig. 2 is a view showing a specific mode of judgment and analysis of transaction quality realized by the transaction quality analyzing apparatus of the present invention.
  • Figure 3 illustrates the construction of a binary tree.
  • Figure 1 is a block diagram showing the construction of a transaction quality analyzing apparatus of the present invention.
  • the transaction quality analysis apparatus is provided with a transaction capture module 100 for capturing transaction data from a database and constructing a first-in first-out list cached in a cache memory block with a timestamp; by reading the linked list Taking and processing into a tree-shaped transaction monitoring module 200 indicating a transaction success/failure rate; a transaction filtering module 300 that filters the processing result of the transaction monitoring module 200; and reading N node data at regular intervals for success
  • the quality analysis module 400 calculates and outputs the result of the calculation.
  • Fig. 2 is a view showing a specific mode of judgment and analysis of transaction quality realized by the transaction quality analyzing apparatus of the present invention.
  • the transaction capture module 100 captures data from the database 500 in a near real-time manner (for example, the transaction can be performed after the transaction has entered the database for a specified period of time, and the specified time can be freely configured, for example, configured as 5 Seconds) Synchronize transaction data into a cache (not shown), constructing a FIFO cache chain 101 with transaction timestamps in the cache, and avoiding online transactions by operating the cache linked list 101 instead of directly manipulating the database
  • the core database creates interference.
  • the transaction monitoring module 200 processes 60 binary trees, for example, in seconds, by cyclically reading the cache linked list 101 (in the case of seconds here, the present invention is not limited to the unit of seconds, and may be Use other units, such as 5 seconds per unit or minute.
  • Figure 3 The construction of a binary tree is exemplified. As shown in Figure 3, the root node of the binary tree stores the total number of transactions in the current second, the left leaf indicates the number of successful transactions, and the right leaf indicates the number of failed transactions.
  • the transaction filtering module 300 determines whether the transaction is successful or not according to the transaction time and the response code element in the transaction (for example, in the case of determining by the response code, the response code is determined by a prescribed technical specification, such a technique).
  • the specification includes specifying that some response codes can determine that the system is successfully processed, and if these response codes are received, it is determined that the transaction is successful, otherwise, the transaction is determined to be a failure, and then the leaf node counter of the binary tree is incremented by one at the corresponding time point.
  • This type of binary tree is used for transaction success analysis. Specifically, the transaction filtering module 300 processes each transaction, and at which point in time (seconds) the processing should add a success count or a failure count.
  • the quality analysis module 400 reads consecutive N (N and interval matching) node data at regular intervals (can set interval events, for example, 3 seconds), performs success calculation, and outputs the calculation result. . In this way, it goes so far and works repeatedly.
  • the use of the memory cache and the transition of the cache linked list can reduce the operation on the database.
  • the traditional database-based operation will be more for a transaction. Search or capture.
  • the transaction is captured into the memory, and a cache linked list is constructed.
  • the database operation is only the one that captures the transaction. Therefore, the operation on the database can be significantly reduced.
  • the statistical success rate is converted from the transaction-number sensitivity in the prior art to a fixed number of times.
  • the statistical success rate is directly completed by using a statement of a database, such as using a count or a sum of a database, which consumes the computing power of the database server, and once the number of transactions in the statistical period is large, the database The query and calculation efficiency will be significantly reduced.
  • N the number of instantaneous transactions
  • TPS the number of transactions per second
  • the quality analysis device of the present invention by grabbing data from a database, and then counting the number of crawls According to the operation, in this way, instead of directly operating the database and operating on the cached data, the interference to the online database of the online transaction can be effectively avoided, and the data processing capability can be further improved.
  • the transaction quality analysis device of the present invention has been described above. Next, the transaction analysis method of the present invention will be briefly described.
  • the transaction quality analysis method of the present invention includes the following steps:
  • a transaction fetching step S100 fetching transaction data from a database and constructing a FIFO cache linked list with a timestamp for caching;
  • the transaction monitoring step S200 monitoring the transaction data captured by the transaction capture step, setting the root node storage unit time of the binary tree by reading the linked list and processing into a binary tree indicating the transaction success/failure rate The total number of transactions, one side of the leaf stores the number of successful transactions per unit time, and the other side of the leaf stores the number of failed transactions per unit time;
  • Transaction filtering step S300 filtering the monitoring result obtained by the transaction monitoring step, wherein the transaction is determined according to the transaction time and the response code element in the transaction data, and if the determination is successful, the leaf on the side is The node counter is incremented by one, otherwise the node counter of the other side leaf is incremented by one;
  • Quality analysis step S400 performing quality analysis on the filtered result of the transaction filtering step and outputting the calculation result, wherein the filtered result of the transaction filtering step reads N node data at regular intervals for success rate calculation And the result of the calculation is output, where N is a natural number.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Fuzzy Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种交易质量分析装置以及交易质量分析系统。该装置具备：交易抓取模块（100），用于从数据库抓取交易数据并且加以缓存；交易监控模块（200），用于对所述交易抓取模块抓取的交易数据进行监控；交易过滤模块（300），用于对所述交易监控模块的监控结果进行过滤；以及质量分析模块（400），用于对所述交易过滤模块过滤后的结果进行质量分析并将计算结果输出。上述方案能够有效避免对联机交易核心数据库的干扰。

Description

一种交易质量分析装置以及交易质量分析方法
技术领域
本发明涉及一种数据处理装置以及数据处理方法，具体地涉及一种交易质量分析装置以及交易质量分析方法。
背景技术
常见的联机交易质量统计分析依赖于数据库的性能，会将统计时段的交易笔数，交易成功笔数等搜索出来再计算，在大并发情况下，一笔交易可能存在于多个周期，这样会被多次搜索，同时基于数据库频繁功能扫描交易笔数在大并发情况下，对于性能是极大的挑战。
发明内容
鉴于上述问题，本发明旨在提供一种能够减少对数据库的操作并能够对交易质量实时进行分析的交易质量分析装置以及交易质量分析方法。
本发明的交易质量分析装置，其特征在于，具备：
交易抓取模块，用于从数据库抓取交易数据并且加以缓存；
交易监控模块，用于对所述交易抓取模块抓取的交易数据进行监控；
交易过滤模块，用于对所述交易监控模块的监控结果进行过滤；以及
质量分析模块，用于对所述交易过滤模块过滤后的结果进行质量分析并将计算结果输出。
优选地，所述交易抓取模块从数据库抓取交易数据并且以时间戳构建缓存链表加以缓存。
优选地，所述缓存链表为先进先出链表。
优选地，所述交易监控模块通过对所述链表进行读取并且加工成表示交易成功/失败率的树形。
优选地，所述树形为二叉树，其中，所述二叉树的根节点存储单位时间的 交易总量，一侧叶子存储单位时间的成功交易数量，另一侧叶子存储单位时间的失败交易数量。
优选地，所述交易过滤模块根据交易数据中的交易时间和应答码要素判定交易是否成功，在判定成功的情况下，在所述一侧叶子的节点计数器加一，否则在所述另一侧叶子的节点计数器加一。
优选地，所述质量分析模块对所述交易过滤模块过滤后的结果每隔一定时间读取N个节点数据进行成功率计算并且将计算结果输出，其中N为自然数。
本发明的交易质量分析方法，其特征在于，该方法包括下述步骤：
交易抓取步骤，从数据库抓取交易数据并且加以缓存；
交易监控步骤，对所述交易抓取步骤抓取的交易数据进行监控；
交易过滤步骤，对所述交易监控步骤获取的监控结果进行过滤；以及
质量分析步骤，对所述交易过滤步骤过滤后的结果进行质量分析并将计算结果输出。
优选地，在所述交易抓取步骤中，从数据库抓取交易数据并且以时间戳构建先进先出缓存链表加以缓存。
优选地，在所述交易监控步骤中，通过对所述链表进行读取并且加工成表示交易成功/失败率的二叉树。
优选地，设置所述二叉树的根节点存储单位时间的交易总量，一侧叶子存储单位时间的成功交易数量，另一侧叶子存储单位时间的失败交易数量。
优选地，在所述交易过滤步骤中，根据交易数据中的交易时间和应答码要素判定交易是否成功，在判定成功的情况下，在所述一侧叶子的节点计数器加一，否则在所述另一侧叶子的节点计数器加一。
优选地，在所述质量分析步骤中，对所述交易过滤步骤过滤后的结果每隔一定时间读取N个节点数据进行成功率计算并且将计算结果输出，其中N为自然数。
根据本发明的质量分析装置以及质量分析方法，通过从数据库中抓取数据，然后对抓取的数据进行操作，这样，替代直接操作数据库而是对缓存数据进行操作，能够有效避免对联机交易核心数据库的干扰。
附图说明
图1是本发明的交易质量分析装置的构造框架图。
图2表示由本发明的交易质量分析装置实现的交易质量判断、分析的一个具体方式的示意图。
图3示例了二叉树的构造。
图4是本发明的交易质量分析方法的流程图。
具体实施方式
下面介绍的是本发明的多个实施例中的一些，旨在提供对本发明的基本了解。并不旨在确认本发明的关键或决定性的要素或限定所要保护的范围。
下面对于本发明的交易质量分析装置进行说明。
图1是本发明的交易质量分析装置的构造框架图。
具体地，如图1所示，交易质量分析装置具备用于从数据库抓取交易数据并且以时间戳构建先进先出链表缓存于缓存内存块的交易抓取模块100；通过对所述链表进行读取并且加工成表示交易成功/失败率的树形的交易监控模块200；对所述交易监控模块200加工结果进行过滤的交易过滤模块300；以及每隔一定时间读取N个节点数据以进行成功率计算并且将计算结果输出的质量分析模块400。
作为交易质量判断、分析的具体方式可以列举如图2所示的一个示例。
图2表示由本发明的交易质量分析装置实现的交易质量判断、分析的一个具体方式的示意图。
如图3所示，交易抓取模块100从数据库500中抓取数据，准实时(例如，可以在交易进行入数据库的规定时间后才进行抓取，该规定时间可以自由配置，例如配置为5秒)将交易数据同步到高速缓存(未图示)中，在高速缓存中以交易时间戳构建先进先出缓存链101，通过对缓存链表101的操作而不是直接操作数据库，能够避免对联机交易核心数据库产生干扰。
接着，交易监控模块200通过对缓存链表101的循环读取，加工出例如以秒为根节点的60个二叉树(在这里示例以秒为单位的情况，当然本发明不限于秒的单位，也可以采用其他单位，例如5秒一个单位或者分钟为单位)。在图3 中示例了了二叉树的构造。如图3所示，二叉树的根节点存放当前秒下的交易总量，左叶子表示成功交易数量，右叶子表示失败交易数量。交易过滤模块300每分析一笔交易根据交易中的交易时间和应答码要素判定交易成功与否(例如，通过应答码来判定的情况下，应答码是由规定的技术规范确定的，这样的技术规范包括规定某些应答码可以判定系统处理成功，当收到这些应应答码的情况下，判定为交易成功，否则，判定为交易失败)，进而在对应时间点二叉树的叶子节点计数器加一，该类二叉树用于交易成功率分析。具体地，交易过滤模块300对每一笔交易进行处理，处理后得到是在哪个时间点(秒)上应该增加一个成功计数还是失败计数。
接着，质量分析模块400每隔一定时间(可以按照需求设定间隔事件，例如，3秒)读取连续N个(N与间隔时间匹配)节点数据，进行成功率的计算，并将计算结果输出。这样，如此推移、反复工作。
如上所述，在本发明中，采用内存缓存并以缓存链表过渡，能够减少对数据库的操作。统计一个时间段的成功率，而往往时间段是平移的，比如发生在第2秒的交易在第二个统计周期还是需要去筛选的，传统的基于数据库操作，对于一笔交易就会被多次搜索或者说捕捉。而在本发明中，将交易抓取到内存里面，构建一个缓存链表，数据库操作只有在抓交易的那一次。因此，能够明显减少对数据库的操作。
而且，二次加工后存放在二叉树内再统计分析，将统计成功率的计算由现有技术中的交易笔数敏感转变成固定次数。例如，在现有技术中，统计成功率是利用数据库的语句直接完成的，比如利用数据库的count或者sum类似的，这个消耗的是数据库服务器的计算力，一旦统计周期内交易笔数多，数据库的查询和计算效率会显著降低。
而与此相对，本发明中采用二叉树的算法，对于成功率计算不依赖于数据库的select而是N等于3的情况下的对于树的3次和5次加法、1次除法【(节点1成功+节点2成功+节点3成功＝分子值)/(分子值+节点1失败+节点2失败+节点3失败)】。这样即使瞬时交易笔数(即所谓TPS，每秒交易笔数)无论怎么增加，计算力需求是一样的，而不会消耗数据库的计算力。
根据本发明的质量分析装置，通过从数据库中抓取数据，然后对抓取的数 据进行操作，这样，替代直接操作数据库而是对缓存数据进行操作，能够有效避免对联机交易核心数据库的干扰，能够进一步提高数据处理能力。
以上对于本发明的交易质量分析装置进行了说明。接着，对于本发明的交易分析方法进行简单说明。
图4是本发明的交易质量分析方法的流程图。如图4所示，本发明的交易质量分析方法，包括下述步骤：
交易抓取步骤S100：从数据库抓取交易数据并且以时间戳构建先进先出缓存链表加以缓存；
交易监控步骤S200：对所述交易抓取步骤抓取的交易数据进行监控，通过对所述链表进行读取并且加工成表示交易成功/失败率的二叉树，设置所述二叉树的根节点存储单位时间的交易总量，一侧叶子存储单位时间的成功交易数量，另一侧叶子存储单位时间的失败交易数量；
交易过滤步骤S300：对所述交易监控步骤获取的监控结果进行过滤，其中，根据交易数据中的交易时间和应答码要素判定交易是否成功，在判定成功的情况下，在所述一侧叶子的节点计数器加一，否则在所述另一侧叶子的节点计数器加一；以及
质量分析步骤S400：对所述交易过滤步骤过滤后的结果进行质量分析并将计算结果输出，其中，对所述交易过滤步骤过滤后的结果每隔一定时间读取N个节点数据进行成功率计算并且将计算结果输出，其中N为自然数。
以上例子主要说明了本发明的交易质量分析装置以及交易质量分析方法。尽管只对其中一些本发明的具体实施方式进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。

Claims (13)

  1. 一种交易质量分析装置，其特征在于，具备：
    交易抓取模块，用于从数据库抓取交易数据并且加以缓存；
    交易监控模块，用于对所述交易抓取模块抓取的交易数据进行监控；
    交易过滤模块，用于对所述交易监控模块的监控结果进行过滤；以及
    质量分析模块，用于对所述交易过滤模块过滤后的结果进行质量分析并将计算结果输出。
  2. 如权利要求1所述的交易质量分析装置，其特征在于，
    所述交易抓取模块从数据库抓取交易数据并且以时间戳构建缓存链表加以缓存。
  3. 如权利要求2所述的交易质量分析装置，其特征在于，
    所述缓存链表为先进先出链表。
  4. 如权利要求3所述的交易质量分析装置，其特征在于，
    所述交易监控模块通过对所述链表进行读取并且加工成表示交易成功/失败率的树形。
  5. 如权利要求4所述的交易质量分析装置，其特征在于，
    所述树形为二叉树，其中，所述二叉树的根节点存储单位时间的交易总量，一侧叶子存储单位时间的成功交易数量，另一侧叶子存储单位时间的失败交易数量。
  6. 如权利要求5所述的交易质量分析装置，其特征在于，
    所述交易过滤模块根据交易数据中的交易时间和应答码要素判定交易是否成功，在判定成功的情况下，在所述一侧叶子的节点计数器加一，否则在所述另一侧叶子的节点计数器加一。
  7. 如权利要求6所述的交易质量分析装置，其特征在于，
    所述质量分析模块对所述交易过滤模块过滤后的结果每隔一定时间读取N个节点数据进行成功率计算并且将计算结果输出，其中N为自然数。
  8. 一种交易质量分析方法，其特征在于，该方法包括下述步骤：
    交易抓取步骤，从数据库抓取交易数据并且加以缓存；
    交易监控步骤，对所述交易抓取步骤抓取的交易数据进行监控；
    交易过滤步骤，对所述交易监控步骤获取的监控结果进行过滤；以及
    质量分析步骤，对所述交易过滤步骤过滤后的结果进行质量分析并将计算结果输出。
  9. 如权利要求8所述的交易质量分析方法，其特征在于，
    在所述交易抓取步骤中，从数据库抓取交易数据并且以时间戳构建先进先出缓存链表加以缓存。
  10. 如权利要求9所述的交易质量分析方法，其特征在于，
    在所述交易监控步骤中，通过对所述链表进行读取并且加工成表示交易成功/失败率的二叉树。
  11. 如权利要求10所述的交易质量分析方法，其特征在于，
    设置所述二叉树的根节点存储单位时间的交易总量，一侧叶子存储单位时间的成功交易数量，另一侧叶子存储单位时间的失败交易数量。
  12. 如权利要求11所述的交易质量分析方法，其特征在于，
    在所述交易过滤步骤中，根据交易数据中的交易时间和应答码要素判定交易是否成功，在判定成功的情况下，在所述一侧叶子的节点计数器加一，否则在所述另一侧叶子的节点计数器加一。
  13. 如权利要求12所述的交易质量分析步骤，其特征在于，
    在所述质量分析步骤中，对所述交易过滤步骤过滤后的结果每隔一定时间读取N个节点数据进行成功率计算并且将计算结果输出，其中N为自然数。
PCT/CN2017/080089 2016-04-26 2017-04-11 一种交易质量分析装置以及交易质量分析方法 WO2017185977A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610262928.6 2016-04-26
CN201610262928.6A CN105956036A (zh) 2016-04-26 2016-04-26 一种交易质量分析装置以及交易质量分析方法

Publications (1)

Publication Number Publication Date
WO2017185977A1 true WO2017185977A1 (zh) 2017-11-02

Family

ID=56915635

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/080089 WO2017185977A1 (zh) 2016-04-26 2017-04-11 一种交易质量分析装置以及交易质量分析方法

Country Status (2)

Country Link
CN (1) CN105956036A (zh)
WO (1) WO2017185977A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109672450A (zh) * 2018-12-13 2019-04-23 武汉中元华电软件有限公司 一种采用硬件动态分片实现最优huffman编码的装置及方法
CN113553320A (zh) * 2021-07-29 2021-10-26 上海哔哩哔哩科技有限公司 数据质量监控方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956036A (zh) * 2016-04-26 2016-09-21 中国银联股份有限公司 一种交易质量分析装置以及交易质量分析方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101576893A (zh) * 2008-05-09 2009-11-11 北京世纪拓远软件科技发展有限公司 数据质量分析方法及系统
CN104036088A (zh) * 2014-06-23 2014-09-10 国网山东省电力公司 用于集团企业资金曲线实时生成的方法及系统
CN104766151A (zh) * 2014-12-29 2015-07-08 国家电网公司 一种用于电力交易数据仓库的质量管控方法及其管控系统
CN105956036A (zh) * 2016-04-26 2016-09-21 中国银联股份有限公司 一种交易质量分析装置以及交易质量分析方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101576893A (zh) * 2008-05-09 2009-11-11 北京世纪拓远软件科技发展有限公司 数据质量分析方法及系统
CN104036088A (zh) * 2014-06-23 2014-09-10 国网山东省电力公司 用于集团企业资金曲线实时生成的方法及系统
CN104766151A (zh) * 2014-12-29 2015-07-08 国家电网公司 一种用于电力交易数据仓库的质量管控方法及其管控系统
CN105956036A (zh) * 2016-04-26 2016-09-21 中国银联股份有限公司 一种交易质量分析装置以及交易质量分析方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109672450A (zh) * 2018-12-13 2019-04-23 武汉中元华电软件有限公司 一种采用硬件动态分片实现最优huffman编码的装置及方法
CN109672450B (zh) * 2018-12-13 2023-01-17 武汉中元华电软件有限公司 一种采用硬件动态分片实现最优huffman编码的装置及方法
CN113553320A (zh) * 2021-07-29 2021-10-26 上海哔哩哔哩科技有限公司 数据质量监控方法及装置

Also Published As

Publication number Publication date
CN105956036A (zh) 2016-09-21

Similar Documents

Publication Publication Date Title
CN111221702B (zh) 基于日志分析的异常处理方法、系统、终端及介质
US10733149B2 (en) Template based data reduction for security related information flow data
CN108537544B (zh) 一种交易系统实时监控方法及其监控系统
JP4925143B2 (ja) ストリームデータ処理システム、ストリームデータ処理方法及びストリームデータ処理プログラム
WO2017185977A1 (zh) 一种交易质量分析装置以及交易质量分析方法
CN110928718A (zh) 一种基于关联分析的异常处理方法、系统、终端及介质
TW202101337A (zh) 用於產生告警之系統與方法以及非暫態電腦可讀取媒體
CN106649119B (zh) 流计算引擎的测试方法及装置
EP2959408A2 (en) Executing continuous event processing (cep) queries in parallel
WO2012020456A1 (ja) 時系列データ処理装置及びその方法
KR102476126B1 (ko) 고속 분석을 위한 네트워크 트래픽 준비 시스템
CN110647447B (zh) 用于分布式系统的异常实例检测方法、装置、设备和介质
US20210117420A1 (en) Query implementation using synthetic time series
US20170286486A1 (en) High fidelity combination of data
CN109800221A (zh) 一种海量数据关联关系分析方法、装置及系统
CN114791927A (zh) 一种数据分析方法和装置
CN105515842B (zh) 一种基于网络数据的通用查询系统及查询方法
CN113835947B (zh) 一种基于异常识别结果确定异常原因的方法和系统
US9921869B2 (en) Data processing apparatus and data processing method
EP3164819B1 (en) Acquisition of high frequency data in transient detection
US10223529B2 (en) Indexing apparatus and method for search of security monitoring data
US20200210305A1 (en) System, device and method for frozen period detection in sensor datasets
WO2019161931A1 (en) Stream processing device and method of processing a stream of data
CN109408353A (zh) 一种存储分区利用率和iops的分析方法，系统及终端设备
CN110837459A (zh) 一种基于大数据的运行绩效分析方法及系统

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17788629

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17788629

Country of ref document: EP

Kind code of ref document: A1