TWI802056B - 資料核對方法、裝置、設備、系統及存儲介質 - Google Patents

資料核對方法、裝置、設備、系統及存儲介質 Download PDF

Info

Publication number
TWI802056B
TWI802056B TW110139362A TW110139362A TWI802056B TW I802056 B TWI802056 B TW I802056B TW 110139362 A TW110139362 A TW 110139362A TW 110139362 A TW110139362 A TW 110139362A TW I802056 B TWI802056 B TW I802056B
Authority
TW
Taiwan
Prior art keywords
data
data flow
checking
flow
area
Prior art date
Application number
TW110139362A
Other languages
English (en)
Other versions
TW202217641A (zh
Inventor
陳超
柳韜
邵廣輝
馬永松
王炫召
Original Assignee
大陸商中國銀聯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商中國銀聯股份有限公司 filed Critical 大陸商中國銀聯股份有限公司
Publication of TW202217641A publication Critical patent/TW202217641A/zh
Application granted granted Critical
Publication of TWI802056B publication Critical patent/TWI802056B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本發明公開了一種資料核對方法、裝置、設備、系統及存儲介質，涉及資料處理領域。該方法包括：在各系統資料池發生寫操作的情況下，生成包括與寫操作關聯的資料的資料流程並傳輸，資料流程包括資料的主鍵值；基於資料流程的欄位以及預設的區域劃分規則，將資料流程劃分為至少一個資料區域，每個資料區域包括至少兩個系統資料池對應的資料流程；在每個資料區域中，根據資料流程對應的主鍵值，核對資料區域中的至少兩個系統資料池對應的資料流程，以確定資料區域中的至少兩個系統資料池的資料是否一致。根據本發明實施例能夠及時發現跨系統的資料不平問題。

Description

資料核對方法、裝置、設備、系統及存儲介質
本發明涉及資料核對技術領域，特別是涉及一種資料核對方法、裝置、設備、系統及存儲介質。
隨著業務複雜程度的增加，一項業務會涉及多個系統。對應地，在多個系統之間，需要跨系統核對業務資料，以發現跨系統間的業務資料的不一致，便於對各系統採取措施，保證各系統的平穩運行。
現階段，可從參與資料核對的兩個系統中分別獲取業務資料。例如，從系統A和系統B中分別獲取已經結束的1天內的業務資料，逐條對比系統A和系統B中的業務資料是否一致，即是否存在跨系統的資料不平問題。但該種資料核對方法無法及時發現跨系統的資料不平問題。
本發明實施例提供一種資料核對方法、裝置、設備、系統及存儲介質，能夠及時發現跨系統的資料不平問題。
第一方面，本發明實施例提供一種資料核對方法，包括：在各系統資料池發生寫操作的情況下，生成包括與寫操作關聯的資料的資料流程並傳輸，資料流程包括資料的主鍵值；基於資料流程的欄位以及預設的區域劃分規則，將資料流程劃分為至少一個資料區域，每個資料區域包括至少兩個系統資料池對應的資料流程；在每個資料區域中，根據資料流程對應的主鍵值，核對資料區域中的至少兩個系統資料池對應的資料流程，以確定資料區域中的至少兩個系統資料池的資料是否一致。
第二方面，本發明實施例提供一種資料核對裝置，包括：資料流程生成模組，用於在各系統資料池發生寫操作的情況下，生成包括 與寫操作關聯的資料的資料流程並傳輸，資料流程包括資料的主鍵值；區域劃分模組，用於基於資料流程的欄位以及預設的區域劃分規則，將資料流程劃分為至少一個資料區域，每個資料區域包括至少兩個系統資料池對應的資料流程；核對模組，用於在每個資料區域中，根據資料流程對應的主鍵值，核對資料區域中的至少兩個系統資料池對應的資料流程，以確定資料區域中的至少兩個系統資料池的資料是否一致。
第三方面，本發明實施例提供一種資料核對設備，包括：處理器以及存儲有電腦程式指令的記憶體；處理器執行電腦程式指令時實現第一方面的資料核對方法。
第四方面，本發明實施例提供一種資料核對系統，包括：資料流程裝置，用於在各系統資料池發生寫操作的情況下，生成包括與寫操作關聯的資料的資料流程並傳輸，資料流程包括資料的主鍵值；分流裝置，用於基於資料流程的欄位以及預設的區域劃分規則，將資料流程劃分為至少一個資料區域，每個資料區域包括至少兩個系統資料池對應的資料流程；核對裝置，用於在每個資料區域中，根據資料流程對應的主鍵值，核對資料區域中的至少兩個系統資料池對應的資料流程，以確定資料區域中的至少兩個系統資料池的資料是否一致。
第五方面，本發明實施例提供一種電腦存儲介質，電腦存儲介質上存儲有電腦程式指令，電腦程式指令被處理器執行時實現第一方面的資料核對方法。
本發明實施例提供一種資料核對方法、裝置、設備、系統及存儲介質，在各系統資料池發生寫操作的情況下，生成包括與寫操作關聯的資料的資料流程。將資料流程劃分為至少一個資料區域，每個資料區域包括至少兩個系統資料池對應的資料流程。在資料區域中核對至少兩個系統資料池對應的資料流程，從而確定至少兩個系統資料池的資料是否一致。不需要設置獲取資料的時間段，通過寫操作觸發生成資料流程，從而進行資料流程的劃分及核對。寫操作不受時間長度的限制，能夠在資料 發生變化的情況下，即時進行資料的核對，從而能夠及時發現跨系統的資料不平問題。
00,01,0001,0002,0003,0004,000792,000982,000991,000993:值
200:資料核對裝置
201:資料流程生成模組
202:區域劃分模組
203:核對模組
2031:視窗劃分單元
2032:核對單元
204:篩選模組
205:處理模組
2008:入口
300:資料核對設備
301:記憶體
302:處理器
303:通信介面
304:匯流排
41:資料流程裝置
42:分流裝置
43:核對裝置
A1,A2,A3:系統
B1,B2,B3:系統資料池
bussTp:交易類型
D1,D2,D3,D4:核對視窗
F3:欄位
C1,C2,C3,C4:資料區域
E1,E2,,L1,L2:資料流程
S101,S1011,S1012,S1013,S102,S103,S1031,S1032,S104,S105,S106:步驟
seqNo,traceId:主鍵值
seqSt:業務狀態
sysId:系統標識
為了更清楚地說明本發明實施例的技術方案，下面將對本發明實施例中所需要使用的圖式作簡單的介紹，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些圖式獲得其他的圖式。
圖1為本發明第一方面提供的資料核對方法的一實施例的流程圖；
圖2為本發明第一方面提供的資料核對方法的另一實施例的流程圖
圖3為本發明第一方面提供的資料核對方法的又一實施例的流程圖；
圖4為本發明實施例中一資料區域的核對視窗的一示例的示意圖
圖5為本發明第一方面提供的資料核對方法的再一實施例的流程圖；
圖6為本發明第二方面提供的資料核對裝置的一實施例的結構示意圖；
圖7為本發明第二方面提供的資料核對裝置的另一實施例的結構示意圖；
圖8為本發明第二方面提供的資料核對裝置的又一實施例的結構示意圖；
圖9為本發明第二方面提供的資料核對裝置的再一實施例的結構示意圖；
圖10為本發明第三方面提供的資料核對設備的一實施例的結構示意圖；
圖11為本發明第四方面提供的資料核對系統的一實施例的結構示意圖。
下面將詳細描述本發明的各個方面的特徵和示例性實施例，為了使本發明的目的、技術方案及優點更加清楚明白，以下結合圖式及具體實施例，對本發明進行進一步詳細描述。應理解，此處所描述的具體實施例僅意在解釋本發明，而不是限定本發明。對於本領域技術人員來說，本發明可以在不需要這些具體細節中的一些細節的情況下實施。下面 對實施例的描述僅僅是為了通過示出本發明的示例來提供對本發明更好的理解。
隨著業務複雜程度的增加，一項業務可能會涉及到多個系統，例如，一項業務由多個系統協作完成。為了保證業務正常執行，該業務涉及到的系統均會存儲該業務的資料，並在多個系統之間進行資料的核對，以便能夠發現多個系統之間資料不一致的情況，即發現跨系統間的資料不平問題，從而能夠採取措施，為各系統的平穩運行提供保障。
跨系統需要核對的資料的量非常龐大，由於多個系統的時鐘可能會存在差異，為了避免遺漏核對的資料，一般會獲取一個較長的時間段內的業務的資料，如獲取已經結束的一天內的多個系統各自的業務的資料，將不同系統的業務的資料一一核對，以確定跨系統間是否存在資料不平問題，但在這種情況下，如果存在資料不平問題，資料不平問題只能延後發現，而不能及時發現。
本發明提供了一種資料核對方法、裝置、設備、系統及存儲介質，能夠在發生寫操作的情況下，以資料流程(即Stream Data)的方式傳輸資料，並利用資料流程的資料的主鍵值，對不同系統的資料進行核對，從而及時發現跨系統間的資料不平問題。
在此並不限定業務和資料的具體領域，例如，在交易領域中，業務具體可為交易業務，業務的資料具體可為交易流水資料；對資料的核對即為對相同的交易業務的交易流水資料的核對，可通過資料核對實現交易明細的勾對。但本發明實施例的應用場景並不限於交易場景，其他需要進行資料核對的應用場景也在本發明實施例的保護範圍內。
本發明第一方面提供一種資料核對方法，該資料核對方法可由資料核對裝置、資料核對設備或資料核對系統執行，即資料核對方法可由單個裝置或設備實現，也可由包括多個裝置或設備的系統實現，在此並不限定。
圖1為本發明第一方面提供的資料核對方法的一實施例 的流程圖。如圖1所示，該資料核對方法可包括步驟S101至步驟S103。
在步驟S101中，在各系統資料池發生寫操作的情況下，生成包括與寫操作關聯的資料的資料流程並傳輸。
系統資料池用於存放系統的資料，具體可用於存放系統中業務的資料。例如，在交易領域中，系統資料池可用於存放該系統的交易業務的流水資料。系統資料池可設置於系統內，也可獨立於系統以資料庫的形式存在，在此並不限定。參與資料核對的系統可以有多個，每個系統可對應一個系統資料池，即參與資料核對的系統資料池可以有多個。
寫操作為可能引發系統資料池中資料的變化的操作，例如，寫操作可包括但不限於插入操作如insert操作、更新操作如update操作、刪除操作如delete操作和drop操作、創建操作如create操作、修改操作如alter操作等，在此並不限定。
與寫操作關聯的資料包括寫操作起作用的資料。資料流程為在時間分佈和數量上並不限定的一系列的動態資料的集合體。在本發明實施例中，利用資料流程來承載資料。資料流程包括資料的主鍵值。資料的主鍵值的內容可根據資料的類型設定，在此並不限定。例如，資料包括交易流水資料，資料的主鍵值具體可包括交易流水號。
在資料核對方法由資料核對裝置或資料核對設備執行的情況下，資料流程可在資料核對裝置或資料核對設備內部進行傳輸。在資料核對方法由包括多個裝置或設備的資料核對系統執行的情況下，資料流程可在資料核對系統中的裝置或設備之間傳輸。
在步驟S102中，基於資料流程的欄位以及預設的區域劃分規則，將資料流程劃分為至少一個資料區域。
資料流程的欄位可根據資料的內容、類型等設定。例如，資料流程的欄位可包括系統標識欄位、主鍵值欄位、業務狀態欄位等，在此並不限定。系統標識欄位用於表徵系統資料池對應的系統的標識。主鍵值欄位用於表徵資料的主鍵值。業務狀態欄位用於表徵資料對應的業務的 狀態。
可根據資料核對的目的，通過區域劃分規則，將各系統資料池對應的資料流程劃分為多組，即劃分為至少一個資料區域。每個資料區域包括至少兩個系統資料池對應的資料流程。在每個資料區域中可對資料流程包含的資料進行核對。各資料區域可對應有資料流程的入口，通過設置區域劃分規則，實現資料流程的劃分。
區域劃分規則可根據工作場景和工作需求設定，在此並不限定。資料區域可視為資料流程分組後形成的資料流程集合。同一資料區域的資料流程的欄位滿足相同的區域劃分規則。在一些示例中，系統之間兩兩進行資料核對，即系統資料池之間兩兩進行資料核對，對應地，每個資料區域可包括兩個系統資料池對應的資料流程。
例如，一筆業務涉及三個系統，三個系統分別為系統A1、系統A2和系統A3，系統A1的資料存儲於系統資料池B1，系統A2的資料存儲於系統資料池B2，系統A3的資料存儲於系統資料池B3。在同一筆業務的資料發生變化的情況下，正常情況下，系統資料池B1、系統資料池B2和系統資料池B3中這一筆業務的資料均應發生變化；但也有可能出現其中一個或兩個系統資料池中這一筆業務的資料未發生變化的情況，在此並不限定。資料流程的欄位可體現系統標識、資料的主鍵值、業務狀態等，可通過區域劃分規則，將系統資料池B1對應的資料流程和系統資料池B2對應的資料流程劃分為資料區域C1，將系統資料池B2對應的資料流程和系統資料池B3對應的資料流程劃分為資料區域C2。在資料區域C1中可進行系統資料池B1對應的資料流程和系統資料池B2對應的資料流程的資料核對，在資料區域C2中可進行系統資料池B2對應的資料流程和系統資料池B3對應的資料流程的資料核對。
一個系統資料池對應的一筆業務的資料流程可劃分至多個資料區域，也可劃分至一個資料區域，在此並不限定。例如，區域劃分規則可限定資料流程的欄位F3的值為0001、0002、0003中的一項的情況 下，資料流通過入口2008劃分為資料區域C3。區域劃分規則可限定資料流程的欄位F3的值為0003、0004中的一項的情況下，資料流通過入口2009劃分為資料區域C4。欄位F3的值為0003的資料流程會劃分為資料區域C3和資料區域C4；欄位F3的值為0001的資料流程會劃分為資料區域C3。資料區域C3的資料流程的欄位F3的值滿足資料流程的欄位F3的值為0001、0002、0003中的一項這一區域劃分規則。資料區域C4的資料流程的欄位F3的值滿足資料流程的欄位F3的值為0003、0004中的一項這一區域劃分規則。
在步驟S103中，在每個資料區域中，根據資料流程對應的主鍵值，核對資料區域中的至少兩個系統資料池對應的資料流程，以確定資料區域中的至少兩個系統資料池的資料是否一致。
具體地，在每個資料區域中，核對該資料區域中主鍵值相同的至少兩個系統資料池對應的資料流程。在資料區域中存在主鍵值為某一值的一個系統資料池對應的資料流程，但並不存在主鍵值為該某一值的另一個系統資料池對應的資料流程，可確定資料區域中至少兩個系統資料池的資料不一致，即確定發生了跨系統的資料不平問題。在資料區域中，核對主鍵值相同的至少兩個系統資料池對應的資料流程的資料，若資料主鍵值相同的至少兩個系統資料池對應的資料流程的資料相同，可確定資料區域中至少兩個系統資料池的資料一致，即確定未發生跨系統的資料不平問題；若資料主鍵值相同的至少兩個系統資料池對應的資料流程的資料不同，可確定資料區域中至少兩個系統資料池的資料不一致，即確定發生了跨系統的資料不平問題。
在一些示例中，多個資料區域中資料流程的核對並存執行。例如，經過劃分後，具有3個資料區域，分別為資料區域C1、資料區域C2和資料區域C3。資料區域C1中的資料流程的核對、資料區域C2中的資料流程的核對和資料區域C3中的資料流程的核對可並存執行。多個資料區域中資料流程的核對並存執行，可加快資料核對速度，提高資料核 對效率。不同的資料區域中資料流程的核對可由不同的裝置、設備或模組進行，在此並不限定。可根據具體需求，增加或減少資料區域，提高了資料核對的靈活性和可擴展性。
在一些示例中，各資料區域中資料流程的核對可在記憶體中進行，以進一步提高資料核對速度，提高資料核對效率，減少資料核對佔用資源。
在本發明實施例中，在各系統資料池發生寫操作的情況下，生成包括與寫操作關聯的資料的資料流程。將資料流程劃分為至少一個資料區域，每個資料區域包括至少兩個系統資料池對應的資料流程。在資料區域中核對至少兩個系統資料池對應的資料流程，從而確定至少兩個系統資料池的資料是否一致。不需要設置獲取資料的時間段，通過寫操作觸發生成資料流程，從而進行資料流程的劃分及核對。寫操作不受時間長度的限制，能夠在資料發生變化的情況下，即時進行資料的核對，從而能夠及時發現跨系統的資料不平問題。與現階段需要一天時間或更長時間發現跨系統的資料不平問題的方法相比，本發明實施例提供的資料核對方法可將發現跨系統的資料不平問題所需的時間縮短到1分鐘甚至更短。
在資料的量較大的情況下，由於通過寫操作觸發生成資料流程，即時進行資料的核對，與採用累積大量資料再進行核對的方式相比，能夠滿足更高的資料核對的性能要求。
圖2為本發明第一方面提供的資料核對方法的另一實施例的流程圖。圖2與圖1的不同之處在於，圖1中的步驟S101可細化為圖2中的步驟S1011至步驟S1013，圖2所示的資料核對方法還可包括步驟S104。
在步驟S1011中，讀取各系統資料池的二進位日誌，根據二進位日誌，確定各系統資料池的寫操作。
二進位日誌即BINLOG檔，用於記錄資料庫表結構的變更以及表資料的修改。例如，二進位日誌會記載資料庫表結構的變更以及 表資料的修改的動作陳述式。根據二進位日誌的內容，可確定系統資料池發生的寫操作。
在步驟S1012中，基於寫操作，生成資料流程報文。
資料流程報文用於承載資料流程，在此並不限定資料流程報文的具體格式。在一些示例中，資料流程報文具體可為(JSON程式語言，JavaScript object notation)JSON報文。利用資料流程報文承載資料流程，便於傳輸資料流程。例如，一條承載資料流程的JSON報文的輸出格式如下：
Figure 110139362-A0101-12-0009-1
其中，sysId可表徵系統標識，seqNo和traceId可表徵資料在不同階段的主鍵值，bussTp可表徵交易類型，seqSt可表徵資料對應的業務狀態。
由於同一筆業務對應的資料可能會發生變化，為了使資料流程能夠體現資料的變化情況，在一些示例中，資料流程報文可包括主 鍵值相同的本次寫操作關聯的資料和上次寫操作關聯的資料。主鍵值相同的資料即為同一筆業務對應的資料。通過資料流程報文中本次寫操作關聯的資料和上次寫操作關聯的資料，能夠體現資料的變化情況，確保在後續過程中可判斷前後資料的關聯性，以及根據資料的變化情況，確定是否需要對該資料進行核對。例如，如上述承載資料流程的JSON報文的輸出格式中，利用＿before作為上次寫操作關聯的資料和本次寫操作關聯的資料的節點標注。
在步驟S1013中，通過資料流程式元件傳輸資料流程報文。
可通過資料流程式元件將資料流程報文逐條傳輸。資料流程式元件可包括Kafka等元件，在此並不限定。
在一些示例中，在執行步驟S102之前，還可將資料流程報文轉換為更加便於進行資料核對的格式，例如，將資料流程報文轉換為Map映射格式，利用轉換為Map映射格式的資料參與後續步驟的執行，便於通過配置實現資料核對。
在步驟S104中，在一個系統資料池對應有主鍵值相同的多個資料流程的情況下，保留其中欄位符合預設的篩選條件的一個資料流程。
在基於系統資料池獲得的資料流程中，一筆業務可能會對應出現多個資料流程，需要對一筆業務對應的多個資料流程進行篩選，使這一筆業務對應的一個資料流程參與資料核對，避免造成資料核對混亂。資料流程對應的主鍵值相同，表示資料流程對應的業務為同一筆業務。具體地，可利用資料流程各欄位的意義以及資料核對的要求設置篩選條件，通過篩選條件在主鍵值相同的多個資料流程中，篩選保留其中的一個資料流程。保留的欄位符合篩選條件的一個資料流程可參與後續的資料核對流程。
在一些示例中，資料流程包括業務狀態欄位。業務狀態 欄位用於表徵資料流程的資料對應的業務的狀態。上述篩選條件可包括業務狀態欄位包括預設值集合中的目標值，且資料流程的業務狀態欄位與上一次寫操作對應的資料流程的業務狀態欄位不同。預設值集合包括至少一個目標值。預設值集合可根據工作場景和工作需求設定，在此並不限定。
例如，業務狀態狀態欄位的值為01，表示資料流程的資料暫時不需核對；業務狀態狀態欄位的值為00，表示資料流程的資料暫時需要核對。預設值集合包括目標值00。在資料流程L1的業務狀態欄位包括目標值00，且上一次寫操作對應的資料流程的業務狀態欄位為01的情況下，該資料流程L1被保留。在資料流程L1的業務狀態欄位包括目標值00，但上一次寫操作對應的資料流程的業務狀態欄位為00的情況下，該資料流程L2被捨棄。
篩選條件並不限於上述內容，能夠實現對主鍵值相同的多個資料流程的篩選的篩選條件均在本發明實施例的保護範圍內，在此不一一舉例說明。
圖3為本發明第一方面提供的資料核對方法的又一實施例的流程圖。圖3與圖1的不同之處在於，圖1中的步驟S103可具體細化為圖3中的步驟S1031和步驟S1032。
在步驟S1031中，在每個資料區域中，根據資料流程對應的主鍵值，將資料流程劃分至核對視窗內。
其中，不同的核對視窗內的資料流程的主鍵值不同，即主鍵值相同的資料流程不會劃分到不同的核對視窗，主鍵值相同的資料流程劃分至同一核對視窗。將資料流程劃分至核對視窗，可實現對資料流程的散列。在一些示例中，某個資料區域的某個核對視窗內包括該資料區域對應的各系統資料池對應的主鍵值相同的資料流程。例如，資料區域C1中包括系統資料池B1對應的資料流程和系統資料池B2對應的資料流程，資料區域C1中的一個核對視窗可包括主鍵值相同的系統資料池B1對應的一個資料流程和系統資料池B2對應的一個資料流程，即資料區域C1中每個 核對視窗中進行一對主鍵值相同的系統資料池B1和系統資料池B2的資料流程的核對。
在步驟S1032中，核對核對視窗內的資料流程。
具體地，核對核對視窗內的資料流程所承載的資料是否一致。核對視窗的細微性要小於資料區域的細微性，在一些情況下，在核對視窗記憶體在資料流程的時長超過預設觸發時長的情況下，觸發核對核對視窗內的資料流程。在另一些情況下，在核對視窗內的資料流程的數量達到預設觸發數量的情況下，觸發核對核對視窗內的資料流程。由於本發明實施例中的資料流程是通過寫操作觸發生成，不受時間長度的限制，因此核對視窗的細微性從時間上或從資料流程數量上可以劃分得非常細，從而加快資料核對速度，提高資料核對效率。而且，由於資料流程的匹配已經在將資料流程劃分至核對視窗的過程中完成，核對視窗內的資料流程的核對不需要進行匹配，可標準化、外掛程式化實現，提高了資料核對開發設計的靈活性，核對視窗的增加和減少也相對靈活，便於擴展。
在一些示例中，在已存在的核對視窗內的資料流程的主鍵值與未劃分的資料流程對應的主鍵值不同的情況下，生成新的核對視窗，將未劃分的資料流程劃分至新的核對視窗內。在未劃分的資料流程劃分至新的核對視窗內的時長超過預設觸發時長的情況下，觸發核對新的核對視窗內的資料流程。
在未劃分的資料流程劃分至新的核對視窗內的時長超過預設觸發時長，且該資料區域內沒有能夠與劃分至新的核對視窗內的資料流程進行核對的資料流程的情況下，可能發生了資料不平問題。預設觸發時長可根據工作場景和工作需求設定，在此並不限定。預設觸發時長的設定可通過計時器實現，例如，計時器計時時長達到預設觸發時長，則觸發該新的核對視窗內的資料流程的核對。
例如，圖4為本發明實施例中一資料區域的核對視窗的一示例的示意圖。如圖4所示，資料區域C1已存在的核對視窗包括核對視 窗D1、核對視窗D2和核對視窗D3。核對視窗D1中資料流程對應的主鍵值為000792，核對視窗D2中資料流程對應的主鍵值為000982，核對視窗D3中資料流程對應的主鍵值為000991。若資料區域C1中的資料流程E1還未劃分至核對視窗內，且資料流程E1對應的主鍵值為000993，資料區域C1已存在的核對視窗內的資料流程的主鍵值與資料流程E1對應的主鍵值均不同，因此，需要為資料流程E1生成新的核對視窗D4，並將資料流程E1劃分至核對視窗D4。設預設觸發時長為3分鐘，對應地，在資料流程E1劃分至核對視窗D4起3分鐘後，觸發該核對視窗D4中的資料流程的核對。
在另一些示例中，在已存在的核對視窗內的資料流程的主鍵值與未劃分的資料流程對應的主鍵值相同的情況下，將未劃分的資料流程劃分至已存在的核對視窗內。在已存在的核對視窗內的資料流程的數量達到預設觸發數量的情況下，觸發核對已存在的核對視窗內的資料流程。在已存在的核對視窗內的資料流程的數量未達到預設觸發數量的情況下，繼續等待。
預設觸發數量可根據工作場景和工作需求設定，在此並不限定。
例如，如圖4所示，資料區域C1已存在的核對視窗包括核對視窗D1、核對視窗D2和核對視窗D3。核對視窗D1中資料流程對應的主鍵值為000792，核對視窗D2中資料流程對應的主鍵值為000982，核對視窗D3中資料流程對應的主鍵值為000991。若資料區域C1中的資料流程E2還未劃分至核對視窗內，且資料流程E2對應的主鍵值為000991，將資料流程E2劃分至核對視窗D3內。設預設觸發數量為2，對應地，在核對視窗D3內的資料流程的數量達到2的情況下，觸發該核對視窗內的資料流程的核對。
上述實施例中的資料流程的核對，具體可核對資料流程承載的資料的欄位的值、核對視窗內資料流程的數量等，在此並不限定。
圖5為本發明第一方面提供的資料核對方法的再一實施例的流程圖。圖5與圖1的不同之處在於，圖5所示的資料核對方法還可包括步驟S105或步驟S106。
在步驟S105中，在確定資料區域中的至少兩個系統資料池的資料一致的情況下，增大資料核對成功指標的值。
資料區域中至少兩個系統資料池的資料一致，即未發生跨系統的資料不平問題，可增大資料核對成功指標的值。資料核對成功指標用於表徵資料核對的成功率，資料核對成功指標的值越大，表示資料核對的成功率越高。資料核對成功指標可為跨系統資料不平、告警、風險預判等提供依據，擴大資料核對的應用範疇。
在步驟S106中，在確定資料區域中的至少兩個系統資料池的資料不一致的情況下，輸出資料區域中的至少兩個系統資料池中不一致的資料。
資料區域中的至少兩個系統資料池的資料不一致，即發生了跨系統的資料不平問題，資料區域中的至少兩個系統資料池中不一致的資料即為引發跨系統的資料不平問題的資料。資料區域中的至少兩個系統資料池中不一致的資料可為跨系統資料不平、告警、風險預判等提供依據，擴大資料核對的應用範疇。
需要說明的是，上述實施例中的資料核對方法在由資料核對裝置或資料核對設備執行的情況下，生成資料流程、劃分資料區域、劃分核對視窗、資料核對等功能可通過不同的模組或單元實現。上述實施例中的資料核對方法在由資料核對系統執行的情況下，生成資料流程、劃分資料區域、劃分核對視窗、資料核對等功能可通過不同的裝置實現。在此並不限定執行資料核對方法的主體的具體形式。
本發明第二方面還提供了一種資料核對裝置。圖6為本發明第二方面提供的資料核對裝置的一實施例的結構示意圖。如圖6所示，資料核對裝置200可包括資料流程生成模組201、區域劃分模組202和核對 模組203。
資料流程生成模組201可用於在各系統資料池發生寫操作的情況下，生成包括與寫操作關聯的資料的資料流程並傳輸。
其中，資料流程包括資料的主鍵值。
區域劃分模組202可用於基於資料流程的欄位以及預設的區域劃分規則，將資料流程劃分為至少一個資料區域。
其中，每個資料區域包括至少兩個系統資料池對應的資料流程。
在一些示例中，同一資料區域的資料流程的欄位滿足相同的區域劃分規則。
核對模組203可用於在每個資料區域中，根據資料流程對應的主鍵值，核對資料區域中的至少兩個系統資料池對應的資料流程，以確定資料區域中的至少兩個系統資料池的資料是否一致。
在一些示例中，多個資料區域中資料流程的核對並存執行。
在本發明實施例中，在各系統資料池發生寫操作的情況下，生成包括與寫操作關聯的資料的資料流程。將資料流程劃分為至少一個資料區域，每個資料區域包括至少兩個系統資料池對應的資料流程。在資料區域中核對至少兩個系統資料池對應的資料流程，從而確定至少兩個系統資料池的資料是否一致。不需要設置獲取資料的時間段，通過寫操作觸發生成資料流程，從而進行資料流程的劃分及核對。寫操作不受時間長度的限制，能夠在資料發生變化的情況下，即時進行資料的核對，從而能夠及時發現跨系統的資料不平問題。
在一些示例中，資料流程生成模組201可用於：讀取各系統資料池的二進位日誌，根據二進位日誌，確定各系統資料池的寫操作；基於寫操作，生成資料流程報文，資料流程報文用於承載資料流程；通過資料流程式元件傳輸資料流程報文。
在一些示例中，資料流程報文包括主鍵值相同的本次寫操作關聯的資料和上次寫操作關聯的資料。
圖7為本發明第二方面提供的資料核對裝置的另一實施例的結構示意圖。圖7與圖6的不同之處在於，圖7所示的資料核對裝置200還可包括篩選模組204。
篩選模組204可用於在一個系統資料池對應有主鍵值相同的多個資料流程的情況下，保留其中欄位符合預設的篩選條件的一個資料流程。
在一些示例中，資料流程包括業務狀態欄位，業務狀態欄位用於表徵資料流程的資料對應的業務的狀態。篩選條件包括：業務狀態欄位包括預設值集合中的目標值，且資料流程的業務狀態欄位與上一次寫操作對應的資料流程的業務狀態欄位不同。
圖8為本發明第二方面提供的資料核對裝置的又一實施例的結構示意圖。圖8與圖6的不同之處在於，核對模組203可包括視窗劃分單元2031和核對單元2032。
視窗劃分單元2031可用於在每個資料區域中，根據資料流程對應的主鍵值，將資料流程劃分至核對視窗內。
不同的核對視窗內的資料流程的主鍵值不同。
核對單元2032可用於核對核對視窗內的資料流程。
在一些示例中，具體地，視窗劃分單元2031可用於在已存在的核對視窗內的資料流程的主鍵值與未劃分的資料流程對應的主鍵值不同的情況下，生成新的核對視窗，將未劃分的資料流程劃分至新的核對視窗內。
核對單元2032可用於在未劃分的資料流程劃分至新的核對視窗內的時長超過預設觸發時長的情況下，觸發核對新的核對視窗內的資料流程。
在另一些示例中，具體地，視窗劃分單元2031可用於在 已存在的核對視窗內的資料流程的主鍵值與未劃分的資料流程對應的主鍵值相同的情況下，將未劃分的資料流程劃分至已存在的核對視窗內
核對單元2032可用於在已存在的核對視窗內的資料流程的數量達到預設觸發數量的情況下，觸發核對已存在的核對視窗內的資料流程。
圖9為本發明第二方面提供的資料核對裝置的再一實施例的結構示意圖。圖9與圖6的不同之處在於，圖9所示的資料核對裝置200還可包括處理模組205。
處理模組205可用於：在確定資料區域中的至少兩個系統資料池的資料一致的情況下，增大資料核對成功指標的值；在確定資料區域中的至少兩個系統資料池的資料不一致的情況下，輸出資料區域中的至少兩個系統資料池中不一致的資料。
本發明第三方面還提供了一種資料核對設備。圖10為本發明第三方面提供的資料核對設備的一實施例的結構示意圖。如圖10所示，資料核對設備300包括記憶體301、處理器302及存儲在記憶體301上並可在處理器302上運行的電腦程式。
在一個示例中，上述處理器302可以包括中央處理器(Central Processing Unit，CPU)，或者特殊應用積體電路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成實施本發明實施例的一個或多個積體電路。
記憶體可包括唯讀記憶體(Read-Only Memory，ROM)，隨機存取記憶體(Random Access Memory，RAM)，磁片存儲介質設備，光存儲介質設備，快閃記憶體設備，電氣、光學或其他物理/有形的記憶體存放裝置。因此，通常，記憶體包括一個或多個編碼有包括電腦可執行指令的軟體的有形(非暫態)電腦可讀存儲介質(例如，記憶體設備)，並且當該軟體被執行(例如，由一個或多個處理器)時，其可操作來執行參考根據本發明的資料核對方法所描述的操作。
處理器302通過讀取記憶體301中存儲的可執行程式碼來運行與可執行程式碼對應的電腦程式，以用於實現上述實施例中的資料核對方法。
在一個示例中，資料核對設備300還可包括通信介面303和匯流排304。其中，如圖10所示，記憶體301、處理器302、通信介面303通過匯流排304連接並完成相互間的通信。
通信介面303，主要用於實現本發明實施例中各模組、裝置、單元和/或設備之間的通信。也可通過通信介面303接入輸入裝置和/或輸出設備。
匯流排304包括硬體、軟體或兩者，將資料核對設備300的部件彼此耦接在一起。舉例來說而非限制，匯流排304可包括加速圖形埠(Accelerated Graphics Port，AGP)或其他圖形匯流排、增強工業標準架構(Enhanced Industry Standard Architecture，EISA)匯流排、前側匯流排(Front Side Bus，FSB)、超傳送標準(Hyper Transport，HT)互連、工業標準架構(Industry Standard Architecture，ISA)匯流排、無限頻寬互連、低引腳數(Low pin count，LPC)匯流排、記憶體匯流排、微通道架構(Micro Channel Architecture，MCA)匯流排、週邊組件互連(Peripheral Component Interconnect，PCI)匯流排、週邊組件互連延伸(Peripheral Component Interconnect Extended，PCI-X)匯流排、序列先進技術附件(Serial Advanced Technology Attachment，SATA)匯流排、視訊電子標準協會區域匯流排(Video Electronics Standards Association Local Bus，VLB)匯流排或其他合適的匯流排或者兩個或更多個以上這些的組合。在合適的情況下，匯流排304可包括一個或多個匯流排。儘管本發明實施例描述和示出了特定的匯流排，但本發明考慮任何合適的匯流排或互連。
本發明第四方面還提供了一種資料核對系統。圖11為本發明第四方面提供的資料核對系統的一實施例的結構示意圖。如圖11所示，該資料核對系統可包括資料流程裝置41、分流裝置42和核對裝置43。在 此並不限定資料核對系統中資料流程裝置41、分流裝置42和核對裝置43各自的數量。
資料流程裝置41可用於在各系統資料池發生寫操作的情況下，生成包括與寫操作關聯的資料的資料流程並傳輸。
資料流程包括資料的主鍵值。
分流裝置42可用於基於資料流程的欄位以及預設的區域劃分規則，將資料流程劃分為至少一個資料區域。
每個資料區域包括至少兩個系統資料池對應的資料流程。
核對裝置43可用於在每個資料區域中，根據資料流程對應的主鍵值，核對資料區域中的至少兩個系統資料池對應的資料流程，以確定資料區域中的至少兩個系統資料池的資料是否一致。
資料流程裝置41、分流裝置42和核對裝置43還可執行上述實施例中資料核對方法中的其他步驟，具體可參見上述實施例中資料核對方法的相關說明，在此不再贅述。
本發明第五方面還提供一種電腦可讀存儲介質，該電腦可讀存儲介質上存儲有電腦程式，該電腦程式被處理器執行時可實現上述實施例中的資料核對方法，且能達到相同的技術效果，為避免重複，這裡不再贅述。其中，上述電腦可讀存儲介質可包括非暫態電腦可讀存儲介質，如唯讀記憶體(Read-Only Memory，ROM)、隨機存取記憶體(Random Access Memory，RAM)、磁碟或者光碟等，在此並不限定。
需要明確的是，本說明書中的各個實施例均採用遞進的方式描述，各個實施例之間相同或相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。對於裝置實施例、設備實施例、系統實施例、電腦可讀存儲介質實施例而言，相關之處可以參見方法實施例的說明部分。本發明並不局限於上文所描述並在圖中示出的特定步驟和結構。本領域的技術人員可以在領會本發明的精神之後，作出各種改變、修改和添加，或者改變步驟之間的順序。並且，為了簡明起見，這裡省略 對已知方法技術的詳細描述。
上面參考根據本發明的實施例的方法、裝置(系統)和電腦程式產品的流程圖和/或框圖描述了本發明的各方面。應當理解，流程圖和/或框圖中的每個方框以及流程圖和/或框圖中各方框的組合可以由電腦程式指令實現。這些電腦程式指令可被提供給通用電腦、專用電腦、或其它可程式設計資料處理裝置的處理器，以產生一種機器，使得經由電腦或其它可程式設計資料處理裝置的處理器執行的這些指令使能對流程圖和/或框圖的一個或多個方框中指定的功能/動作的實現。這種處理器可以是但不限於是通用處理器、專用處理器、特殊應用處理器或者現場可程式設計邏輯電路。還可理解，框圖和/或流程圖中的每個方框以及框圖和/或流程圖中的方框的組合，也可以由執行指定的功能或動作的專用硬體來實現，或可由專用硬體和電腦指令的組合來實現。
本領域技術人員應能理解，上述實施例均是示例性而非限制性的。在不同實施例中出現的不同技術特徵可以進行組合，以取得有益效果。本領域技術人員在研究圖式、說明書及申請專利範圍的基礎上，應能理解並實現所揭示的實施例的其他變化的實施例。在申請專利範圍中，術語“包括”並不排除其他裝置或步驟；數量詞“一個”不排除多個；術語“第一”、“第二”用於標示名稱而非用於表示任何特定的順序。請求項中的任何圖式標記均不應被理解為對保護範圍的限制。請求項中出現的多個部分的功能可以由一個單獨的硬體或軟體模組來實現。某些技術特徵出現在不同的從屬請求項中並不意味著不能將這些技術特徵進行組合以取得有益效果。
S101,S102,S103:步驟

Claims (15)

  1. 一種資料核對方法，其特徵在於，包括：在各系統資料池發生寫操作的情況下，資料核對裝置生成包括與所述寫操作關聯的資料的資料流程並傳輸，所述資料流程包括資料的主鍵值；基於所述資料流程的欄位以及預設的區域劃分規則，所述資料核對裝置將所述資料流程劃分為至少一個資料區域，每個所述資料區域包括至少兩個系統資料池對應的所述資料流程；在每個所述資料區域中，所述資料核對裝置根據所述資料流程對應的主鍵值，核對所述資料區域中的至少兩個系統資料池對應的所述資料流程，以確定所述資料區域中的至少兩個系統資料池的資料是否一致。
  2. 如請求項1所述的方法，其中，所述在各系統資料池發生寫操作的情況下，資料核對裝置生成包括與所述寫操作關聯的資料的資料流程並傳輸，包括：所述資料核對裝置讀取各系統資料池的二進位日誌，根據所述二進位日誌，確定各系統資料池的所述寫操作；所述資料核對裝置基於所述寫操作，生成資料流程報文，所述資料流程報文用於承載所述資料流程；通過資料流程式元件傳輸所述資料流程報文。
  3. 如請求項2所述的方法，其中，所述資料流程報文包括主鍵值相同的本次寫操作關聯的資料和上次寫操作關聯的資料。
  4. 如請求項1所述的方法，其中，在所述基於所述資料流程的欄位以及預設的區域劃分規則，所述資料核對裝置將所述資料流程劃分為至少一個資料區域之前，還包括：在一個系統資料池對應有主鍵值相同的多個所述資料流程的情況下，所述資料核對裝置保留其中欄位符合預設的篩選條件的一個所述資料流程。
  5. 如請求項4所述的方法，其中，所述資料流程包括業務狀態欄位，所述業務狀態欄位用於表徵所述資料流程的資料對應的業務的 狀態，所述篩選條件包括：所述業務狀態欄位包括預設值集合中的目標值，且所述資料流程的業務狀態欄位與上一次所述寫操作對應的資料流程的業務狀態欄位不同。
  6. 如請求項1所述的方法，其中，所述在每個所述資料區域中，所述資料核對裝置根據所述資料流程對應的主鍵值，核對所述資料區域中的至少兩個系統資料池對應的所述資料流程，包括：在每個所述資料區域中，所述資料核對裝置根據所述資料流程對應的主鍵值，將所述資料流程劃分至核對視窗內，不同的所述核對視窗內的所述資料流程的主鍵值不同；所述資料核對裝置核對所述核對視窗內的所述資料流程。
  7. 如請求項6所述的方法，其中，所述資料核對裝置根據所述資料流程對應的主鍵值，將所述資料流程劃分至核對視窗內，包括：在已存在的所述核對視窗內的資料流程的主鍵值與未劃分的所述資料流程對應的主鍵值不同的情況下，所述資料核對裝置生成新的所述核對視窗，將未劃分的所述資料流程劃分至新的所述核對視窗內；所述資料核對裝置核對所述核對視窗內的所述資料流程，包括：在未劃分的所述資料流程劃分至新的所述核對視窗內的時長超過預設觸發時長的情況下，所述資料核對裝置觸發核對新的所述核對視窗內的所述資料流程。
  8. 如請求項6所述的方法，其中，所述資料核對裝置根據所述資料流程對應的主鍵值，將所述資料流程劃分至核對視窗內，包括：在已存在的所述核對視窗內的資料流程的主鍵值與未劃分的所述資料流程對應的主鍵值相同的情況下，所述資料核對裝置將未劃分的所述資料流程劃分至已存在的所述核對視窗內； 所述資料核對裝置核對所述核對視窗內的所述資料流程，包括：在已存在的所述核對視窗內的資料流程的數量達到預設觸發數量的情況下，所述資料核對裝置觸發核對已存在的所述核對視窗內的所述資料流程。
  9. 如請求項1所述的方法，其中，在所述資料核對裝置根據所述資料流程對應的主鍵值，核對所述資料區域中的至少兩個系統資料池對應的所述資料流程之後，還包括：在所述資料核對裝置確定所述資料區域中的至少兩個系統資料池的資料一致的情況下，所述資料核對裝置增大資料核對成功指標的值；在所述資料核對裝置確定所述資料區域中的至少兩個系統資料池的資料不一致的情況下，所述資料核對裝置輸出所述資料區域中的至少兩個系統資料池中不一致的資料。
  10. 如請求項1所述的方法，其中，同一所述資料區域的所述資料流程的欄位滿足相同的所述區域劃分規則。
  11. 如請求項1所述的方法，其中，多個所述資料區域中所述資料流程的核對並存執行。
  12. 一種資料核對裝置，其特徵在於，包括：資料流程生成模組，用於在各系統資料池發生寫操作的情況下，生成包括與所述寫操作關聯的資料的資料流程並傳輸，所述資料流程包括資料的主鍵值；區域劃分模組，用於基於所述資料流程的欄位以及預設的區域劃分規則，將所述資料流程劃分為至少一個資料區域，每個所述資料區域包括至少兩個系統資料池對應的所述資料流程；核對模組，用於在每個所述資料區域中，根據所述資料流程對應的主鍵值，核對所述資料區域中的至少兩個系統資料池對應的所述資料流程，以確定所述資料區域中的至少兩個系統資料池的資料是否一致。
  13. 一種資料核對設備，其特徵在於，包括：處理器以及存 儲有電腦程式指令的記憶體；所述處理器執行所述電腦程式指令時實現如請求項1至11中任意一項所述的資料核對方法。
  14. 一種資料核對系統，其特徵在於，包括：資料流程裝置，用於在各系統資料池發生寫操作的情況下，生成包括與所述寫操作關聯的資料的資料流程並傳輸，所述資料流程包括資料的主鍵值；分流裝置，用於基於所述資料流程的欄位以及預設的區域劃分規則，將所述資料流程劃分為至少一個資料區域，每個所述資料區域包括至少兩個系統資料池對應的所述資料流程；核對裝置，用於在每個所述資料區域中，根據所述資料流程對應的主鍵值，核對所述資料區域中的至少兩個系統資料池對應的所述資料流程，以確定所述資料區域中的至少兩個系統資料池的資料是否一致。
  15. 一種電腦存儲介質，其特徵在於，所述電腦存儲介質上存儲有電腦程式指令，所述電腦程式指令被處理器執行時實現如請求項1至11中任意一項所述的資料核對方法。
TW110139362A 2020-10-27 2021-10-22 資料核對方法、裝置、設備、系統及存儲介質 TWI802056B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011167710.5 2020-10-27
CN202011167710.5A CN112422635B (zh) 2020-10-27 2020-10-27 数据核对方法、装置、设备、系统及存储介质

Publications (2)

Publication Number Publication Date
TW202217641A TW202217641A (zh) 2022-05-01
TWI802056B true TWI802056B (zh) 2023-05-11

Family

ID=74841834

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110139362A TWI802056B (zh) 2020-10-27 2021-10-22 資料核對方法、裝置、設備、系統及存儲介質

Country Status (3)

Country Link
CN (1) CN112422635B (zh)
TW (1) TWI802056B (zh)
WO (1) WO2022089063A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112422635B (zh) * 2020-10-27 2023-05-23 中国银联股份有限公司 数据核对方法、装置、设备、系统及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201729122A (zh) * 2015-12-24 2017-08-16 英特爾公司 促進於異質運算環境中橫跨計算機叢集的有效率通訊及資料處理之技術
TWI607340B (zh) * 2015-01-09 2017-12-01 Chunghwa Telecom Co Ltd Privacy data flow security and storage protection method and system
CN110196844A (zh) * 2018-04-16 2019-09-03 腾讯科技（深圳）有限公司 一种数据迁移方法、系统及存储介质
TW201947492A (zh) * 2018-05-14 2019-12-16 玉山商業銀行股份有限公司 運營資料匯流系統與方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9063657B2 (en) * 2011-04-19 2015-06-23 International Business Machines Corporation Virtual tape systems using physical tape caching
CN103136276A (zh) * 2011-12-02 2013-06-05 阿里巴巴集团控股有限公司 一种数据核对系统，方法及装置
CN102571617B (zh) * 2012-03-22 2015-04-01 中国科学院上海高等研究院 流数据服务器、流数据传输方法及数据传输系统
CN103645963B (zh) * 2013-12-26 2016-06-29 深圳市迪菲特科技股份有限公司 一种存储系统及其数据一致性校验方法
US10191956B2 (en) * 2014-08-19 2019-01-29 New England Complex Systems Institute, Inc. Event detection and characterization in big data streams
CN106326219B (zh) * 2015-06-16 2020-01-24 阿里巴巴集团控股有限公司 核对业务系统数据的方法、装置及系统
CN106454767A (zh) * 2015-08-05 2017-02-22 中兴通讯股份有限公司 一种业务数据同步方法、装置及系统
CN109840837B (zh) * 2017-11-27 2022-09-20 财付通支付科技有限公司 财务数据的处理方法、装置、计算机可读介质及电子设备
CN110213071B (zh) * 2018-04-16 2021-11-02 腾讯科技（深圳）有限公司 数据核对方法、装置、系统、计算机设备和存储介质
CN108647353A (zh) * 2018-05-16 2018-10-12 口碑(上海)信息技术有限公司 一种实时核对数据的方法、装置
CN113553313B (zh) * 2018-07-10 2023-12-05 创新先进技术有限公司 一种数据迁移方法及系统、存储介质、电子设备
US10795913B2 (en) * 2018-10-11 2020-10-06 Capital One Services, Llc Synching and reading arrangements for multi-regional active/active databases
CN109684350A (zh) * 2018-12-15 2019-04-26 平安证券股份有限公司 证券登记数据核对方法、装置、计算机设备及存储介质
CN110046202B (zh) * 2019-03-07 2023-05-26 中国人民解放军海军工程大学 基于内存键值数据库的综合电力系统实时数据管理方法
CN110109824B (zh) * 2019-04-09 2022-05-17 平安科技（深圳）有限公司 大数据自动回归测试方法、装置、计算机设备和存储介质
CN110716813A (zh) * 2019-09-17 2020-01-21 贝壳技术有限公司 数据流处理方法、装置、可读存储介质及处理器
CN112422635B (zh) * 2020-10-27 2023-05-23 中国银联股份有限公司 数据核对方法、装置、设备、系统及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI607340B (zh) * 2015-01-09 2017-12-01 Chunghwa Telecom Co Ltd Privacy data flow security and storage protection method and system
TW201729122A (zh) * 2015-12-24 2017-08-16 英特爾公司 促進於異質運算環境中橫跨計算機叢集的有效率通訊及資料處理之技術
CN110196844A (zh) * 2018-04-16 2019-09-03 腾讯科技（深圳）有限公司 一种数据迁移方法、系统及存储介质
TW201947492A (zh) * 2018-05-14 2019-12-16 玉山商業銀行股份有限公司 運營資料匯流系統與方法

Also Published As

Publication number Publication date
TW202217641A (zh) 2022-05-01
CN112422635B (zh) 2023-05-23
CN112422635A (zh) 2021-02-26
WO2022089063A1 (zh) 2022-05-05

Similar Documents

Publication Publication Date Title
CN108460523B (zh) 一种风控规则生成方法和装置
US11294960B1 (en) Entity mapping
CN104391934A (zh) 数据校验方法和装置
TWI802056B (zh) 資料核對方法、裝置、設備、系統及存儲介質
WO2022166293A1 (zh) 一种目标检测方法和装置
CN112199935B (zh) 数据的比对方法、装置、电子设备及计算机可读存储介质
CN112347501A (zh) 数据处理方法、装置、设备及存储介质
CN106909454B (zh) 一种规则处理方法和设备
WO2023093689A1 (zh) 一种计算图优化方法、装置及设备
CN104376397B (zh) 一种数据实时分析方法及装置
CN112181614A (zh) 任务超时监控方法、装置、设备、系统及存储介质
CN113923268B (zh) 一种针对多版本通信规约的解析方法、设备及存储介质
JP2017068293A (ja) テストｄｂデータ生成方法及び装置
CN110851207A (zh) 状态转换管理方法、装置、电子设备和计算机可读存储介质
US9483332B2 (en) Event processing method in stream processing system and stream processing system
CN114707029A (zh) 一种图谱数据的处理方法、装置及电子设备
CN114328525A (zh) 数据处理方法及设备
CN110018844B (zh) 决策触发方案的管理方法、装置和电子设备
CN109325127B (zh) 一种风险识别方法和装置
CN109522915B (zh) 病毒文件聚类方法、装置及可读介质
CN111309370A (zh) 多项目多系统环境的版本号有向图排序稽核方法和系统
CN114237600B (zh) 前端页面的代码生成方法、装置、设备以及存储介质
CN113987785B (zh) 用于核电站dcs系统算法块完整信息的管理方法和装置
CN108763363B (zh) 一种检验待写入记录的方法及装置
CN116416058A (zh) 一种风险规则的处理方法和装置