TW201824018A - 即時資料處理方法和裝置 - Google Patents

即時資料處理方法和裝置 Download PDF

Info

Publication number
TW201824018A
TW201824018A TW106127141A TW106127141A TW201824018A TW 201824018 A TW201824018 A TW 201824018A TW 106127141 A TW106127141 A TW 106127141A TW 106127141 A TW106127141 A TW 106127141A TW 201824018 A TW201824018 A TW 201824018A
Authority
TW
Taiwan
Prior art keywords
real
time data
time
data
completeness
Prior art date
Application number
TW106127141A
Other languages
English (en)
Inventor
李國忠
Original Assignee
香港商阿里巴巴集團服務有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商阿里巴巴集團服務有限公司 filed Critical 香港商阿里巴巴集團服務有限公司
Publication of TW201824018A publication Critical patent/TW201824018A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/485—Task life-cycle, e.g. stopping, restarting, resuming execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2358—Change logging, detection, and notification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/80—Database-specific techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/805—Real-time

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Fuzzy Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本發明揭示了一種即時資料處理方法和裝置。其中，該處理方法包括：收集分散式系統中一個或多個節點接收到的即時資料；將所有節點上滿足相同預定條件的即時資料進行匯總，得到相同預定條件下對應的即時資料的總量，其中，預定條件用於表示收集到即時資料的時間；計算滿足相同預定條件的即時資料的齊全度，其中，齊全度用於指示：處理完的滿足相同預定條件的即時資料在匯總的所有節點上的即時資料中的比例。透過本發明解決了現有技術無法獲知對即時資料處理的進度所導致的問題，從而增加了對即時資料處理的評估維度。

Description

即時資料處理方法和裝置
本發明關於資料處理領域，具體而言，關於一種即時資料處理方法和裝置。
在現有的即時資料計算領域中，流資料是源源不斷的，不知道什麼時候是個頭，這樣即時統計出來的資料也是即時變化的。由於即時統計的資料是一直變動的，使用這些資料的業務方對這些資料處理的進度完全無感知，因此，無法根據這些資料做出一些決斷性質的行為，比如，統計的預設分鐘內的銷售額，是一直變動的，決策者無法根據這些資料確定是否進行銷售策略的改變；又如，若是報警監控系統裡的即時資料，由於即時資料的不斷變動，該系統無法根據這些資料做出準確的報警行為。即在現有技術中沒有參數可以用來評估即時資料處理的進度。
目前，常用的即時資料的處理方式為以下兩種： 如圖1所示，對於統計1分鐘的日誌的錯誤個數，如果超過100個就報警。比如有一分鐘的100個是分4次來的，即每次都來25個。
對於第一種方案，如圖2所示，每來25個就計算一 次，第二次來就再計算一次，透過這樣累加的方式對即時資料進行處理。每次處理完都會將資料存到資料庫裡。即，每來25個都會馬上經過即時計算引擎，然後經過記憶體，最終到達資料庫，是從資料來源一路到達資料庫的。目前第一種方案是業內採用最多的方式。因為可以保證資料的完整性。但是缺點是，資料庫的資料會不斷的變化，這樣就不能做精準的決策。
對於第二種方案，如圖3所示，可以是一開始指定一個預計的超時時間，例如，2分鐘超時。假設4次25個是分4個時間段進來的，前3次在2分鐘內到達，第4次在2分鐘後才到。那麼這種方案只會記錄前三次的75個，只存一次資料庫，即圖3中的記憶體會等待2分鐘，2分鐘過了之後才會存入資料庫。這樣做的好處是可以對於資料庫來說，只要有資料，就是不會再變了，可以根據這個資料直接做出決策，比如交易下跌，趕緊馬上更換廣告位的品牌，可以在最快的時間內挽回交易額。但是這種方案的缺點就是，過了超時時間的資料會丟掉(如圖中虛線所示的第四次的25個)，因此，會存在誤差。
針對現有技術無法獲知對即時資料處理的進度所導致的問題，目前尚未提出有效的解決方案。
本發明實施例提供了一種即時資料處理方法和裝置，以至少解決現有技術無法獲知對即時資料處理的進度所導 致的問題。
根據本發明實施例的一個方面，提供了一種即時資料處理方法，該處理方法包括：收集分散式系統中一個或多個節點接收到的即時資料；將所有節點上滿足相同預定條件的即時資料進行匯總，得到相同預定條件下對應的即時資料的總量，其中，預定條件用於表示收集到即時資料的時間；計算滿足相同預定條件的即時資料的齊全度，其中，齊全度用於指示：處理完的滿足相同預定條件的即時資料在匯總的所有節點上的即時資料中的比例
根據本發明實施例的另一方面，還提供了一種即時資料處理裝置，該處理裝置包括：收集模組，用於收集分散式系統中一個或多個節點接收到的即時資料；匯總模組，用於將所有節點上滿足相同預定條件的即時資料進行匯總，得到相同預定條件下對應的即時資料的總量，其中，預定條件用於表示收集到即時資料的時間；計算模組，用於計算滿足相同預定條件的即時資料的齊全度，其中，齊全度用於指示：處理完的滿足相同預定條件的即時資料在匯總的所有節點上的即時資料中的比例。
在本發明實施例中，收集分散式系統中一個或多個節點接收到的即時資料，將所有節點上滿足相同預定條件的即時資料進行匯總，得到相同預定條件下對應的即時資料的總量，計算滿足相同預定條件的即時資料的齊全度，從而實現對即時資料的齊全度進行計算。
容易注意到，對即時資料的處理引入了一個參數，即 齊全度，透過該參數可以得知即時資料處理的進度。該齊全度用於指示處理完滿足預定條件的即時資料在處理完匯總後的即時資料中所占的進度。在引入齊全度之後，可以收集即時資料並對收集到的即時資料進行匯總；然後從匯總後的即時資料中獲取滿足預定條件的即時資料；從而可以計算滿足預定條件的即時資料的齊全度，達到增加了對即時資料處理的評估維度的效果。
由此，本發明實施例解決了現有技術無法獲知對即時資料處理的進度的技術問題。
40‧‧‧電腦終端
402a、402b，......，402n‧‧‧處理器
800‧‧‧即時資料處理裝置
802‧‧‧收集模組
804‧‧‧匯總模組
806‧‧‧計算模組
808‧‧‧獲取模組
810‧‧‧獲取單元
812‧‧‧匯總單元
900‧‧‧電腦終端
902‧‧‧處理器
904‧‧‧記憶體
S502、S504、S506‧‧‧方法步驟
S702、S704、S706、S708‧‧‧方法步驟
此處所說明的附圖用來提供對本發明的進一步理解，構成本發明的一部分，本發明的示意性實施例及其說明用於解釋本發明，並不構成對本發明的不當限定。在附圖中：圖1是根據現有技術的一種即時資料處理方法的示意圖；圖2是根據現有技術的第一種即時資料處理方法的示意圖；圖3是根據現有技術的第二種即時資料處理方法的示意圖；圖4是根據本發明實施例的一種即時資料處理方法的電腦設備的硬體結構方塊圖；圖5是根據本發明實施例的一種即時資料處理方法的 流程圖；圖6是根據本發明實施例的一種可選的即時資料處理方法的示意圖；圖7是根據本發明實施例的一種可選的即時資料處理方法的流程圖；圖8是根據本發明實施例的一種即時資料處理裝置的示意圖；以及圖9是根據本發明實施例的一種電腦終端的結構方塊圖。
為了使本技術領域的人員更好地理解本發明方案，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分的實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都應當屬於本發明保護的範圍。
需要說明的是，本發明的說明書和申請專利範圍及上述附圖中的術語“第一”、“第二”等是用於區別類似的物件，而不必用於描述特定的順序或先後次序。應該理解這樣使用的資料在適當情況下可以互換，以便這裡描述的本發明的實施例能夠以除了在這裡圖示或描述的那些以外的順序實施。此外，術語“包括”和“具有”以及他們的任何變 形，意圖在於覆蓋不排他的包含，例如，包含了一系列步驟或單元的過程、方法、系統、產品或設備不必限於清楚地列出的那些步驟或單元，而是可包括沒有清楚地列出的或對於這些過程、方法、產品或設備固有的其它步驟或單元。
實施例1
根據本發明實施例，提供了一種即時資料處理方法的實施例，需要說明的是，在附圖的流程圖示出的步驟可以在諸如一組電腦可執行指令的電腦系統中執行，並且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同於此處的循序執行所示出或描述的步驟。
本發明實施例所提供的方法實施例可以在伺服器上進行處理，為了提供更好的使用體驗，還可以提供處理結果查詢服務，例如，可以透過網頁、或者用戶端來查看伺服器上的運算結果。伺服器可以理解為一種電腦。當然，隨著技術的發展，雲計算得到了越來越廣的應用，本發明實施例中所提供的方法也可以在雲計算中推廣使用。終端的計算能力也會隨著技術的發展而增強，當終端可以獲取到相應的資料而進行計算時，例如，終端可以包括但是不限於：手機、平板電腦以及其他的可擕式設備。但是就目前而言，在伺服器部署本發明以下實施例是一種較優的選擇。
在目前的技術條件下，伺服器、終端、雲計算所依賴 的硬體架構都是類似的，均可以看作是一種電腦設備。本發明實施例可以在這種電腦設備中執行。隨著技術的發展，電腦設備硬體架構發生了變化，或者出現了新架構的運算設備，本發明以下實施例也可以實施。下面以圖4中的計算設備的架構為例進行說明。
圖4是根據本發明實施例的一種即時資料處理方法的電腦設備的硬體結構方塊圖。如圖4所示，電腦終端40可以包括一個或多個(圖中採用402a、402b，......，402n來示出)處理器402(處理器402可以包括但不限於微處理器MCU或可程式設計邏輯器件FPGA等的處理裝置)、用於儲存資料的記憶體404、以及用於通訊功能的傳輸裝置。除此以外，還可以包括：顯示器、輸入/輸出介面(I/O介面)、通用序列匯流排(USB)埠(可以作為I/O介面的埠中的一個埠被包括)、網路介面、電源和/或相機。本領域普通技術人員可以理解，圖4所示的結構僅為示意，其並不對上述電子裝置的結構造成限定。例如，電腦終端40還可包括比圖4中所示更多或者更少的元件，或者具有與圖4所示不同的配置。
應當注意到的是上述一個或多個處理器402和/或其他資料處理電路在本文中通常可以被稱為“資料處理電路”。該資料處理電路可以全部或部分的體現為軟體、硬體、固件或其他任意組合。此外，資料處理電路可為單個獨立的處理模組，或全部或部分的結合到電腦終端40中的其他元件中的任意一個內。如本發明實施例中所關於到的，該資 料處理電路作為一種處理器控制(例如與介面連接的可變電阻終端路徑的選擇)。
記憶體404可用于儲存應用軟體的軟體程式以及模組，如本發明實施例中的即時資料處理方法對應的程式指令/模組，處理器402透過運行儲存在記憶體404內的軟體程式以及模組，從而執行各種功能應用以及資料處理。記憶體404可包括高速隨機記憶體，還可包括非易失性記憶體，如一個或者多個磁性儲存裝置、快閃記憶體、或者其他非易失性固態記憶體。在一些實例中，記憶體404可進一步包括相對於處理器402遠端設置的記憶體，這些遠端存放器可以透過網路連接至行動終端40。上述網路的實例包括但不限於互聯網、企業內部網、局域網、行動通訊網及其組合。
傳輸裝置用於經由一個網路接收或者發送資料。上述的網路具體實例可包括電腦終端40的通訊供應商提供的無線網路。在一個實例中，傳輸裝置包括一個網路介面卡(Network Interface Controller,NIC)，其可透過基站與其他網路設備相連從而可與互聯網進行通訊。在一個實例中，傳輸裝置可以為射頻(Radio Frequency,RF)模組，其用於透過無線方式與互聯網進行通訊。
上述網路的實例包括但不限於互聯網、企業內部網、局域網、行動通訊網及其組合。
顯示器可以例如觸控式螢幕式的液晶顯示器(LCD)，該液晶顯示器可使得用戶能夠與電腦終端40 (或行動設備)的用戶介面進行交互。
此處需要說明的是，在一些可選實施例中，上述圖4所示的電腦設備40可以包括硬體元件(包括電路)、軟體元件(包括儲存在電腦可讀媒體上的電腦代碼)、或硬體元件和軟體元件兩者的結合。應當指出的是，圖4僅為特定具體實例的一個實例，並且旨在示出可存在於上述電腦設備(或行動設備)中的部件的類型。
在上述運行環境下，本發明實施例提供了一種即時資料處理方法。圖5是根據本發明實施例的一種即時資料處理方法的流程圖，如圖5所示，該方法可以包括如下步驟：步驟S502，收集分散式系統中一個或多個節點接收到的即時資料。
具體的，上述的即時資料可以是即時統計出來的資料，該資料隨著時間不斷變化。
步驟S504，將所有節點上滿足相同預定條件的即時資料進行匯總，得到相同預定條件下對應的即時資料的總量，其中，預定條件用於表示收集到即時資料的時間。
具體的，上述預定條件可以是對時間的限制。上述的預定條件的即時資料可以為即時資料在預定時間內收集到的即時資料。其中，預定時間為收集即時資料時對應的不同時間。
步驟S506，計算滿足相同預定條件的即時資料的齊全度，其中，齊全度用於指示：處理完的滿足相同預定條件 的即時資料在匯總的所有節點上的即時資料中的比例。
具體的，透過該百分比可以獲知即時資料處理的進度，使用百分比的情況下，可以使即時資料處理的進度更加直觀，更容易使業務方根據即時資料的齊全度，做出一些更為精確的決策。
在一種可選的方案中，上述的齊全度可以採用數量參數來進行計算，也即，可以根據處理完的滿足預定條件的即時資料的數量在處理完的匯總後的即時資料的總量中的占比來計算齊全度。
此處需要說明的是，對即時資料的處理可以包括多種操作，例如，一種比較簡明的處理就是收集即時資料，例如，可以在收集到即時資料之後就認為對該即時資料的處理完成。當然，還有一些比較複雜的處理方式，例如，在收集到即時資料之後，還需要對即時資料進行一些加工(例如，格式的調整，或者是資料的抽取，或者是資料的匯總)，此時，可以認為加工完成之後才意味著處理的完成。
此處還需要說明的是，在以下實施例的描述中，使用了“收集”到即時資料就認為是即時資料的處理完成，這是因為，收集到的即時資料之後在某種程度上就可以用來評估即時資料的完整度。
下面以將上述的實施方案應用於tlog產品中為例。根據上述實施例，可以實現下面的功能，若目前時刻(以分鐘為單位)即時資料的統計結果為(1000,95%)，也即在 該目前時刻，即時資料統計的數量為1000，這些資料的齊全度為95%。由於即時資料一直在變動，繼續統計目前時刻之後的2分鐘內的資料，該2分鐘內即時資料的數量為200，並假設計算得到該時刻(即目前時刻之後的2分鐘對應的時刻)的資料的齊全度為100%，也即，對應該時刻即時資料的統計結果為(1200，100%)。透過上述方案，可以在保證不丟棄資料的同時，又能使使用tlog產品的業務方感知到資料的精準度。
在該例子中，將數量作為了進度處理完成的依據，即當收集到1200個資料時就認為是資料齊全度為100%。
由上可知，本發明上述實施例一揭示的方案中，收集分散式系統中一個或多個節點接收到的即時資料，將所有節點上滿足相同預定條件的即時資料進行匯總，得到相同預定條件下對應的即時資料的總量，計算滿足相同預定條件的即時資料的齊全度，從而實現對即時資料的齊全度進行計算。
容易注意到，對即時資料的處理引入了一個參數，即齊全度，透過該參數可以得知即時資料處理的進度。該齊全度用於指示處理完滿足預定條件的即時資料在處理完匯總後的即時資料中所占的進度。在引入齊全度之後，可以收集即時資料並對收集到的即時資料進行匯總；然後從匯總後的即時資料中獲取滿足預定條件的即時資料；從而可以計算滿足預定條件的即時資料的齊全度，達到增加了對即時資料處理的評估維度的效果。
由此，本發明提供的上述實施例一的方案解決了現有技術無法獲知對即時資料處理的進度的技術問題。
在以下實施例中，即時資料處理的齊全度可以從以下維度進行評估，預定時間內收集到的即時資料的數量，該維度有些類似於評估在一個時間段內究竟能夠收集多少即時資料。當然，齊全度也可以從其他的角度來進行評估，無論從什麼角度選擇的評估的維度，只要是可以展示進度，或者使用處理的比例的方式展示進度均涵蓋在本發明實施例的保護範圍之內。
根據本發明上述實施例，齊全度用於指示處理完的滿足相同預定條件的即時資料的總量在匯總的所有節點上的即時資料的總量中的占比。
在一種可選的方案中，上述的齊全度可以根據數量參數進行計算。
根據本發明上述實施例，齊全度用於指示預定時間段內處理完的滿足相同預定條件的即時資料的總量在匯總的所有節點上的即時資料的總量中的占比，其中，滿足相同預定條件的即時資料為預定時刻收集到的即時資料，預定時間段為預定時刻和預定時刻之前的時間段。
具體的，上述的預設時刻可以是需要對即時資料的齊全度進行計算的特定時刻。
在一種可選的方案中，即時資料的齊全度可以是針對特定時刻獲取到的即時資料，在特定時刻和特定時刻之前的即時資料被處理的比例或者進度。
根據本發明上述實施例，在步驟S502，收集分散式系統中一個或多個節點接收到的即時資料之後，上述方法還可以包括如下步驟：步驟S508，獲取收集到的每個即時資料的時間戳記，其中，時間戳記用於指示對該即時資料進行處理的時間。
在一種可選的方案中，如果預定條件是對時間限制，例如，匯總5分鐘的即時資料，此時需要知道在即時資料收集2分鐘時的資料齊全度。可以收集即時資料之後，為收集到的每個即時資料標上時間戳記，該時間戳記用於指示收集到該即時資料的時間。
根據本發明上述實施例，步驟S506，計算滿足相同預定條件的即時資料的齊全度可以包括如下步驟：步驟S5062，在目前時間戳記的情況下，將處理完成的所有即時資料的總量在匯總的所有節點上的即時資料的總量中的占比，作為齊全度。
在一種可選的方案中，在一個或多個節點接收到即時資料之後，可以獲取收集到的每個即時資料的時間戳記，確定每個時間戳記的即時資料的數量，並將處理完成的即時資料的數量在匯總後的即時資料總量中占的比例作為齊全度。
透過上述實施例，獲取收集到的每個即時資料的時間戳記，可以根據時間戳記直觀的得到在預定時間內收集到的即時資料的數量，從而可以快速計算出資料的齊全度。
根據本發明上述實施例，步驟S504，將所有節點上滿 足相同預定條件的即時資料進行匯總，得到相同預定條件下對應的即時資料的總量，包括：步驟S5042，獲取每個分散式節點上的即時資料。
步驟S5044，將獲取到的每個分散式節點上具有相同時間戳記的即時資料進行匯總，得到每個時間戳記對應的即時資料的總。
在一種可選的方案中，伺服器中的每個即時資料都有其對應的處理時間，且每個即時資料被分佈在不同的節點上。在對預定時間段內的即時資料進行匯總時，首先獲取預定時間段內的每個分散式節點上的即時資料，並對每個分散式節點上的即時資料進行匯總，即將每個分佈節點上對應的處理時間相同的即時資料進行合併操作，經過合併操作之後，在各個分散式節點上將產生統一的資料結構(如，時間：檔個數)，然後將分散式節點上的資料結構傳輸到單台節點上，最後在一個單節點上做合併操作，即將各個分散式節點上對應的處理時間相同的即時資料做合併操作，在單節點上形成對即時資料的匯總結果，該結果中包括：即時資料的多個處理時間，與每個處理時間對應的即時資料的數量。
在另一種可選的方案中，每個即時資料被分佈在不同的節點上，對每個分散式節點上的即時資料進行匯總，即得到預定時間段內的即時資料的總數量和收集完預定時間段內的即時資料所用的時間，之後，將每個分散式節點上的匯總結果在一個單節點上進行合併操作，得到預定時間 內的匯總後的即時資料的總量和收集完匯總後的即時資料所用的時間。
透過上述實施例，由於是分散式環境，首先將每個分散式節點上的即時資料進行匯總，然後在一個單節點上進行合併操作，最終得到預定時間段內的即時資料的匯總結果，採用該方案，可以在不丟棄資料的同時，達到快速且準確對預定時間段內的即時資料的匯總的目的。
下面以對伺服器產生的日誌檔的即時統計齊全度為例，詳述本發明的上述實施例。如圖6所示，提供了一種可選的即時資料處理方法的示意圖，即時計算引擎獲取第一次從a檔獲取到20個即時資料，計算得到齊全度是25%；第二次從b檔獲取到25個即時資料，計算得到齊全度是35%；第三次從c檔獲取到35個即時資料，計算得到齊全度是75%；第四次從d檔獲取到20個即時資料，計算得到齊全度是100%。當即時資料的齊全度到達100%，或者到達95%的時候，將即時資料和齊全度從記憶體存到資料庫。
如圖7所示，該實施例可以包括如下步驟：步驟S702，收集資料來源並為每一個資料來源標上一個時間戳記。
在該步驟中，收集資料來源，即為收集分散式環境下的每個日誌檔。每個日誌檔在拉回來的時候，都對應有處理的時間。例如，a.log,b.log,c.log分別表示三個日誌檔，到即時系統時，都帶有對應的處理時間(即上述的時 間戳記)，該處理時間用於表示對該日誌檔進行處理的時間。如表1所示，a.log對應的處理時間為20160113 13：42：50，b.log對應的處理時間為20160113 13：42：52，c.log對應的處理時間為20160113 13：42：52。
步驟S704，根據時間戳記得到可以識別的資料結構。
上述的資料結構為，時間：文件個數。根據時間戳記可以將表1中的資料結構更新為可以識別的資料結構，如表2所示。
步驟S706，將分散式節點上的可以識別的資料結構傳輸到單台節點上做匯總。
由於是分散式環境，在分散式環境中各個分散式節點上都生產一個上述的可以識別的資料結構(即時間：檔個數)，然後在一個單節點上做合併操作。
如在A節點上產生的可以識別的資料結構的內容，如表2所示。
如表2所示，對於20160113 13：42：50這個時間點，a.log檔正在處理中，未被處理完畢，可以認為b.log，c.log兩個檔以及A節點上的其他檔已經被處理完畢。對於20160113 13：42：52這個時間點，b.log和c.log兩個檔正在處理中，未被處理完畢，可以認為A節點上的其他檔已經被處理完畢，且a.log文件仍然未被處理完畢。進一步對於20160113 13：42：49這個時間點以及之前的時間點，還可以認為a.log，b.log，c.log三個檔以及A節點上的其他檔均已經被處理完畢。
在B節點上產生的可以識別的資料結構的內容，如表3所示。
如表3所示，對於20160113 13：42：51這個時間點，k.log，m.log，n.log三個檔正在處理中，未被處理完畢，可以認為d.log，e.log，f.log，g.log，h.log五個檔以及B節點上的其他檔已經被處理完畢。對於20160113 13：42：52這個時間點，d.log，e.log，f.log，g.log，h.log五個檔正在處理中，未被處理完畢，可以認為B節點上的其他檔已經被處理完畢，且k.log，m.log，n.log三個文件仍然未被處理完畢。進一步對於20160113 13：42：50這個時間 點以及之前的時間點，還可以認為d.log，e.log，f.log，g.log，h.log，k.log，m.log，n.log八個檔以及B節點上的其他檔均已經被處理完畢。
將A節點和B節點中的資料結構做合併操作，在合併後的節點上產生的資料結構的內容如表4所示。
步驟S708，在資料提交的時候，在匯總的資料結構的基礎上，算出即時資料的齊全度，並將即時資料和齊全度兩個指標一起存入資料庫中。
可選的，每個時刻對應的齊全度是多個時間戳記對應的齊全度，可以在計算出齊全度之後，將每個時間戳記(timestamp)和對於每個時間戳記計算得到的齊全度兩個指標(timestamp，齊全度)一起存入資料庫中，從而使得資料庫中的每份資料都具有一個資料處理的完整度，根據資料處理的完整度可以獲知即時資料的處理進度，並進一步針對即時資料做更為精準的決策。
此處需要說明的是，上述實施例中僅收集日誌檔，即 上述的資料來源，並根據收集到的日誌檔計算齊全度，並未說明資料來源中即時資料的數量，因此，本發明實施例中不舉例說明如何將即時資料和齊全度兩個指標一起存入資料庫中。
根據合併後節點上的資料結構，計算上述表1至表4所示的實施例中的即時資料的齊全度，具體如下所示：
1：在20160113 13：42：53秒這個時刻，對於時間戳記為20160113 13：42：49的11個日誌檔，因為處理上述日誌檔中的最小時間是20160113 13：42：50，比49秒大，所以認為時間戳記為20160113 13：42：49的11個檔均已經被處理完畢，所以49秒的齊全度是100%。
2：在20160113 13：42：53秒這個時刻，對於時間戳記為20160113 13：42：50的11個文件。因為50秒低於52秒和51秒的時間，所以在時間戳記為20160113 13：42：50的11個文件中，A節點中的a.log文件正在處理中，還未被處理完畢，而A節點中的b.log，c.log兩個文件和B節點中的d.log，e.log，f.log，g.log，h.log五個檔已經被處理完畢，且B節點中的k.log，m.log，n.log三個檔也已經被處理完畢，因此，時間戳記為20160113 13：42：50的11個日誌檔中已經處理的日誌檔個數是7+3=10，此時的齊全度為10/11=91%。
3：在20160113 13：42：53秒這個時刻，對於時間戳記為20160113 13：42：51的是11個文件。因為51秒介於52秒和50秒之間，所以對於時間戳記為20160113 13： 42：51的11個文件，A節點中的a.log文件仍未被處理完畢，B節點中的k.log，m.log，n.log三個文件正在處理中，還未被處理完畢，而A節點中的b.log，c.log兩個文件和B節點中的d.log，e.log，f.log，g.log，h.log五個檔已經處理完畢。因此，時間戳記為20160113 13：42：51的11個日誌檔中已經處理的日誌檔個數是7，可以得到51秒的所有即時資料的齊全度為7/11=63.6%。
4：在20160113 13：42：53秒這個時刻，對於時間戳記為20160113 13：42：52的是11個文件。因為52秒高於51秒和50秒的時間，所以在時間戳記為20160113 13：42：52的11個文件中，A節點中的b.log，c.log兩個文件和B節點中的d.log，e.log，f.log，g.log，h.log五個檔正在處理中，還未被處理完畢，而且，A節點中的a.log文件和B節點中的k.log，m.log，n.log三個文件仍未被處理完畢。因此，認為時間戳記為20160113 13：42：52的11個日誌檔均未被處理完畢，得到52秒的所有即時資料的齊全度為0%。
5：在20160113 13：42：53秒這個時刻，對於時間戳記為20160113 13：42：53的11個檔，因為所有日誌檔最大處理到20160113 13：42：52，即，還未對53秒的日誌檔進行收集，所以53秒的資料的統計結果是0%。
根據上述方法步驟，在20160113 13：42：54秒這個時刻，再對幾個節點所收集到的即時資料計算即時資料的齊全度： 對於時間戳記為20160113 13：42：49的11個日誌檔，已經處理的日誌檔個數是11，可以得到49秒的所有即時資料的齊全度為11/11=100%；對於時間戳記為20160113 13：42：50的11個日誌檔，已經處理的日誌檔個數是11，可以得到50秒的所有即時資料的齊全度為11/11=100%；對於時間戳記為20160113 13：42：51的11個日誌檔，已經處理的日誌檔個數是8，可以得到51秒的所有即時資料的齊全度為8/11=72.3%；對於時間戳記為20160113 13：42：52的11個日誌檔，已經處理的日誌檔個數是5，可以得到52秒的所有即時資料的齊全度為5/11=45.5%；對於時間戳記為20160113 13：42：53的11個日誌檔，已經處理的日誌檔個數是2，可以得到53秒的所有即時資料的齊全度為2/11=18.2%；對於時間戳記為20160113 13：42：54的11個日誌檔，已經處理的日誌檔個數是0，可以得到54秒的所有即時資料的齊全度為0。
根據上述方法步驟，在20160113 13：42：55秒這個時刻，再對幾個節點所收集到的即時資料計算即時資料的齊全度：對於時間戳記為20160113 13：42：49的11個日誌檔，已經處理的日誌檔個數是11，可以得到49秒的所有即時資料的齊全度為11/11=100%； 對於時間戳記為20160113 13：42：50的11個日誌檔，已經處理的日誌檔個數是11，可以得到50秒的所有即時資料的齊全度為11/11=100%；對於時間戳記為20160113 13：42：51的11個日誌檔，已經處理的日誌檔個數是9，可以得到51秒的所有即時資料的齊全度為9/11=81.8%；對於時間戳記為20160113 13：42：52的11個日誌檔，已經處理的日誌檔個數是6，可以得到52秒的所有即時資料的齊全度為6/11=54.5%；對於時間戳記為20160113 13：42：53的11個日誌檔，已經處理的日誌檔個數是4，可以得到53秒的所有即時資料的齊全度為4/11=36.4%；對於時間戳記為20160113 13：42：54的11個日誌檔，已經處理的日誌檔個數是2，可以得到54秒的所有即時資料的齊全度為2/11=18.2%；對於時間戳記為20160113 13：42：55的11個日誌檔，已經處理的日誌檔個數是0，可以得到55秒的所有即時資料的齊全度為0。
本發明實施例為即時資料添加了一個非常重要的屬性，即提出了齊全度的概念，讓每份資料都具有一個百分比(0%~100%)的概念，用該百分比來表示該資料代表的完整度。如果沒有資料的齊全度，那麼即時資料的結果就沒有進度的概念，這樣在很多快速決策性的領域裡面，就不知道是否可以根據即時資料做出決策。如果給資料加 上齊全度，尤其是給即時資料加上齊全度，這樣就可以根據即時資料做出更為精準的決策。
為即時資料加上齊全度，讓每個時間戳記(timestamp)的即時資料變成(timestamp，齊全度)，也即將即時資料一個指標變成包含每個時間戳記的即時資料和齊全度的兩個指標，並將兩個指標一起儲存資料庫中。齊全度的功能可以應用於如下計算中：報警監控系統裡的即時計算中，資料大屏裡的即時計算中，tlog產品的資料統計中以及一種單值聚合的即時計算中。其中，如果是報警監控系統裡的即時計算，可以根據計算出的每份資料的齊全度，來獲知每份資料處理的完整度，來做是否報警的判斷，從而保證每一次報警的準確性。如果是資料大屏裡的即時計算，可以為目前的資料加上一個百分比的處理進度。讓業務人員和決策層可以針對這個資料包表，做出最準確快速正確的決策。比如，如果目前廣告這分鐘帶來的收益是100萬，如果能確定這分鐘的齊全度是100%了，那麼可以馬上更換廣告。在爭分奪秒的大促，如在11.11活動中，讓廣告帶來更多的收益。
資料的齊全度可以在多個領域應用，例如，由於即時計算的時候，目前統計的資料是一直變動的，比如每分鐘的銷售額數據，業務方對這份資料處理的進度完全無感知。因為資料在不斷的進來，針對這個問題，本發明實施例對即時資料加入齊全度，根據計算的滿足預定條件的即時資料的齊全度，可以使即時資料具有一個百分比的概 念，透過該百分比可以獲知即時資料處理的進度。比如，統計的預設分鐘內的銷售額，是一直變動的，決策者可以根據計算的滿足預定條件的即時資料的齊全度，確定出是否進行銷售策略的改變；又如，若是報警監控系統裡的即時資料，可以根據計算得到的齊全度，即透過齊全度表示的資料處理的完整度，來做是否報警的判斷。透過上述方案，解決了現有技術無法獲知對即時資料處理的進度的問題，從而可以使業務方根據即時資料的齊全度，做出一些更為精確的決策。
需要說明的是，對於前述的各方法實施例，為了簡單描述，故將其都表述為一系列的動作組合，但是本領域技術人員應該知悉，本發明並不受所描述的動作順序的限制，因為依據本發明，某些步驟可以採用其他順序或者同時進行。其次，本領域技術人員也應該知悉，說明書中所描述的實施例均屬於較佳實施例，所關於的動作和模組並不一定是本發明所必須的。
透過以上的實施方式的描述，本領域的技術人員可以清楚地瞭解到根據上述實施例的方法可借助軟體加必需的通用硬體平台的方式來實現，當然也可以透過硬體，但很多情況下前者是更佳的實施方式。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存媒體(如ROM/RAM、磁碟、光碟)中，包括若干指令用以使得一台終端設備(可以是手機，電腦，伺服 器，或者網路設備等)執行本發明各個實施例所述的方法。
實施例2
根據本發明實施例，還提供了一種用於實施上述實施例1的即時資料處理方法的即時資料處理裝置的實施例，如圖8所示，該裝置800可以包括：收集模組802，匯總模組804以及計算模組806。
其中，收集模組802用於收集分散式系統中一個或多個節點接收到的即時資料；匯總模組804用於將所有節點上滿足相同預定條件的即時資料進行匯總，得到相同預定條件下對應的即時資料的總量，其中，預定條件用於表示收集到即時資料的時間；計算模組806用於計算滿足相同預定條件的即時資料的齊全度，其中，齊全度用於指示：處理完的滿足相同預定條件的即時資料在匯總的所有節點上的即時資料中的比例。
具體的，上述的即時資料可以是從即時統計出來的資料，該資料隨著時間不斷變化。上述預定條件可以是對時間的限制。上述的預定條件的即時資料可以為即時資料在預定時間內收集到的即時資料。其中，預定時間為收集即時資料時對應的不同時間。上述進度可以是一個百分比，即已經處理完的實施資料占處理完匯總後的資料的比例。透過該百分比可以獲知即時資料處理的進度，使用百分比的情況下，可以使即時資料處理的進度更加直觀，更容易 使業務方根據即時資料的齊全度，做出一些更為精確的決策。
此處需要說明的是，對即時資料的處理可以包括多種操作，例如，一種比較簡明的處理就是收集即時資料，例如，可以在收集到即時資料之後就認為對該即時資料的處理完成。當然，還有一些比較複雜的處理方式，例如，在收集到即時資料之後，還需要對即時資料進行一些加工(例如，格式的調整，或者是資料的抽取，或者是資料的匯總)，此時，可以認為加工完成之後才意味著處理的完成。
此處還需要說明的是，上述收集模組802，匯總模組804以及計算模組806對應於實施例一中的步驟S502至步驟S506，三個模組與對應的步驟所實現的實例和應用場景相同，但不限於上述實施例一所揭示的內容。需要說明的是，上述模組作為裝置的一部分可以運行在實施例一提供的電腦終端40中。
由上可知，本發明上述實施例二揭示的方案中，收集分散式系統中一個或多個節點接收到的即時資料，將所有節點上滿足相同預定條件的即時資料進行匯總，得到相同預定條件下對應的即時資料的總量，計算滿足相同預定條件的即時資料的齊全度，從而實現對即時資料的齊全度進行計算。
容易注意到，對即時資料的處理引入了一個參數，即齊全度，透過該參數可以得知即時資料處理的進度。該齊 全度用於指示處理完滿足預定條件的即時資料在處理完匯總後的即時資料中所占的進度。在引入齊全度之後，可以收集即時資料並對收集到的即時資料進行匯總；然後從匯總後的即時資料中獲取滿足預定條件的即時資料；從而可以計算滿足預定條件的即時資料的齊全度，達到增加了對即時資料處理的評估維度的效果。
由此，本發明提供的上述實施例二的方案解決了現有技術無法獲知對即時資料處理的進度的技術問題。
對於進度，可以是一個百分比，即已經處理完的實施資料占處理完匯總後的資料的比例。透過該百分比可以獲知即時資料處理的進度，使用百分比的情況下，可以使即時資料處理的進度更加直觀，更容易使業務方根據即時資料的齊全度，做出一些更為精確的決策。
對即時資料的處理可以包括多種操作，例如，一種比較簡明的處理就是收集即時資料，例如，可以在收集到即時資料之後就認為對該即時資料的處理完成。當然，還有一些比較複雜的處理方式，例如，在收集到即時資料之後，還需要對即時資料進行一些加工(例如，格式的調整，或者是資料的抽取，或者是資料的匯總)，此時，可以認為加工完成之後才意味著處理的完成。
在以下實施例的描述中，使用了“收集”到即時資料就認為是即時資料的處理完成，這是因為，收集到的即時資料之後在某種程度上就可以用來評估即時資料的完整度。
在以下實施例中，即時資料處理的齊全度可以以下維 度進行評估，預定時間內收集到的即時資料的數量，該維度有些類似於評估在一個時間段內究竟能夠收集多少即時資料。當然，齊全度也可以從其他的角度來進行評估，無論從什麼角度選擇的評估的維度，只要是可以展示進度，或者使用處理的比例的方式展示進度均涵蓋在本發明實施例的保護範圍之內。
根據本發明上述實施例，齊全度用於指示處理完的滿足相同預定條件的即時資料的總量在匯總的所有節點上的即時資料的總量中的占比。
在一種可選的方案中，上述的齊全度可以根據數量參數進行計算。
根據本發明上述實施例，齊全度用於指示預定時間段內處理完的滿足相同預定條件的即時資料的總量在匯總的所有節點上的即時資料的總量中的占比，其中，滿足相同預定條件的即時資料為預定時刻收集到的即時資料，預定時間段為預定時刻和預定時刻之前的時間段。
具體的，上述的預設時刻可以是需要對即時資料的齊全度進行計算的特定時刻。
在一種可選的方案中，即時資料的齊全度可以是針對特定時刻獲取到的即時資料，在特定時刻和特定時刻之前的即時資料被處理的比例或者進度。
根據本發明上述實施例，如圖8所示，在預定條件包括即時資料在預定時間內收集到的情況下，其中，上述即時資料處理裝置800還包括：獲取模組808。
其中，獲取模組808用於收集即時資料之後，獲取收集到的每個即時資料的時間戳記，其中，時間戳記用於指示對該即時資料進行處理的時間。
此處需要說明的是，上述獲取記模組808對應於實施例一中的步驟S508，該模組與對應的步驟所實現的實例和應用場景相同，但不限於上述實施例一所揭示的內容。需要說明的是，上述模組作為裝置的一部分可以運行在實施例一提供的電腦終端40中。
透過上述實施例，為收集到的每個即時資料標上時間戳記，可以根據時間戳記直觀的得到在預定時間內收集到的即時資料的數量，從而可以快速計算出資料的齊全度。
根據本發明上述實施例，如圖8所示，計算模組806還用於在目前時間戳記的情況下，將處理完成的所有即時資料的總量在匯總的所有節點上的即時資料的總量中的占比，作為齊全度。
此處需要說明的是，上述計算模組806對應於實施例一中的步驟S5062，該模組與對應的步驟所實現的實例和應用場景相同，但不限於上述實施例一所揭示的內容。需要說明的是，上述模組作為裝置的一部分可以運行在實施例一提供的電腦終端40中。
根據本發明上述實施例，如圖8所示，上述的匯總模組806包括：獲取單元810和匯總單元812。
其中，獲取單元810用於獲取每個分散式節點上的即時資料；匯總單元812，用於將獲取到的每個分散式節點 上具有相同時間戳記的即時資料進行匯總，得到每個時間戳記對應的即時資料的總量。
此處需要說明的是，上述獲取單元810和匯總單元812對應於實施例一中的步驟S5042至步驟S5044，兩個模組與對應的步驟所實現的實例和應用場景相同，但不限於上述實施例一所揭示的內容。需要說明的是，上述模組作為裝置的一部分可以運行在實施例一提供的電腦終端40中。
透過上述實施例，由於是分散式環境，首先將每個分散式節點上的即時資料進行匯總，然後在一個單節點上進行合併操作，最終得到預定時間段內的即時資料的匯總結果，採用該方案，可以在不丟棄資料的同時，達到快速且準確對預定時間段內的即時資料的匯總的目的。
本發明實施例為即時資料添加了一個非常重要的屬性，即提出了齊全度的概念，讓每份資料都具有一個百分比(0%~100%)的概念，用該百分比來表示該資料代表的完整度。如果沒有資料的齊全度，那麼即時資料的結果就沒有進度的概念，這樣在很多快速決策性的領域裡面，就不知道是否可以根據即時資料做出決策。如果給資料加上齊全度，尤其是給即時資料加上齊全度，這樣就可以根據即時資料做出更為精準的決策。
資料的齊全度可以在多個領域應用，例如，由於即時計算的時候，目前統計的資料是一直變動的，比如每分鐘的銷售額數據，業務方對這份資料處理的進度完全無感知。因為資料在不斷的進來，針對這個問題，本發明實施 例提出了齊全度的概念，即對即時資料加入齊全度，根據計算的滿足預定條件的即時資料的齊全度，可以使即時資料具有一個百分比的概念，透過該百分比可以獲知即時資料處理的進度。比如，統計的預設分鐘內的銷售額，是一直變動的，決策者可以根據計算的滿足預定條件的即時資料的齊全度，確定出是否進行銷售策略的改變；又如，若是報警監控系統裡的即時資料，可以根據計算得到的齊全度，即透過齊全度表示的資料處理的完整度，來做是否報警的判斷。透過上述方案，解決了現有技術無法獲知對即時資料處理的進度的問題，從而可以使業務方根據即時資料的齊全度，做出一些更為精確的決策。
實施例3
本發明的實施例可以提供一種電腦終端，該電腦終端可以是電腦終端群中的任意一個電腦終端設備。可選地，在本實施例中，上述電腦終端也可以替換為行動終端等終端設備。
可選地，在本實施例中，上述電腦終端可以位於電腦網路的多個網路設備中的至少一個網路設備。
在本實施例中，上述電腦終端可以執行即時資料處理方法中以下步驟的程式碼：收集分散式系統中一個或多個節點接收到的即時資料；將所有節點上滿足預定條件的即時資料進行匯總，得到相同預定條件下對應的即時資料的總量，其中，預定條件用於表示收集到即時資料的時間； 計算滿足相同預定條件的即時資料的齊全度，其中，齊全度用於指示：處理完的滿足相同預定條件的即時資料在匯總的所有節點上的即時資料中的比例。
圖9是根據本發明實施例的一種電腦終端的結構方塊圖，如圖9所示，該電腦終端900可以包括：一個或多個(圖中僅示出一個)處理器902、記憶體904。該終端可以理解為一個計算端，該計算端具有一定的計算能力，其可以進行運算並回饋運算結果。在進行運算時，該計算端可以理解為一個服務提供端。多個終端可以聯合進行運算服務。終端可以是電腦、手機、平板電腦等。當然，終端是電腦時，多個電腦可以聯合提供服務，也可以理解為是伺服器群組；從另一個角度上講，這些設備也可提供雲計算服務。
其中，記憶體可用於儲存軟體程式以及模組，如本發明實施例中的即時資料處理方法和裝置對應的程式指令/模組，處理器透過運行儲存在記憶體內的軟體程式以及模組，從而執行各種功能應用以及資料處理，即實現上述的方法。記憶體可包括高速隨機記憶體，還可以包括非易失性記憶體，如一個或者多個磁性儲存裝置、快閃記憶體、或者其他非易失性固態記憶體。在一些實例中，記憶體可進一步包括相對于處理器遠端設置的記憶體，這些遠端存放器可以透過網路連接至電腦終端900。上述網路的實例包括但不限於互聯網、企業內部網、局域網、行動通訊網及其組合。
處理器可以透過傳輸裝置調用記憶體儲存的資訊及應用程式，以執行下述步驟：收集分散式系統中一個或多個節點接收到的即時資料；將所有節點上滿足相同預定條件的即時資料進行匯總，得到相同預定條件下對應的即時資料的總量，其中，預定條件用於表示收集到即時資料的時間；計算滿足相同預定條件的即時資料的齊全度，其中，齊全度用於指示：處理完的滿足相同預定條件的即時資料在匯總的所有節點上的即時資料中的比例。
可選的，上述處理器還可以執行如下步驟的程式碼：齊全度用於指示處理完的滿足相同預定條件的即時資料的總量在匯總的所有節點上的即時資料的總量中的占比。
可選的，上述處理器還可以執行如下步驟的程式碼：齊全度用於指示預定時間段內處理完的滿足相同預定條件的即時資料的總量在匯總的所有節點上的即時資料的總量中的占比，其中，滿足相同預定條件的即時資料為預定時刻收集到的即時資料，預定時間段為預定時刻和預定時刻之前的時間段。
可選的，上述處理器還可以執行如下步驟的程式碼：在收集分散式系統中一個或多個節點接收到的即時資料之後，獲取收集到的每個即時資料的時間戳記，其中，時間戳記用於指示對該即時資料進行處理的時間。
可選的，上述處理器還可以執行如下步驟的程式碼：在目前時間戳記的情況下，將處理完成的所有即時資料的總量在匯總的所有節點上的即時資料的總量中的占比，作 為齊全度。
可選的，上述處理器還可以執行如下步驟的程式碼：獲取每個分散式節點上的即時資料；將獲取到的每個分散式節點上具有相同時間戳記的即時資料進行匯總，得到每個時間戳記對應的即時資料的總量。
採用本發明實施例，收集分散式系統中一個或多個節點接收到的即時資料，將所有節點上滿足相同預定條件的即時資料進行匯總，得到相同預定條件下對應的即時資料的總量，計算滿足相同預定條件的即時資料的齊全度，從而實現對即時資料的齊全度進行計算。
容易注意到，對即時資料的處理引入了一個參數，即齊全度，透過該參數可以得知即時資料處理的進度。該齊全度用於指示處理完滿足預定條件的即時資料在處理完匯總後的即時資料中所占的進度。在引入齊全度之後，可以收集即時資料並對收集到的即時資料進行匯總；然後從匯總後的即時資料中獲取滿足預定條件的即時資料；從而可以計算滿足預定條件的即時資料的齊全度，達到增加了對即時資料處理的評估維度的效果。
由此，本發明實施例解決了現有技術無法獲知對即時資料處理的進度的技術問題。
本領域普通技術人員可以理解，圖9所示的結構僅為示意，電腦終端也可以是智慧手機(如Android手機、iOS手機等)、平板電腦、掌聲電腦以及行動互聯網設備(Mobile Internet Devices,MID)、PAD等終端設備。圖9 其並不對上述電子裝置的結構造成限定。例如，電腦終端900還可包括比圖9中所示更多或者更少的元件(如網路介面、顯示裝置等)，或者具有與圖9所示不同的配置。圖9的電腦也可以作為伺服器來對外提供服務。
本領域普通技術人員可以理解上述實施例的各種方法中的全部或部分步驟是可以透過程式來指令終端設備相關的硬體來完成，該程式可以儲存於一電腦可讀儲存媒體中，儲存媒體可以包括：快閃記憶體碟、唯讀記憶體(Read-Only Memory,ROM)、隨機存取記憶體(Random Access Memory,RAM)、磁片或光碟等。
實施例4
本發明的實施例還提供了一種儲存媒體。可選地，在本實施例中，上述儲存媒體可以用於保存上述實施例一所提供的即時資料處理方法所執行的程式碼。
可選地，在本實施例中，上述儲存媒體可以位於電腦網路中電腦終端群中的任意一個電腦終端中，或者位於行動終端群中的任意一個行動終端中。
可選地，在本實施例中，儲存媒體被設置為儲存用於執行以下步驟的程式碼：收集分散式系統中一個或多個節點接收到的即時資料；將所有節點上滿足相同預定條件的即時資料進行匯總，得到相同預定條件下對應的即時資料的總量，其中，預定條件用於表示收集到即時資料的時間；計算滿足相同預定條件的即時資料的齊全度，其中， 齊全度用於指示：處理完的滿足相同預定條件的即時資料在匯總的所有節點上的即時資料中的比例。
可選地，儲存媒體還被設置為儲存用於執行以下步驟的程式碼：齊全度用於指示處理完的滿足相同預定條件的即時資料的總量在匯總的所有節點上的即時資料的總量中的占比。
可選的，儲存媒體還被設置為儲存用於執行以下步驟的程式碼：齊全度用於指示預定時間段內處理完的滿足相同預定條件的即時資料的總量在匯總的所有節點上的即時資料的總量中的占比，其中，滿足相同預定條件的即時資料為預定時刻收集到的即時資料，預定時間段為預定時刻和預定時刻之前的時間段。
可選地，儲存媒體還被設置為儲存用於執行以下步驟的程式碼：在收集分散式系統中一個或多個節點接收到的即時資料之後，獲取收集到的每個即時資料的時間戳記，其中，時間戳記用於指示對該即時資料進行處理的時間。
可選地，儲存媒體還被設置為儲存用於執行以下步驟的程式碼：在目前時間戳記的情況下，將處理完成的所有即時資料的總量在匯總的所有節點上的即時資料的總量中的占比，作為齊全度。
可選地，儲存媒體還被設置為儲存用於執行以下步驟的程式碼：獲取每個分散式節點上的即時資料；將獲取到的每個分散式節點上具有相同時間戳記的即時資料進行匯總，得到每個時間戳記對應的即時資料的總量。
上述本發明實施例序號僅僅為了描述，不代表實施例的優劣。
在本發明的上述實施例中，對各個實施例的描述都各有側重，某個實施例中沒有詳述的部分，可以參見其他實施例的相關描述。
在本發明所提供的幾個實施例中，應該理解到，所揭露的技術內容，可透過其它的方式實現。其中，以上所描述的裝置實施例僅僅是示意性的，例如所述單元的劃分，可以為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如多個單元或元件可以結合或者可以整合到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通訊連接可以是透過一些介面，單元或模組的間接耦合或通訊連接，可以是電性或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
另外，在本發明各個實施例中的各功能單元可以整合在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元整合在一個單元中。上述整合的單元既可以採用硬體的形式實現，也可以採用軟體功能單元的形式實現。
所述整合的單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個電腦可讀取儲存媒體中。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存媒體中，包括若干指令用以使得一台電腦設備(可為個人電腦、伺服器或者網路設備等)執行本發明各個實施例所述方法的全部或部分步驟。而前述的儲存媒體包括：U盤、唯讀記憶體(ROM,Read-Only Memory)、隨機存取記憶體(RAM,Random Access Memory)、行動硬碟、磁碟或者光碟等各種可以儲存程式碼的媒體。
以上所述僅是本發明的較佳實施方式，應當指出，對於本技術領域的普通技術人員來說，在不脫離本發明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視為本發明的保護範圍。

Claims (12)

  1. 一種即時資料處理方法，其特徵在於，該方法包括：收集分散式系統中一個或多個節點接收到的即時資料；將所有節點上滿足相同預定條件的即時資料進行匯總，得到該相同預定條件下對應的即時資料的總量，其中，該預定條件用於表示收集到該即時資料的時間；以及計算滿足該相同預定條件的即時資料的齊全度，其中，該齊全度用於指示：處理完的滿足該相同預定條件的即時資料在匯總的所有節點上的即時資料中的比例。
  2. 根據申請專利範圍第1項所述的方法，其中，該齊全度用於指示處理完的滿足該相同預定條件的即時資料的總量在匯總的所有節點上的即時資料的總量中的占比。
  3. 根據申請專利範圍第2項所述的方法，其中，該齊全度用於指示預定時間段內處理完的滿足該相同預定條件的即時資料的總量在匯總的所有節點上的即時資料的總量中的占比，其中，滿足該相同預定條件的即時資料為預定時刻收集到的即時資料，該預定時間段為該預定時刻和該預定時刻之前的時間段。
  4. 根據申請專利範圍第3項所述的方法，其中，在收集 分散式系統中一個或多個節點接收到的即時資料之後，該方法還包括：獲取收集到的每個該即時資料的時間戳記，其中，該時間戳記用於指示對該即時資料進行處理的時間。
  5. 根據申請專利範圍第4項所述的方法，其中，計算滿足該相同預定條件的即時資料的齊全度包括：在目前時間戳記的情況下，將處理完成的所有即時資料的總量在匯總的所有節點上的即時資料的總量中的占比，作為該齊全度。
  6. 根據申請專利範圍第1至5項中任一項所述的方法，其中，將所有節點上滿足相同預定條件的即時資料進行匯總，得到該相同預定條件下對應的即時資料的總量包括：獲取每個分散式節點上的即時資料；以及將獲取到的該每個分散式節點上具有相同時間戳記的即時資料進行匯總，得到每個時間戳記對應的即時資料的總量。
  7. 一種即時資料處理裝置，其特徵在於，該裝置包括：收集模組，用於收集分散式系統中一個或多個節點接收到的即時資料；匯總模組，用於將所有節點上滿足相同預定條件的即時資料進行匯總，得到該相同預定條件下對應的即時資料 的總量，其中，該預定條件用於表示收集到該即時資料的時間；以及計算模組，用於計算滿足該相同預定條件的即時資料的齊全度，其中，該齊全度用於指示：處理完的滿足該相同預定條件的即時資料在匯總的所有節點上的即時資料中的比例。
  8. 根據申請專利範圍第7項所述的裝置，其中，該齊全度用於指示處理完的滿足該相同預定條件的即時資料的總量在匯總的所有節點上的即時資料的總量中的占比。
  9. 根據申請專利範圍第8項所述的裝置，其中，該齊全度用於指示預定時間段內處理完的滿足該相同預定條件的即時資料的總量在匯總的所有節點上的即時資料的總量中的占比，其中，滿足該相同預定條件的即時資料為預定時刻收集到的即時資料，該預定時間段為該預定時刻和該預定時刻之前的時間段。
  10. 根據申請專利範圍第9項所述的裝置，其中，該裝置還包括：獲取模組，用於收集該即時資料之後，獲取收集到的每個該即時資料的時間戳記，其中，該時間戳記用於指示對該即時資料進行處理的時間。
  11. 根據申請專利範圍第10項所述的裝置，其中，該計算模組還用於在目前時間戳記的情況下，將處理完成的所有即時資料的總量在匯總的所有節點上的即時資料的總量中的占比，作為該齊全度。
  12. 根據申請專利範圍第7至11項中任一項所述的裝置，其中，該匯總模組包括：獲取單元，用於獲取每個分散式節點上的即時資料；以及匯總單元，用於將獲取到的該每個分散式節點上具有相同時間戳記的即時資料進行匯總，得到每個時間戳記對應的即時資料的總量。
TW106127141A 2016-12-30 2017-08-10 即時資料處理方法和裝置 TW201824018A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201611270978.5A CN108268357B (zh) 2016-12-30 2016-12-30 实时数据处理方法和装置
??201611270978.5 2016-12-30

Publications (1)

Publication Number Publication Date
TW201824018A true TW201824018A (zh) 2018-07-01

Family

ID=62706875

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106127141A TW201824018A (zh) 2016-12-30 2017-08-10 即時資料處理方法和裝置

Country Status (5)

Country Link
US (1) US11635985B2 (zh)
JP (1) JP7046073B2 (zh)
CN (1) CN108268357B (zh)
TW (1) TW201824018A (zh)
WO (1) WO2018121335A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI710894B (zh) * 2018-07-27 2020-11-21 開曼群島商創新先進技術有限公司 資料物件標識生成方法及裝置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112307260A (zh) * 2020-10-30 2021-02-02 北京字节跳动网络技术有限公司 视频鉴别方法、装置、电子设备及计算机可读存储介质
CN112364063B (zh) * 2021-01-12 2021-06-04 北京智慧星光信息技术有限公司 流计算系统及其数据处理方法、电子设备及介质
CN113468234B (zh) * 2021-05-31 2023-12-22 济南浪潮数据技术有限公司 一种监控数据处理方法、装置、系统及存储介质
CN116980890B (zh) * 2023-09-20 2023-12-22 北京集度科技有限公司 信息安全通信装置、方法、车辆、计算机程序产品

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6035297A (en) 1996-12-06 2000-03-07 International Business Machines Machine Data management system for concurrent engineering
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US6542905B1 (en) 1999-03-10 2003-04-01 Ltcq, Inc. Automated data integrity auditing system
US6526044B1 (en) 1999-06-29 2003-02-25 Wandel & Goltermann Technologies, Inc. Real-time analysis through capture buffer with real-time historical data correlation
US20020091991A1 (en) * 2000-05-11 2002-07-11 Castro Juan Carlos Unified real-time microprocessor computer
US7076543B1 (en) * 2002-02-13 2006-07-11 Cisco Technology, Inc. Method and apparatus for collecting, aggregating and monitoring network management information
JP2004021744A (ja) 2002-06-18 2004-01-22 Hitachi Ltd 業務工程の状況把握システム、業務工程の状況把握システムの記録媒体、及び業務工程の状況把握表示装置
US8606594B2 (en) 2002-10-29 2013-12-10 Practice Velocity, LLC Method and system for automated medical records processing
CN101170454B (zh) * 2006-10-27 2010-05-12 亿阳信通股份有限公司 一种监控数据采集汇总状态的方法和系统
US20090138415A1 (en) 2007-11-02 2009-05-28 James Justin Lancaster Automated research systems and methods for researching systems
WO2008121824A1 (en) 2007-03-29 2008-10-09 Initiate Systems, Inc. Method and system for data exchange among data sources
CN101729296B (zh) * 2009-12-29 2012-12-19 中兴通讯股份有限公司 一种以太网流量统计分析的方法和系统
US20120284118A1 (en) * 2011-05-04 2012-11-08 Microsoft Corporation Using collective data for targeting of advertisements
WO2013009710A1 (en) 2011-07-08 2013-01-17 Steamfunk Labs, Inc. Automated presentation of information using infographics
WO2013091162A1 (zh) * 2011-12-19 2013-06-27 华为技术有限公司 一种分布式存储数据恢复方法、装置及系统
CN102882745B (zh) * 2012-09-29 2015-12-09 摩卡软件(天津)有限公司 一种用于监控业务服务器的方法和装置
JP2014179000A (ja) 2013-03-15 2014-09-25 Ricoh Co Ltd 情報管理システム及びプログラム
CN103825930B (zh) * 2013-11-12 2017-03-29 浙江省水文局 一种分布式环境下的实时数据同步方法
CN106959102B (zh) 2014-05-05 2019-11-15 赫克斯冈技术中心 测量子系统和测量系统
US9804951B2 (en) * 2014-10-08 2017-10-31 Signalfx, Inc. Quantization of data streams of instrumented software
CN104331270B (zh) * 2014-10-24 2017-07-21 华为技术有限公司 一种流数据处理的方法、装置及系统
CN104468569B (zh) * 2014-12-04 2017-12-22 北京国双科技有限公司 分布式数据的完整性检测方法和装置
CN105812202B (zh) * 2014-12-31 2019-02-22 阿里巴巴集团控股有限公司 日志实时监控预警方法及其装置
CN104899948B (zh) * 2015-06-05 2017-05-31 北京京东尚科信息技术有限公司 一种封闭空间拥堵监测方法和系统
US11442804B2 (en) * 2019-12-27 2022-09-13 Paypal, Inc. Anomaly detection in data object text using natural language processing (NLP)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI710894B (zh) * 2018-07-27 2020-11-21 開曼群島商創新先進技術有限公司 資料物件標識生成方法及裝置

Also Published As

Publication number Publication date
US20190324794A1 (en) 2019-10-24
WO2018121335A1 (zh) 2018-07-05
JP7046073B2 (ja) 2022-04-01
CN108268357B (zh) 2021-10-26
US11635985B2 (en) 2023-04-25
CN108268357A (zh) 2018-07-10
JP2020507147A (ja) 2020-03-05

Similar Documents

Publication Publication Date Title
TW201824018A (zh) 即時資料處理方法和裝置
TWI654532B (zh) Method and device for providing application and user recommendation information
CN104731690B (zh) 适应性度量收集、存储、和警告阈值
CN107528766B (zh) 信息推送方法、装置及系统
CN105608517B (zh) 基于流的业务交易性能管理及可视化方法和装置
WO2015090241A1 (zh) 监控业务运行数据入库的方法和相关设备及系统
US9479414B1 (en) System and method for analyzing computing performance
CN105577431A (zh) 一种基于互联网应用的用户信息识别分类方法和系统
CN105791902B (zh) 用户推荐方法及装置
US20190050317A1 (en) Systems and methods for determining event processing delays
WO2010131259A2 (en) A monitoring system for capturing information relating to the wireless smart device for behavioral analytics
CN115185794A (zh) 服务调用链的分析方法、装置及电子设备
CN109828883B (zh) 任务数据处理方法和装置、存储介质及电子装置
CN113391741B (zh) 操作校验方法和装置、存储介质及电子设备
US11005797B2 (en) Method, system and server for removing alerts
US20160103924A1 (en) Method and apparatus for acquiring information digest
CN112131276A (zh) 一种数据统计的方法、电子设备及可读存储介质
CN110119334A (zh) 一种页面脚本监控方法及装置
CN109413459B (zh) 一种直播平台中用户的推荐方法以及相关设备
CN110647543A (zh) 数据聚合方法、装置以及存储介质
CN114253951B (zh) 数据处理方法、系统及第二服务器
CN114244897B (zh) 消息推送方法及装置
CN110968785B (zh) 目标帐号的识别方法和装置、存储介质及电子装置
CN116866980A (zh) Upf网元的监控方法及装置
US11005738B1 (en) System and method for end-to-end response-time analysis