TWI739794B - 資料的監控方法及裝置 - Google Patents

資料的監控方法及裝置 Download PDF

Info

Publication number
TWI739794B
TWI739794B TW106102493A TW106102493A TWI739794B TW I739794 B TWI739794 B TW I739794B TW 106102493 A TW106102493 A TW 106102493A TW 106102493 A TW106102493 A TW 106102493A TW I739794 B TWI739794 B TW I739794B
Authority
TW
Taiwan
Prior art keywords
data
period
proportional
sampling
sampling data
Prior art date
Application number
TW106102493A
Other languages
English (en)
Other versions
TW201828062A (zh
Inventor
陳磊
解敏
范茸
陳國俊
Original Assignee
香港商阿里巴巴集團服務有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商阿里巴巴集團服務有限公司 filed Critical 香港商阿里巴巴集團服務有限公司
Priority to TW106102493A priority Critical patent/TWI739794B/zh
Publication of TW201828062A publication Critical patent/TW201828062A/zh
Application granted granted Critical
Publication of TWI739794B publication Critical patent/TWI739794B/zh

Links

Images

Landscapes

  • Testing And Monitoring For Control Systems (AREA)

Abstract

本發明提供了一種資料的監控方法及裝置,所述方法包括:獲取資料採樣配置,所述資料採樣配置指示出採樣資料的比例位置;從待監控資料中獲取所述比例位置對應的至少兩個採樣資料;獲取所述至少兩個採樣資料的資料波動特徵;根據所述資料波動特徵,獲得對所述待監控資料的監控結果。可見,本發明實施例中不再對待監控資料的所有資料進行監控,而是利用資料採樣配置從中抽樣出至少兩個採樣資料,利用至少兩個採樣資料的資料波動特徵進行資料監控,因此在實現資料監控的同時,能夠減少工作量。

Description

資料的監控方法及裝置
本發明涉及電腦技術領域,尤其是涉及一種資料的監控方法及裝置。
在大資料時代,資料被越來越廣泛的分析和使用,但是由於資料的資料量越來越大,收集過程越來越複雜,導致資料難免會出現穩定性問題。因此,如何能夠對資料的穩定性進行監控就顯得尤為重要。
目前常用的資料監控方式是,透過人工監控的方式,或者利用簡單的指令檔進行資料比對,根據比對結果判斷資料是否出現穩定性問題。
然而,無論是人工監控方式,還是利用簡單的指令檔進行監控的方式,由於資料量往往較大,因此將會導致較大的工作量。
本發明解決的技術問題在於提供一種資料的監控方法及裝置,以實現資料監控的同時,能夠減少工作量。
為此,本發明解決技術問題的技術方案是:本發明提供了一種資料的監控方法,包括:獲取資料採樣配置,所述資料採樣配置指示出採樣資料的比例位置;從待監控資料中獲取所述比例位置對應的至少兩個採樣資料;獲取所述至少兩個採樣資料的資料波動特徵;根據所述資料波動特徵,獲得對所述待監控資料的監控結果。
可選的,所述待監控資料中包括多個週期的採樣資料;所述比例位置包括至少兩個週期的相同比例位置、同一週期的至少兩個比例位置、或者週期總個數的至少兩個比例位置。
可選的,所述比例位置包括第一週期和第二週期的第一比例位置;從待監控資料中獲取所述比例位置對應的至少兩個採樣資料,包括:從所述待監控資料中獲取第一週期的第一比例位置對應的採樣資料和第二週期的第一比例位置對應的採樣資料;獲取所述至少兩個採樣資料的資料波動特徵,包括:將所述第二週期的第一比例位置對應的採樣資料與第一週期的第一比例位置對應的採樣資料進行比較,獲得比較結果; 根據所述比較結果獲得所述資料波動特徵。
可選的,包括:所述比例位置包括第一週期和第二週期的第一比例位置,以及第一週期和第二週期的第二比例位置;從待監控資料中獲取至少兩個採樣資料,包括:從所述待監控資料中獲取第一週期的第一比例位置對應的採樣資料、第二週期的第一比例位置對應的採樣資料、第一週期的第二比例位置對應的採樣資料和第二週期的第二比例位置對應的採樣資料;獲取所述至少兩個採樣資料的資料波動特徵,包括:將所述第二週期的第一比例位置對應的採樣資料與第一週期的第一比例位置對應的採樣資料進行比較,獲得第一比較結果;將所述第二週期的第二比例位置對應的採樣資料與第一週期的第二比例位置對應的採樣資料進行比較,獲得第二比較結果;根據所述第一比較結果和所述第二比較結果獲得所述資料波動特徵。
可選的,所述比例位置包括當前週期的至少三個比例位置;從待監控資料中獲取所述比例位置對應的至少兩個採樣資料,包括:從所述待監控資料中獲取當前週期的至少三個比例位置分別對應的採樣資料; 獲取所述至少兩個採樣資料的資料波動特徵,包括:根據當前週期的至少三個比例位置分別對應的採樣資料,獲取相鄰比例位置對應的採樣資料的變化趨勢;根據所述變化趨勢,獲取所述資料波動特徵。
可選的,所述比例位置包括週期總個數的至少三個比例位置;從待監控資料中獲取所述比例位置對應的至少兩個採樣資料,包括:從所述待監控資料中獲取所有週期中,所述至少三個比例位置分別對應的週期的採樣資料;獲取所述至少兩個採樣資料的資料波動特徵,包括:根據所述至少三個比例位置分別對應的週期的採樣資料,獲得所述資料波動特徵。
可選的,所述資料波動特徵包括以下資料特徵中的至少一種:所述至少兩個採樣資料的波動量、波動比例、波動量或波動比例的屬性、波動趨勢、以及標準差。
本發明提供了一種資料的監控裝置,包括:配置獲取單元,用於獲取資料採樣配置,所述資料採樣配置指示出採樣資料的比例位置;資料獲取單元,用於從待監控資料中獲取所述比例位置對應的至少兩個採樣資料;特徵獲取單元,用於獲取所述至少兩個採樣資料的資料波動特徵; 結果獲取單元,用於根據所述資料波動特徵,獲得對所述待監控資料的監控結果。
可選的,所述待監控資料中包括多個週期的採樣資料;所述比例位置包括至少兩個週期的相同比例位置、同一週期的至少兩個比例位置、或者週期總個數的至少兩個比例位置。
可選的,所述比例位置包括第一週期和第二週期的第一比例位置;所述資料獲取單元具體用於,從所述待監控資料中獲取第一週期的第一比例位置對應的採樣資料和第二週期的第一比例位置對應的採樣資料;所述特徵獲取單元具體用於,將所述第二週期的第一比例位置對應的採樣資料與第一週期的第一比例位置對應的採樣資料進行比較,獲得比較結果,以及根據所述比較結果獲得所述資料波動特徵。
可選的,所述比例位置包括第一週期和第二週期的第一比例位置,以及第一週期和第二週期的第二比例位置;所述資料獲取單元具體用於,從所述待監控資料中獲取第一週期的第一比例位置對應的採樣資料、第二週期的第一比例位置對應的採樣資料、第一週期的第二比例位置對應的採樣資料和第二週期的第二比例位置對應的採樣資料;所述特徵獲取單元具體用於,將所述第二週期的第一比例位置對應的採樣資料與第一週期的第一比例位置對應 的採樣資料進行比較,獲得第一比較結果,將所述第二週期的第二比例位置對應的採樣資料與第一週期的第二比例位置對應的採樣資料進行比較,獲得第二比較結果,以及根據所述第一比較結果和所述第二比較結果獲得所述資料波動特徵。
可選的,所述比例位置包括當前週期的至少三個比例位置;所述資料獲取單元具體用於,從所述待監控資料中獲取當前週期的至少三個比例位置分別對應的採樣資料;所述特徵獲取單元具體用於,根據當前週期的至少三個比例位置分別對應的採樣資料,獲取相鄰比例位置對應的採樣資料的變化趨勢;根據所述變化趨勢,獲取所述資料波動特徵。
可選的,所述比例位置包括週期總個數的至少三個比例位置;所述資料獲取單元具體用於,從所述待監控資料中獲取所有週期中,所述至少三個比例位置分別對應的週期的採樣資料;所述特徵獲取單元具體用於,根據所述至少三個比例位置分別對應的週期的採樣資料,獲得所述資料波動特徵。
可選的,所述資料波動特徵包括以下資料特徵中的至少一種:所述至少兩個採樣資料的波動量、波動比例、波動量 或波動比例的屬性、波動趨勢、以及標準差。
透過上述技術方案可知,本發明實施例中,獲取資料採樣配置,其中所述資料採樣配置指示出採樣資料的比例位置,因此從待監控資料中獲取所述比例位置對應的至少兩個採樣資料,即相當於對所述待監控資料進行抽樣,根據抽樣出的至少兩個採樣資料的資料波動特徵,獲取對所述待監控資料的監控結果。可見,本發明實施例中不再對待監控資料的所有資料進行監控,而是利用資料採樣配置從中抽樣出至少兩個採樣資料,利用至少兩個採樣資料的資料波動特徵進行資料監控,因此在實現資料監控的同時,能夠減少工作量。
301‧‧‧配置獲取單元
302‧‧‧資料獲取單元
303‧‧‧特徵獲取單元
304‧‧‧結果獲取單元
為了更清楚地說明本發明實施例中的技術方案,下面將對實施例描述中所需要使用的圖式作簡單地介紹,顯而易見地,下面描述中的圖式僅僅是本發明的一些實施例,對於本領域普通技術人員來講,還可以根據這些圖式獲得其它的圖式。
圖1為本發明提供的一種方法實施例的流程示意圖;圖2為本發明提供的另一種方法實施例的流程示意圖;圖3為本發明提供的一種裝置實施例的結構示意圖。
由於資料的資料量越來越大,收集過程越來越複雜,難免會由於資料出錯或者資料本身波動較大等原因導致出現穩定性的問題。因此,如何能夠對資料的穩定性進行監控,當資料發生問題的時候,及時發現並修復,就顯得尤為重要。
連續資料,主要指的是資料庫中每隔固定週期產生的表示業務特徵的資料。例如,在大資料中,通常是每天產生一份資料,每週產生一份資料、或每月產生一份資料,這些資料可以被儲存到資料庫中不同的分區。
連續資料的波動情況通常滿足一定的規則,而利用該規則對連續資料的波動性進行監控,保證資料的連續穩定性稱之為穩定性監控。例如,某一衛生局的某項資料是每月的藥品消耗量,如果這項資料突然增加,波動比較嚴重,那就說明該地區患病人數在增加,衛生部門需要做提前預案,對某一藥品進行宏觀調度,來保證社會成員的健康。
目前常用的資料監控方式是,透過人工監控的方式,或者利用簡單的指令檔進行資料比對,根據比對結果判斷資料是否出現穩定性問題。然而,無論是人工監控方式,還是利用簡單的指令檔進行監控的方式,由於資料量往往較大,因此將會導致較大的工作量。
本發明實施例提供一種資料的監控方法及裝置,以實現資料監控的同時,能夠減少工作量。
為了使本技術領域的人員更好地理解本發明中的技術 方案,下面將結合本發明實施例中的圖式,對本發明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發明一部分實施例,而不是全部的實施例。基於本發明中的實施例,本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例,都應當屬於本發明保護的範圍。
請參閱圖1,本發明提供了資料的監控方法的一種方法實施例。本實施例的所述方法包括:
101:獲取資料採樣配置,所述資料採樣配置指示出採樣資料的比例位置。
在本發明實施例中,可以由使用者預先配置出資料採樣配置,從而確定出採樣資料的比例位置,即按照(個數或者時間等)比例,採樣資料所位於的位置。例如,採樣資料的比例位置為m%,表示採樣資料位於個數或者時間比例為m%所對應的位置,也可以稱為M分位,M=m/10。
102:從待監控資料中獲取所述比例位置對應的至少兩個採樣資料。
本實施例中,可以從大資料計算服務(Open Data Processing Service,簡稱ODPS)、資料倉庫Hive等資料庫中讀取所述待監控資料。
其中,所述待監控資料可以包括多個週期的採樣資料;所述比例位置可以包括至少兩個週期的相同比例位置、同一週期的至少兩個比例位置、或者週期的總個數的 至少兩個比例位置。下面分別具體說明。可以從離線資料庫中讀取。
第一種情況,所述比例位置包括至少兩個週期的相同比例位置。例如,所述比例位置包括第一週期和第二週期的第一比例位置,則102中獲取第一週期的第一比例位置對應的採樣資料以及第二週期的第一比例位置對應的採樣資料。舉例說明,所述第一週期為當天,所述第二週期為前一天,第一比例位置為30%,第一週期的第一比例位置對應的採樣資料指的是當天的所有資料中,第30%的位置對應的採樣資料,假設當天按時間順序共產生了100個採樣資料,則具體可以指第30(100×30%)個採樣資料;第二週期的第二比例位置對應的採樣資料指的是前一天的所有資料中,第30%的位置對應的採樣資料。
第二種情況,所述比例位置包括同一週期的至少兩個比例位置。例如,所述比例位置包括當前週期的第一比例位置和第二比例位置,則102中獲取當前週期的第一比例位置對應的採樣資料以及當前週期的第二比例位置對應的採樣資料。舉例說明,第一比例位置為30%,第二比例位置為60%,當前週期的第一比例位置對應的採樣資料指的是當天的所有資料中,第30%的位置對應的採樣資料,當前週期的第二比例位置對應的採樣資料指的是當天的所有資料中,第60%的位置對應的採樣資料。
第三種情況,所述比例位置包括週期總個數的至少兩個比例位置。例如,所述比例位置包括週期總個數的第一 比例位置和第二比例位置,則102中獲取週期總個數中,所述第一比例位置對應的週期的採樣資料,以及所述第二比例位置對應的週期的採樣資料。舉例說明,第一比例位置為20%,第二比例位置為40%,週期總個數為100,所述第一比例位置對應的週期的採樣資料指的是第20個週期的採樣資料,所述第二比例位置對應的週期的採樣資料指的是第40個週期的採樣資料。
103:獲取所述至少兩個採樣資料的資料波動特徵。
在本發明實施例中,所述資料波動特徵可以包括以下資料特徵中的至少一種:所述至少兩個採樣資料的波動量、波動比例、波動量或波動比例的屬性(例如標準差或者方差等)、波動趨勢、以及標準差等等。本實施例在獲取到所述資料波動特徵之後,可以將所述資料波動特徵儲存在資料庫中。
其中,當採樣資料為累積的資料時,也就是說採樣資料是累積形成的資料時,例如所述至少兩個採樣資料包括當天第5個小時對應的商品總量,以及當天第8個小時對應的商品總量,所述資料波動特徵可以根據波動量、波動比例、波動量或波動比例的資料、或者波動趨勢獲取。
當採樣資料為獨立的資料,也就是說採樣資料之間相互獨立時,例如所述至少兩個採樣資料包括當天和前一天分別生產的商品數量,所述資料波動特徵可以根據標準差獲取。
104:根據所述資料波動特徵,獲得對所述待監控資 料的監控結果。
由於所述資料波動特徵,能夠反映至少兩個採樣資料的波動特性,從而能夠間接反映待監測資料的波動特性。因此,根據所述資料波動特徵,能夠確定出所述待監測資料的波動是否超出正常範圍,如果是,則可以產生報警或者提示資訊,用於提示使用者。例如,所述資料波動特徵大於預設的波動閾值,則可以產生報警或提示資訊。
透過上述技術方案可知,本發明實施例中,獲取資料採樣配置,其中所述資料採樣配置指示出採樣資料的比例位置,因此從待監控資料中獲取所述比例位置對應的至少兩個採樣資料,即相當於對所述待監控資料中進行抽樣,根據抽樣出的至少兩個採樣資料的資料波動特徵,獲取對所述待監控資料的監控結果。可見,本發明實施例中不再對待監控資料中的所有資料進行監控,而是利用資料採樣配置從中抽樣出至少兩個採樣資料,利用至少兩個採樣資料的資料波動特徵進行資料監控,因此在實現資料監控的同時,能夠減少工作量。
本發明實施例中,可以預置穩定性校驗規則,根據穩定性校驗規則計算資料波動特徵,從而獲取採樣資料的波段特性。下面本發明實施例中將提供穩定性校驗規則的四種可選的實現方式。
(1)第一種穩定性校驗規則中,根據至少兩個週期的相同比例位置對應的採樣資料,獲取資料波動特徵。
具體地,所述比例位置包括第一週期和第二週期的第 一比例位置。其中,第一週期,第二週期以及第一比例位置均可以由使用者在資料採樣配置中進行設定,例如,第一週期可以為當天,第二週期可以為第前N天,其中N可以在集合(1,3,7)中取值。第一比例位置可以為m%對應的位置,m可以在集合(20,30,40,50,60,70,80,90)中取值。
102包括:從所述待監控資料中獲取第一週期的第一比例位置對應的採樣資料和第二週期的第一比例位置對應的採樣資料。
例如,從待監控資料中獲取,當天的所有資料中在第m%的位置對應的採樣資料,以及第前N天的所有資料中在第m%的位置對應的採樣資料,若第m%的位置對應小數,可以對其進行四捨五入處理。其中,採樣資料可以為累積的資料,例如,每個採樣資料對應某一時刻的商品總量,第m%位元的資料可以為第m%的位置對應的商品總量。
103包括:將所述第二週期的第一比例位置對應的採樣資料與第一週期的第一比例位置對應的採樣資料進行比較,獲得比較結果;根據所述比較結果獲得所述資料波動特徵。
例如,當天的所有資料中在第m%的位置對應的採樣資料為X,第前N天的所有資料中在第m%的位置對應的資料為Y,該比較結果可以為波動量:X-Y或者波動比例:(X-Y)/X。可以將該比較結果與預設的波動閾值進 行比較,若該比較結果大於預設的波動閾值,則說明波動比較大,此時可以產生提示或者報警資訊。
(2)第二種穩定性校驗規則中,根據至少兩個週期的多個相同比例位置對應的採樣資料,獲取資料波動特徵。
具體地,所述比例位置包括第一週期和第二週期的第一比例位置,以及第一週期和第二週期的第二比例位置。其中,第一週期,第二週期,第一比例位置以及第二比例位置均可以由使用者在資料採樣配置中進行設定,例如,第一週期可以為當天,第二週期可以為第前N天,其中N可以在集合(1,3,7)中取值。第一比例位置可以為m1%對應的位置,第一比例位置可以為m2%對應的位置,m1和m2分別在集合(20,30,40,50,60,70,80,90)中取值,m1<m2。
102包括:從所述待監控資料中獲取第一週期的第一比例位置對應的採樣資料、第二週期的第一比例位置對應的採樣資料、第一週期的第二比例位置對應的採樣資料和第二週期的第二比例位置對應的採樣資料。
例如,從待監控資料中獲取,當天的所有資料中在第m1%的位置對應的採樣資料和在第m2%的位置對應的採樣資料,以及第前N天的所有資料中在第m1%的位置對應的採樣資料和在第m2%的位置對應的採樣資料。其中,採樣資料可以為累積的資料,例如,每個採樣資料對應某一時刻的商品總量,第m1%位元的資料可以為第 m1%的位置對應的商品總量,第m2%位元的資料可以為第m2%的位置對應的商品總量。
103包括:將所述第二週期的第一比例位置對應的採樣資料與第一週期的第一比例位置對應的採樣資料進行比較,獲得第一比較結果;將所述第二週期的第二比例位置對應的採樣資料與第一週期的第二比例位置對應的採樣資料進行比較,獲得第二比較結果;根據所述第一比較結果和所述第二比較結果獲得所述資料波動特徵。
例如,當天的所有資料中在第m1%的位置對應的採樣資料為X1,第前N天的所有資料中在第m1%的位置對應的採樣資料為Y1,第一比較結果可以為波動量X1-Y1或者波動比例(X1-Y1)/X1。當天的所有資料中在第m2%的位置對應的採樣資料為X2,第前N天的所有資料中在第m2%的位置對應的採樣資料為Y2,第二比較結果可以為波動量X2-Y2或者波動比例(X2-Y2)/X2。
可以將第一比較結果和第二比較結果的屬性,例如標準差、方差或者變化趨勢等,作為所述資料波動特徵。將所述資料波動特徵與預設的波動閾值進行比較,若所述資料波動特徵大於預設的波動閾值,則說明波動比較大,此時可以產生提示或者報警資訊。
(3)第三種穩定性校驗規則中,根據同一週期的不同比例位置對應的採樣資料,獲取資料波動特徵。
具體地,所述比例位置包括當前週期的至少三個比例位置。其中,至少三個比例位置可以由使用者在資料採樣 配置中進行設定,例如,所述至少三個比例位置可以包括1分位、2分位、3分位、...、9分位共9個位置。
102包括:從所述待監控資料中獲取當前週期的至少三個比例位置分別對應的採樣資料。例如,從待監控資料中獲取,當天的所有資料中,在第10%、第20%、第30%、...、第90%的位置分別對應的採樣資料。
103包括:根據當前週期的至少三個比例位置分別對應的採樣資料,獲取相鄰比例位置對應的採樣資料的變化趨勢;根據所述變化趨勢,獲取所述資料波動特徵。
在這種規則中,主要根據採樣資料的變化趨勢判斷資料波動特徵,例如,在一些情況下,採樣資料是不斷增加的,例如當採樣資料具體為使用者的年齡,此時若判斷出變化趨勢一直為增加,則說明資料波動特徵較好;反之,若變化趨勢有增有減,則說明資料波動特徵較差,此時可以產生提示或者報警資訊。在另外一些情況下,採樣資料是不斷減少的,例如採樣資料具體為商品的剩餘個數,此時可以根據變化趨勢是否一直減少,判斷資料波動特徵。
(4)第四種穩定性校驗規則中,根據時間的比例位置對應的採樣資料,獲取資料波動特徵。
具體地,所述比例位置包括週期總個數的至少三個比例位置。其中,至少三個比例位置可以由使用者在資料採樣配置中進行設定,例如,所述至少三個比例位置可以包括2分位、4分位、6分位和8分位對應的位置。
102包括:從所述待監控資料中獲取所有週期中,所 述至少三個比例位置分別對應的週期的採樣資料。例如,共包括30個週期(例如每個週期為1天),獲取30個週期中,第20%、第40%、第60%和第80%的位置分別對應的週期的採樣資料,即第6個、第12個、第18個和第24個週期分別對應的採樣資料。其中,採樣資料可以為獨立的資料,例如,每個週期的採樣資料可以是這一週期產生的資料的總條數。
103包括:根據所述至少三個比例位置分別對應的週期的採樣資料,獲得所述資料波動特徵。
可以將所述至少三個比例位置分別對應的週期的採樣資料的標準差,作為所述資料波動特徵。例如,根據第6個、第12個、第18個和第24個週期產生的資料的總條數,計算標準差。可以將計算出的標準差與預設的波動閾值進行比較,若計算出的標準差大於預設的波動閾值,則說明波動比較大,此時可以產生提示或者報警資訊。或者,也可以分別計算相鄰比例位置的週期之間的波動值或者波動比例,根據波動值或者波動比例的變化趨勢確定資料波動特徵。例如,採樣資料為藥品消耗值,根據第6個、第12個、第18個和第24個週期產生的藥品消耗值,計算相鄰兩個資料的波動比例,若波動比例連續變高說明健康程度在下降,此時可以產生提示或者報警資訊。
下面透過一個具體的實施例對本發明進行說明。
請參閱圖2,本發明提供了資料的監控方法的一種方法實施例。本實施例的所述方法包括:
201:調用資料生產任務,產生連續資料。
202:產生連續資料的同時,觸發穩定性監控模組,穩定性監控模組獲取使用者設置的資料採樣配置。其中,所述資料採樣配置指示出採樣資料的比例位置。
203:從產生的連續資料中獲取所述比例位置對應的至少兩個採樣資料。
204:獲取多個穩定性校驗規則,按照預先定義的重要程度分類,對各個穩定性校驗規則進行分類。
205:根據分類的結果,並利用各個穩定性校驗規則獲取所述至少兩個採樣資料的資料波動特徵。
206:根據所述資料波動特徵,獲得對所述待監控資料的監控結果。
對應上述方法實施例,本發明實施例還提供了相應的裝置實施例,下面具體說明。
請參閱圖3,本發明提供了資料的監控裝置的一種裝置實施例。本實施例的所述裝置包括:配置獲取單元301、資料獲取單元302、特徵獲取單元303和結果獲取單元304。
配置獲取單元301,用於獲取資料採樣配置,所述資料採樣配置指示出採樣資料的比例位置。
在本發明實施例中,可以由使用者預先配置出資料採樣配置,從而確定出採樣資料的比例位置,即按照(個數或者時間等)比例,採樣資料所位於的位置。例如,採樣資料的比例位置為m%,表示採樣資料位於個數或者時間 比例為m%所對應的位置。
資料獲取單元302,用於從待監控資料中獲取所述比例位置對應的至少兩個採樣資料。
其中,所述待監控資料中可以包括多個週期的採樣資料;所述比例位置可以包括至少兩個週期的相同比例位置、同一週期的至少兩個比例位置、或者週期的總個數的至少兩個比例位置。下面分別具體說明。
第一種情況,所述比例位置包括至少兩個週期的相同比例位置。例如,所述比例位置包括第一週期和第二週期的第一比例位置,則資料獲取單元302獲取第一週期的第一比例位置對應的採樣資料以及第二週期的第一比例位置對應的採樣資料。
第二種情況,所述比例位置包括同一週期的至少兩個比例位置。例如,所述比例位置包括當前週期的第一比例位置和第二比例位置,則資料獲取單元302獲取當前週期的第一比例位置對應的採樣資料以及當前週期的第二比例位置對應的採樣資料。
第三種情況,所述比例位置包括週期總個數的至少兩個比例位置。例如,所述比例位置包括週期總個數的第一比例位置和第二比例位置,則資料獲取單元302獲取週期總個數中,所述第一比例位置對應的週期的採樣資料,以及所述第二比例位置對應的週期的採樣資料。
特徵獲取單元303,用於獲取所述至少兩個採樣資料的資料波動特徵。
在本發明實施例中,所述資料波動特徵可以包括以下資料特徵中的至少一種:所述至少兩個採樣資料的波動量、波動比例、波動量或波動比例的屬性(例如標準差或者方差等)、波動趨勢、以及標準差等等。
其中,當採樣資料為累積的資料時,例如所述至少兩個採樣資料包括當天第5個小時對應的商品總量,以及當天第8個小時對應的商品總量,所述資料波動特徵可以根據波動量、波動比例、波動量或波動比例的資料、或者波動趨勢獲取。
當採樣資料為獨立的資料,例如所述至少兩個採樣資料包括當天和前一天分別生產的商品數量,所述資料波動特徵可以根據標準差獲取。
結果獲取單元304,用於根據所述資料波動特徵,獲得對所述待監控資料的監控結果。
由於所述資料波動特徵,能夠反映至少兩個採樣資料的波動特性,從而能夠間接反映待監測資料的波動特性。因此,所述裝置還可以包括產生單元,用於根據所述資料波動特徵,能夠確定出所述待監測資料的波動是否超出正常範圍,如果是,則可以產生報警或者提示資訊,用於提示使用者。例如,所述資料波動特徵大於預設的波動閾值,則可以產生報警或提示資訊。
可見,本發明實施例中不再對待監控資料中的所有資料進行監控,而是利用資料採樣配置從中抽樣出至少兩個採樣資料,利用至少兩個採樣資料的資料波動特徵進行資 料監控,因此在實現資料監控的同時,能夠減少工作量。
本發明實施例中,可以預置穩定性校驗規則,根據穩定性校驗規則計算資料波動特徵,從而獲取採樣資料的波段特性。下面本發明實施例中將提供穩定性校驗規則的四種可選的實現方式。
第一種穩定性校驗規則中,根據至少兩個週期的相同比例位置對應的採樣資料,獲取資料波動特徵。
具體地,所述比例位置包括第一週期和第二週期的第一比例位置。所述資料獲取單元302具體用於,從所述待監控資料中獲取第一週期的第一比例位置對應的採樣資料和第二週期的第一比例位置對應的採樣資料。特徵獲取單元303具體用於,將所述第二週期的第一比例位置對應的採樣資料與第一週期的第一比例位置對應的採樣資料進行比較,獲得比較結果,以及根據所述比較結果獲得所述資料波動特徵。
其中,該比較結果可以為波動量或者波動比例。可以將該比較結果與預設的波動閾值進行比較,若該比較結果大於預設的波動閾值,則說明波動比較大,此時可以產生提示或者報警資訊。
第二種穩定性校驗規則中,根據至少兩個週期的多個相同比例位置對應的採樣資料,獲取資料波動特徵。
具體地,所述比例位置包括第一週期和第二週期的第一比例位置,以及第一週期和第二週期的第二比例位置。資料獲取單元302具體用於,從所述待監控資料中獲取第 一週期的第一比例位置對應的採樣資料、第二週期的第一比例位置對應的採樣資料、第一週期的第二比例位置對應的採樣資料和第二週期的第二比例位置對應的採樣資料。特徵獲取單元303具體用於,將所述第二週期的第一比例位置對應的採樣資料與第一週期的第一比例位置對應的採樣資料進行比較,獲得第一比較結果,將所述第二週期的第二比例位置對應的採樣資料與第一週期的第二比例位置對應的採樣資料進行比較,獲得第二比較結果,以及根據所述第一比較結果和所述第二比較結果獲得所述資料波動特徵。
其中,第一比較結果可以為波動量或者波動比例,第二比較結果可以為波動量或者波動比例。可以將第一比較結果和第二比較結果的屬性,例如標準差、方差或者變化趨勢等,作為所述資料波動特徵。將所述資料波動特徵與預設的波動閾值進行比較,若所述資料波動特徵大於預設的波動閾值,則說明波動比較大,此時可以產生提示或者報警資訊。
第三種穩定性校驗規則中,根據同一週期的不同比例位置對應的採樣資料,獲取資料波動特徵。
具體地,所述比例位置包括當前週期的至少三個比例位置。資料獲取單元302具體用於,從所述待監控資料中獲取當前週期的至少三個比例位置分別對應的採樣資料;特徵獲取單元303具體用於,根據當前週期的至少三個比例位置分別對應的採樣資料,獲取相鄰比例位置對應的採 樣資料的變化趨勢;根據所述變化趨勢,獲取所述資料波動特徵。
在這種規則中,主要根據採樣資料的變化趨勢判斷資料波動特徵,例如,在一些情況下,採樣資料是不斷增加的,例如當採樣資料具體為使用者的年齡,此時若判斷出變化趨勢一直為增加,則說明資料波動特徵較好;反之,若變化趨勢有增有減,則說明資料波動特徵較差,此時可以產生提示或者報警資訊。在另外一些情況下,採樣資料是不斷減少的,例如採樣資料具體為商品的剩餘個數,此時可以根據變化趨勢是否一直減少,判斷資料波動特徵。
第四種穩定性校驗規則中,根據時間的比例位置對應的採樣資料,獲取資料波動特徵。
具體地,所述比例位置包括週期總個數的至少三個比例位置;資料獲取單元302具體用於,從所述待監控資料中獲取所有週期中,所述至少三個比例位置分別對應的週期的採樣資料;特徵獲取單元303具體用於,根據所述至少三個比例位置分別對應的週期的採樣資料,獲得所述資料波動特徵。
其中,可以將所述至少三個比例位置分別對應的週期的採樣資料的標準差,作為所述資料波動特徵。或者,也可以分別計算相鄰比例位置的週期之間的波動值或者波動比例,根據波動值或者波動比例的變化趨勢確定資料波動特徵。
所屬領域的技術人員可以清楚地瞭解到,為描述的方 便和簡潔,上述描述的系統,裝置和單元的具體工作過程,可以參考前述方法實施例中的對應過程,在此不再贅述。
在本發明所提供的幾個實施例中,應該理解到,所揭露的系統,裝置和方法,可以透過其它的方式實現。例如,以上所描述的裝置實施例僅僅是示意性的,例如,所述單元的劃分,僅僅為一種邏輯功能劃分,實際實現時可以有另外的劃分方式,例如多個單元或元件可以結合或者可以整合到另一個系統,或一些特徵可以忽略,或不執行。另一點,所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是透過一些介面,裝置或單元的間接耦合或通信連接,可以是電性,機械或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是實體上分開的,作為單元顯示的部件可以是或者也可以不是實體單元,即可以位於一個地方,或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
另外,在本發明各個實施例中的各功能單元可以整合在一個處理單元中,也可以是各個單元單獨實體存在,也可以兩個或兩個以上單元整合在一個單元中。上述整合的單元既可以採用硬體的形式實現,也可以採用軟體功能單元的形式實現。
所述整合的單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時,可以儲存在一個電腦可讀取 儲存媒體中。基於這樣的理解,本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟體產品的形式體現出來,該電腦軟體產品儲存在一個儲存媒體中,包括若干指令用以使得一台電腦設備(可以是個人電腦,伺服器,或者網路設備等)執行本發明各個實施例所述方法的全部或部分步驟。而前述的儲存媒體包括:USB隨身碟、移動硬碟、唯讀記憶體(ROM,Read-Only Memory)、隨機存取記憶體(RAM,Random Access Memory)、磁碟或者光碟等各種可以儲存程式碼的媒體。
以上所述,以上實施例僅用以說明本發明的技術方案,而非對其限制;儘管參照前述實施例對本發明進行了詳細的說明,本領域的普通技術人員應當理解:其依然可以對前述各實施例所記載的技術方案進行修改,或者對其中部分技術特徵進行等同替換;而這些修改或者替換,並不使相應技術方案的本質脫離本發明各實施例技術方案的精神和範圍。

Claims (12)

  1. 一種資料的監控方法,其特徵在於,包括:獲取資料採樣配置,該資料採樣配置指示出採樣資料的比例位置;從待監控資料中獲取該比例位置對應的至少兩個採樣資料;獲取該至少兩個採樣資料的資料波動特徵;根據該資料波動特徵,獲得對該待監控資料的監控結果;其中,該待監控資料中包括多個週期的採樣資料;該比例位置包括至少兩個週期的相同比例位置、同一週期的至少兩個比例位置、或者週期總個數的至少兩個比例位置。
  2. 根據申請專利範圍第1項的方法,其中,該比例位置包括第一週期和第二週期的第一比例位置;從待監控資料中獲取該比例位置對應的至少兩個採樣資料,包括:從該待監控資料中獲取第一週期的第一比例位置對應的採樣資料和第二週期的第一比例位置對應的採樣資料;獲取該至少兩個採樣資料的資料波動特徵,包括:將該第二週期的第一比例位置對應的採樣資料與第一週期的第一比例位置對應的採樣資料進行比較,獲得比較結果;根據該比較結果獲得該資料波動特徵。
  3. 根據申請專利範圍第1項的方法,其中,包括:該比例位置包括第一週期和第二週期的第一比例位置,以及第一週期和第二週期的第二比例位置;從待監控資料中獲取至少兩個採樣資料,包括:從該待監控資料中獲取第一週期的第一比例位置對應的採樣資料、第二週期的第一比例位置對應的採樣資料、第一週期的第二比例位置對應的採樣資料和第二週期的第二比例位置對應的採樣資料;獲取該至少兩個採樣資料的資料波動特徵,包括:將該第二週期的第一比例位置對應的採樣資料與第一週期的第一比例位置對應的採樣資料進行比較,獲得第一比較結果;將該第二週期的第二比例位置對應的採樣資料與第一週期的第二比例位置對應的採樣資料進行比較,獲得第二比較結果;根據該第一比較結果和該第二比較結果獲得該資料波動特徵。
  4. 根據申請專利範圍第1項的方法,其中,該比例位置包括當前週期的至少三個比例位置;從待監控資料中獲取該比例位置對應的至少兩個採樣資料,包括:從該待監控資料中獲取當前週期的至少三個比例位置分別對應的採樣資料;獲取該至少兩個採樣資料的資料波動特徵,包括: 根據當前週期的至少三個比例位置分別對應的採樣資料,獲取相鄰比例位置對應的採樣資料的變化趨勢;根據該變化趨勢,獲取該資料波動特徵。
  5. 根據申請專利範圍第1項的方法,其中,該比例位置包括週期總個數的至少三個比例位置;從待監控資料中獲取該比例位置對應的至少兩個採樣資料,包括:從該待監控資料中獲取所有週期中,該至少三個比例位置分別對應的週期的採樣資料;獲取該至少兩個採樣資料的資料波動特徵,包括:根據該至少三個比例位置分別對應的週期的採樣資料,獲得該資料波動特徵。
  6. 根據申請專利範圍第1所述方法,其中,該資料波動特徵包括以下資料特徵中的至少一種:該至少兩個採樣資料的波動量、波動比例、波動量或波動比例的屬性、波動趨勢、以及標準差。
  7. 一種資料的監控裝置,其特徵在於,包括:配置獲取單元,用於獲取資料採樣配置,該資料採樣配置指示出採樣資料的比例位置;資料獲取單元,用於從待監控資料中獲取該比例位置對應的至少兩個採樣資料;特徵獲取單元,用於獲取該至少兩個採樣資料的資料波動特徵;結果獲取單元,用於根據該資料波動特徵,獲得對該 待監控資料的監控結果;其中,該待監控資料中包括多個週期的採樣資料;該比例位置包括至少兩個週期的相同比例位置、同一週期的至少兩個比例位置、或者週期總個數的至少兩個比例位置。
  8. 根據申請專利範圍第7項的裝置,其中,該比例位置包括第一週期和第二週期的第一比例位置;該資料獲取單元具體用於,從該待監控資料中獲取第一週期的第一比例位置對應的採樣資料和第二週期的第一比例位置對應的採樣資料;該特徵獲取單元具體用於,將該第二週期的第一比例位置對應的採樣資料與第一週期的第一比例位置對應的採樣資料進行比較,獲得比較結果,以及根據該比較結果獲得該資料波動特徵。
  9. 根據申請專利範圍第7項的裝置,其中,該比例位置包括第一週期和第二週期的第一比例位置,以及第一週期和第二週期的第二比例位置;該資料獲取單元具體用於,從該待監控資料中獲取第一週期的第一比例位置對應的採樣資料、第二週期的第一比例位置對應的採樣資料、第一週期的第二比例位置對應的採樣資料和第二週期的第二比例位置對應的採樣資料;該特徵獲取單元具體用於,將該第二週期的第一比例位置對應的採樣資料與第一週期的第一比例位置對應的採樣資料進行比較,獲得第一比較結果,將該第二週期的第 二比例位置對應的採樣資料與第一週期的第二比例位置對應的採樣資料進行比較,獲得第二比較結果,以及根據該第一比較結果和該第二比較結果獲得該資料波動特徵。
  10. 根據申請專利範圍第7項的裝置,其中,該比例位置包括當前週期的至少三個比例位置;該資料獲取單元具體用於,從該待監控資料中獲取當前週期的至少三個比例位置分別對應的採樣資料;該特徵獲取單元具體用於,根據當前週期的至少三個比例位置分別對應的採樣資料,獲取相鄰比例位置對應的採樣資料的變化趨勢;根據該變化趨勢,獲取該資料波動特徵。
  11. 根據申請專利範圍第7項的裝置,其中,該比例位置包括週期總個數的至少三個比例位置;該資料獲取單元具體用於,從該待監控資料中獲取所有週期中,該至少三個比例位置分別對應的週期的採樣資料;該特徵獲取單元具體用於,根據該至少三個比例位置分別對應的週期的採樣資料,獲得該資料波動特徵。
  12. 根據申請專利範圍第7項的裝置,其中,該資料波動特徵包括以下資料特徵中的至少一種:該至少兩個採樣資料的波動量、波動比例、波動量或波動比例的屬性、波動趨勢、以及標準差。
TW106102493A 2017-01-23 2017-01-23 資料的監控方法及裝置 TWI739794B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW106102493A TWI739794B (zh) 2017-01-23 2017-01-23 資料的監控方法及裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106102493A TWI739794B (zh) 2017-01-23 2017-01-23 資料的監控方法及裝置

Publications (2)

Publication Number Publication Date
TW201828062A TW201828062A (zh) 2018-08-01
TWI739794B true TWI739794B (zh) 2021-09-21

Family

ID=63960206

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106102493A TWI739794B (zh) 2017-01-23 2017-01-23 資料的監控方法及裝置

Country Status (1)

Country Link
TW (1) TWI739794B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109758137B (zh) * 2019-03-06 2021-08-10 江阴市人民医院 一种具有袖带使用寿命报警功能的血压计

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770419A (zh) * 2008-12-31 2010-07-07 中国银联股份有限公司 系统健壮性分析器和分析方法
TW201337547A (zh) * 2012-03-02 2013-09-16 Hon Hai Prec Ind Co Ltd 伺服器監控系統
CN106201826A (zh) * 2016-07-13 2016-12-07 焦点科技股份有限公司 一种诊断Oracle数据库大事务和热点事务的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770419A (zh) * 2008-12-31 2010-07-07 中国银联股份有限公司 系统健壮性分析器和分析方法
TW201337547A (zh) * 2012-03-02 2013-09-16 Hon Hai Prec Ind Co Ltd 伺服器監控系統
CN106201826A (zh) * 2016-07-13 2016-12-07 焦点科技股份有限公司 一种诊断Oracle数据库大事务和热点事务的方法

Also Published As

Publication number Publication date
TW201828062A (zh) 2018-08-01

Similar Documents

Publication Publication Date Title
US9645916B2 (en) Performance testing for blocks of code
JP6707564B2 (ja) データ品質分析
CN107766568B (zh) 使用列式数据库中的直方图进行有效查询处理
JP5706877B2 (ja) ソーシャルネットワークに対するメトリックベースのイベント
US9665632B2 (en) Managing activities over time in an activity graph
JP2016511463A (ja) 動的ストレージサービスレベル・モニタリングの管理システムおよび方法
US20140316843A1 (en) Automatically-generated workflow report diagrams
WO2018228049A1 (zh) 数据库性能指标的监测方法、装置、设备及存储介质
US20110093511A1 (en) System and method for aggregating data
TWI739794B (zh) 資料的監控方法及裝置
JP2018524689A (ja) データ保持フレームワーク
US20220222369A1 (en) Information processing apparatus, information processing method and program
CN108959493A (zh) 指标异常波动的检测方法、装置及设备
CN113553234A (zh) 数据异常检测方法
WO2017118341A1 (zh) 一种数据的监控方法及装置
US11010703B2 (en) Productivity measurement, modeling and illustration system
EP2770473A1 (en) Systems and methods for detecting market irregularities
JP2015005007A (ja) 在庫管理装置、在庫管理方法、および在庫管理プログラム
TW201445342A (zh) 使用條件群組之樞紐分析方法
CN112783727A (zh) 作品量监控方法、装置、电子设备以及计算机可读介质
US20220229853A1 (en) Information processing apparatus, information processing method and program
US20220215129A1 (en) Information processing apparatus, information processing method and program
US20140304031A1 (en) Method and system for performing analysis of item order frequency
JP6525051B2 (ja) テキスト監視システム、テキスト監視方法、及び、プログラム
CN109086309A (zh) 一种指标维度关系定义方法、服务器及存储介质