TW201911173A - 一種指標異常檢測方法、裝置以及電子設備 - Google Patents

一種指標異常檢測方法、裝置以及電子設備 Download PDF

Info

Publication number
TW201911173A
TW201911173A TW107116751A TW107116751A TW201911173A TW 201911173 A TW201911173 A TW 201911173A TW 107116751 A TW107116751 A TW 107116751A TW 107116751 A TW107116751 A TW 107116751A TW 201911173 A TW201911173 A TW 201911173A
Authority
TW
Taiwan
Prior art keywords
data
window
probability
monitoring point
period
Prior art date
Application number
TW107116751A
Other languages
English (en)
Other versions
TWI709931B (zh
Inventor
李龍飛
Original Assignee
香港商阿里巴巴集團服務有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商阿里巴巴集團服務有限公司 filed Critical 香港商阿里巴巴集團服務有限公司
Publication of TW201911173A publication Critical patent/TW201911173A/zh
Application granted granted Critical
Publication of TWI709931B publication Critical patent/TWI709931B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4016—Transaction verification involving fraud or risk level assessment in transaction processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
    • G06F7/556—Logarithmic or exponential functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G3/00—Alarm indicators, e.g. bells

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Accounting & Taxation (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本說明書實施例公開了一種指標異常檢測方法、裝置以及電子設備。所述方法包括：基於高斯模型和包含指標的多個監控點的視窗，對該指標進行異常檢測。

Description

一種指標異常檢測方法、裝置以及電子設備
本說明書涉及電腦軟體技術領域，尤其涉及一種指標異常檢測方法、裝置以及電子設備。
隨著電腦和網際網路技術的迅速發展，很多業務都可以在網上進行，這給使用者帶來了便利，也對相應的各種業務系統的可靠性提出了較高的要求。 　　一般地，可以對業務系統中的一些比較重要的指標進行監控。以協力廠商支付系統為例，被監控指標比如可以是：每分鐘觸發的支付帳戶盜用事件數量、每分鐘的支付請求時延等。進而，可以基於監控資料，對被監控指標進行異常檢測，若檢測出異常，則可以由運營人員或者研發人員及時處理，以保證業務系統的可靠性。 　　在現有技術中，通常針對單個監控點，使用被監控指標的歷史均值和方差，以及抖動來檢測異常。 　　基於現有技術，需要更準確的指標異常檢測方案。
本說明書實施例提供一種指標異常檢測方法、裝置以及電子設備，用以解決如下技術問題：需要更準確的指標異常檢測方案。 　　為解決上述技術問題，本說明書實施例是這樣實現的： 　　本說明書實施例提供的一種指標異常檢測方法，包括： 　　獲取被監控指標在一段時間包含的各監控點的資料； 　　使用高斯模型提取所述監控點的資料的均值和方差； 　　根據所述監控點的資料的均值和方差，分別計算各所述監控點的資料出現的概率； 　　根據所述分別計算的概率，計算由所述一段時間劃分出的視窗包含的各所述監控點的資料出現的聯合概率； 　　根據各所述視窗對應的所述聯合概率，檢測所述被監控指標是否異常。 　　本說明書實施例提供的一種指標異常檢測裝置，包括： 　　獲取模組，獲取被監控指標在一段時間包含的各監控點的資料； 　　提取模組，使用高斯模型提取所述監控點的資料的均值和方差； 　　第一計算模組，根據所述監控點的資料的均值和方差，分別計算各所述監控點的資料出現的概率； 　　第二計算模組，根據所述分別計算的概率，計算由所述一段時間劃分出的視窗包含的各所述監控點的資料出現的聯合概率； 　　檢測模組，根據各所述視窗對應的所述聯合概率，檢測所述被監控指標是否異常。 　　本說明書實施例提供的一種電子設備，包括： 　　至少一個處理器；以及， 　　與所述至少一個處理器通信連接的記憶體；其中， 　　所述記憶體儲存有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠： 　　獲取被監控指標在一段時間包含的各監控點的資料； 　　使用高斯模型提取所述監控點的資料的均值和方差； 　　根據所述監控點的資料的均值和方差，分別計算各所述監控點的資料出現的概率； 　　根據所述分別計算的概率，計算由所述一段時間劃分出的視窗包含的各所述監控點的資料出現的聯合概率； 　　根據各所述視窗對應的所述聯合概率，檢測所述被監控指標是否異常。 　　本說明書實施例採用的上述至少一個技術方案能夠達到以下有益效果：由於基於高斯模型和包含指標的多個監控點的視窗，對該指標進行異常檢測，因此，有利於防止單個監控點的抖動誤導異常檢測，進而有利於更準確地進行指標異常檢測。
本說明書實施例提供一種指標異常檢測方法、裝置以及電子設備。 　　為了使本技術領域的人員更好地理解本說明書中的技術方案，下面將結合本說明書實施例中的附圖，對本說明書實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例。基於本說明書實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都應當屬於本申請保護的範圍。 　　圖1為本說明書的方案在一種實際應用場景下涉及的整體架構示意圖。在整體架構(a)中，主要涉及兩部分：監控資料所在設備、高斯模型所在設備。監控資料所在設備通過網路，將被監控指標的監控資料發送給高斯模型所在設備，高斯模型所在設備可以基於視窗和高斯模型對監控資料進行處理，進而可以根據處理結果進行指標異常檢測。需要說明的是，在實際應用中，監控資料和高斯模型可能處於同一設備上，在這種情況下，可以採用整體架構(b)。 　　基於以上整體架構，下面對本說明書的方案進行詳細說明。 　　圖2為本說明書實施例提供的一種指標異常檢測方法的流程示意圖，可以針對一個或多個被監控指標中的每個被監控指標分別執行該流程。該流程可能的執行主體包括但不限於可作為伺服器或者終端的以下設備：手機、平板電腦、智慧可穿戴設備、車機、個人電腦、中型電腦、電腦集群等。 　　圖2中的流程可以包括以下步驟： 　　S202：獲取被監控指標在一段時間包含的各監控點的資料。 　　在本說明書實施例中，一段時間可以包含多個監控點。 　　以被監控指標是每分鐘觸發的支付帳戶盜用事件數量為例。假定所述一段時間具體為最近的一天，且每個整點的第一分鐘分別為一個監控點，則該一段時間可以包含24個監控點；假定所述一段時間具體為最近的一小時，每分鐘分別為一個監控點，則該一段時間可以包含60個監控點。 　　另外，在實際應用中，監控點未必要均勻分佈，比如，可能白天相對密集，半夜相對稀疏。 　　在本說明書實施例中，被監控指標在監控點的資料可以指標對被監控指標的原始監控資料，也即，在監控點獲取的被監控指標的取值，比如，假定支付帳戶盜用事件數量這個被監控指標在一段時間包含的其中三個監控點獲取的取值分別為2件、8件、1件，則可以將2件、8件、1件作為對應的所述監控點的資料；被監控指標在監控點的資料也可以指對原始監控資料進行特定處理得到的資料，所述特定處理可以是為了更有效地實施本說明書的方案。 　　例如，所述特定處理可以是取對數處理，通過取對數處理，可以將原始監控資料轉化到一個更小的變化中，有利於降低單個監控點抖動給指標異常檢測帶來的不利影響；比如，可以將上述的2件、8件、1件取對數後作為對應的所述監控點的資料。 　　又例如，所述特定處理可以是均勻化處理，可以通過在原始監控資料中刪除或增加一部分資料，以使處理得到的資料比處理前的原始監控資料更加均勻。 　　S204：使用高斯模型提取所述監控點的資料的均值和方差。 　　在本說明書實施例中，可以假定各監控點對應資料服從高斯分佈，並基於這樣的假定，使用高斯模型提取監控點的資料的均值和方差，具體可以高斯模型對監控點的資料進行估計，再根據估計後的高斯模型得到監控點的資料的均值和方差。所述高斯模型具體可以包括高斯混合模型。 　　S206：根據所述監控點的資料的均值和方差，分別計算各所述監控點的資料出現的概率。 　　在本說明書實施例中，利用監控點的資料的均值和方差，以及提取監控點的資料的均值和方差所使用的高斯模型，可以分別計算各監控點對應資料出現的概率。 　　S208：根據所述分別計算的概率，計算由所述一段時間劃分出的視窗包含的各所述監控點的資料出現的聯合概率。 　　在本說明書實施例中，可以不針對單個監控點進行指標異常檢測，而是可以針對包含多個監控點的視窗進行指標異常檢測。具體地，可以針對步驟S202中的一段時間劃分出多個視窗，對於劃分出的視窗，將該視窗包含的各監控點視為一個整體，進而以所述整體為單位，檢測被監控指標是否異常。 　　在本說明書實施例中，基於已分別計算出的各監控點對應資料出現的概率，可以進一步地計算劃分出的視窗內的各監控點對應資料出現的聯合概率，該聯合概率可以反映其對應的視窗內被監控指標相對於其他視窗的水準。 　　S210：根據各所述視窗對應的所述聯合概率，檢測所述被監控指標是否異常。 　　在本發明實施例中，根據各所述視窗對應的聯合概率，可以進一步地計算各視窗對應的聯合概率出現的概率，以作為被監控指標的異常檢測依據。 　　通過圖2的方法，由於基於高斯模型和包含指標的多個監控點的視窗，對該指標進行異常檢測，因此，有利於防止單個監控點的抖動誤導異常檢測，進而有利於更準確地進行指標異常檢測。 　　基於圖2的方法，本說明書實施例還提供了該方法的一些具體實施方案，以及擴展方案，下面進行說明。 　　在本說明書實施例中，假定預先對原始監控資料進行了取對數處理後，得到被監控指標在相應的監控點的資料，則對於步驟S202，所述獲取被監控指標一段時間內的監控資料前，可以執行：獲取所述被監控指標在一段時間包含的各監控點的原始監控資料；對所述原始監控資料進行取對數處理後，作為所述被監控指標在所述一段時間包含的各監控點的資料，以用於所述指標異常檢測。 　　在本說明書實施例中，可以先劃分好各視窗，再分別計算對應的聯合概率，也可以一邊劃分視窗，一邊計算當前劃分出的視窗對應的聯合概率。 　　以上一段中的前一種方式為例，對於步驟S208，所述根據所述分別計算的概率，計算由所述一段時間劃分出的視窗包含的各所述監控點的資料出現的聯合概率，具體可以包括：確定由所述一段時間劃分出的多個不同的視窗；分別針對每個視窗，根據所述分別計算的概率中對應於該視窗包含的各所述監控點的資料的概率，計算該視窗包含的各所述監控點的資料出現的聯合概率。 　　其中，所述多個不同的視窗優選地可以完整覆蓋所述一段時間。 　　在本說明書實施例中，視窗劃分的具體方式可以有多種。比如，可以按照設定的時間間隔劃分視窗，也可以按照業務特性(比如，帳戶等級、地域等)劃分視窗。 　　以按照設定的時間間隔劃分視窗為例。由所述一段時間劃分出多個不同的視窗比如可以包括：根據設定的時間間隔和視窗長度，由所述一段時間劃分出多個不同的視窗，其中，相鄰視窗的起始時刻相差所述時間間隔。 　　更具體地，例如，假定所述一段時間為1000分鐘，設定的時間間隔為5分鐘，視窗長度為10分鐘。則將第1~10分鐘劃分為一個視窗，將第5~15分鐘劃分為一個視窗，將第10~20分鐘劃分為一個視窗，將第15~25分鐘劃分為一個視窗，等等，以此類推，可以劃分出199個視窗。在該例中，相鄰的視窗有重疊，在實際應用中，這並不是必須的，而且，時間間隔和視窗長度也可以不固定。 　　在本說明書實施例中，對於步驟S210，所述根據各所述視窗對應的所述聯合概率，檢測所述被監控指標是否異常，具體可以包括：對所述各所述視窗對應的所述聯合概率使用高斯模型提取所述聯合概率的均值和方差；根據所述聯合概率的均值和方差，分別計算各所述視窗對應的所述聯合概率出現的概率；根據所述視窗對應的所述聯合概率出現的概率，檢測所述被監控指標是否異常。 　　可以看到，這裡可以又一次使用高斯模型，兩次使用主要的不同之處在於：這裡使用的高斯模型是針對視窗的，而步驟S204中使用的高斯模型是針對監控點的。 　　在本說明書實施例中，根據聯合概率出現的概率的高低程度，可以檢測被監控指標在該聯合概率對應的視窗內是否異常。 　　例如，所述根據所述視窗對應的所述聯合概率出現的概率，檢測所述被監控指標是否異常，具體可以包括：根據所述聯合概率的均值和方差，以及所述根據所述視窗對應的所述聯合概率出現的概率，利用3σ準則檢測所述被監控指標在所述視窗內是否異常。 　　更具體地，根據3σ準則，若聯合概率出現的概率偏離上面計算出的聯合概率的均值上下3個標準差(該標準差為上面計算出的聯合概率的方差的算數平方根)，則可以認為對應的被監控指標在對應視窗記憶體在異常。 　　需要說明的是，在實際應用中，也可以人為設定聯合概率的閾值和/或聯合概率出現的概率的閾值，用以檢測異常的視窗，而未必要利用3σ準則。 　　在檢測出異常的視窗後，還可以採取特定措施，進一步地分析該視窗中的主要由哪些監控點導致該異常，如此，有利於後續更精准和有效地解決相關的業務系統問題。 　　基於上面的說明，本說明書實施例還提供了一種實際應用場景下，上述指標異常檢測方法的一種具體實施方案，結合圖3、圖4進行說明。 　　圖3為該具體實施方案的原理示意圖。圖4為對照圖3的該具體實施方案的流程示意圖。 　　圖3中的方塊表示當前視窗，方塊中的圓圈表示監控點，對照圖3，圖4中的流程可以包括以下步驟： 　　S402：獲取某被監控指標的原始監控資料，並進行取對數處理，得到監控資料； 　　S404：對監控資料使用高斯模型提取各監控點的資料的均值和方差； 　　S406：根據和，分別計算各監控點的資料出現的概率； 　　S408：根據分別計算的各監控點的資料出現的概率，計算視窗包含的各監控點的資料出現的聯合概率； 　　S410：計算聯合概率的均值和方差； 　　S412：根據和，計算視窗對應的聯合概率出現的概率； 　　S414：利用3σ準則計算視窗對應的聯合概率出現的概率是否偏離上下三個，若是，則檢測出該被監控指標在該視窗記憶體在異常。 　　為了便於理解，可以用以下公式計算當前視窗對應的聯合概率出現的概率：其中，表示的算數平方根，表示的算數平方根，表示當前視窗包含的監控點數量，表示當前視窗包含的第個監控點的資料出現的概率，表示當前視窗包含的個監控點的資料出現的聯合概率。 　　若偏離上下三個，則可以認為該被監控指標在當前視窗記憶體在異常。 　　仍以被監控指標是每分鐘觸發的支付帳戶盜用事件數量為例。將一段時間內的每6分鐘劃分為一個視窗，每個視窗裡包含6個監控點，正如圖3所示。 　　假定當前視窗的對應於各監控點的原始監控資料分別為：2件、8件、1件、20件、1件、1件；對當前視窗的原始監控資料進行取對數(假定採用自然對數)處理，得到被監控指標在當前視窗包含的各監控點的資料，分別為：、、0、、0、0。 　　類似地，可以通過取對數處理，得到被監控指標在該段時間包含的各監控點的資料；進而，可以使用高斯模型提取監控點的資料的均值和方差，以及利用上述的公式一計算當前視窗對應的聯合概率出現的概率，並利用3σ準則檢測被監控指標在當前視窗是否存在異常。按照這種方案可以分別檢查出被監控指標在由該段時間劃分出的任一視窗是否存在異常。 　　通過基於視窗和高斯模型的指標異常檢測方案，有利於減少誤報，提高檢測結果的準確性。 　　基於同樣的思路，本說明書實施例還提供了對應的裝置，如圖5所示。 　　圖5為本說明書實施例提供的對應於圖2的一種指標異常檢測裝置的結構示意圖，虛線方塊表示可選的模組，該裝置可以位於圖2中流程的執行主體上，包括： 　　獲取模組501，獲取被監控指標在一段時間包含的各監控點的資料，所述一段時間內包含多個監控點； 　　提取模組502，使用高斯模型提取所述監控點的資料的均值和方差； 　　第一計算模組503，根據所述監控點的資料的均值和方差，分別計算各所述監控點的資料出現的概率； 　　第二計算模組504，根據所述分別計算的概率，計算由所述一段時間劃分出的視窗包含的各所述監控點的資料出現的聯合概率； 　　檢測模組505，根據各所述視窗對應的所述聯合概率，檢測所述被監控指標是否異常。 　　可選地，所述裝置還包括： 　　取對數模組506，在所述獲取模組501獲取被監控指標在一段時間包含的各監控點的資料前，獲取所述被監控指標在一段時間包含的各監控點的原始監控資料，對所述原始監控資料進行取對數處理後，作為所述被監控指標在所述一段時間包含的各監控點的資料，以用於所述指標異常檢測。 　　可選地，所述第二計算模組504根據所述分別計算的概率，計算由所述一段時間劃分出的視窗包含的各所述監控點的資料出現的聯合概率，具體包括： 　　所述第二計算模組504確定由所述一段時間劃分出的多個不同的視窗； 　　分別針對每個視窗，根據所述分別計算的概率中對應於該視窗包含的各所述監控點的資料的概率，計算該視窗包含的各所述監控點的資料出現的聯合概率。 　　可選地，由所述一段時間劃分出多個不同的視窗包括： 　　根據設定的時間間隔和視窗長度，由所述一段時間劃分出多個不同的視窗，其中，相鄰視窗的起始時刻相差所述時間間隔。 　　可選地，所述檢測模組505根據各所述視窗對應的所述聯合概率，檢測所述被監控指標是否異常，具體包括： 　　所述檢測模組505對所述各所述視窗對應的所述聯合概率使用高斯模型提取所述聯合概率的均值和方差； 　　根據所述聯合概率的均值和方差，分別計算各所述視窗對應的所述聯合概率出現的概率； 　　根據所述視窗對應的所述聯合概率出現的概率，檢測所述被監控指標是否異常。 　　可選地，所述檢測模組505根據所述視窗對應的所述聯合概率出現的概率，檢測所述被監控指標是否異常，具體包括： 　　所述檢測模組505根據所述聯合概率的均值和方差，以及所述根據所述視窗對應的所述聯合概率出現的概率，利用3σ準則檢測所述被監控指標在所述視窗內是否異常。 　　可選地，所述高斯模型包括高斯混合模型。 　　基於同樣的思路，本說明書實施例還提供了對應的一種電子設備，包括： 　　至少一個處理器；以及， 　　與所述至少一個處理器通信連接的記憶體；其中， 　　所述記憶體儲存有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠： 　　獲取被監控指標在一段時間包含的各監控點的資料； 　　使用高斯模型提取所述監控點的資料的均值和方差； 　　根據所述監控點的資料的均值和方差，分別計算各所述監控點的資料出現的概率； 　　根據所述分別計算的概率，計算由所述一段時間劃分出的視窗包含的各所述監控點的資料出現的聯合概率； 　　根據各所述視窗對應的所述聯合概率，檢測所述被監控指標是否異常。 　　基於同樣的思路，本說明書實施例還提供了對應的一種非揮發性電腦儲存介質，儲存有電腦可執行指令，所述電腦可執行指令設置為： 　　獲取被監控指標在一段時間包含的各監控點的資料； 　　使用高斯模型提取所述監控點的資料的均值和方差； 　　根據所述監控點的資料的均值和方差，分別計算各所述監控點的資料出現的概率； 　　根據所述分別計算的概率，計算由所述一段時間劃分出的視窗包含的各所述監控點的資料出現的聯合概率； 　　根據各所述視窗對應的所述聯合概率，檢測所述被監控指標是否異常。 　　上述對本說明書特定實施例進行了描述。其它實施例在所附申請專利範圍的範圍內。在一些情況下，在申請專利範圍中記載的動作或步驟可以按照不同於實施例中的順序來執行並且仍然可以實現期望的結果。另外，在附圖中描繪的過程不一定要求示出的特定順序或者連續順序才能實現期望的結果。在某些實施方式中，多工處理和並行處理也是可以的或者可能是有利的。 　　本說明書中的各個實施例均採用遞進的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對於裝置、電子設備、非揮發性電腦儲存介質實施例而言，由於其基本相似於方法實施例，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。 　　本說明書實施例提供的裝置、電子設備、非揮發性電腦儲存介質與方法是對應的，因此，裝置、電子設備、非揮發性電腦儲存介質也具有與對應方法類似的有益技術效果，由於上面已經對方法的有益技術效果進行了詳細說明，因此，這裡不再贅述對應裝置、電子設備、非揮發性電腦儲存介質的有益技術效果。 　　在20世紀90年代，對於一個技術的改進可以很明顯地區分是硬體上的改進(例如，對二極體、電晶體、開關等電路結構的改進)還是軟體上的改進(對於方法流程的改進)。然而，隨著技術的發展，當今的很多方法流程的改進已經可以視為硬體電路結構的直接改進。設計人員幾乎都通過將改進的方法流程程式設計到硬體電路中來得到相應的硬體電路結構。因此，不能說一個方法流程的改進就不能用硬體實體模組來實現。例如，可程式設計邏輯裝置(Programmable Logic Device, PLD)(例如現場可程式設計閘陣列(Field Programmable Gate Array, FPGA))就是這樣一種積體電路，其邏輯功能由使用者對裝置程式設計來確定。由設計人員自行程式設計來把一個數位系統“集成”在一片PLD上，而不需要請晶片製造廠商來設計和製作專用的積體電路晶片。而且，如今，取代手工地製作積體電路晶片，這種程式設計也多半改用“邏輯編譯器(logic compiler)”軟體來實現，它與程式開發撰寫時所用的軟體編譯器相類似，而要編譯之前的原始代碼也得用特定的程式設計語言來撰寫，此稱之為硬體描述語言(Hardware Description Language, HDL)，而HDL也並非僅有一種，而是有許多種，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware Description Language)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL (Ruby Hardware Description Language)等，目前最普遍使用的是VHDL(Very-High-Speed Integrated Circuit Hardware Description Language)與Verilog。本領域技術人員也應該清楚，只需要將方法流程用上述幾種硬體描述語言稍作邏輯程式設計並程式設計到積體電路中，就可以很容易得到實現該邏輯方法流程的硬體電路。 　　控制器可以按任何適當的方式實現，例如，控制器可以採取例如微處理器或處理器以及儲存可由該(微)處理器執行的電腦可讀程式碼(例如軟體或固件)的電腦可讀介質、邏輯門、開關、專用積體電路(Application Specific Integrated Circuit, ASIC)、可程式設計邏輯控制器和嵌入微控制器的形式，控制器的例子包括但不限於以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，記憶體控制器還可以被實現為記憶體的控制邏輯的一部分。本領域技術人員也知道，除了以純電腦可讀程式碼方式實現控制器以外，完全可以通過將方法步驟進行邏輯程式設計來使得控制器以邏輯門、開關、專用積體電路、可程式設計邏輯控制器和嵌入微控制器等的形式來實現相同功能。因此這種控制器可以被認為是一種硬體部件，而對其內包括的用於實現各種功能的裝置也可以視為硬體部件內的結構。或者甚至，可以將用於實現各種功能的裝置視為既可以是實現方法的軟體模組又可以是硬體部件內的結構。 　　上述實施例闡明的系統、裝置、模組或單元，具體可以由電腦晶片或實體實現，或者由具有某種功能的產品來實現。一種典型的實現設備為電腦。具體的，電腦例如可以為個人電腦、膝上型電腦、蜂窩電話、相機電話、智慧型電話、個人數位助理、媒體播放機、導航設備、電子郵件設備、遊戲控制台、平板電腦、可穿戴設備或者這些設備中的任何設備的組合。 　　為了描述的方便，描述以上裝置時以功能分為各種單元分別描述。當然，在實施本說明書時可以把各單元的功能在同一個或多個軟體和/或硬體中實現。 　　本領域內的技術人員應明白，本說明書實施例可提供為方法、系統、或電腦程式產品。因此，本說明書實施例可採用完全硬體實施例、完全軟體實施例、或結合軟體和硬體方面的實施例的形式。而且，本說明書實施例可採用在一個或多個其中包含有電腦可用程式碼的電腦可用儲存介質(包括但不限於磁碟記憶體、CD-ROM、光學記憶體等)上實施的電腦程式產品的形式。 　　本說明書是參照根據本說明書實施例的方法、設備(系統)、和電腦程式產品的流程圖和／或方塊圖來描述的。應理解可由電腦程式指令實現流程圖和／或方塊圖中的每一流程和／或方塊、以及流程圖和／或方塊圖中的流程和／或方塊的結合。可提供這些電腦程式指令到通用電腦、專用電腦、嵌入式處理機或其他可程式設計資料處理設備的處理器以產生一個機器，使得通過電腦或其他可程式設計資料處理設備的處理器執行的指令產生用於實現在流程圖一個流程或多個流程和／或方塊圖一個方塊或多個方塊中指定的功能的裝置。 　　這些電腦程式指令也可儲存在能引導電腦或其他可程式設計資料處理設備以特定方式工作的電腦可讀記憶體中，使得儲存在該電腦可讀記憶體中的指令產生包括指令裝置的製造品，該指令裝置實現在流程圖一個流程或多個流程和／或方塊圖一個方塊或多個方塊中指定的功能。 　　這些電腦程式指令也可裝載到電腦或其他可程式設計資料處理設備上，使得在電腦或其他可程式設計設備上執行一系列操作步驟以產生電腦實現的處理，從而在電腦或其他可程式設計設備上執行的指令提供用於實現在流程圖一個流程或多個流程和／或方塊圖一個方塊或多個方塊中指定的功能的步驟。 　　在一個典型的配置中，計算設備包括一個或多個處理器(CPU)、輸入/輸出介面、網路介面和記憶體。 　　記憶體可能包括電腦可讀介質中的非永久性記憶體，隨機存取記憶體(RAM)和/或非揮發性記憶體等形式，如唯讀記憶體(ROM)或快閃記憶體(flash RAM)。記憶體是電腦可讀介質的示例。 　　電腦可讀介質包括永久性和非永久性、可移動和非可移動媒體可以由任何方法或技術來實現資訊儲存。資訊可以是電腦可讀指令、資料結構、程式的模組或其他資料。電腦的儲存介質的例子包括，但不限於相變記憶體(PRAM)、靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、其他類型的隨機存取記憶體(RAM)、唯讀記憶體(ROM)、電可擦除可程式設計唯讀記憶體(EEPROM)、快閃記憶體或其他記憶體技術、唯讀光碟唯讀記憶體(CD-ROM)、數位多功能光碟(DVD)或其他光學儲存、磁盒式磁帶，磁帶磁磁片儲存或其他磁性存放裝置或任何其他非傳輸介質，可用於儲存可以被計算設備訪問的資訊。按照本文中的界定，電腦可讀介質不包括暫存電腦可讀媒體(transitory media)，如調製的資料信號和載波。 　　還需要說明的是，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、商品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、商品或者設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，並不排除在包括所述要素的過程、方法、商品或者設備中還存在另外的相同要素。 　　本說明書可以在由電腦執行的電腦可執行指令的一般上下文中描述，例如程式模組。一般地，程式模組包括執行特定任務或實現特定抽象資料類型的常式、程式、物件、元件、資料結構等等。也可以在分散式運算環境中實踐本說明書，在這些分散式運算環境中，由通過通信網路而被連接的遠端處理設備來執行任務。在分散式運算環境中，程式模組可以位於包括存放裝置在內的本地和遠端電腦儲存介質中。 　　本說明書中的各個實施例均採用遞進的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對於系統實施例而言，由於其基本相似於方法實施例，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。 　　以上所述僅為本說明書實施例而已，並不用於限制本申請。對於本領域技術人員來說，本申請可以有各種更改和變化。凡在本申請的精神和原理之內所作的任何修改、等同替換、改進等，均應包含在本申請的申請專利範圍之內。
501‧‧‧獲取模組
502‧‧‧提取模組
503‧‧‧第一計算模組
504‧‧‧第二計算模組
505‧‧‧檢測模組
506‧‧‧取對數模組
為了更清楚地說明本說明書實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本說明書中記載的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。 　　圖1為本說明書的方案在一種實際應用場景下涉及的一種整體架構示意圖； 　　圖2為本說明書實施例提供的一種指標異常檢測方法的流程示意圖； 　　圖3為本說明書實施例提供的一種實際應用場景下，上述指標異常檢測方法的一種具體實施方案的原理示意圖； 　　圖4本說明書實施例提供的一種實際應用場景下，上述指標異常檢測方法的一種具體實施方案的流程示意圖； 　　圖5為本說明書實施例提供的對應於圖1的一種指標異常檢測裝置的結構示意圖。

Claims (15)

  1. 一種指標異常檢測方法，包括： 　　獲取被監控指標在一段時間包含的各監控點的資料； 　　使用高斯模型提取所述監控點的資料的均值和方差； 　　根據所述監控點的資料的均值和方差，分別計算各所述監控點的資料出現的概率； 　　根據所述分別計算的概率，計算由所述一段時間劃分出的視窗包含的各所述監控點的資料出現的聯合概率； 　　根據各所述視窗對應的所述聯合概率，檢測所述被監控指標是否異常。
  2. 如申請專利範圍第1項所述的方法，所述獲取被監控指標在一段時間包含的各監控點的資料前，所述方法還包括： 　　獲取所述被監控指標在一段時間包含的各監控點的原始監控資料； 　　對所述原始監控資料進行取對數處理後，作為所述被監控指標在所述一段時間包含的各監控點的資料，以用於所述指標異常檢測。
  3. 如申請專利範圍第1項所述的方法，所述根據所述分別計算的概率，計算由所述一段時間劃分出的視窗包含的各所述監控點的資料出現的聯合概率，具體包括： 　　確定由所述一段時間劃分出的多個不同的視窗； 　　分別針對每個視窗，根據所述分別計算的概率中對應於該視窗包含的各所述監控點的資料的概率，計算該視窗包含的各所述監控點的資料出現的聯合概率。
  4. 如申請專利範圍第3項所述的方法，由所述一段時間劃分出多個不同的視窗包括： 　　根據設定的時間間隔和視窗長度，由所述一段時間劃分出多個不同的視窗，其中，相鄰視窗的起始時刻相差所述時間間隔。
  5. 如申請專利範圍第1項所述的方法，所述根據各所述視窗對應的所述聯合概率，檢測所述被監控指標是否異常，具體包括： 　　對所述各所述視窗對應的所述聯合概率使用高斯模型提取所述聯合概率的均值和方差； 　　根據所述聯合概率的均值和方差，分別計算各所述視窗對應的所述聯合概率出現的概率； 　　根據所述視窗對應的所述聯合概率出現的概率，檢測所述被監控指標是否異常。
  6. 如申請專利範圍第5項所述的方法，所述根據所述視窗對應的所述聯合概率出現的概率，檢測所述被監控指標是否異常，具體包括： 　　根據所述聯合概率的均值和方差，以及所述根據所述視窗對應的所述聯合概率出現的概率，利用3σ準則檢測所述被監控指標在所述視窗內是否異常。
  7. 如申請專利範圍第1~6項任一項所述的方法，所述高斯模型包括高斯混合模型。
  8. 一種指標異常檢測裝置，包括： 　　獲取模組，獲取被監控指標在一段時間包含的各監控點的資料； 　　提取模組，使用高斯模型提取所述監控點的資料的均值和方差； 　　第一計算模組，根據所述監控點的資料的均值和方差，分別計算各所述監控點的資料出現的概率； 　　第二計算模組，根據所述分別計算的概率，計算由所述一段時間劃分出的視窗包含的各所述監控點的資料出現的聯合概率； 　　檢測模組，根據各所述視窗對應的所述聯合概率，檢測所述被監控指標是否異常。
  9. 如申請專利範圍第8項所述的裝置，所述裝置還包括： 　　取對數模組，在所述獲取模組獲取被監控指標在一段時間包含的各監控點的資料前，獲取所述被監控指標在一段時間包含的各監控點的原始監控資料，對所述原始監控資料進行取對數處理後，作為所述被監控指標在所述一段時間包含的各監控點的資料，以用於所述指標異常檢測。
  10. 如申請專利範圍第8項所述的裝置，所述第二計算模組根據所述分別計算的概率，計算由所述一段時間劃分出的視窗包含的各所述監控點的資料出現的聯合概率，具體包括： 　　所述第二計算模組確定由所述一段時間劃分出的多個不同的視窗； 　　分別針對每個視窗，根據所述分別計算的概率中對應於該視窗包含的各所述監控點的資料的概率，計算該視窗包含的各所述監控點的資料出現的聯合概率。
  11. 如申請專利範圍第10項所述的裝置，由所述一段時間劃分出多個不同的視窗包括： 　　根據設定的時間間隔和視窗長度，由所述一段時間劃分出多個不同的視窗，其中，相鄰視窗的起始時刻相差所述時間間隔。
  12. 如申請專利範圍第8項所述的裝置，所述檢測模組根據各所述視窗對應的所述聯合概率，檢測所述被監控指標是否異常，具體包括： 　　所述檢測模組對所述各所述視窗對應的所述聯合概率使用高斯模型提取所述聯合概率的均值和方差； 　　根據所述聯合概率的均值和方差，分別計算各所述視窗對應的所述聯合概率出現的概率； 　　根據所述視窗對應的所述聯合概率出現的概率，檢測所述被監控指標是否異常。
  13. 如申請專利範圍第12項所述的裝置，所述檢測模組根據所述視窗對應的所述聯合概率出現的概率，檢測所述被監控指標是否異常，具體包括： 　　所述檢測模組根據所述聯合概率的均值和方差，以及所述根據所述視窗對應的所述聯合概率出現的概率，利用3σ準則檢測所述被監控指標在所述視窗內是否異常。
  14. 如申請專利範圍第8~13項任一項所述的裝置，所述高斯模型包括高斯混合模型。
  15. 一種電子設備，包括： 　　至少一個處理器；以及， 　　與所述至少一個處理器通信連接的記憶體；其中， 　　所述記憶體儲存有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠： 　　獲取被監控指標在一段時間包含的各監控點的資料； 　　使用高斯模型提取所述監控點的資料的均值和方差； 　　根據所述監控點的資料的均值和方差，分別計算各所述監控點的資料出現的概率； 　　根據所述分別計算的概率，計算由所述一段時間劃分出的視窗包含的各所述監控點的資料出現的聯合概率； 　　根據各所述視窗對應的所述聯合概率，檢測所述被監控指標是否異常。
TW107116751A 2017-07-28 2018-05-17 一種指標異常檢測方法、裝置以及電子設備 TWI709931B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710629717.6A CN107526667B (zh) 2017-07-28 2017-07-28 一种指标异常检测方法、装置以及电子设备
CN201710629717.6 2017-07-28
??201710629717.6 2017-07-28

Publications (2)

Publication Number Publication Date
TW201911173A true TW201911173A (zh) 2019-03-16
TWI709931B TWI709931B (zh) 2020-11-11

Family

ID=60680373

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107116751A TWI709931B (zh) 2017-07-28 2018-05-17 一種指標異常檢測方法、裝置以及電子設備

Country Status (5)

Country Link
US (1) US10860453B2 (zh)
EP (1) EP3644186A4 (zh)
CN (1) CN107526667B (zh)
TW (1) TWI709931B (zh)
WO (1) WO2019020094A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI749416B (zh) * 2019-11-29 2021-12-11 中國鋼鐵股份有限公司 變轉速設備異常監診方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107526667B (zh) * 2017-07-28 2020-04-28 阿里巴巴集团控股有限公司 一种指标异常检测方法、装置以及电子设备
CN110135445A (zh) * 2018-02-02 2019-08-16 兴业数字金融服务（上海）股份有限公司 用于监控应用的状态的方法和装置
CN108984376B (zh) * 2018-05-31 2021-11-19 创新先进技术有限公司 一种系统异常检测方法、装置及设备
CN109101390B (zh) * 2018-06-29 2021-08-24 平安科技（深圳）有限公司 基于高斯分布的定时任务异常监控方法、电子装置及介质
CN110399268B (zh) * 2019-07-26 2023-09-26 创新先进技术有限公司 一种异常数据检测的方法、装置及设备
CN110796497A (zh) * 2019-10-31 2020-02-14 支付宝(杭州)信息技术有限公司 检测异常操作行为的方法以及装置
CN111626842A (zh) * 2020-04-22 2020-09-04 北京芯盾时代科技有限公司 一种消费行为数据的分析方法和装置
CN113672446B (zh) * 2020-05-14 2023-09-15 百度在线网络技术（北京）有限公司 监控参数确定方法、装置、设备以及存储介质
CN112241351B (zh) * 2020-09-30 2023-12-22 中国银联股份有限公司 数据处理方法、装置、设备和介质
CN112308126A (zh) * 2020-10-27 2021-02-02 深圳前海微众银行股份有限公司 故障识别模型训练方法、故障识别方法、装置及电子设备
CN112498419B (zh) * 2020-11-25 2022-09-09 中铁第四勘察设计院集团有限公司 一种加密方法、装置、设备和存储介质
CN112950085B (zh) * 2021-04-07 2024-03-26 江苏大势航空科技有限公司 无人机集群监测方法、计算机存储介质及电子设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0354638A (ja) * 1989-07-21 1991-03-08 Nec Field Service Ltd 命令再試行処理方式
US7539597B2 (en) * 2001-04-10 2009-05-26 Smartsignal Corporation Diagnostic systems and methods for predictive condition monitoring
US7930593B2 (en) * 2008-06-23 2011-04-19 Hewlett-Packard Development Company, L.P. Segment-based technique and system for detecting performance anomalies and changes for a computer-based service
CN101645884B (zh) * 2009-08-26 2012-09-05 西安理工大学 基于相对熵理论的多测度网络异常检测方法
US20110172916A1 (en) * 2010-01-14 2011-07-14 Qualcomm Incorporated Mobile Device Positioning In A Constrained Environment
CN102937930B (zh) * 2012-09-29 2016-05-18 重庆新媒农信科技有限公司 应用程序监控系统及方法
CN102957579B (zh) * 2012-09-29 2015-09-16 北京邮电大学 一种网络异常流量监测方法及装置
CN103218628A (zh) * 2013-03-22 2013-07-24 中国科学技术大学 一种基于团块与轨迹特征的异常行为描述方法
CN104348810B (zh) * 2013-08-05 2019-02-22 深圳市腾讯计算机系统有限公司 被盗帐号的检测方法、装置及系统
US9652354B2 (en) * 2014-03-18 2017-05-16 Microsoft Technology Licensing, Llc. Unsupervised anomaly detection for arbitrary time series
CN103974311B (zh) * 2014-05-21 2017-06-20 哈尔滨工业大学 基于改进高斯过程回归模型的状态监测数据流异常检测方法
US20160062950A1 (en) * 2014-09-03 2016-03-03 Google Inc. Systems and methods for anomaly detection and guided analysis using structural time-series models
US10061632B2 (en) * 2014-11-24 2018-08-28 Anodot Ltd. System and method for transforming observed metrics into detected and scored anomalies
CN105827472B (zh) * 2015-01-04 2019-08-20 华为技术有限公司 网络数据流类型检测方法及装置
US10261851B2 (en) * 2015-01-23 2019-04-16 Lightbend, Inc. Anomaly detection using circumstance-specific detectors
US10303539B2 (en) * 2015-02-23 2019-05-28 International Business Machines Corporation Automatic troubleshooting from computer system monitoring data based on analyzing sequences of changes
US11277420B2 (en) * 2017-02-24 2022-03-15 Ciena Corporation Systems and methods to detect abnormal behavior in networks
CN107526667B (zh) * 2017-07-28 2020-04-28 阿里巴巴集团控股有限公司 一种指标异常检测方法、装置以及电子设备
US10635565B2 (en) * 2017-10-04 2020-04-28 Servicenow, Inc. Systems and methods for robust anomaly detection
US20190334759A1 (en) * 2018-04-26 2019-10-31 Microsoft Technology Licensing, Llc Unsupervised anomaly detection for identifying anomalies in data

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI749416B (zh) * 2019-11-29 2021-12-11 中國鋼鐵股份有限公司 變轉速設備異常監診方法

Also Published As

Publication number Publication date
US10860453B2 (en) 2020-12-08
TWI709931B (zh) 2020-11-11
EP3644186A4 (en) 2020-06-03
CN107526667B (zh) 2020-04-28
EP3644186A1 (en) 2020-04-29
CN107526667A (zh) 2017-12-29
WO2019020094A1 (zh) 2019-01-31
US20200159637A1 (en) 2020-05-21

Similar Documents

Publication Publication Date Title
TWI709931B (zh) 一種指標異常檢測方法、裝置以及電子設備
TWI691855B (zh) 基於區塊鏈的資料處理方法及設備
TW201928841A (zh) 訓練風控模型和風控的方法、裝置及設備
US10025878B1 (en) Data lineage analysis
US20150186777A1 (en) Automated creation of semantically-enriched diagnosis models
CN109063886A (zh) 一种异常检测方法、装置以及设备
KR20180069813A (ko) 타이틀 표시 방법 및 장치
CN106528067B (zh) 一种生成报表的方法及装置
CN110245047B (zh) 时间序列异常检测方法、装置及设备
TWI736765B (zh) 圖像處理方法、裝置、設備及儲存媒體
WO2018161900A1 (zh) 一种风控事件自动处理方法及装置
TWI700578B (zh) 異常檢測的方法及裝置
CN110634030B (zh) 应用的业务指标挖掘方法、装置及设备
CN108984376B (zh) 一种系统异常检测方法、装置及设备
CN107066519A (zh) 一种任务检测方法及装置
TW201918916A (zh) 隨機游走、基於分散式系統的隨機游走方法、裝置以及設備
CN110032480A (zh) 一种服务器异常检测方法、装置及设备
WO2018095307A1 (zh) 一种评价信息的发布方法及装置
WO2019037649A1 (zh) 一种针对使用共享物品的用户评估方法、装置及设备
CN109766167A (zh) 定时任务分发的方法、装置、系统及设备
US20200232855A1 (en) Method, Apparatus, Touch Chip and Electronic Device for Determining Temperature Status of Touch Screen
TWI713019B (zh) 資料標籤產生、模型訓練、事件識別方法和裝置
EP3211541A1 (en) Method and apparatus for determining directory category and automatic categorization method and apparatus
CN109656946A (zh) 一种多表关联查询方法、装置及设备
TWI680467B (zh) 隨機遊走、基於集群的隨機遊走方法、裝置以及設備