WO2025264178A1 - 用于确定数据异常的方法、装置、设备和介质 - Google Patents

用于确定数据异常的方法、装置、设备和介质

Info

Publication number
WO2025264178A1
WO2025264178A1 PCT/SG2024/050402 SG2024050402W WO2025264178A1 WO 2025264178 A1 WO2025264178 A1 WO 2025264178A1 SG 2024050402 W SG2024050402 W SG 2024050402W WO 2025264178 A1 WO2025264178 A1 WO 2025264178A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
anomaly
field
dataset
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/SG2024/050402
Other languages
English (en)
French (fr)
Inventor
陈鉴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lemon Inc Cayman Island
Original Assignee
Lemon Inc Cayman Island
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lemon Inc Cayman Island filed Critical Lemon Inc Cayman Island
Priority to PCT/SG2024/050402 priority Critical patent/WO2025264178A1/zh
Priority to US19/243,164 priority patent/US20250383880A1/en
Publication of WO2025264178A1 publication Critical patent/WO2025264178A1/zh
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45504—Abstract machines for programme code execution, e.g. Java virtual machine [JVM], interpreters, emulators
    • G06F9/45508—Runtime interpretation or emulation, e g. emulator loops, bytecode interpretation
    • G06F9/45512—Command shells
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/219—Managing data history or versioning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3861—Recovery, e.g. branch miss-prediction, exception handling
    • G06F9/3865—Recovery, e.g. branch miss-prediction, exception handling using deferred exception handling, e.g. exception flags

Definitions

  • the present disclosure generally relates to dataset management, and particularly to methods, apparatus, devices, and computer-readable storage media for determining data anomalies in datasets.
  • Background Art Datasets can be used to store various types of data, such as application-related data. Multiple users can install applications on their respective client devices, generating a large amount of data as users use the data. The dataset can then include numerous fields from multiple data sources. Analytical tasks can be performed on the data in the dataset, such as determining the relationships between certain fields, etc. However, anomalies may occur in the dataset, preventing accurate execution of analytical tasks. Typically, dataset administrators need to manually discover and handle anomalies to determine the source of the anomalies.
  • a method for determining data anomalies is provided.
  • key fields in a dataset are determined, the dataset including multiple data sources, and each of the multiple data sources includes at least one field.
  • the historical state of the key fields within a historical time period is obtained.
  • a data anomaly is determined in the key field, indicating that an anomaly occurred in the key field within a historical time period.
  • At least one causal field associated with the data anomaly is identified in the dataset, and an anomaly in the at least one causal field causes a data anomaly in the key field.
  • an apparatus for determining a data anomaly includes: a field determination module configured to determine a key field in a dataset, and a data...
  • the dataset includes multiple data sources, and each of the multiple data sources includes at least one field; a status acquisition module is configured to acquire the historical status of a key field within a historical time period; an anomaly determination module is configured to determine that a data anomaly exists in the key field in response to a determination that the historical status indicates that a change in the data in the key field meets an anomaly condition, and the data anomaly indicates that an anomaly occurred in the key field within the historical time period; and a cause determination module is configured to determine at least one cause field in the dataset associated with the data anomaly, wherein the data anomaly of the at least one cause field causes the data anomaly of the key field.
  • a status acquisition module is configured to acquire the historical status of a key field within a historical time period
  • an anomaly determination module is configured to determine that a data anomaly exists in the key field in response to a determination that the historical status indicates that a change in the data in the key field meets an anomaly condition, and the data anomaly indicates that an anomaly occurred in the key field within the historical
  • the electronic device includes: at least one processing unit; and at least one memory, the at least one memory being coupled to the at least one processing unit and storing instructions for execution by the at least one processing unit, the instructions causing the electronic device to perform the method according to the first aspect of this disclosure when executed by the at least one processing unit.
  • a computer-readable storage medium having a computer program stored thereon, the computer program causing the processor to implement the method according to the first aspect of this disclosure when executed by a processor.
  • a computer program product comprising a computer program, wherein the computer program, when executed by a processor, implements the method according to a first aspect of this disclosure.
  • Figure 1 shows a block diagram of an application environment for determining data anomalies
  • Figure 2 shows a block diagram for determining data anomalies according to some implementations of this disclosure
  • Figure 3 shows a block diagram of a module for determining data anomalies according to some implementations of the present disclosure
  • Figure 4 shows a block diagram of a module for determining key fields according to some implementations of the present disclosure
  • Figure 5 shows a block diagram of a page for providing information related to data anomalies according to some implementations of the present disclosure
  • Figure 6 shows a block diagram of the mapping relationship between various fields according to some implementations of the present disclosure
  • Figure 7 shows a flowchart of a method for determining data anomalies according to some implementations of the present disclosure
  • Figure 8 shows a block diagram of an apparatus for determining data anomalies according to some implementations of the present disclosure
  • Figure 9 shows a block diagram of an apparatus capable of implementing multiple implementations of the present disclosure.
  • model can represent the relationships between various data. For example, the aforementioned relationships can be obtained based on various technical solutions that are currently known and/or will be developed in the future. It is understood that the data involved in this technical solution (including but not limited to the data itself, the acquisition or use of the data) shall comply with the requirements of relevant laws, regulations and related provisions.
  • a prompt message may be sent to the user to clearly inform the user that the requested operation will require the acquisition and use of the user's personal information. This allows the user to independently choose whether to provide personal information to the software or hardware such as electronic devices, applications, servers, or storage media that perform the operations of this technical solution based on the prompt message.
  • the method of sending a prompt message to the user in response to receiving a user's active request may be, for example, a pop-up window, in which the prompt message may be presented in text form.
  • the pop-up window may also include a selection control for the user to choose "agree” or "disagree” to provide personal information to the electronic device.
  • subsequent actions may be executed immediately upon the occurrence of the event or the fulfillment of the condition; while in other cases, subsequent actions may be executed some time after the occurrence of the event or the fulfillment of the condition.
  • the example environment has already proposed various dataset management technologies that can utilize datasets to store various application-related data. Multiple users can install applications on their respective client devices, and a large amount of data will be generated as users use the application.
  • the dataset may include data from multiple... Numerous fields in the data source.
  • Figure 1 shows a block diagram 100 of an application environment for determining data anomalies.
  • dataset 110 may include multiple data sources 120, ..., and 130.
  • Each data source may include one or more fields; for example, data source 120 may include fields 122, ..., and 124, and data source 130 may include fields 132, ..., and 134, etc.
  • Analysis tasks can be performed on the data in the dataset, such as determining the relationships between certain fields, etc.
  • anomalies may occur in the dataset, leading to inaccurate execution of analysis tasks.
  • dataset administrators need to manually discover and handle anomalies to determine the cause of the data anomalies.
  • Figure 2 shows a block diagram 200o for determining data anomalies according to some implementations of this disclosure.
  • dataset 110 may include multiple data sources 120, ..., 130, and each of the multiple data sources may each include at least one field.
  • a key field in dataset 110 can be determined; a key field 210 can be represented using a slashed box, where field 122 is the key field.
  • Dataset 110 can be continuously updated over time, and the historical state of the key field within a historical time period can be obtained. Furthermore, this historical state can be analyzed to determine whether a data anomaly exists in the key field. In response to determining that the historical state indicates that changes in the data in the key field meet anomaly conditions, it can be determined that a data anomaly exists in the key field, indicating that an anomaly occurred in the key field within a historical time period.
  • Specific anomaly conditions can be specified according to the specific application environment; for example, a threshold amplitude of data fluctuation, a threshold time period length of data fluctuation, etc., can be specified.
  • At least one cause field associated with the data anomaly can be determined in the dataset; the data anomaly of at least one cause field causes the data anomaly of the key field.
  • a grid wireframe can be used to represent the cause field 220, where field 132 is the cause field.
  • the cause field is the reason for the data anomaly in the key field; that is, the data anomaly in the cause field leads to the data anomaly in the key field.
  • Figure 3 shows a block diagram 300 of a module for determining data anomalies according to some implementation methods of this disclosure.
  • the data management module 310 can be used to obtain data of interest from the dataset and perform further management.
  • the data acquisition module 312 can extract one or more important data indicators (e.g., key fields) from the existing dataset, and then provide alerts by observing the fluctuations of the data indicators. Since each key field can cover fluctuations in most business anomaly scenarios, various anomalies can be analyzed during the business process.
  • important data indicators e.g., key fields
  • the fluctuation alarm module 314 can present alarms in real time based on fluctuations and present them in a visual manner. This allows the recipient to clearly observe the key fields and time periods in which the fluctuation alarms occurred.
  • the data output module 316 can take the determined key field names and occurrence times as the output of the data management module 310 and input them into the anomaly diagnosis module 320.
  • the anomaly diagnosis module 320 can be responsible for diagnosis-related work and provide diagnostic results. Specifically, after receiving the key field names and anomaly time periods from upstream, the dimension decomposition module 322 can automatically decompose the key fields into multiple fields through enumeration. Furthermore, the cause localization module 324 can find one or more cause fields from the decomposed multiple fields.
  • the dataset can store various types of data. For example, in an application environment that manages application data, an application provider can publish an application, and multiple users can download the application and install it on their respective client devices.
  • Media items can be provided to various client devices via the application, and users can interact with these media items, thereby generating various types of events.
  • the dataset is used to store data associated with client devices among multiple client devices.
  • Multiple fields may include a first set of attributes of the client device (e.g., the region where the device is located, the type of operating system of the device, the version number of the operating system of the device, etc.), a second set of attributes of the application installed on the client device (e.g., the name, identifier, version number of the application, etc.), a third set of attributes of the data items sent to the client devices via the application (identifier, type, source, provider, etc.
  • a first set of attributes of the client device e.g., the region where the device is located, the type of operating system of the device, the version number of the operating system of the device, etc.
  • a second set of attributes of the application installed on the client device e.g., the name, identifier, version number of the application, etc.
  • candidate fields to be observed in the dataset can be determined based on user needs from among the multiple fields included in the dataset.
  • one or more key fields can be defined and collected based on business needs and experience. These fields have a direct and profound impact on the business and can therefore serve as a data foundation to measure whether various data collected during application operation are abnormal.
  • candidate fields may include user conversion rate, click volume, resource consumption, etc.
  • upstream fields affecting candidate fields can be determined from among the multiple fields in the dataset, and these upstream fields are identified as key fields.
  • more basic fields are searched among the upstream fields to reduce the absolute number of key fields.
  • the dependencies between various fields can be determined; for example, the relevant calculation formulas for each field can be obtained, and the fields of variables involved in the formula can be used as... Upstream field. See Figure 4 for further details.
  • Figure 4 shows a block diagram 400o for determining key fields according to some implementations of this disclosure. As shown in Figure 4, field 431 indicates "reach rate" and is calculated based on "clicks" in field 410.
  • field 410 is an upstream field of field 431.
  • Field 410 is an upstream field of fields 432, 433, and 434. That is, assuming the candidate fields indicate reach rate, conversion rate, and click-through rate, the key field can be determined as field 410, i.e., clicks.
  • field 420 activation count
  • field 420 activation count
  • the candidate fields indicate conversion rate and cycle value
  • the key field can be determined as field 420, i.e., activation count. In this way, the number of fields being detected can be reduced, thereby reducing various related resource overheads.
  • the task to be executed in the dataset can be obtained, which is to determine the correlation between multiple events.
  • key fields related to the task can be identified from the multiple fields included in the dataset.
  • key fields may further include device identification information, etc. Since the above information directly affects the judgment result, identifying key fields based on the above information can more accurately identify abnormal fields that may lead to abnormal data judgment, thereby improving the accuracy of subsequent data judgment.
  • an automated script in the process of obtaining the historical state of key fields within a historical time period, can be used to extract the historical state from the multiple fields included in the dataset.
  • an executable script can be pre-built to extract the historical state of the key fields of interest from the dataset.
  • the name of the key field and the time period to be processed i.e., the period of interest, such as the past 1 day, 2 days, 1 week, etc.
  • the above script can be executed periodically, and the extraction results can be stored in a specified data table.
  • These key fields can be managed in real time through a set of predefined rules and threshold settings.
  • the threshold settings can be dynamically updated over time.
  • the system dynamically changes its parameters. After each data capture cycle, the management system performs comparative analysis of the data. When the fluctuation of a certain indicator exceeds a preset threshold, the system automatically triggers an alarm mechanism.
  • the abnormal condition can specify at least one of the following: a threshold for determining the magnitude of data anomalies, or a threshold for determining the duration of data anomalies.
  • a magnitude threshold can be pre-specified, representing the fluctuation range of the data. When the data fluctuation exceeds this range, it is considered an abnormality; and when the data fluctuation is within this range, it is considered that no abnormality has occurred.
  • the magnitude threshold can be specified using absolute or relative quantities.
  • the magnitude threshold can be expressed as N (a positive integer). In this case, when the click volume fluctuates upward or downward by more than N, it is considered an anomaly.
  • the magnitude threshold can be expressed as M% (M is a number less than 100). In this case, when the click volume fluctuates upward or downward by more than M%, it is considered an anomaly.
  • a duration threshold can be pre-specified. This duration threshold represents the time range of data fluctuations. When data fluctuations involve a long period and exceed this range, it is considered an anomaly; conversely, when data fluctuates only within a short period and falls within this range, it is considered not an anomaly.
  • the duration threshold can be specified using absolute or relative quantities.
  • the threshold can be specified as 10 minutes, 30 minutes, 1% of the monitoring period, or other values, etc.
  • This approach facilitates adjusting the anomaly judgment criteria for whether data anomalies have occurred, allowing for flexible adjustment based on the specific application environment. Specifically, assuming historical data indicates a significant increase in user clicks on weekends and holidays, the threshold for weekends and holidays can be appropriately increased, and so on. If a data anomaly is determined to exist, an alert can be provided. This alert can include the name of the key field, the time period in which the data anomaly occurred, and the magnitude of the fluctuation relative to historical data, among other anomaly information. According to some implementations of this disclosure, an exception page associated with data anomalies is provided.
  • the exception page includes filtering parameters for presenting data anomalies, and these parameters include at least one of the following: the time range of the data anomaly, the application involved in the data anomaly, the region involved in the data anomaly, the type of data item involved in the data anomaly, and the data type. According to the source of the anomaly. Further, in response to receiving an interaction with the filter parameters, the anomaly page is updated. See Figure 5 for more details on providing anomaly information, which shows a block diagram of a page 500 for providing information about data anomalies according to some implementations of this disclosure. As shown in Figure 5, information about multiple key fields can be presented on page 500. For example, control 522 can correspond to the key field "number of users," and the user can press control 522 to view information about the number of users.
  • controls 524, 526, and 528, etc. can each correspond to multiple other key fields. Assuming the user selects control 522, a fluctuation curve 520 of the number of users data can be presented, and the historical average of the number of users data 530 can be presented. According to some implementations of this disclosure, potential anomaly fields affected by key fields can be identified in the dataset; and potential anomaly data associated with the potential anomaly fields can be provided.
  • page 500 can further present other information about the number of users, such as user count achievement rate (i.e., the ratio between the current number of users and the expected number of users), resource tracking (i.e., the ratio between currently used resources and planned resources), date tracking (i.e., the ratio between the time period currently presented on the page and the expected observation time period), etc.
  • user count achievement rate i.e., the ratio between the current number of users and the expected number of users
  • resource tracking i.e., the ratio between currently used resources and planned resources
  • date tracking i.e., the ratio between the time period currently presented on the page and the expected observation time period
  • Page 500 can further include multiple filtering parameters; for example, users can press control 510 to select the time range of data anomalies, such as displaying data anomalies by quarter, month, day, etc.
  • control 512 to display data anomalies related to a specific application
  • control 514 to display data anomalies related to a specific region (e.g., city A, city B, etc.)
  • control 516 to display anomalies related to a specific type of data item presented in the application
  • control 518 to select the source of the anomaly data, and so on.
  • This allows users to easily specify the anomaly data to be displayed from multiple perspectives, thus enabling them to obtain more information.
  • the specific content of page 500 is merely illustrative; page 500 may display more, less, or different information.
  • the steps performed by the data management module 310 have been described. Further details regarding the anomaly diagnosis module 320 will be described below.
  • the anomaly diagnosis module 320 can be invoked to determine at least one causal field associated with the data anomaly in the dataset.
  • an automated script can be used to determine at least one causal field, describing the mapping relationship between the key field and the at least one causal field.
  • the anomaly diagnosis module 320 can receive the name of the key field and relevant information about the time period in which the anomaly occurred, and then invoke the dimension decomposition module 322 to automatically decompose the relevant dimensions.
  • the anomaly diagnosis module 320 can invoke a predefined data script to execute the corresponding process.
  • the dimension decomposition module can automatically analyze fields of various dimensions in the dataset based on the key field.
  • the client device dimension we can enumerate the device's region, operating system type, operating system version, etc.; regarding the application dimension installed on the client device, we can enumerate the application's name, identifier, version number, etc.; regarding the data item dimension published to the client device via the application, we can enumerate the data item's identifier, type, source, provider, etc.; and regarding the event dimension associated with the data item, we can enumerate click events, comment events, forwarding events, conversion events, etc.
  • the key fields causing data anomalies can be automatically extracted into more granular dimensional fields, facilitating the search for the cause field within the dataset.
  • the cause field can be located from the decomposed fields.
  • the dataset can include multiple data sources, and the field names in different data sources can be different.
  • a field name might be represented as "DT_ID”; however, in another data source, a field containing the same content might be represented as "AF_DT_ID”.
  • the field name alone cannot confirm that the two fields correspond to the same data item; a mapping relationship needs to be established between the fields.
  • Figure 6 shows a block diagram of the mapping relationship 600 between fields according to some implementations of this disclosure.
  • dimension field 610 represents the decomposed dimension field (the "data item” field "DT_ID” obtained by decomposing the key field)
  • the source table name 620 represents another data determined through the source tracing process.
  • mapping relationship 600 may include more rows, and each row may describe a mapping relationship.
  • another mapping relationship may indicate that the field "APP ID” in one data source corresponds to the field "AF APP ID” in another data source "APP EVENT LOG".
  • Anomaly states associated with key fields and cause fields can be provided. Specifically, if anomalies are found in the data of the cause field (e.g., data exceeds the normal threshold range, or the duration of the anomaly exceeds the allowable threshold duration), it can be determined that the cause field is also anomaly. At this point, anomaly states can be provided to the user, that is, the anomaly states of the key fields and the anomaly states of each cause field found through the tracing process.
  • alert conditions can include at least one of the following: the duration of the anomaly meets the threshold duration, and the magnitude change of the anomaly meets the threshold magnitude change.
  • anomaly states associated with key fields and cause fields can be provided. In this way, anomaly alerts can be presented in a more flexible and effective manner, making it easier for dataset administrators to discover the correlations between various anomaly fields, thereby improving the accuracy of attribution tasks.
  • the upstream fields can be determined through specific calculation formulas for each key field, thereby reducing the number of fields to be processed.
  • Alerts can be dynamically set.
  • the reporting threshold allows for the definition of fluctuations according to the specific needs of the data, effectively reducing the number of alarms and improving the efficiency of anomaly detection.
  • the visualization page can provide optional dynamic indicators, thereby effectively reducing the complexity of manual operations. By establishing a dimensional source table, direct source tracing of anomaly dimensions can be achieved, enabling dataset administrators to fully grasp all anomalies in the dataset.
  • Example process Figure 7 shows a flowchart of a method 700 for determining data anomalies according to some implementations of this disclosure.
  • key fields in the dataset are determined, the dataset including multiple data sources, and each of the multiple data sources includes at least one field.
  • the historical state of the key field within a historical time period is obtained.
  • a data anomaly is determined in the key field, indicating that an anomaly occurred in the key field within the historical time period.
  • at least one cause field associated with the data anomaly is determined in the dataset, the data anomaly of the at least one cause field causing the data anomaly of the key field.
  • determining key fields in a dataset includes: determining candidate fields to be observed in the dataset based on user needs among multiple fields included in the dataset; determining upstream fields that influence the candidate fields among multiple fields; and identifying the upstream fields as key fields.
  • obtaining the historical state of key fields within a historical time period includes: extracting historical states from multiple fields included in the dataset using an automated script.
  • the anomaly condition specifies at least one of the following: a threshold for determining the magnitude of a data anomaly, or a threshold for determining the duration of a data anomaly.
  • the method further includes: providing an anomaly page associated with the data anomaly, the anomaly page including parameters for presenting data anomaly filtering parameters, the filtering parameters including at least one of the following: the time range of the data anomaly, the application involved in the data anomaly, the region involved in the data anomaly, the data item type involved in the data anomaly, and the source involved in the data anomaly; and updating the anomaly in response to receiving an interaction regarding the filtering parameters. Page.
  • determining at least one cause field associated with data anomalies in a dataset includes: determining at least one cause field using an automated script, the automated script describing the mapping relationship between a key field and at least one cause field; and the method further includes: in response to determining that data in the cause field of the at least one cause field is abnormal, providing an anomaly state associated with the key field and the cause field.
  • providing an anomaly state associated with the key field and the cause field includes: in response to determining at least one of the following, providing an anomaly state: the duration of the anomaly meets a threshold duration, the magnitude of the anomaly meets a threshold magnitude change.
  • the method further includes: determining potential anomaly fields affected by the key field in the dataset; and providing potential anomaly data associated with the potential anomaly fields.
  • the dataset is used to store data associated with client devices among multiple client devices, the multiple fields including a first plurality of attributes of the client device, a second plurality of attributes of an application installed on the client device, a third plurality of attributes of data items published to the client device via the application, and a fourth plurality of events associated with the data items.
  • determining key fields in a dataset further includes: obtaining a task to be performed in the dataset, the task being to determine the correlation between a plurality of events; and determining, among the plurality of fields included in the dataset, key fields associated with the task.
  • Example Apparatus and Device Figure 8 shows a block diagram of an apparatus 800 for determining data anomalies according to some implementations of this disclosure.
  • the apparatus 800 includes: a field determination module 810, configured to determine key fields in a dataset, the dataset including multiple data sources, and each of the multiple data sources including at least one field; a status acquisition module 820, configured to acquire the historical status of the key fields within a historical time period; and an anomaly determination module 830, configured to...
  • the system is configured to respond to determining that changes in data in a key field, indicating a historical state, satisfy an anomaly condition; to determine that a data anomaly exists in the key field; and to determine that the data anomaly indicates that the key field experienced an anomaly within a historical time period.
  • a cause determination module 840 is configured to determine at least one cause field in the dataset associated with the data anomaly, wherein an anomaly in the at least one cause field causes a data anomaly in the key field.
  • the field determination module is further configured to: determine candidate fields to be observed in the dataset based on user requirements from among multiple fields included in the dataset; determine upstream fields affecting the candidate fields among the multiple fields; and identify the upstream fields as key fields.
  • the state acquisition module is further configured to: extract historical states from multiple fields included in the dataset using automated scripts.
  • the anomaly condition specifies at least one of the following: a threshold for determining the magnitude of the data anomaly, or a threshold for determining the duration of the data anomaly.
  • the apparatus further includes: a page providing module configured to provide an exception page associated with data anomalies, the exception page including data anomaly filtering parameters, the filtering parameters including at least one of the following: the time range of the data anomaly, the application involved in the data anomaly, the region involved in the data anomaly, the data item type involved in the data anomaly, and the source involved in the data anomaly; and a page updating module configured to update the exception page in response to receiving an interaction with the filtering parameters.
  • the cause determination module is further configured to: determine at least one cause field using an automated script, the automated script describing the mapping relationship between a key field and at least one cause field.
  • the apparatus further includes: a providing module configured to provide an anomaly status associated with the key field and the cause field in response to determining that data in the cause field of at least one cause field is anomaly.
  • the providing module is further configured to: provide an anomaly status in response to determining at least one of the following: the duration of the anomaly meets a threshold duration, and the magnitude change of the anomaly meets a threshold magnitude change.
  • the apparatus further includes: potential anomaly determination.
  • a module is configured to identify potential anomalous fields in a dataset that are affected by key fields; and a potential anomalous data provision module is configured to provide potential anomalous data associated with the potential anomalous fields.
  • the dataset is used to store data associated with client devices among multiple client devices, the multiple fields including first multiple attributes of the client devices, second multiple attributes of applications installed on the client devices, third multiple attributes of data items published to the client devices via the applications, and fourth multiple events associated with the data items.
  • the field identification module is further configured to: obtain a task to be performed in the dataset, the task being to determine the relationships between the fourth multiple events; and identify key fields associated with the task among the multiple fields included in the dataset.
  • Figure 9 shows a block diagram of a device 900 capable of implementing multiple implementations of this disclosure.
  • the computing device 900 shown in Figure 9 is merely exemplary and should not constitute any limitation on the functionality and scope of the implementations described herein.
  • the computing device 900 shown in Figure 9 can be used to implement the methods described above.
  • the computing device 900 is in the form of a general-purpose computing device.
  • Components of the computing device 900 may include, but are not limited to, one or more processors or processing units 910, memory 920, storage devices 930, one or more communication units 940, one or more input devices 950, and one or more output devices 960.
  • the processing unit 910 may be a physical or virtual processor and is capable of performing various processes according to programs stored in the memory 920.
  • the computing device 900 typically includes multiple computer storage media. Such media can be any available media accessible to the computing device 900, including but not limited to volatile and non-volatile media, removable and non-removable media.
  • Memory 920 may be volatile memory (e.g., registers, cache, random access memory (RAM)), non-volatile memory (e.g., read-only memory (ROM), electrically erasable programmable read-only memory (EEPROM), flash memory), or some combination thereof.
  • Storage device 930 may be removable.
  • the storage medium may be removable or non-removable, and may include machine-readable media such as flash drives, disks, or any other media capable of storing information and/or data (e.g., training data for training) and accessible within the computing device 900.
  • the computing device 900 may further include additional removable/non-removable, volatile/non-volatile storage media.
  • disk drives for reading from or writing to removable, non-volatile disks (e.g., “floppy disks”) and optical disk drives for reading from or writing to removable, non-volatile optical disks may be provided.
  • each drive may be connected to a bus (not shown) via one or more data media interfaces.
  • the memory 920 may include a computer program product 925 having one or more program modules configured to perform various methods or actions of various implementations of this disclosure.
  • the communication unit 940 enables communication with other computing devices via a communication medium. Additionally, the functionality of the components of computing device 900 can be implemented using a single computing cluster or multiple computing machines capable of communicating via communication connections. Therefore, computing device 900 can operate in a networked environment using logical connections to one or more other servers, networked personal computers (PCs), or another network node.
  • Input device 950 can be one or more input devices, such as a mouse, keyboard, trackball, etc.
  • Output device 960 can be one or more output devices, such as a monitor, speakers, printer, etc.
  • Computing device 900 can also communicate as needed with one or more external devices (not shown) via communication unit 940, such as storage devices, display devices, etc., with one or more devices that enable user interaction with computing device 900, or with any device (e.g., network interface card, modem, etc.) that enables computing device 900 to communicate with one or more other computing devices. Such communication can be performed via input/output (I/O) interfaces (not shown).
  • I/O input/output
  • a computer-readable storage medium is provided, on which computer-executable instructions are stored, wherein the computer-executable instructions are executed by a processor to implement the method described above.
  • a computer program product is also provided, which is tangibly stored on a non-transitory computer-readable medium and includes computer-executable instructions, which are executed by a processor to implement... The method described above.
  • a computer program product is provided, on which a computer program is stored, which, when executed by a processor, implements the method described above.
  • These computer-readable program instructions can be provided to a processing unit of a general-purpose computer, special-purpose computer, or other programmable data processing apparatus to produce a machine such that, when executed by the processing unit of the computer or other programmable data processing apparatus, they create means for implementing the functions/actions specified in one or more blocks of the flowchart illustrations and/or block diagrams.
  • These computer-readable program instructions can also be stored in a computer-readable storage medium that causes a computer, programmable data processing apparatus, and/or other device to operate in a particular manner; thus, the computer-readable medium storing the instructions comprises an article of manufacture that includes instructions for implementing aspects of the functions/actions specified in one or more blocks of the flowchart illustrations and/or block diagrams.
  • Computer-readable program instructions can be loaded onto a computer, other programmable data processing apparatus, or other device to cause a series of operational steps to be performed on the computer, other programmable data processing apparatus, or other device to produce a computer-implemented process, thereby causing the instructions that execute on the computer, other programmable data processing apparatus, or other device to implement the functions/actions specified in one or more blocks of a flowchart and/or block diagram.
  • the flowcharts and block diagrams in the accompanying drawings illustrate the architecture, functionality, and operation of possible implementations of systems, methods, and computer program products according to various embodiments of this disclosure.
  • each block in a flowchart or block diagram may represent a module, segment, or part of an instruction, which contains one or more executable instructions for implementing the specified logical function.
  • the functions marked in the blocks may occur in a different order than those marked in the drawings. For example, two consecutive blocks may actually be executed substantially in parallel, and they may sometimes be executed in reverse order, depending on the functions involved.
  • each block in a block diagram and/or flowchart The combination of blocks in the block diagrams and/or flowcharts can be implemented using a dedicated hardware-based system that performs the specified functions or actions, or using a combination of dedicated hardware and computer instructions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

提供了用于确定数据异常的方法、装置、设备和介质。在一种方法中，确定数据集中的关键字段，数据集包括多个数据源，并且多个数据源中的各个数据源分别包括至少一个字段。获取关键字段在历史时间段内的历史状态。响应于确定历史状态指示关键字段中的数据的变化满足异常条件，确定关键字段存在数据异常，数据异常指示关键字段在历史时间段内出现异常。在数据集中确定与数据异常相关联的至少一个原因字段，至少一个原因字段的数据异常导致关键字段的数据异常。利用本公开的实现方式，可以动态地管理数据集中的各个字段中的数据，并且自动地确定所关心的关键字段是否出现异常、以及导致该异常的具体原因。.

Description

用于确 定数据 异常的 方法、 装置、 设备和介质 技术领 域 本公开 的实现方 式总体涉及 数据集管 理， 特别地涉及用于确 定数 据集 中的数据 异常的方 法、 装置、 设备和计算机可读 存储介质 。 背景 技术 可以利 用数据集来 存储多种 数据， 例如可以存储 与应用相 关的各 种数 据。 多个用户可以在各 自的客 户端设备上 安装应 用， 并且随着用 户使 用将产生 大量数据 。 此时， 数据集可以包括来自多个 数据源的 大 量字 段。 可以针对数据集 中的数据执 行分析任 务， 例如， 确定某些字 段之 间的关联 关系， 等等。 然而， 数据集中的数据 可能会 出现异常 ， 这导 致不能准确 执行分析 任务。 通常而言， 需要数据集的 管理人 员人 工发 现并且处理 异常， 进而确定导致 数据异 常的来源 。 此时， 期望可 以 以更为准确并 且有效的 方式， 确定数据集 中的数据 异常。 发明 内容 在本公 开的第一方 面， 提供了一种用 于确定数据 异常的方 法。 在 该方 法中， 确定数据集中 的关键字段 ， 数据集包括多个数 据源， 并且 多个 数据源中 的各个数据 源分别包 括至少一 个字段。获取 关键字段 在 历史 时间段内 的历史状 态。响应于确定 历史状态 指示关键 字段中的数 据的 变化满足 异常条件 ， 确定关键字段存在数 据异常， 数据异常指 示 关键 字段在历 史时间段 内出现异常 。在数据集 中确定与数 据异常相 关 联的 至少一个原 因字段 ， 至少一个原因字段的数 据异常导 致关键字 段 的数 据异常。 在本公 开的第二 方面， 提供了一种用 于确定数据 异常的装 置。 该 装置 包括： 字段确定模块 ， 被配置用于确定数据 集中的 关键字段， 数 据集 包括多个数 据源， 并且多个数据 源中的各 个数据源分 别包括至 少 一个 字段； 状态获取模块 ， 被配置用于获取关键 字段在历 史时间段 内 的历 史状态； 异常确定模块 ， 被配置用于响应于 确定历史 状态指示 关 键字 段中的数 据的变化 满足异 常条件， 确定关键 字段存在数 据异常 ， 数据 异常指示 关键字段在 历史时 间段内出现 异常； 以及原因确定模 块, 被配 置用于在 数据集 中确定与数 据异常相 关联的 至少一个 原因字段 ， 至少 一个原因 字段的数据 异常导致 关键字段 的数据异 常。 在本公 开的第三 方面， 提供了一 种电子设 备。 该电子设备 包括： 至少 一个处理 单元； 以及至少一个存 储器， 至少一个存储 器被耦合 到 至少 一个处理 单元并且存 储用于 由至少一个 处理单元 执行的指令 ， 指 令在 由至少 一个处理 单元执 行时使 电子设备 执行根据 本公开 第一方 面的 方法。 在本公 开的第四 方面， 提供了一种计算 机可读存 储介质 ， 其上存 储有 计算机程 序， 计算机程序在被处理 器执行 时使处理 器实现根据 本 公开 第一方面 的方法。 在本公 开的第五 方面， 提供了一种计 算机程序产 品， 包括计算机 程序 ， 其中所述计算机程序在 被处理 器执行时 实现根据 本公开第一 方 面的 方法。 应当理 解， 本内容部分中所描 述的内容 并非旨在 限定本公 开的实 现方 式的关键 特征或重要 特征， 也不用于限制 本公开的 范围。 本公开 的其 他特征将通 过以下 的描述而 变得容易理 解。 附 图说明 在下文 中， 结合附图并参考 以下详细说 明， 本公开各实现 方式的 上述 和其他特征 、 优点及方面将变 得更加明 显。 在附图中， 相同或相 似的 附图标注表 示相同或 相似的元 素， 其中： 图 1示出了确定数据 异常的应 用环境的框 图； 图 2示出了根 据本公开 的一些实 现方式的 用于确定数 据异常的 框 图 ； 图 3示出了根 据本公开 的一些实 现方式的 用于确定数 据异常的 模 块的 框图； 图 4示出了根 据本公开 的一些实 现方式的 用于确定关 键字段的 框 图 ； 图 5示出了根 据本公开 的一些实 现方式的 用于提供数 据异常 的相 关信 息的页面 的框图； 图 6示出了根 据本公开 的一些实 现方式的 各个字段之 间的映射 关 系的 框图； 图 7示出了根 据本公开 的一些实 现方式的 用于确定数 据异常的 方 法的 流程图； 图 8示出了根 据本公开 的一些实 现方式的 用于确定数 据异常的 装 置的 框图； 以及 图 9示出 了能够实施 本公开的 多个实现 方式的设备 的框图。 具体 实施方式 下面将 参照附图 更详细地描 述本公开 的实现方 式。 虽然附图中示 出 了本公开的某 些实现 方式， 然而应当理解 的是， 本公开可以通过 各 种形 式来实现 ， 而且不应该被解释为限于 这里阐述 的实现方 式，相反， 提供 这些实现 方式是为 了更加透彻 和完整地 理解本公 开。应当理解 的 是， 本公开的附 图及实现 方式仅用于 示例性作 用， 并非用于限制本 公 开的 保护范围 。 在本公 开的实现方 式的描述 中， 术语 “包括” 及其类似用语应 当 理解 为开放性 包含， 即 “包括但不限于”。 术语 “基于 ” 应当理解为 “至少部 分地基 于”。 术语 “一个实现 方式” 或 “该实现方式 ” 应当 理解 为 “至少一个实 现方式”。 术语 “一些实现方 式 ”应当理解 为 “至 少一 些实现方 式”。 下文还可能 包括其他 明确的和 隐含的定 义。 如本 文中 所使用的 ， 术语“模型 ” 可以表示各个数据之 间的关联关 系。 例 如，可以基于 目前已知 的和/或将在未 来开发的 多种技术方 案来获取 上 述关 联关系。 可以理 解的是， 本技术方案所 涉及的数 据 （包括但不限于数据本 身、 数据的获取或使用 ） 应当遵循相应 法律法规及 相关规 定的要求 。 可以理 解的是， 在使用本公 开各实施例 公开的技 术方案之 前， 均 应 当根据相 关法律法 规通过 适当的 方式对本 公开所 涉及个人 信息的 类型 、 使用范围、 使用场景等告知 用户并获 得用户的 授权。 例如，在响应 于接收到 用户的主动 请求时 ， 向用户发送提示信息， 以明 确地提示 用户， 其请求执行的操作 将需要获 取和使 用到用户的 个 人信 息。 从而， 使得用户可以根据提示 信息来 自主地选择 是否向执 行 本公 开技术方 案的操作 的电子设备 、 应用程序、 服务器或存储介质 等 软件 或硬件提供 个人信 息。 作为一种 可选的但 非限制性 的实现方 式， 响应于接收到用 户的主 动请 求， 向用户发送提 示信息的 方式， 例如可以是 弹出窗 口的方式 ， 弹 出窗口中可 以以文字的 方式呈现 提示信息 。 此外， 弹出窗口中还可 以承 载供用户选 择“ 同意” 或 “不同意” 向电子设备提供个 人信息的 选择 控件。 可以理 解的是， 上述通知和获 取用户授 权过程仅 是示意性 的， 不 对本 公开的实现 方式构成 限定， 其他满足相关法 律法规的 方式也可 应 用于 本公开的 实现方式 中。 在此使 用的术语 “响应于” 表示相应 的事件发 生或者条 件得以满 足的 状态。 将会理解， 响应于该事件或 者条件 而被执行的 后续动作 的 执行 时机， 与该事件发生 或者条件成 立的时 间， 二者之间未必是强 关 联的 。 例如， 在某些情况下， 后续动作可在事件 发生或者 条件成立 时 立即 被执行； 而在另一些 情况下， 后续动作可在 事件发生 或者条件 成 立后 经过一段 时间才被执 行。 示例 环境 目前已 经提出了 多种数据集 管理技术 方案， 可以利用数据 集来存 储与 应用相关 的各种数据 。 多个用户可以在各 自的客户端 设备上安 装 应用 ， 并且随着用户使用将 产生大量 数据。 数据集可以 包括来自多 个 数据 源的大量 字段。参见 图 1描述根据 本公开的一 些实现方 式的应用 环境 ， 该图 1示出了确定数 据异常的 应用环境 的框图 100o 如图 1所 示， 数据集 110可以包括 多个数据源 120、 ...、 以及 130o 每个数据 源可 以包括 一个或 者多个 字段 ， 例如， 数据源 120 可以包括字段 122、 ...、以及 124,并且数据源 130可以包括字段 132、 ...、以及 134, 等等 。 可以针 对数据集 中的数据执 行分析任 务， 例如， 确定某些字段之 间的 关联关系 ， 等等。 然而， 数据集中的数据可能会出 现异常， 这导 致不 能准确执行 分析任 务。 通常而言， 需要数据集的管理 人员人工 发 现并 且处理异 常， 进而确定导致数据 异常的原 因。 此时， 期望可以以 更为 准确并且有 效的方 式， 确定数据集中的数 据异常 。 确定 教据异 常的概矣 为了至 少部分地解 决现有技 术中的不 足， 根据本公开的一 个实现 方式 ， 提出了一种用于确 定数据异 常的方法。 参见图 2描述根据本公 开的 一个实现 方式的概要 ， 该图 2示出了根据本公 开的一些 实现方式 的用 于确定数据 异常的框 图 200o 如图 2所示， 数据集 110可以包括 多个 数据源 120、 ...、 130, 并且多个数据源中的各个数据源可以分别 包括 至少一个 字段。 可以确定数据集 1 10中的关键字段， 可以使用斜 线框 来表示关键 字段 210, 此时字段 122为关键字段 。 数据集 110可以随着时 间的推移 而不断更新 ， 可以获取关键字段 在历 史时间段 内的历史状 态。 进一步， 可以分析该历史状 态以便确 定 关键 字段是否 存在数据 异常。响应于确 定历史状 态指示关 键字段中 的 数据 的变化满足 异常条件 ， 可以确定关键字段 存在数据 异常， 数据异 常指 示关键字段 在历史 时间段内 出现异常 。 可以根据具体应用环境 来 指定 具体的异 常条件， 例如， 可以指定数据波 动的阈值 幅度、 数据波 动的 阈值时段 长度， 等等。 进一步 ， 可以在数据集中确定 与数据异 常相关联 的至少一个 原因 字段 ，至少一个原 因字段的数据 异常导致 关键字段 的数据异 常。例如， 可 以使用网格 线框来表示 原因字段 220, 此时字段 132为原因 字段。 在此 ， 原因字段是导致关键 字段的数 据异常 的原因， 也即原因字段 的 数据 异常导致 关键字段 的数据异 常。 利用本公开的实现 方式， 可以动 态地 管理数据 集中的各个 字段中的 数据， 并且自动地确定 用户关心 的 关键 字段是否 出现异常 、 以及导致该异常的 具体原因 。 以此方式， 可 以降 低人工管理 的复杂度 ， 并且提高数据集 的管理效 率。 确定 数据异 常的详细过 程 已经描 述了根据 本公开的一 些实现方 式的概要 ， 在下文中， 参见 图 3描述有关确定 数据异常 的更多信 息。 图 3示出了根据本公 开的一 些实 现方式的 用于确定数 据异常的 模块的框 图 300。 如图 3所示， 可 以利 用数据管理 模块 310来从数据集中 获取感兴趣 的数据 ， 并且执行 进一 步管理。 具体地， 数据获取模块 312可以从已有 的数据集 中提取 一个 或者多个 重要的数据 指标 （例如， 关键字段） ， 进而通过观察该 数据 指标的波动 来提供警 报。 由于各 个关键字段 能够覆盖 绝大多数 业务异常 场景的波动 ， 因而 可 以在业务流程 期间分析 各种异 常。波动警报模 块 314可以实 时地基 于波 动来呈现 警报， 并且以可视化 方式呈现警 报。 这使得接收方可 以 一 目了然地观 察到波动警 报所发生 的关键字 段以及时 间段。数据输 出 模块 316 可以将确 定关键字段 的名称和 发生时 间作为数 据管理模 块 310的 输出， 并且将其输 入到异常 诊断模块 320o 进一步 ， 异常诊断模块 320可以 负责诊断相 关的工作并 且提供诊 断结 果。 具体地， 维度拆解模块 322在接收 到来自上 游的关键 字段名 称 以及异常时 间段之后 ， 可以通过枚举方式将 关键字段 自动拆解 为多 个字 段。 进一步， 原因定位模块 324可以从 拆解的多 个字段中 寻找一 个或 者多个原 因字段。 具体地， 可以运行数据 脚本， 分析警报时 间段 的数 据波动发 生在哪个具 体维度下 。 通过预先获得的维 度溯源表 ， 找 到所 在数据源 的相关字段 。 最后， 结果提供模块 326可以将诊 断结果 和波 动警报一起 提供至相 关人员 ， 例如， 数据集的管理人员或者在 数 据集 中启动执行 某个具体 任务的人 员。 在下文 中， 参见附图描述各个 模块的更 多细节 。 根据本公开的一 些实 现方式， 数据集可 以存储多种数 据。 例如， 在管理应用数据的 应 用环 境下， 应用的提供者 可以发布应 用， 多个用户可以下 载该应用 并 且在 各自的客 户端设备 处安装应 用。 可以经由应用来向各 个客户端 设 备提供 媒体项 ， 并且用户可以与该媒 体项进行 交互， 进而产生多种 类 型的 事件。 在此应 用环境下 ， 数据集用于存储与 多个客户端 设备中的客 户端 设备 相关联 的数据， 多个字段可以 包括客户 端设备 的第一 多个属性 （例如， 设备所在的地 区、 设备的操作系统类 型、 设备的操作系统 的 版本 号，等等）、被安装至客 户端设备的 应用的第 二多个属 性（例如， 应用 的名称、 标识、 版本号， 等等） 、 经由应用被发送至客户端设 备 的数 据项的第三 多个属性 （数据项的标识、 类型、 来源、 提供者， 等 等） 、 以及与数据项相关联的第四 多个事件 （例如， 点击事件、 评论 事件 、 转发事件、 转化事件， 等等） 。 以此方式， 可以完整地记录在 应用 运行期间所 涉及的 多种属性， 进而便于提高管理应 用的效率 。 根据本公 开的一些 实现方式 ， 在确定数据集中的 关键字段 的过程 中， 在数据集包括 的多个 字段中， 可以基于用 户需求来确 定数据集 中 的将 要被观察 的候选字段 。 具体地， 可以根据业务需求和 经验， 定义 和收 集一个或者 多个关键 字段， 这些字段对业 务有着直接 且深远的 影 响， 因而可以作为数 据基础 来衡量应 用运行期 间采集到的 各种数据是 否 出现异常。 例如， 候选字段可以 包括用户转 化率、 点击量、 资源开 销， 等等。 根据本公 开的一些 实现方式 ， 在数据集的多个字 段中， 可以确定 影响候 选字段的 上游字段 ，并且将上游字 段确定为 关键字段 。具体地， 为 了节约数据 存储成本和 缓解计算 压力， 在确保所关注的 关键字段 清 晰易 懂的基础上 ， 在上游字段中寻找 更为基础 的字段， 以减少关键字 段的 绝对数量 。 可以确定各个字段之 间的依赖 关系， 例如， 可以获取 各个 字段的相 关计算公 式， 进而将该公式中所 涉及的变量 的字段作 为 上游 字段。 参见 图 4描述更多细 节， 该图 4示出了根据 本公开的一 些实现 方 式的 用于确定 关键字段 的框图 400o 如图 4所示， 字段 431指示 ' '触 达率” ， 并且是基于字段 410中的 “点击量 ” 来计算的， 因而， 字段 410是 字段 431的上游字段。 字段 410是字段 432、 433、 434的上游 字段 ， 也即， 假设候选字段指示触 达率、 转化率、 点击率， 可以确定 关键 字段为字 段 410, 也即点击量 。 类似地， 字段 420 （激活量） 是 字段 432、 字段 435、 字段 436的上游字段， 也即， 假设候选字段指 示转 化率、周期价值 ，则可以确定 关键字段 为字段 420,也即激 活量。 以此 方式， 可以降低被检 测的字段 的数量， 从而降低相 关的各种资 源 开销 。 根据本 公开的一 些实现方 式， 确定数据集中的关键 字段的 过程中, 可 以获取将要在 数据集 中执行的任 务， 任务为确定第四 多个事件之 间 的关 联关系。 进一步， 可以在数据集 包括的 多个字段 中， 确定与任务 相关 联的关键 字段。 为了便 于描述， 仅以执行判 断任务为示 例描述确 定关键字段 的更 多细 节。 此时， 对于判断任务而言 ， 关键字段可以进一 步包括设备 标 识信 息等等。 由于上述信息对于判 断结果直接 产生影响 ， 基于上述信 息来 确定关键字 段， 可以更准确地发现 可能导致 数据判断 异常的异 常 字段 ， 由此提高后期数据 判断的 准确性。 根据本 公开的一 些实现方 式， 在获取关键字段在 历史时间 段内的 历史 状态的过程 中， 可以利用自动化 脚本， 从数据集包括 的多个字 段 中提 取历史状 态。 具体地， 可以预先构建可执 行脚本来从 数据集 中提 取所 关注的关 键字段 的历史状 态。 例如， 可以指定关键字 段的名称 、 待处 理的时间 段 （也即关注周期， 例如， 过去 1天、 2天、 一周， 等 等） ， 进而获得相应的数据。 例如， 可以定期执行上述 脚本， 并且将 提取 结果存储在 指定数据 表。 根据本 公开的一 些实现方 式， 可以通过一组预定 的规则和 设置阈 值对 这些关键 字段进行 实时管理 ， 阈值的设置可以随时 间的推进做 自 动化 地动态变 更。 管理系统会在母个 数据抓取周 期结束后 进行数据 的 比对 分析， 当某个指标的 数据波动超 过预设 阈值时， 系统会自动触 发 警报 机制。 根据本 公开的一 些实现方 式， 异常条件可以指定 以下至少任 一项： 用于 确定数据 异常的幅度 阈值、 或者用于确定数 据异常的 持续时段 阈 值。 可以预先指 定幅度阈 值， 该幅度阈值可以 表示数据波 动的浮动 范 围， 当数据波动超出该范 围时， 则认为出现数 据异常 ； 并且当数据波 动在 该范围之 内时， 则认为未出现数 据异常 。 可以使用绝对数量或 者 相对 数量来指 定幅度阈值 。 假设关键字段为 点击量， 幅度阈值例如 可 以表 示为 N （正整数） ， 此时， 当点击量的向上或者向下浮动超过 N 时， 则认为出现 异常。 备选地和 /或附加地， 幅度阈值例如可以表示 为 M% （M 为 100以内的数字） , 此时， 当点击量的向上 或者向下 浮动 超过 M%时 ， 则认为出现异常 。 备选地 和 /或附加地， 可以预先指定持续时段 阈值， 该持续时段阈 值可 以表示数 据波动的 时间范围 ， 当数据波动涉及较长 时间段并且 超 出该 范围时， 则认为出现 数据异常 ； 并且当数据仅在短 时段内波动 并 且在 该范围之 内时， 则认为未出现数 据异常 。 可以使用绝对数量或 者 相对 数量来指 定持续时段 阈值。 例如， 可以指定该 阈值为 10 分钟、 30 分钟、 关注周期的 1%、 或者其他数值， 等等。 以此方 式， 可以便于调整是 否出现数据 异常的 异常判断条 件， 从 而可 以基于具 体应用环境 来灵活地 调整该异 常判断条 件。 具体地， 假 设历 史数据表 示在周末和 节假 日的用户点击 量将会 大幅度增加 ， 此时 可 以适当地提 高用于在周 末和节假 日的幅度 阈值， 等等。 在确定 存在数据异 常的情况 下， 可以提供警报信 息。 该警报信息 可 以包括关键 字段的名称 、 出现数据异常的 时间段、 以及相对于历 史 数据 的波动幅 度等异常信 息。 根据本公开的 一些实现 方式， 提供与数 据异 常相关联 的异常页 面， 异常页面包括用于 呈现数据 异常过滤参 数, 过滤 参数包括 以下至少任 一项： 数据异常的 时间范围 、 数据异常涉及 的应 用、 数据异常涉及的 地区、 数据异常涉及 的数据项 类型、 以及数 据异 常涉及的 来源。 进一步， 响应于接收到针 对过滤参数 的交互 ， 更 新异 常页面。 参见图 5描述有关提 供异常信 息的更多 细节， 该图 5示出了根据 本公 开的一些 实现方式 的用于提供 数据异 常的相关信 息的页面 500的 框图 。如图 5所示，可以在页面 500中呈现多 个关键字段 的相关信 息。 例如 ， 可以控件 522可以对应 于关键字段 “用户数量” ， 并且用户可 以按 下控件 522来查看用户数 量的相关 信息。 类似地， 控件 524、 526 和 528 等可以分别对 应于其 他的多个 关键字段 。 假设用户选择控 件 522, 可以呈现用户数量数 据的波动 曲线 520, 并且可以呈现用 户数量 数据 的历史均值 530o 根据本 公开的一 些实现方 式， 可以在数据集中确 定受到关键 字段 影响 的潜在异 常字段； 以及提供与潜在 异常字段 相关联的 潜在异常 数 据。 如图 5所示， 页面 500可以进一 步可以呈 现有关用 户数量的其 他 信息 ， 例如， 用户数量实现率 （也即， 当前用户数量与预计用户数 量 之 间的比例） ， 资源跟踪 （也即， 当前已经使用的资源与计划资源 之 间的 比例） ， 日期跟踪 （也即， 当前页面呈现的时间段 与期望观察 的 时 间段之间的 比例） ， 等等。 以此方式， 可以自动提供与关键字段 相 关的 可能受到该 关键字段 影响的其 他字段的 信息， 以便用户全面掌 握 数据 集中的数据 。 页面 500可以进一步包括 多个过 滤参数， 例如， 用户可以按下控 件 510来选择数据异 常的时间 范围， 例如， 可以按照季度、 月、 天等 时 间长度来呈现 数据异 常。 用户可以按下控件 512来呈现与某 个应用 相关 的数据异 常， 用户可以按下控 件 514 来呈现与某个地区 （例如， 城市 A、 城市 B, 等等） 相关的数据异常， 用户可以按 下控件 516来 呈现 与在应用 中呈现的 某个类型的 数据项相 关的异常 ， 用户可以按下 控件 518来选择异常 数据涉及 的来源， 等等。 以此方式， 可以便于从 多个 角度指定期 望呈现 的异常数据 ， 从而支持用户获得 更多信息 。 应 当理 解， 页面 500的具体内容仅 仅是示意 性的， 该页面 500可以呈现 更 多、 更少或者不同的信 息。 已经描 述了数据管 理模块 310所执行的各个 步骤， 在下文中， 将 描述 异常诊断模 块 320的更多 信息。 根据本公开的 一些实现 方式， 一 旦检 测到关键 字段的数据 异常， 可以调用异常诊 断模块 320来在数据 集 中确定与数据 异常相 关联的至少 一个原 因字段。 具体地， 可以利用 自动 化脚本确 定至少一个 原因字段 ， 自动化脚本描述关键 字段与至 少 一个 原因字段之 间的映射 关系。 例如， 异常诊断模块 320可以接收关 键字 段的名称 以及发生 异常的时 间段的相关 信息， 然后调用维度拆 解 模块 322来自动拆解 相关的维 度。 异常诊 断模块 320可以调用预先 定义好的数 据脚本 ， 进而执行相 应的 过程。 例如， 维度拆解模块可 以基于关键 字段， 来自动分析数 据 集 中的各种维度 的字段 。 具体地， 对于客户端设备的维 度而言， 可以 枚举 设备所在 的地区、 设备的操作 系统类型 、 设备的操作系统的版 本 号， 等等； 对于被安装至客 户端设备 的应用的 维度而言 ， 可以枚举应 用的 名称、 标识、 版本号， 等等； 对于经由应用被发布至 客户端设 备 的数 据项的维度 而言， 可以枚举数据项 的标识、类型 、来源、提供者， 等等 ；以及对于与数 据项相关联 的事件维 度而言 ，可以枚举点击事 件、 评论 事件、 转发事件、 转化事件， 等等。 以此方式， 可以自动将 出现 数据 异常的关键 字段获得 为更精细 的维度的 字段， 进而便于在数据 集 中寻 找导致该数 据异常 的原因字段 。 进一步 ， 可以从拆解后的各个 字段中定 位导致数 据异常的 原因字 段。 应当理解， 数据集中可以包括 多个数据源 ， 并且不同数据源 中的 字段 的名称可 以是不同 的。 例如， 在一个数据源中， 字段的名称可 以 表示 为 “DT_ID” ； 然而在另一数据源中 ， 包括相同内容的字段 的名 称可 以表示为 “AF_DT_ID” o 此时， 仅基于字段名 称并不能 确认两 个字 段对应于 相同的数据 项， 需要在各个字 段之间建 立映射关 系。 参见图 6描述更多信 息， 该图 6示出了根据 本公开的一 些实现 方 式的 各个字段之 间的映射 关系 600的框图。如图 6所示，维度字段 610 表示 拆解后的 维度字段 （通过拆解关键字段 而获得的 “数据项” 字段 “ DT_ID” ） ， 溯源表名称 620表示经过溯源过程 所确定的 另一数据 源的 名称，溯源字段 630表示在数据 表 “ APP EVENT LOG ”中的 “数 据项 ，， 的字段名称为 “AF_DT_ID” o 以此方式， 可以在一个数据 源 中的 字段 “DT_ID” 和另一数据源中的 字段 “AF_DT_ID” 之间建立 映射 关系。 换言之， 尽管两个字段的 名称不同 ， 这两个字段中被存 储 的 内容均为 “数据项" 。 应当理 解， 尽管图 6仅示意性示 出了字段 之间的映 射关系的一 个 示例 ， 备选地和 /或附加地， 映射关系 600可以包括更多行， 并且每行 可 以描述一个 映射关系 。 例如， 另一映射关系可以表示 ： 一个数据源 中的 字段 “ APP ID ” 和另一数据源 “ APP EVENT LOG " 中的字段 “AF APP ID”相对应。 以此方式， 可以支持以自动化脚 本的方式来 快速 找到原因 字段。 进一步 ， 可以确定找到的 各个原 因字段中 的数据是 否出现异 常。 响应 于确定至少 一个原 因字段中的 原因字段 中的数据 出现异常 ， 可以 提供 与关键字段 和原因字 段相关联 的异常状 态。 具体地， 如果发现原 因字 段中的数据 出现异 常 （例如， 数据超过正常的阈值范围、 或者出 现异 常的时间段 长度超过 可允许的 阈值时 间长度） ， 则可以确定原因 字段 也出现了 异常。 此时， 可以向用户提供 异常状态 ， 也即， 提供关 键字 段的异常状 态、 以及通过溯源过程 所找到 的各个原 因字段的异 常 状态 。 以此方式， 可以向数据集的管 理者提供 更为丰富 的信息， 从而 支持 管理者的后 续操作 。 根据本 公开的一些 实现方 式， 可以为不同的字段 指定相应 的警报 条件 。 在此， 警报条件可以包括以下 至少任一 项： 异常的持续时 间长 度满 足阈值时 间长度 、 异常的幅度变化 满足阈值 幅度变化 。 进一步， 可 以响应于确定 各个字段 的异常符 合警报条 件， 来提供与关键字段和 原 因字段相关联 的异常状 态。 以此方式， 可以以更为灵 活并且有效 的 方式 呈现异常 警报， 从而便于数据集 的管理者 发现各个异 常字段之 间 的关 联关系， 从而便于提 高执行 归因任务的 准确性。 利用本 公开的示例 实现方 式， 可以通过各个关键 字段的具 体计算 公式 确定上游字 段， 由此降低待处理 字段的数 量。 可以动态地设置 警 报阈 值， 由此可以按脂 自身需求 定义波动 从而有 效地减少 警报数量 ， 提高 异常排查 效率。 进一步， 可视化页面可以提供 可选的 动态指标 ， 进而 有效地降低 人工操作 的复杂度 。 通过建立维度溯源 表， 可以实现 直接 异常维度 的溯源， 从而支持数据集 的管理人 员全面掌 握数据集 中 的各 个异常。 示例 过程 图 7示出了根 据本公开 的一些实 现方式的 用于确定数 据异常的 方 法 700的流程图。 在框 710处， 确定数据集中的 关键字段 ， 数据集包 括 多个数据源 ， 并且多个数据源中的各 个数据 源分别包括 至少一个 字 段。在框 720处，获取关键字段在 历史时 间段内的历 史状态 。在框 730 处， 响应于确定历 史状态指示 关键字段 中的数据 的变化满 足异常条 件, 确定 关键字段存 在数据异 常， 数据异常指示关键 字段在历 史时间段 内 出现 异常。 在框 740处， 在数据集中确定与数 据异常相 关联的至 少一 个原 因字段， 至少一个原 因字段的数据 异常导致 关键字段 的数据异 常。 根据本 公开的一些 实现方 式， 确定数据集中的关 键字段包 括： 在 数据 集包括的 多个字段 中， 基于用户需求来确 定数据集 中的将要被 观 察的 候选字段 ； 在多个字段中， 确定影响候选 字段的上游 字段； 以及 将 •上游字段确定为关键字 段。 根据本 公开的一些 实现方 式， 获取关键字段在历 史时间段 内的历 史状 态包括： 利用自动化脚 本， 从数据集包括 的多个字段 中提取历 史 状态 。 根据本 公开的一些 实现方 式， 异常条件指定以下 至少任一 项： 用 于确 定数据异 常的幅度 阈值、 或者用于确定数据 异常的持 续时段阈值 。 根据本 公开的一 些实现方 式， 该方法进一步包括 ： 提供与数据异 常相 关联的异 常页面， 异常页面包括 用于呈现 数据异 常过滤参数 ， 过 滤参 数包括以 下至少任一 项： 数据异常的时 间范围、 数据异常涉及 的 应用 、 数据异常涉及的地 区、 数据异常涉及的 数据项类 型、 以及数据 异常 涉及的来 源； 以及响应于接收到 针对过滤 参数的交 互， 更新异常 页面 。 根据本公 开的一些 实现方式 ， 在数据集中确定与数 据异常 相关联 的至 少一个原 因字段 包括： 利用自动化脚 本确定 至少一个原 因字段 ， 自动 化脚本描述 关键字段 与至少一 个原因字 段之间的 映射关系 ； 以及 方法 进一步包括 ： 响应于确定至少一个 原因字段 中的原 因字段中的数 据 出现异常， 提供与关键 字段和原 因字段相 关联的异 常状态。 根据本公 开的一些 实现方式 ， 提供与关键字段和 原因字段 相关联 的异 常状态包括 ： 响应于确定以下至 少任一项 ， 提供异常状态： 异常 的持 续时间长度 满足阈值 时间长度 、 异常的幅度变化满足 阈值幅度 变 化。 根据本公 开的一些 实现方式 ， 该方法进一步包括 ： 在数据集中确 定受 到关键字段 影响的潜 在异常字 段； 以及提供与潜在异 常字段相 关 联的 潜在异常数 据。 根据本公 开的一些 实现方式 ， 数据集用于存储与 多个客户端 设备 中的 客户端设备 相关联 的数据， 多个字段包括客 户端设备 的第一多 个 属性 、 被安装至客户端设备 的应用 的第二多个 属性、 经由应用被发 布 至客 户端设备 的数据项 的第三多个 属性、 以及与数据项相 关联的第 四 多个 事件。 根据本 公开的一些 实现方式 ， 确定数据集中的关键 字段进一 步包 括 ： 获取将要在数据集中执 行的任 务， 任务为确定第四 多个事件之 间 的关 联关系； 以及在数据 集包括的 多个字段 中， 确定与任务相关联 的 关键 字段。 示例 装置和设 备 图 8示出了根 据本公开 的一些实 现方式的 用于确定数 据异常的 装 置 800的框图。 该装置 800包括： 字段确定模 块 810, 被配置用于确 定数 据集中的 关键字段 ， 数据集包括多个数据 源， 并且多个数据源 中 的各 个数据源分 别包括至 少一个字 段； 状态获取模块 820, 被配置用 于获 取关键字段 在历史 时间段内的 历史状态 ； 异常确定模块 830, 被 配置 用于响应 于确定 历史状 态指示关 键字段 中的数据 的变化 满足异 常条 件， 确定关键字段存在 数据异 常， 数据异常指示关键 字段在历 史 时 间段内出现 异常； 以及原因确定 模块 840, 被配置用于在数据集 中 确定 与数据异 常相关联 的至少一个 原因字段 ， 至少一个原因字段的 数 据异 常导致关键 字段的数 据异常 。 根据本 公开的一 些实现 方式， 字段确定模 块进一步 被配置 用于： 在数 据集包括 的多个字段 中， 基于用户需求来确 定数据集 中的将要 被 观察 的候选字段 ； 在多个字段中， 确定影响候 选字段的上 游字段 ； 以 及将 上游字段确 定为关键 字段。 根据本 公开的一 些实现 方式， 状态获取模 块进一步 被配置 用于： 利用 自动化脚 本， 从数据集包括的 多个字段 中提取历 史状态。 根据本 公开的一些 实现方 式， 异常条件指定以 下至少任一 项： 用 于确 定数据异 常的幅度 阈值、 或者用于确定数据 异常的持 续时段阈值 。 根据本 公开的一些 实现方 式，该装置进一 步包括： 页面提供模块， 被配 置用于提供 与数据 异常相关联 的异常 页面， 异常页面包括用于 呈 现数 据异常过 滤参数， 过滤参数包括 以下至 少任一项 ： 数据异常的时 间范 围、 数据异常涉及的 应用、 数据异常涉及 的地区、 数据异常涉 及 的数 据项类型 、 以及数据异常涉及 的来源； 以及页面更新模块， 被配 置用 于响应于接 收到针对 过滤参数 的交互， 更新异常页面。 根据本 公开的一 些实现 方式， 原因确定模 块进一步 被配置 用于： 利用 自动化脚 本确定至 少一个原 因字段， 自动化脚本描述 关键字段 与 至少 一个原因 字段之间 的映射关 系。 根据本 公开的一些 实现方 式， 该装置进一步包括 ： 提供模块， 被 配置 用于响应 于确定 至少一 个原因字 段中的 原因字段 中的数 据出现 异常 ， 提供与关键字段和 原因字段 相关联的 异常状态 。 根据本 公开的一些 实现方 式， 提供模块进一步被 配置用于 ： 响应 于确 定以下至 少任一项 ， 提供异常状态： 异常的持续时 间长度满足 阈 值时 间长度、 异常的幅度变化满足 阈值幅度 变化。 根据本 公开的一些 实现方 式， 该装置进一步包括 ： 潜在异常确定 模块 ， 被配置用于在数据集 中确定受 到关键字段 影响的潜 在异常字段; 以及 潜在异常提 供模块 ， 被配置用于提供与潜在 异常字段 相关联的 潜 在异 常数据。 根据本 公开的一些 实现方 式， 数据集用于存储与 多个客户 端设备 中的 客户端设备 相关联 的数据， 多个字段包括客 户端设备 的第一 多个 属性 、 被安装至客户端设 备的应用 的第二多个 属性、 经由应用被发 布 至客 户端设备 的数据项 的第三多个 属性、 以及与数据项相 关联的 第四 多个 事件。 根据本 公开的一 些实现 方式， 字段确定模 块进一步 被配置 用于： 获取 将要在数据 集中执行 的任务 ， 任务为确定第四多个事 件之间的 关 联关 系； 以及在数据集包括 的多个字 段中， 确定与任务相 关联的关 键 字段 。 图 9示出了能够 实施本公开 的多个实 现方式的 设备 900的框图。 应 当理解， 图 9所示出的计算 设备 900仅仅是示例性 的， 而不应当构 成对 本文所描 述的实现 方式的功能 和范围的 任何限制 。 图 9所示出的 计算 设备 900可以用 于实现上 文描述的 方法。 如图 9所示，计算设备 900是通用 计算设备 的形式。计算设备 900 的组 件可以包括 但不限 于一个或 多个处理器 或处理单 元 910、 存储器 920、 存储设备 930、 一个或多个通信单元 940、 一个或多个输入设备 950 以及一个或多个输 出设备 960 □ 处理单元 910可以是实际或虚拟 处理 器并且能够 根据存储 器 920中存储 的程序来执 行各种处 理。在多 处理 器系统中 ， 多个处理单元并行执 行计算机 可执行指 令， 以提高计 算设 备 900的并行处 理能力。 计算设 备 900通常包括 多个计算机 存储介质 。 这样的介质可以是 计算 设备 900可访问 的任何可 以获得的 介质， 包括但不限于易 失性和 非易 失性介质 、 可拆卸和不可拆卸介 质。 存储器 920可以是易 失性存 储器 （例如寄存器、 高速缓存、 随机访问存储 器 （RAM） ） 、 非易失 性存 储器 （例如， 只读存储器 （ROM） 、 电可擦除可编程只读存储器 （EEPROM ） 、 闪存） 或它们的某种组合。 存储设备 930可以是 可拆 卸或 不可拆卸 的介质 ， 并且可以包括机 器可读介 质， 诸如闪存驱动 、 磁盘 或者任何其 他介质 ， 其可以能够用于存储信 息和/或数据 （例如用 于训 练的训练数 据） 并且可以在计 算设备 900内被访问。 计算设 备 900 可以进一步包 括另外的 可拆卸 /不可拆卸、 易失性/ 非易 失性存储介 质。 尽管未在图 9 中示出， 可以提供用于从 可拆卸、 非易 失性磁盘 （例如 “软盘” ） 进行读取或写入的磁 盘驱动和 用于从 可拆 卸、 非易失性光盘 进行读取 或写入 的光盘驱 动。 在这些情况 中， 每个 驱动可 以由一个或 多个数据 介质接 口被连接 至总线 （未示出） 。 存储 器 920可以包括 计算机程 序产品 925, 其具有一个或多个 程序模 块， 这些程序模块 被配置为 执行本公 开的各种 实现方式 的各种方 法或 动作 。 通信单 元 940实现通过 通信介质 与其他计算 设备进行 通信。 附加 地， 计算设备 900的组件的功能可 以以单个 计算集群 或多个计 算机器 来实 现， 这些计算机器能 够通过通信 连接进 行通信。 因此， 计算设备 900可 以使用与 一个或多 个其他服 务器、 网络个人计算机 （PC） 或者 另一 个网络节点 的逻辑连 接来在联 网环境中进 行操作 。 输入设 备 950可以是一 个或多个输 入设备 ， 例如鼠标、 键盘、 追 踪球 等。 输出设备 960可以是一 个或多个 输出设备 ， 例如显示器、 扬 声 器、 打印机等。 计算设备 900还可以根据 需要通过 通信单元 940与 一个 或多个外 部设备 （未示出） 进行通信， 外部设备诸如 存储设备 、 显示 设备等， 与一个或多个 使得用户 与计算设 备 900交互的设 备进行 通信 ， 或者与使得计算设备 900与一个或 多个其他计 算设备通信 的任 何设 备 （例如， 网卡、 调制解调器等） 进行通信。 这样的通信可以经 由输 入 /输出 （I/O） 接口 （未示出） 来执行。 根据本 公开的实现 方式， 提供了一种 计算机可读 存储介质 ， 其上 存储 有计算机 可执行指令 ， 其中计算机可执行指 令被处理 器执行 以实 现上 文描述的 方法。 根据本公开的 实现方式 ， 还提供了一种计算机 程 序产 品， 计算机程序产品被 有形地存储 在非瞬 态计算机可 读介质上 并 且包 括计算机 可执行指令 ， 而计算机可执行指令 被处理 器执行以实 现 上文 描述的方 法。 根据本公开的实现 方式， 提供了一种计 算机程序 产 品， 其上存储有 计算机程 序， 程序被处理器执行 时实现上 文描述的 方 法。 这里参 照根据本公 开实现的 方法、 装置、 设备和计算机程序 产品 的流 程图和/或框 图描述了本 公开的各 个方面 。 应当理解， 流程图和/ 或框 图的每个 方框以及流 程图和/或框 图中各方框 的组合，都可以由计 算机 可读程序指 令实现 。 这些计 算机可读程 序指令可 以提供给 通用计算 机、 专用计算机或 其他 可编程数据 处理装置 的处理单 元， 从而生产出一种 机器， 使得这 些指 令在通过 计算机或 其他可编 程数据 处理装置 的处理单 元执行时 ， 产生 了实现流 程图和 /或框图中的一个 或多个 方框中规定 的功能 /动作 的装 置。也可以把 这些计算 机可读程序 指令存储 在计算机 可读存储 介 质 中， 这些指令使得计算机 、可编程数据处 理装置和/或其 他设备 以特 定方 式工作，从而，存储有 指令的计 算机可读 介质则包括 一个制造 品， 其包 括实现流 程图和 /或框图中的一个 或多个 方框中规定 的功能 /动作 的各 个方面的指 令。 可以把 计算机可读 程序指令 加载到计 算机、 其他可编程数据 处理 装置 、 或其他设备上， 使得在计算机 、 其他可编程数据处 理装置或 其 他设 备上执行 一系列操作 步骤， 以产生计算机 实现的过 程， 从而使得 在计 算机、 其他可编程数据 处理装置 、 或其他设备上执行 的指令实 现 流程 图和/或框图中 的一个或 多个方框 中规定的功 能/动作。 附图中 的流程图和 框图显示 了根据本 公开的多个 实现的 系统、 方 法和 计算机程序 产品的 可能实现的 体系架构 、功能和操作。在这点 上， 流程 图或框图 中的每个 方框可以代 表一个模 块、程序段或 指令的一部 分， 模块、 程序段或指令的 一部分包含 一个或 多个用于实 现规定的 逻 辑功 能的可执行 指令。 在有些作为替 换的实现 中， 方框中所标注的 功 能也 可以以不 同于附图 中所标注的 顺序发生 。 例如， 两个连续的方框 实际 上可以基 本并行地执 行， 它们有时也可 以按相反的 顺序执行 ， 这 依所 涉及的功 能而定。也要注意 的是，框图和 /或流程图中的每个方 框、 以及 框图和 /或流程图中的方框 的组合，可以用执 行规定的 功能或动作 的专 用的基于硬 件的系 统来实现， 或者可以用 专用硬件与 计算机指 令 的组 合来实现 。 以上已 经描述了本 公开的各 实现， 上述说明是示 例性的 ， 并非穷 尽性 的， 并且也不限于所公 开的各实 现。 在不偏离所说 明的各实现 的 范 围和精神的 情况下， 对于本技术领域 的普通技 术人员来 说许多修 改 和变 更都是显 而易见的 。 本文中所用术语的选 择， 旨在最好地解释 各 实现 的原理、 实际应用或对 市场中 的技术的 改进， 或者使本技术领 域 的其 他普通技术 人员能理 解本文公 开的各个 实现方式 。

Claims

权 利要 求书
1. 一种用于确定数据 异常的方 法， 包括： 确定数 据集中的 关键字段 ， 所述数据集包括多个 数据源 ， 并且所 述多 个数据源 中的各个数 据源分别 包括至少 一个字段 ； 获取所 述关键字 段在历史 时间段内 的历史状 态； 响应 于确定所 述历史状 态指示 所述关 键字段 中的数据 的变化 满 足异 常条件， 确定所述关键 字段存在 数据异常 ， 所述数据异常指示 所 述关 键字段在所 述历史 时间段内 出现异常 ； 以及 在所 述数据集 中确定 与所述数 据异常 相关联 的至少一 个原因 字 段， 所述至少一个 原因字段 的数据异 常导致所述 关键字段 的数据异 常。
2. 根据权利要求 1 所述的方法， 其中确定所述 数据集中 的所述 关键 字段包括 ： 在所述 数据集包 括的多个 字段中， 基于用户需求 来确定所述 数据 集中 的将要被观 察的候选 字段； 在所述 多个字段 中， 确定影响所述候 选字段的 上游字段 ； 以及 将所述 上游字段 确定为所述 关键字段 。
3. 根据权利要求 1 所述的方法， 其中获取所述 关键字段在 所述 历史 时间段内 的所述历史 状态包括 ： 利用自动化脚本 ， 从所述数据集 包括 的多个字段 中提取所 述历史状 态。
4. 根据权利要求 1 所述的方法， 其中所述异常 条件指定 以下至 少任 一项： 用于确定所述数 据异常的 幅度阈值 、 或者用于确定所述数 据异 常的持续 时段阈值 。
5. 根据权利要求 1所述的方法， 进一步包括： 提供与 所述数据 异常相关联 的异常 页面， 所述异常页面包括 用于 呈现 所述数据 异常过滤参 数， 所述过滤参数 包括以下至 少任一项 ： 所 述数 据异常的 时间范围 、 所述数据异常涉及 的应用、 所述数据异常 涉 及的 地区、 所述数据异常 涉及的数据 项类型 、 以及所述数据异常涉 及 的来 源； 以及 响应于 接收到针 对所述过 滤参数的 交互， 更新所述异 常页面。
6. 根据权利要求 1 所述的方法， 其中在所述数 据集中确 定与所 述数 据异常相 关联的所述 至少一个 原因字段 包括： 利用自动化脚本 确 定所 述至少一个 原因字段 ， 所述自动化脚本描 述所述关键 字段与所 述 至少 一个原因 字段之间 的映射关 系； 以及 所述 方法进一步 包括： 响应于确定所述 至少一个原 因字段 中的原 因字 段中的数据 出现异 常， 提供与所述关键字段 和所述原 因字段相 关 联的 异常状态 。
7. 根据权利要求 6所述的 方法， 其中提供与所 述关键字 段和所 述原 因字段相 关联的异 常状态包括 ： 响应于确定以下至 少任一项 ， 提 供所 述异常状 态： 所述异常的持续 时间长度 满足阈值时 间长度、 所述 异常 的幅度变化 满足阈值 幅度变化 。
8. 根据权利要求 1所述的方法， 进一步包括： 在所述 数据集 中确定受到所 述关键字 段影响的 潜在异常 字段； 以 及 提供 与所述潜在 异常字段 相关联的 潜在异常数 据。
9. 根据权利要求 1 所述的方法， 其中所述数据 集用于存 储与多 个客 户端设备 中的客户端 设备相关 联的数据 ， 所述多个字段包括所 述 客户 端设备的 第一多个属 性、被安装 至所述客 户端设备 的应用的 第二 多个 属性、 经由所述应用被 发布至所 述客户端设 备的数据 项的第三 多 个属 性、 以及与所述数据 项相关联 的第四 多个事件。
10. 根据权利要求 9所述 的方法， 其中确定所述 数据集中 的所述 关键 字段进一 步包括： 获取将 要在所述 数据集中 执行的任 务， 所述任务为确定所 述第四 多个 事件之间 的关联关 系； 以及 在所述 数据集包 括的多个 字段中， 确定与所述任 务相关联 的关键 字段 。
11. 一种用于确定数据 异常的装 置， 包括： 字段确 定模块， 被配置用于 确定数据 集中的关键 字段， 所述数据 集包 括多个数据 源， 并且所述多个数据 源中的各 个数据 源分别包括 至 少一 个字段； 状态获 取模块， 被配置用于获 取所述关 键字段在 历史时间段 内的 历史 状态； 异常确 定模块， 被配置用于响应 于确定所 述历史状 态指示所 述关 键字 段中的数据 的变化 满足异常条 件， 确定所述关键字段 存在数据 异 常， 所述数据异常指示 所述关键 字段在所 述历史 时间段内 出现异常 ； 以及 原因确 定模块， 被配置用于在 所述数据 集中确定 与所述数据 异常 相关 联的至少 一个原因字 段， 所述至少一个原 因字段的数 据异常导 致 所述 关键字段 的数据异 常。
12. 一种电子设备， 包括： 至少一 个处理单 元； 以及 至少一 个存储器 ， 所述至少一个存储器 被耦合到所 述至少 一个处 理单 元并且存储 用于由所 述至少一 个处理单 元执行的 指令， 所述指令 在 由所述至 少一个处 理单元 执行时使 所述电 子设备 执行根据 权利要 求 1 至 10中任一项所述的方法 。
13. 一种计算机可读存 储介质， 其上存储有 计算机程序 ， 所述计 算机 程序在被 处理器执行 时使所述 处理器实 现根据权 利要求 1 至 10 中任 一项所述 的方法。
14. 一种计算机程序产 品， 包括计算机程序 ， 其中所述计算机程 序在 被处理器执 行时实现 根据权利 要求 1至 10中任一项所述的 方法。
PCT/SG2024/050402 2024-06-18 2024-06-18 用于确定数据异常的方法、装置、设备和介质 Pending WO2025264178A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/SG2024/050402 WO2025264178A1 (zh) 2024-06-18 2024-06-18 用于确定数据异常的方法、装置、设备和介质
US19/243,164 US20250383880A1 (en) 2024-06-18 2025-06-19 Method, apparatus, device and medium for determining data exception

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SG2024/050402 WO2025264178A1 (zh) 2024-06-18 2024-06-18 用于确定数据异常的方法、装置、设备和介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US19/243,164 Continuation US20250383880A1 (en) 2024-06-18 2025-06-19 Method, apparatus, device and medium for determining data exception

Publications (1)

Publication Number Publication Date
WO2025264178A1 true WO2025264178A1 (zh) 2025-12-26

Family

ID=98013327

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/SG2024/050402 Pending WO2025264178A1 (zh) 2024-06-18 2024-06-18 用于确定数据异常的方法、装置、设备和介质

Country Status (2)

Country Link
US (1) US20250383880A1 (zh)
WO (1) WO2025264178A1 (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180285320A1 (en) * 2017-03-31 2018-10-04 Futurewei Technologies, Inc. User-level kqi anomaly detection using markov chain model
CN113708490A (zh) * 2021-08-18 2021-11-26 合肥阳光智维科技有限公司 光伏发电跟踪系统的异常检测方法、装置及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180285320A1 (en) * 2017-03-31 2018-10-04 Futurewei Technologies, Inc. User-level kqi anomaly detection using markov chain model
CN113708490A (zh) * 2021-08-18 2021-11-26 合肥阳光智维科技有限公司 光伏发电跟踪系统的异常检测方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FRED N.: "Anomaly Detection for Time Series Data: Anomaly Types", 27 October 2023 (2023-10-27), Retrieved from the Internet <URL:https://victoriametrics.com/blog/victoriametrics-anomaly- detection- handbook-chapter-2> *

Also Published As

Publication number Publication date
US20250383880A1 (en) 2025-12-18

Similar Documents

Publication Publication Date Title
US11968264B2 (en) Systems and methods for operation management and monitoring of bots
AU2020203653B2 (en) Integrated monitoring and control of processing environment
US8612377B2 (en) Techniques for generating diagnostic results
US10303533B1 (en) Real-time log analysis service for integrating external event data with log data for use in root cause analysis
US9009544B2 (en) User operation history for web application diagnostics
US7797415B2 (en) Automatic context-based baselining for transactions
US7856575B2 (en) Collaborative troubleshooting computer systems using fault tree analysis
KR100772999B1 (ko) 분산 환경에서 어플리케이션의 성능을 모니터링하는 방법및 시스템
US8171343B2 (en) Techniques for determining models for performing diagnostics
US8140898B2 (en) Techniques for gathering evidence for performing diagnostics
US10444121B2 (en) Fault detection using event-based predictive models
US8095514B2 (en) Treemap visualizations of database time
US9760467B2 (en) Modeling application performance using evolving functions
US11438239B2 (en) Tail-based span data sampling
US20180143897A1 (en) Determining idle testing periods
US10761959B2 (en) Synchronized temporal and frequency-based visualizations of operational data
US9164746B2 (en) Automatic topology extraction and plotting with correlation to real time analytic data
CN115225470A (zh) 一种业务异常监测方法、装置、电子设备及存储介质
WO2025264178A1 (zh) 用于确定数据异常的方法、装置、设备和介质
CN113868094A (zh) 一种大数据异常信息监控系统
Yabe Instrumenting a web application with New Relic: snapshot of observability for custom metrics, logs, and errors
Malaraju Monitoring AWS Lambda with CloudWatch
JP2014157412A (ja) イベント集約装置、イベント集約方法およびイベント集約プログラム
HK1229029A1 (zh) 处理环境的一体化监视和控制
HK1229029B (zh) 处理环境的一体化监视和控制

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24945773

Country of ref document: EP

Kind code of ref document: A1