WO2014104622A1 - 이용통계데이터의 이상 자동 탐지 시스템 및 그 방법 그리고 이에 적용되는 장치 - Google Patents

이용통계데이터의 이상 자동 탐지 시스템 및 그 방법 그리고 이에 적용되는 장치 Download PDF

Info

Publication number
WO2014104622A1
WO2014104622A1 PCT/KR2013/011519 KR2013011519W WO2014104622A1 WO 2014104622 A1 WO2014104622 A1 WO 2014104622A1 KR 2013011519 W KR2013011519 W KR 2013011519W WO 2014104622 A1 WO2014104622 A1 WO 2014104622A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
abnormality
usage statistics
abnormality detection
statistics data
Prior art date
Application number
PCT/KR2013/011519
Other languages
English (en)
French (fr)
Inventor
정영임
김재훈
김정환
최호남
김환민
Original Assignee
한국과학기술정보연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술정보연구원 filed Critical 한국과학기술정보연구원
Priority to US14/396,437 priority Critical patent/US9672242B2/en
Priority to KR1020147030103A priority patent/KR101557854B1/ko
Publication of WO2014104622A1 publication Critical patent/WO2014104622A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40—Data acquisition and logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data

Definitions

  • the present invention relates to a method for detecting an abnormality by type in usage statistics data of a large amount of electronic information collected from a plurality of information providers for issuing electronic information and delivering a message related to the detected abnormality to an administrator.
  • the Internet is rapidly growing in importance as a strategic tool for improving efficiency and productivity across all parts of the industry, creating new business opportunities through the Internet and expanding its reach.
  • the representative service example is that the individual information provider publishes and publishes periodical publications such as articles, journals, magazines, etc. as electronic information in the form of electronic documents.
  • an information provider that provides an electronic information service, as described above, not only issuing electronic information, but also generating usage statistics data related to the use of the issued electronic information, thereby collecting and utilizing it.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to detect and detect abnormality by type in usage statistics data of a large amount of electronic information collected from a plurality of information providers that issue electronic information. It is to improve the reliability and accuracy of the usage statistics data by transmitting the message related to the abnormality to the administrator.
  • a plurality of information supply platform platform for generating each usage statistics data associated with the use of electronic information; And collecting usage statistics data related to the use of the electronic information from the plurality of information supply company platform devices, and determining only the usage statistics data that matches the reference data format among the collected usage statistics data as the abnormality detection target.
  • an abnormality detecting device for detecting an abnormality of a predetermined type from the usage statistical data determined to generate a notification message for notifying the detected abnormality by type.
  • Abnormality detection apparatus for achieving the above object, the reference data format among the usage statistics data associated with the use of the electronic information collected from a plurality of information supply company platform device for issuing each electronic information
  • a detection target determination unit which determines only the usage statistics data to be an abnormal detection target;
  • an abnormality detecting unit for detecting an abnormality by a predetermined type from the usage statistics data determined as the abnormality detecting target, so that the detected abnormality is detected.
  • the abnormality detection device for notifying the status when the collected usage statistics data does not match the reference data format or the abnormality by type is confirmed from the usage statistics data determined as the abnormality detection target It characterized in that it further comprises a message delivery unit for generating a notification message and delivering to the information provider company platform device.
  • the reference data format includes an Extensible Markup Language (XML) data format
  • the detection object determination unit determines only the usage statistics data having a document standard defined in the XML data format as the abnormality detection target. It is characterized by.
  • XML Extensible Markup Language
  • the usage statistics data identification information for distinguishing the usage statistics data of each electronic information collected from the plurality of information supply company platform devices, statistical numerical information about the use of each electronic information, and each At least one of the usage pattern information for distinguishing the user's usage form for the electronic information is characterized in that it is included.
  • the abnormality detection unit determines whether two or more usage statistics data exist for the electronic information collected from a specific information supply company platform device based on the identification information, and the two or more usage statistics data exist. If it is confirmed, the statistical value information for each of the at least two usage statistics data is checked, and if the statistical value information of each of the at least two usage statistics data is confirmed to be different from each other, the type is detected as one of the abnormalities. It is done.
  • the type-specific abnormality is detected based on the abnormality detection period specified to include two or more unit periods, and the abnormality detection unit includes the sum of the statistical value information in each of the two or more unit periods, and the abnormality. It is characterized by checking whether the statistical value information during the detection period coincides with each other, and detecting the case where it is confirmed that they do not coincide with each other as the abnormality for each type.
  • the statistical value information in the two or more unit periods is divided based on the usage type information, and the abnormality detection unit is a statistics classified based on the usage type information in each of the two or more unit periods.
  • Each sum of numerical information and the statistical value information during the abnormality detection period are checked to coincide with each other, and a case where it is confirmed that the numerical value information does not coincide with each other is detected as the abnormality for each type.
  • the type-specific abnormality is detected based on a change trend of the statistical value information in each of the two or more unit periods, and the abnormality detecting unit is configured in the two or more unit periods for each of the two or more abnormal detection periods.
  • the difference between the change trend of the statistical value information is identified, and when the difference between the change trend of the statistical value information in a particular unit period of the two or more unit periods is determined to be more than a threshold value is detected as the type-specific abnormality It is done.
  • the type-specific abnormality is detected based on a reference value designated with respect to the statistical value information in each of the two or more unit periods, and the abnormality detection unit is configured to perform the statistical value information and the second or more unit periods.
  • the abnormality detection unit is configured to perform the statistical value information and the second or more unit periods.
  • a method for automatically detecting abnormalities comprising: a data generation step in which each of a plurality of information supply company platform devices generates usage statistics data related to the use of electronic information; A data collection step of the abnormality detection device collecting usage statistics data related to the use of the electronic information from the plurality of information supply company platform devices; A detection object determination step of determining, by the abnormality detection device, only the usage statistics data that matches the reference data format among the collected usage statistics data as the abnormality detection target; An abnormality detecting step of the abnormality detecting apparatus detecting an abnormality of a predetermined type from the usage statistics data determined as the abnormality detecting target; And a message generation step of generating a notification message for notifying the type-specific abnormality detected by the abnormality detection apparatus.
  • a method of operating an abnormality detecting apparatus wherein the data collection method collects usage statistics data related to the use of electronic information from a plurality of information supply company platforms. step; Detecting object determination step of determining only the usage statistics data that matches the reference data format of the collected usage statistics data as the abnormal detection target; And an abnormality detecting step of detecting abnormality by a predetermined type from the usage statistics data determined as the abnormality detecting target.
  • the method may further include: a notification message for notifying the status when the collected usage statistics data does not match the reference data format or when abnormalities for each type are identified from the usage statistics data determined as the abnormality detection target; It characterized in that it further comprises a message delivery step of generating and delivering to the information provider company platform device.
  • the reference data format includes an Extensible Markup Language (XML) data format
  • the detecting object determination step determines only the usage statistics data having a document standard defined in the XML data format as the abnormality detection target. Characterized in that.
  • XML Extensible Markup Language
  • the usage statistics data identification information for distinguishing the usage statistics data of each electronic information collected from the plurality of information supply company platform devices, statistical numerical information about the use of each electronic information, and each At least one of the usage pattern information for distinguishing the user's usage form for the electronic information is characterized in that it is included.
  • the abnormality detecting step may determine whether two or more usage statistics data exist for electronic information collected from a specific information supply company platform device based on the identification information, and the two or more usage statistics data exist. When it is confirmed that the statistical value information for each of the two or more usage statistics data to confirm that the statistical value information of each of the two or more usage statistics data is confirmed to be different from each other to detect as one of the type-specific abnormality It features.
  • the type-specific abnormality is detected based on the abnormality detection period designated to include two or more unit periods, and the abnormality detecting step includes: a sum of the statistical value information in each of the two or more unit periods; It is characterized by checking whether the statistical information during the abnormality detection period coincides with each other, and detecting a case where it is confirmed that the statistical value information does not coincide with each other as the abnormality by type.
  • the statistical value information in the two or more unit periods is divided based on the usage type information, and the abnormality detecting step is divided based on the usage type information in each of the two or more unit periods.
  • Each sum of statistical value information and the statistical value information during the abnormality detection period are checked to coincide with each other, and a case in which it is determined that they do not coincide with each other is detected as the type-specific abnormality.
  • the type-specific abnormality is detected based on a change trend of the statistical value information in each of the two or more unit periods
  • the abnormality detecting step includes two or more units for each of the two or more abnormality detection periods. Identifying the difference between the change trend of the statistical value information in the period, and detecting the case where the difference between the change trend of the statistical value information in a specific unit period of the two or more unit period is more than a threshold value as the abnormality by type It is characterized by.
  • the type-specific abnormality is detected based on a reference value specified with respect to the statistical value information in each of the two or more unit periods, and the abnormality detecting step includes: the statistical value information in the two or more unit periods; By checking the difference between the reference value, it is characterized in that detecting the case that the difference between the statistical information and the reference value is greater than the threshold value as the type-specific abnormality.
  • a method for automatically detecting abnormality of usage statistics data and a method thereof and an apparatus applied thereto, the usage statistics data for large-scale electronic information collected from a plurality of information providers that issue electronic information
  • the reliability and accuracy of the usage statistics data can be improved.
  • FIG. 1 is a schematic configuration diagram of an abnormal automatic detection system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of an abnormality detection apparatus according to an embodiment of the present invention.
  • FIG. 3 is a view for explaining an abnormality detection operation according to an embodiment of the present invention.
  • Figure 4 is a schematic flow chart for explaining the operation flow in the automatic abnormal detection system according to an embodiment of the present invention.
  • FIG. 5 is a schematic flow chart for explaining the operation of the abnormality detection apparatus according to an embodiment of the present invention.
  • FIG. 1 is a diagram illustrating an abnormal automatic detection system according to an embodiment of the present invention.
  • the information provider platform device 100 refers to a platform for distributing electronic information issued by an individual information provider, and distributes the issued electronic information to a user device (not shown) for use by the user. It may have a form of a server for generating the usage statistics data corresponding to the user's use result for.
  • the electronic information refers to an electronic document issued by an individual information provider, and may correspond to, for example, a periodical publication such as a paper, a journal, a magazine, and the like.
  • the user device is connected to the information supply company platform device 100 to receive the electronic information, or the user device for receiving the electronic information delivered in the form of a push (for example, e-mail) from the information supply company platform device 100 Refers to.
  • a smartphone for example, in the case of a user device, a smartphone, a personal computer (PC), a notebook, a tablet PC, a PDA, and the like may be used, and the devices that are interoperable with the information supply company platform device 100 are limited thereto. May be included.
  • a smartphone for example, a smartphone, a personal computer (PC), a notebook, a tablet PC, a PDA, and the like may be used, and the devices that are interoperable with the information supply company platform device 100 are limited thereto. May be included.
  • the abnormality detection device 200 collects usage statistics data generated by each of the plurality of information provider platform devices 100 and detects abnormalities on the collected large-scale usage statistics data. And, it may have the form of a server for driving the algorithm for abnormal detection.
  • the abnormality detection device 200 to collect the usage statistics data of the electronic information generated in the plurality of information supply company platform device 100 to perform management on the large-scale usage statistics data It's working.
  • the usage statistics data of the electronic information refers to the individual generated data that is generated separately as a result of the distribution of the electronic information in each information supply company platform device (100).
  • each information supply company platform device 100 does not commonly apply programs or algorithms required for generating other data in addition to the basic data format in generating usage statistics data of electronic information.
  • usage statistics data of electronic information is generated monthly by various subjects, and it can be said that it is practically impossible to verify such large usage statistics data one by one.
  • an embodiment of the present invention is to propose a method for detecting an abnormality by type in usage statistics data related to large-scale electronic information collected from a plurality of information provider platform devices 100, and notifying the administrator of this. This will be described in detail.
  • the information provider platform device 100 performs a function of generating usage statistics data related to the use of electronic information.
  • the information supply company platform device 100 distributes the issued electronic information to the user device (not shown) for use by the user, and the user statistics data corresponding to the user's use of the electronic information for a specified period Generate every time.
  • the designated period refers to a generation period of usage statistics data, for example, in units of years, quarters, months, weeks, or days, which are variously designated according to the operator's designation, or the abnormality detection device 200. ), Depending on the collection cycle of usage statistics data.
  • the abnormality detection device 200 performs a function of collecting the usage statistics data from a plurality of information supply company platform device (100).
  • the abnormality detection apparatus 200 may use usage statistics data from each of the plurality of information supply company platform devices 100 according to the use statistics data generation period or the own use statistics data collection period in each information supply company platform device 100. Will be collected.
  • the usage statistics data may include, for example, electronic information names, identification information for distinguishing usage statistics data of electronic information, names of information providers for issuing electronic information, identification information of the information supply company platform apparatus 100, and corresponding electronic information. Statistics information on the use of the information, and usage pattern information (eg, PDF use, HTML use) for distinguishing the user's use of the electronic information.
  • usage pattern information eg, PDF use, HTML use
  • the abnormality detection apparatus 200 performs a function of determining only the usage statistics data that matches the reference data format among the collected usage statistics data as the abnormality detection target.
  • the abnormality detection apparatus 200 confirms whether the collected usage statistics data is, for example, an Extensible Markup Language (XML) data format, and uses only the usage statistics data having a document standard defined in the XML data format. Determined as the detection target.
  • XML Extensible Markup Language
  • the abnormality detection apparatus 200 may perform a function of detecting a duplicate statistical abnormality from the usage statistics data determined as the abnormality detection target.
  • the abnormality detection device 200 has duplicated usage statistics data for the same electronic information issued from the specific information supplier company platform device 100 based on the identification information of the usage statistics data determined as the abnormality detection target
  • only one usage statistics data for one electronic information corresponding to each information supply company platform device 100 can be loaded into a database.
  • the abnormality detection apparatus 200 confirms the statistical value information for each of the overlapping usage statistics data, and if it is confirmed that each of the overlapping usage statistics data has different statistical value information, the abnormal statistics abnormality As detected.
  • the abnormality detection apparatus 200 may perform a function of detecting an abnormality of the statistical value information for the usage statistics data without duplicate statistical error.
  • the abnormality detection apparatus 200 is divided into unit periods for each electronic information of each of the information supply company platform device 100 when the above-described duplicate statistics abnormality detection is completed for the usage statistics data for which the abnormality detection target is determined.
  • the abnormality of the statistical value information during the abnormality detection period compared to the unit period is detected.
  • the abnormality detecting apparatus 200 may perform a function of detecting an abnormality by checking a change trend of statistical value information.
  • the abnormality detection apparatus 200 confirms the change trend of the statistical value information in each unit period based on the statistical value information divided according to the usage pattern information for each unit period, and the specific unit period. In the case where the change in the statistical value information in the difference between the previously confirmed change for the particular unit period and more than the threshold can be detected as an error.
  • the abnormality detecting apparatus 200 may perform a function of generating and delivering a notification message for notifying a corresponding state when an abnormality is detected from the collected usage statistics data.
  • the abnormality detection apparatus 200 determines the state when the collected usage statistics data does not match the reference data format or when the abnormality as described above is confirmed from the usage statistics data determined as the abnormality detection target. Create a notification message (for example, e-mail) for notification and deliver it to the system administrator or the person in charge of the information provider platform device 100.
  • a notification message for example, e-mail
  • the abnormality detection device 200 is a data collection unit 210 for collecting the usage statistics data related to the use of the electronic information from a plurality of information provider platform device 100, the abnormality detection target of the collected usage statistics data Detection object determination unit 220 for determining and the abnormality detection unit 230 for detecting an abnormality by type from the usage statistics data determined as the abnormality detection target.
  • the abnormality detection apparatus 200 may have a configuration further including a message transmission unit 240 for transmitting a notification message for the abnormal state in addition to the above-described configuration.
  • the whole or part of the configuration of the abnormality detecting device 200 including the data collecting unit 210, the detection target determining unit 220, the abnormality detecting unit 230, and the message transmitting unit 240 described above is a processor. It may be implemented in the form of a software module executed by, or may be implemented in hardware.
  • the data collector 210 performs a function of collecting usage statistics data from a plurality of information supply company platform device (100).
  • the data collecting unit 210 uses the usage statistics data from each of the plurality of information supply platform platform 100 in accordance with the usage statistics data generation period or the own usage statistics data collection period in each information supply company platform device 100 Will be collected.
  • each of the plurality of information supply company platform devices 100 distributes the electronic information to the user device (not shown) for use by the user, and assigns the usage statistics data corresponding to the result of the user's use of the electronic information. Each time you create it, you can collect it.
  • the detection target determination unit 220 performs a function of determining only abnormal usage detection data that matches the reference data format among the collected usage statistics data.
  • the detection object determination unit 220 confirms whether the collected usage statistics data is an XML (Extensible Markup Language) data format, and detects the abnormality only for the usage statistics data having a document standard defined in the XML data format. Determined as the target.
  • XML Extensible Markup Language
  • the detection target determination unit 220 determines the abnormality detection target based on, for example, a document type definition (DTD) document which is a document standard defined in the XML data format.
  • DTD document type definition
  • the detection object determiner 220 includes a logical and physical structure of the document, a tag element type allowed in the document, attributes assigned to each tag element, an entity allowed in the document, and an external entity. By checking the data format such as the notation used, it is possible to determine only the usage statistics data of the data format meeting the criteria defined in the DTD document as the abnormality detection target.
  • the abnormality detection unit 230 performs a function of detecting a duplicate statistical abnormality from the usage statistics data determined as the abnormality detection target.
  • the abnormality detection unit 230 determines whether duplicate usage statistics data exist for the same electronic information issued from the specific information provider company apparatus 100 based on the identification information of the usage statistics data determined as the abnormality detection target. You can check for duplicate statistics errors.
  • the abnormality detection unit 230 stores only one specific usage statistics data among the two or more usage statistics data when the usage statistics data related to the same electronic information issued from the specific information supply company platform device 100 is two or more. In response to each of the information supply company platform device 100, only one usage statistics data for one electronic information can be loaded into the database.
  • the abnormality detection unit 230 confirms the statistical value information for each of the two or more pieces of usage statistics data, and if it is confirmed that the identified statistical value information is different from each other, it detects it as a duplicate statistical error.
  • the abnormality detection unit 230 may perform a function of detecting an abnormality of the statistical value information for the usage statistics data without duplicate statistical error.
  • the abnormality detection unit 230 is divided into unit periods for each of the electronic information of each of the information supply company platform device 100 when the above-described duplicate statistics abnormality detection is completed for the usage statistics data for which the abnormality detection target is determined. By checking the statistical value information during the abnormal detection period, the abnormality of the statistical value information during the abnormal detection period compared to the unit period is detected.
  • the abnormality detection unit 230 may detect a case where it is confirmed that the sum of the statistical value information for each unit period does not match the statistical value information during the abnormality detection period.
  • the abnormality detection period when the abnormality detection period is set to one year and each unit period is set to be the monthly of the year, the sum of the monthly statistics values is determined for one year. When it compares with the whole statistical information, and it turns out that it does not mutually match, it can detect this as an abnormality.
  • the abnormality detection unit 230 confirms each statistical value information classified according to the usage form information (for example, PDF or HTML) applied to use the electronic information for each unit period, and classifies the usage form information for each unit time. An abnormality can be detected as a case where it is confirmed that the sum of the respective statistical value information is not consistent with the statistical value information during the abnormality detection period.
  • the usage form information for example, PDF or HTML
  • the abnormality detection unit 230 may perform a function of detecting an abnormality by confirming a change in the statistical value information.
  • the abnormality detection unit 230 confirms the change trend of the statistical value information in each unit period based on each statistical value information classified according to the usage type information for each unit period, and identifies a specific unit period. The case where the difference between the change in the statistical value information and the change observed before for the particular unit period is greater than or equal to a threshold may be detected as an error.
  • the abnormal detection period is set to one year each year, and each unit period is determined to be a month of the year, the change in the monthly statistical value information for each year is shown.
  • a threshold for example, 100 times
  • the abnormality detecting unit 230 may detect an abnormality based on a reference value designated in relation to the statistical value information, in addition to the above-described abnormality detecting method.
  • the average value of the statistical information may correspond to this.
  • the abnormality detection unit 230 compares the statistical value information for each unit period with the designated reference value, and if it is determined that the difference between the statistical value information and the reference value is greater than or equal to the threshold value, the abnormality detection unit 230 detects it as an abnormality out of a normal range or exhibits an unusual usage pattern. It is done.
  • the abnormality detection unit 230 may be applied to the abnormality detection, for example, univariate outlier detection, LOF-based outlier detection with Local Outlier Factor, and outlier detection by clustering. Clustering and Outlier Detection from Time Series Data can be applied.
  • the quantile plot is used to graph the distribution of the univariate data and how far it is from the central tendency of the data, that is, the position of the data out of the interquartile range (IQR).
  • IQR interquartile range
  • a method of applying only to numerical variables refers to a method of checking the density (densely gathered in one region) compared to the surrounding k data.
  • outlier detection using clustering refers to an outlier detection method using density-based clustering or k-means clustering.
  • time series data outlier detection it is possible to use STL (Seasonal-trend decomposition based on Loess) and ARIMA (auto-regressive moving average model) for data that is out of the characteristics of time series data such as trend, seasonality, and cyclicity.
  • STL spinal-trend decomposition based on Loess
  • ARIMA auto-regressive moving average model
  • the message transmitting unit 240 When an abnormality is detected from the collected usage statistics data, the message transmitting unit 240 performs a function of generating and delivering a notification message for notifying the corresponding state.
  • the message transfer unit 240 if the collected usage statistics data does not match the reference data format or the above-mentioned abnormality is confirmed from the usage statistics data determined as the abnormality detection target, the corresponding status is displayed. Create a notification message (for example, e-mail) for notification and deliver it to the system administrator or the person in charge of the information provider platform device 100.
  • a notification message for example, e-mail
  • the automatic abnormal detection system by detecting the abnormality by type in the usage statistics data for a large amount of electronic information collected from a number of information providers that issue electronic information, By generating and delivering a message related to an abnormality, the reliability and accuracy of the usage statistics data can be improved.
  • FIGS. 4 and 5 an abnormal automatic detection method according to an embodiment of the present invention will be described.
  • the configuration shown in FIGS. 1 to 3 described above will be described with reference to the corresponding reference numerals.
  • the information supply company platform device 100 distributes the issued electronic information to the user device (not shown) for use by the user, and generates the usage statistics data corresponding to the user's use result for the electronic information at specified periods. (S110).
  • the abnormality detection apparatus 200 may collect the usage statistics data from each of the plurality of information supply company platform device 100 according to the usage statistics data generation period or the self-use statistics data collection period in each information supply company platform device 100. Collect (S120).
  • the abnormality detection apparatus 200 checks whether the collected usage statistics data is, for example, an XML (Extensible Markup Language) data format, and detects only the usage statistics data having a document standard defined in the XML data format. Determine the target (S130-S140).
  • XML Extensible Markup Language
  • the abnormality detection device 200 has duplicated usage statistics data for the same electronic information issued from the specific information supplier company platform device 100 based on the identification information of the usage statistics data determined as the abnormality detection target, By storing only one usage statistics data, only one usage statistics data for one electronic information corresponding to each information supply company platform device 100 can be loaded into the database (S150-S170).
  • the abnormality detection apparatus 200 confirms the statistical value information for each of the overlapping usage statistics data, and if it is confirmed that each of the overlapping usage statistics data has different statistical value information, the abnormal statistics abnormality As detected.
  • the abnormality detection device 200 is divided into a unit period for each electronic information of each of the information supply company platform device 100 when the above-described duplicate statistics abnormality detection is completed with respect to the usage statistics data for which the abnormality detection target is determined.
  • the abnormality of the statistical value information during the abnormality detection period compared to the unit period is detected (S180-S190).
  • the abnormality detection apparatus 200 confirms the change of the statistical value information in each unit period based on each statistical value information divided according to the usage pattern information for each unit period, The case where the change in the statistical value information is different from a previously determined change in the specific unit period and a threshold value may be detected as an abnormality.
  • the abnormality detection apparatus 200 notifies the state when the collected usage statistics data does not match the reference data format or when the abnormality as described above is confirmed from the usage statistics data determined as the abnormality detection target.
  • a notification message for example, e-mail
  • the system administrator or the person in charge of the information supply company platform device 100 will be delivered (S200-S210).
  • the data collection unit 210 collects the usage statistics data from each of the plurality of information supply platform platform 100 in accordance with the usage statistics data generation period or the own usage statistics data collection cycle in each information provider platform device 100. (S310).
  • each of the plurality of information supply company platform device 100 the electronic information is distributed to the user device (not shown) so that the user can use, and the use statistics data corresponding to the user's use result for the electronic information for a specified period Each time you create it, you can collect it.
  • the detection target determination unit 220 checks whether the collected usage statistics data is an XML (Extensible Markup Language) data format, and only the usage statistics data having a document standard defined in the XML data format is detected. Determine (S320-S340).
  • XML Extensible Markup Language
  • the detection target determination unit 220 determines the abnormality detection target based on, for example, a document type definition (DTD) document which is a document standard defined in the XML data format.
  • DTD document type definition
  • the detection object determiner 220 includes a logical and physical structure of the document, a tag element type allowed in the document, attributes assigned to each tag element, an entity allowed in the document, and an external entity. By checking the data format such as the notation used, it is possible to determine only the usage statistics data of the data format meeting the criteria defined in the DTD document as the abnormality detection target.
  • the abnormality detection unit 230 confirms whether duplicate usage statistics data exist for the same electronic information issued from the specific information provider company device 100 based on the identification information of the usage statistics data determined as the abnormality detection target. By doing so, abnormality of the duplicate statistics is confirmed (S350).
  • the abnormality detection unit 230 when the abnormality detection unit 230 has two or more usage statistics data related to the same electronic information issued from the specific information provider platform device 100, by storing only one specific usage statistics data of the two or more usage statistics data, Corresponding to each of the information supply company platform device 100, so that only one usage statistics data for one electronic information can be loaded into the database (S360-S380).
  • the abnormality detection unit 230 confirms the statistical value information for each of the two or more pieces of usage statistics data, and if it is confirmed that the identified statistical value information is different from each other, it detects this as a duplicate statistical error.
  • the abnormality detection unit 230 is divided into a unit period for each of the electronic information of each of the information supply company platform device 100 when the above-described duplicate statistics abnormality detection is completed for the usage statistics data determined as the abnormality detection target By checking the statistical value information during the abnormality detection period, the abnormality of the statistical value information during the abnormality detection period compared to the unit period is detected (S390).
  • the abnormality detection unit 230 detects a case where it is confirmed that the sum (b) of the statistical value information for each unit period does not match the statistical value information (a) during the abnormality detection period.
  • the abnormality detection unit 230 confirms the respective statistical value information divided according to the usage pattern information for each unit period, and each of the statistics divided into the usage pattern information (PDF or HTML) for each unit time. An abnormality is detected when the sum (c) of the numerical information is confirmed to be inconsistent with the statistical information (a) during the abnormality detection period.
  • the abnormality detection unit 230 confirms the change in the statistical value information in each unit period based on the respective statistical value information divided according to the use type information for each unit period,
  • the change trend (D) of the statistical value information is detected as an abnormality when a difference more than a threshold occurs with the change trend (E) previously identified for the specific unit period.
  • the abnormality detection unit 230 compares the statistical value information for each unit period with a reference value designated in relation to the statistical value information, and when it is determined that the difference between the statistical value information and the reference value is greater than or equal to the threshold value, the abnormality detection unit 230 departs from the normal range or uses it unusually.
  • the pattern can be detected as an abnormality.
  • the message transmitting unit 240 notifies the state when the collected usage statistics data does not match the reference data format or when the above-described abnormality is confirmed from the usage statistics data determined as the abnormality detection target.
  • a notification message for example, e-mail
  • the system administrator or a person in charge of the information supply company platform device 100 will be delivered (S430).
  • the automatic abnormal detection method by detecting the abnormality by type in the usage statistics data for a large amount of electronic information collected from a plurality of information providers that issue electronic information, By generating and delivering a message related to an abnormality, the reliability and accuracy of the usage statistics data can be improved.
  • the steps of the method or algorithm described in connection with the embodiments presented herein may be implemented directly in hardware, in a software module executed by a processor, or by a combination thereof.
  • the software module may reside in RAM memory, flash memory, ROM memory, EPROM memory, EEPROM memory, registers, hard disk, removable disk, CD-ROM, or any other type of storage medium known in the art.
  • An exemplary storage medium is coupled with the processor, such that the processor can read information from and write information to the storage medium.
  • the storage medium may be integral to the processor.
  • the processor and the storage medium may be included in an ASIC.
  • the ASIC may be included in the user terminal device.
  • the processor and the storage medium may reside as discrete components in a user terminal device.
  • a method for automatically detecting abnormality of usage statistics data and a method thereof and an apparatus applied thereto, by type in usage statistics data for a large amount of electronic information collected from a plurality of information providers that issue electronic information As it detects an anomaly and delivers a message regarding the detected anomaly to an administrator, the limitations of the existing technology are not only sufficient for the application or sales of the applied device, but also realistically and obviously. Since it can be implemented, it is an invention with industrial applicability.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Operations Research (AREA)
  • Computer Hardware Design (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Debugging And Monitoring (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

본 발명은 이용통계데이터의 이상 자동 탐지 시스템 및 그 방법 그리고 이에 적용되는 장치를 개시한다.　 즉, 각각의 전자정보를 발행하는 다수의 정보공급사플랫폼장치로부터 전자정보의 이용과 관련된 이용통계데이터를 수집하고, 수집된 상기 이용통계데이터 중에서 기준데이터포맷과 일치하는 이용통계데이터만을 이상탐지대상으로 결정하며, 상기 이상탐지대상으로 결정된 이용통계데이터로부터 유형별 이상을 탐지함으로써, 이용통계데이터에 대한 신뢰도와 정확성을 향상시킬 수 있다.

Description

이용통계데이터의 이상 자동 탐지 시스템 및 그 방법 그리고 이에 적용되는 장치
본 발명은 전자정보를 발행하는 다수의 정보공급사로부터 수집된 대규모의 전자정보에 대한 이용통계데이터에서 유형별 이상을 탐지하여 탐지된 이상과 관련한 메시지를 관리자에게 전달하기 위한 방법에 관한 것이다.
인터넷은 산업의 전부분에 걸쳐 효율성과 생산성 제고를 위한 전략적인 도구로서 중요성이 급속히 증대되어, 인터넷을 통한 새로운 비즈니스 기회가 지속적으로 창출됨은 물론, 그 영역도 확장되고 있는 추세이다.
이에, 신문, 잡지, 책 등의 종이를 이용한 인쇄물들이 점차 퇴보하는 반면, 이들 인쇄물을 디지털화하는 전자정보 서비스와 함께 이러한 전자정보 서비스를 이용하는 사용자들은 점차 증가하고 있다.
여기서, 전자정보 서비스의 경우, 개별 정보공급사에서 예컨대, 논문, 학술지, 잡지 등의 정기 간행물을 전자문서의 형태의 전자정보로서 발행하여 제공하는 것이 그 대표적인 서비스 예라고 할 수 있다.
한편, 전자정보 서비스를 제공하는 정보공급사에서는, 전술한 바와 같이 전자정보의 발행뿐만 아니라, 발행된 전자정보의 이용과 관련된 이용통계데이터를 함께 생성함으로써, 이를 수집하여 활용할 수 있도록 하고 있다.
헌데, 전술한 전자정보의 이용과 관련된 이용통계데이터의 경우, 다양한 주체에 의해 활용될 수 있는 데이터이므로 그 정확성이 요구되나, 각각의 정보공급사에서 자체적으로 생성되는 데이터이므로, 다양한 이상(오류)을 포함하고 있을 가능성이 높다 할 것이다.
이에, 전자정보와 관련된 이용통계데이터에 대한 신뢰도를 높이기 위해선, 수집된 이용통계데이터에 대한 통합적인 검증 방안이 요구된다 할 것이다.
본 발명은 상기한 사정을 감안하여 창출된 것으로서, 본 발명에서 도달하고자 하는 목적은, 전자정보를 발행하는 다수의 정보공급사로부터 수집된 대규모의 전자정보에 대한 이용통계데이터에서 유형별 이상을 탐지하여 탐지된 이상과 관련한 메시지를 관리자에게 전달함으로써, 이용통계데이터에 대한 신뢰도와 정확성을 향상시키는데 있다.
상기 목적을 달성하기 위한 본 발명의 제 1 관점에 따른 이상 자동 탐지 시스템은, 전자정보의 이용과 관련된 이용통계데이터를 각각 생성하는 다수의 정보공급사플랫폼장치; 및 상기 다수의 정보공급사플랫폼장치로부터 전자정보의 이용과 관련된 이용통계데이터를 수집하여, 수집된 상기 이용통계데이터 중에서 기준데이터포맷과 일치하는 이용통계데이터만을 이상탐지대상으로 결정하고, 상기 이상탐지대상으로 결정된 이용통계데이터로부터 기 지정된 유형별 이상을 탐지하여 탐지된 상기 유형별 이상을 통지하기 위한 알림메시지를 생성하는 이상탐지장치를 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 제 2 관점에 따른 이상탐지장치는, 각각의 전자정보를 발행하는 다수의 정보공급사플랫폼장치로부터 수집된 전자정보의 이용과 관련된 이용통계데이터 중에서 기준데이터포맷과 일치하는 이용통계데이터만을 이상탐지대상으로 결정하는 탐지대상결정부; 및 상기 이상탐지대상으로 결정된 이용통계데이터로부터 기 지정된 유형별 이상을 탐지하여 탐지된 유형별 이상이 통지되도록 하는 이상탐지부를 포함하는 것을 특징으로 한다.
보다 구체적으로, 상기 이상탐지장치는, 상기 수집된 이용통계데이터가 상기 기준데이터포맷과 일치하지 않거나, 또는 상기 이상탐지대상으로 결정된 이용통계데이터로부터 상기 유형별 이상이 확인되면, 해당 상태를 통지하기 위한 알림메시지를 생성하여 해당 정보공급사플랫폼장치에 전달하는 메시지전달부를 더 포함하는 것을 특징으로 한다.
보다 구체적으로, 상기 기준데이터포맷에는, XML(Extensible Markup Language) 데이터포맷이 포함되며, 상기 탐지대상결정부는, 상기 XML 데이터포맷에서 정의된 문서 규격을 갖는 이용통계데이터만을 상기 이상탐지대상으로 결정하는 것을 특징으로 한다.
보다 구체적으로, 상기 이용통계데이터에는, 상기 다수의 정보공급사플랫폼장치로부터 수집되는 각각의 전자정보의 이용통계데이터를 구분하기 위한 식별정보, 각각의 전자정보의 이용에 대한 통계수치정보, 및 각각의 전자정보에 대한 사용자의 이용 형태를 구분하기 위한 이용형태정보 중 적어도 하나가 포함되는 것을 특징으로 한다.
보다 구체적으로, 상기 이상탐지부는, 상기 식별정보를 기초로 특정 정보공급사플랫폼장치로부터 수집된 전자정보에 대하여 2 이상의 이용통계데이터가 존재하는지 여부를 확인하고, 상기 2 이상의 이용통계데이터가 존재하는 것으로 확인되면, 상기 2 이상의 이용통계데이터 각각에 대한 상기 통계수치정보를 확인하여, 상기 2 이상의 이용통계데이터 각각의 상기 통계수치정보가 서로 상이한 것으로 확인되는 경우를 상기 유형별 이상 중 하나로서 탐지하는 것을 특징으로 한다.
보다 구체적으로, 상기 유형별 이상은, 2 이상의 단위기간이 포함되도록 지정된 이상탐지기간을 기초로 탐지되며, 상기 이상탐지부는, 상기 2 이상의 단위기간 각각에서의 상기 통계수치정보의 합산값과, 상기 이상탐지기간 동안의 상기 통계수치정보가 서로 일치하는지 여부를 확인하여, 서로 일치하지 않는 것으로 확인되는 경우를 상기 유형별 이상으로서 탐지하는 것을 특징으로 한다.
보다 구체적으로, 상기 2 이상의 단위기간에서의 상기 통계수치정보는, 상기 이용형태정보를 기초로 구분되며, 상기 이상탐지부는, 상기 2 이상의 단위기간 각각에서의 상기 이용형태정보를 기초로 구분되는 통계수치정보의 각각의 합산값과, 상기 이상탐지기간 동안의 상기 통계수치정보가 서로 일치하는지 여부를 확인하여, 서로 일치하지 않는 것으로 확인되는 경우를 상기 유형별 이상으로서 탐지하는 것을 특징으로 한다.
보다 구체적으로, 상기 유형별 이상은, 상기 2 이상의 단위기간 각각에서의 상기 통계수치정보의 변동추이를 기초로 탐지되며, 상기 이상탐지부는, 2 이상의 상기 이상탐지기간 각각에 대하여 상기 2 이상의 단위기간에서의 상기 통계수치정보의 변동추이 간의 차이를 확인하며, 상기 2 이상의 단위기간 중 특정 단위기간에서의 상기 통계수치정보의 변동추이 간의 차이가 임계치 이상인 것으로 확인되는 경우를 상기 유형별 이상으로서 탐지하는 것을 특징으로 한다.
보다 구체적으로, 상기 유형별 이상은, 상기 2 이상의 단위기간 각각에서의 상기 통계수치정보와 관련하여 지정된 기준값을 기초로 탐지되며, 상기 이상탐지부는, 상기 2 이상의 단위기간에서의 상기 통계수치정보와 상기 기준값 간의 차이를 확인하여, 상기 통계수치정보와 상기 기준값 간의 차이가 임계치 이상인 것으로 확인되는 경우를 상기 유형별 이상으로서 탐지하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 제 3 관점에 따른 이상 자동 탐지 방법은, 다수의 정보공급사플랫폼장치 각각이 전자정보의 이용과 관련된 이용통계데이터를 각각 생성하는 데이터생성단계; 이상탐지장치가 상기 다수의 정보공급사플랫폼장치로부터 전자정보의 이용과 관련된 이용통계데이터를 수집하는 데이터수집단계; 상기 이상탐지장치가 수집된 상기 이용통계데이터 중에서 기준데이터포맷과 일치하는 이용통계데이터만을 이상탐지대상으로 결정하는 탐지대상결정단계; 상기 이상탐지장치가 상기 이상탐지대상으로 결정된 이용통계데이터로부터 기 지정된 유형별 이상을 탐지하는 이상탐지단계; 및 상기 이상탐지장치가 탐지된 상기 유형별 이상을 통지하기 위한 알림메시지를 생성하는 메시지생성단계를 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 제 4 관점에 따른 이상탐지장치의 동작 방법은, 각각의 전자정보를 발행하는 다수의 정보공급사플랫폼장치로부터 전자정보의 이용과 관련된 이용통계데이터를 수집하는 데이터수집단계; 상기 수집된 이용통계데이터 중에서 기준데이터포맷과 일치하는 이용통계데이터만을 이상탐지대상으로 결정하는 탐지대상결정단계; 및 상기 이상탐지대상으로 결정된 이용통계데이터로부터 기 지정된 유형별 이상을 탐지하는 이상탐지단계를 포함하는 것을 특징으로 한다.
보다 구체적으로, 상기 방법은, 상기 수집된 이용통계데이터가 상기 기준데이터포맷과 일치하지 않거나, 또는 상기 이상탐지대상으로 결정된 이용통계데이터로부터 상기 유형별 이상이 확인되면, 해당 상태를 통지하기 위한 알림메시지를 생성하여 해당 정보공급사플랫폼장치에 전달하는 메시지전달단계를 더 포함하는 것을 특징으로 한다.
보다 구체적으로, 상기 기준데이터포맷에는, XML(Extensible Markup Language) 데이터포맷이 포함되며, 상기 탐지대상결정단계는, 상기 XML 데이터포맷에서 정의된 문서 규격을 갖는 이용통계데이터만을 상기 이상탐지대상으로 결정하는 것을 특징으로 한다.
보다 구체적으로, 상기 이용통계데이터에는, 상기 다수의 정보공급사플랫폼장치로부터 수집되는 각각의 전자정보의 이용통계데이터를 구분하기 위한 식별정보, 각각의 전자정보의 이용에 대한 통계수치정보, 및 각각의 전자정보에 대한 사용자의 이용 형태를 구분하기 위한 이용형태정보 중 적어도 하나가 포함되는 것을 특징으로 한다.
보다 구체적으로, 상기 이상탐지단계는, 상기 식별정보를 기초로 특정 정보공급사플랫폼장치로부터 수집된 전자정보에 대하여 2 이상의 이용통계데이터가 존재하는지 여부를 확인하고, 상기 2 이상의 이용통계데이터가 존재하는 것으로 확인되면, 상기 2 이상의 이용통계데이터 각각에 대한 상기 통계수치정보를 확인하여, 상기 2 이상의 이용통계데이터 각각의 상기 통계수치정보가 서로 상이한 것으로 확인되는 경우를 상기 유형별 이상 중 하나로서 탐지하는 것을 특징으로 한다.
보다 구체적으로, 상기 유형별 이상은, 2 이상의 단위기간이 포함되도록 지정된 이상탐지기간을 기초로 탐지되며, 상기 이상탐지단계는, 상기 2 이상의 단위기간 각각에서의 상기 통계수치정보의 합산값과, 상기 이상탐지기간 동안의 상기 통계수치정보가 서로 일치하는지 여부를 확인하여, 서로 일치하지 않는 것으로 확인되는 경우를 상기 유형별 이상으로서 탐지하는 것을 특징으로 한다.
보다 구체적으로, 상기 2 이상의 단위기간에서의 상기 통계수치정보는, 상기 이용형태정보를 기초로 구분되며, 상기 이상탐지단계는, 상기 2 이상의 단위기간 각각에서의 상기 이용형태정보를 기초로 구분되는 통계수치정보의 각각의 합산값과, 상기 이상탐지기간 동안의 상기 통계수치정보가 서로 일치하는지 여부를 확인하여, 서로 일치하지 않는 것으로 확인되는 경우를 상기 유형별 이상으로서 탐지하는 것을 특징으로 한다.
보다 구체적으로, 상기 유형별 이상은, 상기 2 이상의 단위기간 각각에서의 상기 통계수치정보의 변동추이를 기초로 탐지되며, 상기 이상탐지단계는, 2 이상의 상기 이상탐지기간 각각에 대하여, 상기 2 이상의 단위기간에서의 상기 통계수치정보의 변동추이 간의 차이를 확인하며, 상기 2 이상의 단위기간 중 특정 단위기간에서의 상기 통계수치정보의 변동추이 간의 차이가 임계치 이상인 것으로 확인되는 경우를 상기 유형별 이상으로서 탐지하는 것을 특징으로 한다.
보다 구체적으로, 상기 유형별 이상은, 상기 2 이상의 단위기간 각각에서의 상기 통계수치정보와 관련하여 지정된 기준값을 기초로 탐지되며, 상기 이상탐지단계는, 상기 2 이상의 단위기간에서의 상기 통계수치정보와 상기 기준값 간의 차이를 확인하여, 상기 통계수치정보와 상기 기준값 간의 차이가 임계치 이상인 것으로 확인되는 경우를 상기 유형별 이상으로서 탐지하는 것을 특징으로 한다.
이에, 본 발명의 일 실시예에 따른 이용통계데이터의 이상 자동 탐지 시스템 및 그 방법 그리고 이에 적용되는 장치에 의하면, 전자정보를 발행하는 다수의 정보공급사로부터 수집된 대규모의 전자정보에 대한 이용통계데이터에서 유형별 이상을 탐지하여 탐지된 이상과 관련한 메시지를 생성 및 전달함으로써, 이용통계데이터에 대한 신뢰도와 정확성을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 이상 자동 탐지 시스템의 개략적인 구성도.
도 2는 본 발명의 일 실시예에 따른 이상탐지장치의 구성도.
도 3은 본 발명의 일 실시예에 따른 이상탐지 동작을 설명하기 위한 도면.
도 4는 본 발명의 일 실시예에 따른 이상 자동 탐지 시스템에서의 동작 흐름을 설명하기 위한 개략적인 순서도.
도 5는 본 발명의 일 실시예에 따른 이상탐지장치의 동작을 설명하기 위한 개략적인 순서도.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예에 대하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 이상 자동 탐지 시스템을 도시한 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 이상 자동 탐지 시스템은,
전자정보에 이용에 따른 이용통계데이터를 생성하는 정보공급사플랫폼장치(100) 및 다수의 상기 정보공급사플랫폼장치(100)로부터 전자정보의 이용통계데이터를 수집하여 이상을 탐지하는 이상탐지장치(200)를 포함하는 구성을 갖는다.
우선, 정보공급사플랫폼장치(100)는 개별 정보공급사에서 발행되는 전자정보를 배포하기 위한 플랫폼을 지칭하는 것으로서, 발행된 전자정보를 사용자가 이용할 수 있도록 사용자장치(도시안됨)에 배포하며, 전자정보에 대한 사용자의 이용 결과에 해당하는 상기 이용통계데이터를 생성하는 서버의 형태를 가질 수 있다.
여기서, 상기 전자정보는, 개별 정보공급사에서 발행되는 전자문서를 지칭하는 것으로서, 예컨대, 논문, 학술지, 잡지 등의 정기 간행물 등이 해당될 수 있다.
또한, 사용자장치는 정보공급사플랫폼장치(100)에 접속하여 전자정보를 수신하거나, 또는 정보공급사플랫폼장치(100)로부터 푸쉬(예: e-mail) 형태로 전달되는 전자정보를 수신하기 위한 사용자 디바이스를 지칭한다.
예를 들어, 사용자장치의 경우, 스마트폰, 개인용컴퓨터(PC), 노트북, 테블릿 PC, 및 PDA 등이 해당될 수 있으며, 이에 제한되는 것이 정보공급사플랫폼장치(100)와 연동 가능한 장치는 모두 포함될 수 있다.
그리고, 이상탐지장치(200)는 다수의 정보공급사플랫폼장치(100) 각각에서 생성되는 이용통계데이터를 수집하여, 수집한 대규모의 이용통계데이터 상의 이상을 탐지하기 위한 구성으로서, 이용통계데이터 수집 동작과, 이상 탐지를 위한 알고리즘을 구동하는 서버의 형태의 가질 수 있다.
한편, 본 발명의 일 실시예에 따르면, 이상탐지장치(200)에서는 다수의 정보공급사플랫폼장치(100)에서 생성된 전자정보의 이용통계데이터를 수집하여 대규모의 이용통계데이터에 대한 관리를 수행하도록 동작하고 있다.
여기서, 전자정보의 이용통계데이터의 경우, 전술한 바와 같이 각 정보공급사플랫폼장치(100)에서 전자정보의 배포 결과로서 개별적으로 생성되는 개별 생성 데이터를 일컫는다.
이에, 각각의 정보공급사플랫폼장치(100)에서는 전자정보의 이용통계데이터를 생성함에 있어서, 기본적인 데이터포맷 이외에 기타 데이터 생성에 요구되는 프로그램 또는 알고리즘을 공통적으로 적용하고 있지 않은 실정이다.
이로 인해, 전자정보 이용과 관련한 이용통계데이터의 경우, 다양한 주체에 의해 활용되는 정확성이 요구되는 데이터인 반면, 실질적으로 각 정보공급사플랫폼장치(100)에서 개별 생성됨에 따라, 다양한 이상(오류)을 포함하는 등 그 신뢰성이 낮다 할 것이다.
더욱이, 전자정보를 구독하는 이용자의 증가로 인해 전자정보의 이용통계데이터는 다양한 주체에 의해 월별로 생성되고 있으며, 이러한 대규모의 이용통계데이터를 일일이 검증하는 것은 실질적으로 불가능한 일이다 할 수 있다.
이에, 본 발명의 일 실시예에서는 다수의 정보공급사플랫폼장치(100)로부터 수집된 대규모의 전자정보와 관련된 이용통계데이터에서 유형별 이상을 탐지하여, 이를 관리자에게 통지하기 위한 방안을 제안하고자 하며, 이하에서는 이를 구체적으로 설명하기로 한다.
우선, 정보공급사플랫폼장치(100)는 전자정보의 이용과 관련된 이용통계데이터를 생성하는 기능을 수행한다.
보다 구체적으로, 정보공급사플랫폼장치(100)는 발행된 전자정보를 사용자가 이용할 수 있도록 사용자장치(도시안됨)에 배포하며, 전자정보에 대한 사용자의 이용 결과에 해당하는 상기 이용통계데이터를 지정된 기간마다 생성한다.
여기서, 지정된 기간은 예컨대, 년 단위, 분기 단위, 월 단위, 주 단위, 내지는 일 단위의 이용통계데이터의 생성 주기를 지칭하는 것으로, 이는 운용자의 지정에 따라 다양하게 지정되거나, 이상탐지장치(200)에서의 이용통계데이터의 수집 주기에 맞춰 달라질 수 있다.
그리고, 이상탐지장치(200)는 다수의 정보공급사플랫폼장치(100)로부터 이용통계데이터를 수집하는 기능을 수행한다.
보다 구체적으로, 이상탐지장치(200)는 각 정보공급사플랫폼장치(100)에서의 이용통계데이터 생성 주기 또는 자체 이용통계데이터 수집 주기에 따라, 다수의 정보공급사플랫폼장치(100) 각각으로부터 이용통계데이터를 수집하게 된다.
여기서, 이용통계데이터에는, 예컨대, 전자정보 명칭, 전자정보의 이용통계데이터를 구분하기 위한 식별정보, 전자정보를 발행하는 정보공급사 명칭, 정보공급사플랫폼장치(100)의 식별정보, 및 해당 전자정보의 이용에 대한 통계수치정보, 및 해당 전자정보에 대한 사용자의 이용 형태를 구분하기 위한 이용형태정보(예:PDF 이용, HTML 이용)가 포함될 수 있다.
또한, 이상탐지장치(200)는 수집된 이용통계데이터 중에서 기준데이터포맷과 일치하는 이용통계데이터만을 이상탐지대상으로 결정하는 기능을 수행한다.
보다 구체적으로, 이상탐지장치(200)는 수집된 이용통계데이터가 예컨대, XML(Extensible Markup Language) 데이터포맷인지 여부를 확인하고, 상기 XML 데이터포맷에서 정의된 문서 규격을 갖는 이용통계데이터만을 상기 이상탐지대상으로 결정한다.
또한, 이상탐지장치(200)는 이상탐지대상으로 결정된 이용통계데이터로부터 중복 통계 이상을 탐지하는 기능을 수행할 수 있다.
보다 구체적으로, 이상탐지장치(200)는 이상탐지대상으로 결정된 이용통계데이터의 식별정보를 기초로 특정 정보공급사플랫폼장치(100)로부터 발행된 동일한 전자정보에 대해 중복된 이용통계데이터가 존재하는 경우, 하나의 이용통계데이터만을 저장함으로써, 각각의 정보공급사플랫폼장치(100) 각각에 대응하여 하나의 전자정보에 대하여 하나의 이용통계데이터만이 데이터베이스에 적재될 수 있도록 한다.
이때, 이상탐지장치(200)는 서로 중복된 이용통계데이터 각각에 대한 통계수치정보를 확인하게 되며, 만약, 중복된 이용통계데이터 각각이 상이한 통계수치정보를 갖는 것으로 확인되는 경우, 이를 중복 통계 이상으로서 탐지하게 된다.
또한, 이상탐지장치(200)는 중복 통계 이상이 없는 이용통계데이터에 대한 통계수치정보의 이상을 탐지하는 기능을 수행할 수 있다.
보다 구체적으로, 이상탐지장치(200)는 이상탐지대상을 결정된 이용통계데이터에 대해 전술한 중복 통계 이상 탐지가 완료되는 경우, 정보공급사플랫폼장치(100) 각각의 전자정보에 대해, 단위기간으로 구분되는 이상탐지기간 동안의 상기 통계수치정보를 확인함으로써, 단위기간 대비 이상탐지기간 동안의 통계수치정보의 불일치 이상을 탐지하게 된다.
또한, 이상탐지장치(200)는 통계수치정보의 변동추이를 확인하여 이상을 탐지하는 기능을 수행할 수 있다.
보다 구체적으로, 이상탐지장치(200)는 단위기간 별로 상기 이용형태정보에 따라 구분되는 각각의 상기 통계수치정보를 기초로 단위기간 각각에서의 상기 통계수치정보의 변동추이를 확인하며, 특정 단위기간에서의 상기 통계수치정보의 변동추이가 상기 특정 단위기간에 대해 이전에 확인된 변동추이와 임계치 이상의 차이가 발생하는 경우를 이상으로서 탐지할 수 있다.
또한, 이상탐지장치(200)는 수집한 이용통계데이터로부터 이상이 탐지되면, 해당 상태를 통지하기 위한 알림메시지를 생성하여 전달하는 기능을 수행할 수 있다.
보다 구체적으로, 이상탐지장치(200)는 수집된 상기 이용통계데이터가 상기 기준데이터포맷과 일치하지 않거나, 또는 상기 이상탐지대상으로 결정된 이용통계데이터로부터 전술한 바와 같은 이상이 확인되면, 해당 상태를 통지하기 위한 알림메시지(예: e-mail)를 생성하여 이를 시스템 관리자 또는 해당 정보공급사플랫폼장치(100)의 담당자에게 전달하게 된다.
이하에서는, 도 2를 참조하여 본 발명의 일 실시예에 따른 이상탐지장치(200)의 구성을 보다 구체적으로 설명하도록 한다.
즉, 이상탐지장치(200)는 다수의 정보공급사플랫폼장치(100)로부터 전자정보의 이용과 관련된 이용통계데이터를 수집하기 위한 데이터수집부(210), 수집된 상기 이용통계데이터 중 이상탐지대상으로 결정하기 위한 탐지대상결정부(220) 및 이상탐지대상으로 결정된 이용통계데이터로부터 유형별 이상을 탐지하기 위한 이상탐지부(230)를 포함하는 구성을 갖는다.
또한, 이상탐지장치(200)는 전술한 구성 이외에 이상 상태에 대한 알림메시지를 전달하기 위한 메시지전달부(240)를 더 포함하는 구성을 가질 수 있다.
여기서, 전술한 데이터수집부(210), 탐지대상결정부(220), 이상탐지부(230), 및 메시지전달부(240)를 포함하는 이상탐지장치(200)의 구성 전체 내지는 일부는, 프로세서에 의해 실행되는 소프트웨어 모듈의 형태로서 구현되거나, 하드웨어로 구현될 수 있다.
우선, 데이터수집부(210)는 다수의 정보공급사플랫폼장치(100)로부터 이용통계데이터를 수집하는 기능을 수행한다.
보다 구체적으로, 데이터수집부(210)는 각 정보공급사플랫폼장치(100)에서의 이용통계데이터 생성 주기 또는 자체 이용통계데이터 수집 주기에 따라, 다수의 정보공급사플랫폼장치(100) 각각으로부터 이용통계데이터를 수집하게 된다.
여기서, 다수의 정보공급사플랫폼장치(100) 각각에서는, 전자정보를 사용자가 이용할 수 있도록 사용자장치(도시안됨)에 배포하며, 전자정보에 대한 사용자의 이용 결과에 해당하는 상기 이용통계데이터를 지정된 기간마다 생성함으로써, 수집할 수 있도록 한다.
그리고, 탐지대상결정부(220)는 수집된 이용통계데이터 중에서 기준데이터포맷과 일치하는 이용통계데이터만을 이상탐지대상으로 결정하는 기능을 수행한다.
보다 구체적으로, 탐지대상결정부(220)는 수집된 이용통계데이터가 XML(Extensible Markup Language) 데이터포맷인지 여부를 확인하고, 상기 XML 데이터포맷에서 정의된 문서 규격을 갖는 이용통계데이터만을 상기 이상탐지대상으로 결정한다.
이때, 탐지대상결정부(220)는 예컨대, XML 데이터포맷에서 정의된 문서 규격인 DTD(Document Type Definition) 문서를 기준으로 이상탐지대상을 결정하게 된다.
예를 들어, 탐지대상결정부(220)는, 문서에 대한 논리적, 물리적 구조와, 문서에서 허용되는 태그 엘리먼트 형, 각 태그 엘리먼트에 할당되어 있는 속성, 문서에 허용되는 엔티티, 및 외부 엔티티와 함께 사용되는 표기법 등의 데이터포맷을 확인하여, DTD 문서에 정의되는 기준에 부합되는 데이터포맷의 이용통계데이터만을 이상탐지대상으로서 결정할 수 있다.
그리고, 이상탐지부(230)는 이상탐지대상으로 결정된 이용통계데이터로부터 중복 통계 이상을 탐지하는 기능을 수행한다.
보다 구체적으로, 이상탐지부(230)는 이상탐지대상으로 결정된 이용통계데이터의 식별정보를 기초로 특정 정보공급사플랫폼장치(100)로부터 발행된 동일한 전자정보에 대해 중복된 이용통계데이터가 존재하는 지를 확인하여 중복 통계 이상을 확인할 수 있다.
예를 들어, 이상탐지부(230)는 특정 정보공급사플랫폼장치(100)로부터 발행된 동일한 전자정보와 관련된 이용통계데이터가 2 이상인 경우, 상기 2 이상의 이용통계데이터 중 특정 이용통계데이터 하나만을 저장함으로써, 각각의 정보공급사플랫폼장치(100) 각각에 대응하여 하나의 전자정보에 대하여 하나의 이용통계데이터만이 데이터베이스에 적재될 수 있도록 한다.
이때, 이상탐지부(230)는 상기 2 이상의 이용통계데이터 각각에 대한 통계수치정보를 확인하고, 확인된 통계수치정보가 서로 상이한 것으로 확인되는 경우, 이를, 중복 통계 이상으로서 탐지하게 된다.
또한, 이상탐지부(230)는 중복 통계 이상이 없는 이용통계데이터에 대한 통계수치정보의 이상을 탐지하는 기능을 수행할 수 있다.
보다 구체적으로, 이상탐지부(230)는 이상탐지대상을 결정된 이용통계데이터에 대해 전술한 중복 통계 이상 탐지가 완료되는 경우, 정보공급사플랫폼장치(100) 각각의 전자정보에 대해, 단위기간으로 구분되는 이상탐지기간 동안의 통계수치정보를 확인함으로써, 단위기간 대비 이상탐지기간 동안의 통계수치정보의 불일치 이상을 탐지하게 된다.
이때, 이상탐지부(230)는 단위기간별 상기 통계수치정보의 합산값이 상기 이상탐지기간 동안의 상기 통계수치정보와 일치하지 않는 것으로 확인되는 경우를 이상으로서 탐지할 수 있다.
예를 들어, 도 3 <a>에 도시한 바와 같이, 이상탐지기간을 1년으로 하고, 각각의 단위기간은 해당 년도의 매월로 결정하는 경우, 월별 통계수치정보의 합산값을 1년 동안의 전체 통계수치정보와 비교하고, 비교 결과 서로 일치하지 않는 것으로 확인되는 경우, 이를 이상으로서 탐지할 수 있다.
또한, 이상탐지부(230)는 단위기간 별로 전자정보를 이용에 적용된 이용형태정보(예: PDF or HTML)에 따라 구분되는 각각의 통계수치정보를 확인하고, 상기 단위시간 별 이용형태정보로 구분되는 각각의 상기 통계수치정보의 합산값이 이상탐지기간 동안의 통계수치정보와 일치하지 않는 것으로 확인되는 경우를 이상으로서 탐지할 수 있다.
예를 들어, 도 3 <b>에 도시한 바와 같이, 이상탐지기간을 1년으로 하고, 각각의 단위기간은 해당 년도의 매월로 결정하는 경우, 월별로 PDF 형식의 전자정보를 이용한 통계수치정보와, 이와 마찬가지로 HTML 형식의 전자정보를 이용한 통계수치정보의 합산값을 1년 동안의 전체 통계수치정보와 비교하고, 비교 결과, 서로 일치하지 않는 것으로 확인되는 경우, 이를 이상으로서 탐지할 수 있다.
또한, 이상탐지부(230)는 통계수치정보의 변동추이를 확인하여 이상을 탐지하는 기능을 수행할 수 있다.
보다 구체적으로, 이상탐지부(230)는 단위기간 별로 상기 이용형태정보에 따라 구분되는 각각의 상기 통계수치정보를 기초로 단위기간 각각에서의 상기 통계수치정보의 변동추이를 확인하며, 특정 단위기간에서의 상기 통계수치정보의 변동추이와 상기 특정 단위기간에 대해 이전에 확인된 변동추이 간의 차이가 임계치 이상인 경우를 이상으로서 탐지할 수 있다.
예를 들어, 도 3 <c>에 도시한 바와 같이, 매년 이상탐지기간을 1년으로 하고, 각각의 단위기간은 해당 년도의 매월로 결정하는 경우, 각 년도 별로 월간 통계수치정보의 변동추이를 확인한 결과, 특정 월(6월)에서의 변동추이 간 차이(증가/감소)가 임계치(예: 100배) 이상인 것이 확인되면, 해당 상태를 이상으로서 탐지할 수 있다.
한편, 이상탐지부(230)는 전술한 이상 탐지 방안 이외에, 통계수치정보와 관련하여 지정된 기준값을 기초로 이상을 탐지할 수 있다.
여기서, 통계수치정보와 관련하여 지정되는 기준값의 경우, 단위기간별 통계수치정보가 정상 범위에서 벗어나거나 특이한 이용패턴을 보이는 지를 탐지하기 위한 것으로서, 예컨대, 상기 통계수치정보의 평균값이 이에 해당될 수 있다.
즉, 이상탐지부(230)는 단위기간별 통계수치정보를 상기 지정된 기준값과 비교하여, 통계수치정보와 상기 기준값 간의 차이가 임계치 이상인 것으로 확인되면 이를 정상 범위에서 벗어나거나 특이한 이용패턴을 보이는 이상으로서 탐지하게 되는 것이다.
이때, 이상탐지부(230)는 이상 탐지에 적용되는 방안으로서는 예컨대, 일변량 이상치 탐지(Univariate outlier detection), LOF 기반 이상치 탐지(Outlier Detection with Local Outlier Factor), 클러스터링을 이용한 이상치 탐지(Outlier Detection by Clustering) 및 시계열데이터 이상치 탐지(Outlier Detection from Time Series Data) 방안이 적용될 수 있다.
여기서, 상기 일변량 이상치 탐지의 경우, 분위수 플롯을 이용해 일변량 데이터의 분포를 그래프화하고 데이터의 중심 경향에서 얼마나 떨어졌는지, 즉 사분위수 범위(Interquartile range, IQR)를 벗어난 데이터의 위치를 통해 이상치로 간주할 수 있는 데이터 값의 자동 탐지 방안을 일컫는다.
또한, 상기 LOF 기반 이상치 탐지의 경우, 수치 변수에 대해서만 적용하는 방안으로서 주변 k개의 데이터와 비교해 밀도(한 지역에 치밀하게 모여있는지)를 검사하는 방식을 일컫는다.
또한, 클러스터링을 이용한 이상치 탐지의 경우, 밀도 기반 클러스터링 기법이나 k-means 클러스터링 기법을 이용한 이상치 탐지 방안을 일컫는다.
또한, 시계열데이터 이상치 탐지의 경우에는, 시계열데이터의 특성인 추이성, 계절성, 순환성 특성을 벗어나는 데이터에 대해 STL(Seasonal-trend decomposition based on Loess)과 ARIMA(auto-regressive moving average model)를 이용하여 이상치를 탐지하는 방안을 일컫는다.
그리고, 메시지전달부(240)는 수집한 이용통계데이터로부터 이상이 탐지되면, 해당 상태를 통지하기 위한 알림메시지를 생성하여 전달하는 기능을 수행한다.
보다 구체적으로, 메시지전달부(240)는 수집된 상기 이용통계데이터가 상기 기준데이터포맷과 일치하지 않거나, 또는 상기 이상탐지대상으로 결정된 이용통계데이터로부터 전술한 바와 같은 이상이 확인되면, 해당 상태를 통지하기 위한 알림메시지(예: e-mail)를 생성하여 이를 시스템 관리자 또는 해당 정보공급사플랫폼장치(100)의 담당자에게 전달하게 된다.
이상에서 살펴본 바와 같이, 본 발명의 일 실시예에 따른 이상 자동 탐지 시스템에 따르면, 전자정보를 발행하는 다수의 정보공급사로부터 수집된 대규모의 전자정보에 대한 이용통계데이터에서 유형별 이상을 탐지하고, 탐지된 이상과 관련한 메시지를 생성 및 전달함으로써, 이용통계데이터에 대한 신뢰도와 정확성을 향상시킬 수 있다.
이하에서는 도 4 및 도 5를 참조하여, 본 발명의 일 실시예에 따른 이상 자동 탐지 방법을 설명하도록 한다. 여기서, 설명의 편의를 위해 전술한 도 1 내지 도 3에 도시된 구성은 해당 참조번호를 언급하여 설명하겠다.
우선, 도 4를 참조하여 본 발명의 일 실시예에 따른 이상 자동 탐지 시스템에서의 동작 흐름을 설명하도록 한다.
먼저, 정보공급사플랫폼장치(100)는 발행된 전자정보를 사용자가 이용할 수 있도록 사용자장치(도시안됨)에 배포하며, 전자정보에 대한 사용자의 이용 결과에 해당하는 상기 이용통계데이터를 지정된 기간마다 생성한다(S110).
그리고 나서, 이상탐지장치(200)는 각 정보공급사플랫폼장치(100)에서의 이용통계데이터 생성 주기 또는 자체 이용통계데이터 수집 주기에 따라, 다수의 정보공급사플랫폼장치(100) 각각으로부터 이용통계데이터를 수집한다(S120).
그런 다음, 이상탐지장치(200)는 수집된 이용통계데이터가 예컨대, XML(Extensible Markup Language) 데이터포맷인지 여부를 확인하고, 상기 XML 데이터포맷에서 정의된 문서 규격을 갖는 이용통계데이터만을 상기 이상탐지대상으로 결정한다(S130-S140).
다음으로, 이상탐지장치(200)는 이상탐지대상으로 결정된 이용통계데이터의 식별정보를 기초로 특정 정보공급사플랫폼장치(100)로부터 발행된 동일한 전자정보에 대해 중복된 이용통계데이터가 존재하는 경우, 하나의 이용통계데이터만을 저장함으로써, 각각의 정보공급사플랫폼장치(100) 각각에 대응하여 하나의 전자정보에 대하여 하나의 이용통계데이터만이 데이터베이스에 적재될 수 있도록 한다(S150-S170).
이때, 이상탐지장치(200)는 서로 중복된 이용통계데이터 각각에 대한 통계수치정보를 확인하게 되며, 만약, 중복된 이용통계데이터 각각이 상이한 통계수치정보를 갖는 것으로 확인되는 경우, 이를 중복 통계 이상으로서 탐지하게 된다.
그리고 나서, 이상탐지장치(200)는 이상탐지대상을 결정된 이용통계데이터에 대해 전술한 중복 통계 이상 탐지가 완료되는 경우, 정보공급사플랫폼장치(100) 각각의 전자정보에 대해, 단위기간으로 구분되는 이상탐지기간 동안의 상기 통계수치정보를 확인함으로써, 단위기간 대비 이상탐지기간 동안의 통계수치정보의 불일치 이상을 탐지한다(S180-S190).
이때, 이상탐지장치(200)는 단위기간 별로 상기 이용형태정보에 따라 구분되는 각각의 상기 통계수치정보를 기초로 단위기간 각각에서의 상기 통계수치정보의 변동추이를 확인하며, 특정 단위기간에서의 상기 통계수치정보의 변동추이가 상기 특정 단위기간에 대해 이전에 확인된 변동추이와 임계치 이상의 차이가 발생하는 경우를 이상으로서 탐지할 수 있다.
이후, 이상탐지장치(200)는 수집된 상기 이용통계데이터가 상기 기준데이터포맷과 일치하지 않거나, 또는 상기 이상탐지대상으로 결정된 이용통계데이터로부터 전술한 바와 같은 이상이 확인되면, 해당 상태를 통지하기 위한 알림메시지(예: e-mail)를 생성하여 이를 시스템 관리자 또는 해당 정보공급사플랫폼장치(100)의 담당자에게 전달하게 된다(S200-S210).
이하에서는 도 5를 참조하여 본 발명의 일 실시예에 따른 이상탐지장치(200)의 동작 방법을 구체적으로 설명하도록 한다.
먼저, 데이터수집부(210)는 각 정보공급사플랫폼장치(100)에서의 이용통계데이터 생성 주기 또는 자체 이용통계데이터 수집 주기에 따라, 다수의 정보공급사플랫폼장치(100) 각각으로부터 이용통계데이터를 수집한다(S310).
이때, 다수의 정보공급사플랫폼장치(100) 각각에서는, 전자정보를 사용자가 이용할 수 있도록 사용자장치(도시안됨)에 배포하며, 전자정보에 대한 사용자의 이용 결과에 해당하는 상기 이용통계데이터를 지정된 기간마다 생성함으로써, 수집할 수 있도록 한다.
그리고 나서, 탐지대상결정부(220)는 수집된 이용통계데이터가 XML(Extensible Markup Language) 데이터포맷인지 여부를 확인하고, 상기 XML 데이터포맷에서 정의된 문서 규격을 갖는 이용통계데이터만을 상기 이상탐지대상으로 결정한다(S320-S340).
이때, 탐지대상결정부(220)는 예컨대, XML 데이터포맷에서 정의된 문서 규격인 DTD(Document Type Definition) 문서를 기준으로 이상탐지대상을 결정하게 된다.
예를 들어, 탐지대상결정부(220)는, 문서에 대한 논리적, 물리적 구조와, 문서에서 허용되는 태그 엘리먼트 형, 각 태그 엘리먼트에 할당되어 있는 속성, 문서에 허용되는 엔티티, 및 외부 엔티티와 함께 사용되는 표기법 등의 데이터포맷을 확인하여, DTD 문서에 정의되는 기준에 부합되는 데이터포맷의 이용통계데이터만을 이상탐지대상으로서 결정할 수 있다.
그런 다음, 이상탐지부(230)는 이상탐지대상으로 결정된 이용통계데이터의 식별정보를 기초로 특정 정보공급사플랫폼장치(100)로부터 발행된 동일한 전자정보에 대해 중복된 이용통계데이터가 존재하는 지를 확인함으로써, 중복 통계 이상을 확인한다(S350).
이때, 이상탐지부(230)는 특정 정보공급사플랫폼장치(100)로부터 발행된 동일한 전자정보와 관련된 이용통계데이터가 2 이상인 경우, 상기 2 이상의 이용통계데이터 중 특정 이용통계데이터 하나만을 저장함으로써, 각각의 정보공급사플랫폼장치(100) 각각에 대응하여 하나의 전자정보에 대하여 하나의 이용통계데이터만이 데이터베이스에 적재될 수 있도록 한다(S360-S380).
여기서, 이상탐지부(230)는 상기 2 이상의 이용통계데이터 각각에 대한 통계수치정보를 확인하고, 확인된 통계수치정보가 서로 상이한 것으로 확인되는 경우, 이를, 중복 통계 이상으로서 탐지하게 된다.
다음으로, 이상탐지부(230)는 이상탐지대상을 결정된 이용통계데이터에 대해 전술한 중복 통계 이상 탐지가 완료되는 경우, 정보공급사플랫폼장치(100) 각각의 전자정보에 대해, 단위기간으로 구분되는 이상탐지기간 동안의 통계수치정보를 확인함으로써, 단위기간 대비 이상탐지기간 동안의 통계수치정보의 불일치 이상을 탐지한다(S390).
이때, 이상탐지부(230)는 단위기간별 상기 통계수치정보의 합산값(b)이 상기 이상탐지기간 동안의 상기 통계수치정보(a)와 일치하지 않는 것으로 확인되는 경우를 이상으로서 탐지하게 된다.
또한, 이상탐지부(230)는 단위기간 별로 상기 이용형태정보에 따라 구분되는 각각의 상기 통계수치정보를 확인하며, 상기 단위시간 별 상기 이용형태정보(PDF or HTML)로 구분되는 각각의 상기 통계수치정보의 합산값(c)이 이상탐지기간 동안의 통계수치정보(a)와 일치하지 않는 것으로 확인되는 경우를 이상으로서 탐지하게 된다.
아울러, 이상탐지부(230)는 단위기간 별로 상기 이용형태정보에 따라 구분되는 각각의 상기 통계수치정보를 기초로 단위기간 각각에서의 상기 통계수치정보의 변동추이를 확인하며, 특정 단위기간에서의 상기 통계수치정보의 변동추이(D)가 상기 특정 단위기간에 대해 이전에 확인된 변동추이(E)와 임계치 이상의 차이가 발생하는 경우를 이상으로서 탐지하게 된다.
한편, 이상탐지부(230)는 단위기간별 통계수치정보를 통계수치정보와 관련하여 지정되는 기준값과 비교하여, 통계수치정보와 상기 기준값 간의 차이가 임계치 이상인 것으로 확인되면 이를 정상 범위에서 벗어나거나 특이한 이용패턴을 보이는 이상으로서 탐지할 수 있다.
이후, 메시지전달부(240)는 수집된 상기 이용통계데이터가 상기 기준데이터포맷과 일치하지 않거나, 또는 상기 이상탐지대상으로 결정된 이용통계데이터로부터 전술한 바와 같은 이상이 확인되면, 해당 상태를 통지하기 위한 알림메시지(예: e-mail)를 생성하여 이를 시스템 관리자 또는 해당 정보공급사플랫폼장치(100)의 담당자에게 전달하게 된다(S430).
이상에서 살펴본 바와 같이, 본 발명의 일 실시예에 따른 이상 자동 탐지 방법에 따르면, 전자정보를 발행하는 다수의 정보공급사로부터 수집된 대규모의 전자정보에 대한 이용통계데이터에서 유형별 이상을 탐지하고, 탐지된 이상과 관련한 메시지를 생성 및 전달함으로써, 이용통계데이터에 대한 신뢰도와 정확성을 향상시킬 수 있다.
한편, 여기에 제시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 프로세서에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다.　 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드 디스크, 이동식 디스크, CD-ROM, 또는 기술적으로 공지된 임의의 다른 형태의 저장 매체에 상주할 수 있다.　 예시적인 저장 매체는 프로세서와 연결되며, 그 결과 프로세서는 저장 매체로부터 정보를 판독하고 저장 매체로 정보를 기록할 수 있다.　 대안적으로, 저장 매체는 프로세서로 통합될 수 있다.　 프로세서 및 저장 매체는 ASIC 내에 포함될 수 있다.　 ASIC은 사용자단말장치 내에 포함될 수 있다.　 대안적으로, 프로세서 및 저장 매체는 사용자단말장치 내에 개별적인 컴포넌트들로서 포함될 수 있다.
지금까지 본 발명을 바람직한 실시 예를 참조하여 상세히 설명하였지만, 본 발명이 상기한 실시 예에 한정되는 것은 아니며, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 또는 수정이 가능한 범위까지 본 발명의 기술적 사상이 미친다 할 것이다.
본 발명에 일 실시예에 따른 이용통계데이터의 이상 자동 탐지 시스템 및 그 방법 그리고 이에 적용되는 장치에 따르면, 전자정보를 발행하는 다수의 정보공급사로부터 수집된 대규모의 전자정보에 대한 이용통계데이터에서 유형별 이상을 탐지하여 탐지된 이상과 관련한 메시지를 관리자에게 전달한다는 점에서, 기존 기술의 한계를 뛰어 넘음에 따라 관련 기술에 대한 이용만이 아닌 적용되는 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.

Claims (20)

  1. 전자정보의 이용과 관련된 이용통계데이터를 각각 생성하는 다수의 정보공급사플랫폼장치; 및
    상기 다수의 정보공급사플랫폼장치로부터 전자정보의 이용과 관련된 이용통계데이터를 수집하여, 수집된 상기 이용통계데이터 중에서 기준데이터포맷과 일치하는 이용통계데이터만을 이상탐지대상으로 결정하고, 상기 이상탐지대상으로 결정된 이용통계데이터로부터 기 지정된 유형별 이상을 탐지하여 탐지된 상기 유형별 이상을 통지하기 위한 알림메시지를 생성하는 이상탐지장치를 포함하는 것을 특징으로 하는 이상 자동 탐지 시스템.
  2. 각각의 전자정보를 발행하는 다수의 정보공급사플랫폼장치로부터 수집된 전자정보의 이용과 관련된 이용통계데이터 중에서 기준데이터포맷과 일치하는 이용통계데이터만을 이상탐지대상으로 결정하는 탐지대상결정부; 및
    상기 이상탐지대상으로 결정된 이용통계데이터로부터 기 지정된 유형별 이상을 탐지하여 탐지된 유형별 이상이 통지되도록 하는 이상탐지부를 포함하는 것을 특징으로 하는 이상탐지장치.
  3. 제 2 항에 있어서,
    상기 이상탐지장치는,
    상기 수집된 이용통계데이터가 상기 기준데이터포맷과 일치하지 않거나, 또는 상기 이상탐지대상으로 결정된 이용통계데이터로부터 상기 유형별 이상이 확인되면, 해당 상태를 통지하기 위한 알림메시지를 생성하여 해당 정보공급사플랫폼장치에 전달하는 메시지전달부를 더 포함하는 것을 특징으로 하는 이상탐지장치.
  4. 제 2 항에 있어서,
    상기 기준데이터포맷에는,
    XML(Extensible Markup Language) 데이터포맷이 포함되며,
    상기 탐지대상결정부는,
    상기 XML 데이터포맷에서 정의된 문서 규격을 갖는 이용통계데이터만을 상기 이상탐지대상으로 결정하는 것을 특징으로 하는 이상탐지장치.
  5. 제 2 항에 있어서,
    상기 이용통계데이터에는,
    상기 다수의 정보공급사플랫폼장치로부터 수집되는 각각의 전자정보의 이용통계데이터를 구분하기 위한 식별정보, 각각의 전자정보의 이용에 대한 통계수치정보, 및 각각의 전자정보에 대한 사용자의 이용 형태를 구분하기 위한 이용형태정보 중 적어도 하나가 포함되는 것을 특징으로 하는 이상탐지장치.
  6. 제 5 항에 있어서,
    상기 이상탐지부는,
    상기 식별정보를 기초로 특정 정보공급사플랫폼장치로부터 수집된 전자정보에 대하여 2 이상의 이용통계데이터가 존재하는지 여부를 확인하고, 상기 2 이상의 이용통계데이터가 존재하는 것으로 확인되면, 상기 2 이상의 이용통계데이터 각각에 대한 상기 통계수치정보를 확인하여, 상기 2 이상의 이용통계데이터 각각의 상기 통계수치정보가 서로 상이한 것으로 확인되는 경우를 상기 유형별 이상 중 하나로서 탐지하는 것을 특징으로 하는 이상탐지장치.
  7. 제 6 항에 있어서,
    상기 유형별 이상은,
    2 이상의 단위기간이 포함되도록 지정된 이상탐지기간을 기초로 탐지되며,
    상기 이상탐지부는,
    상기 2 이상의 단위기간 각각에서의 상기 통계수치정보의 합산값과, 상기 이상탐지기간 동안의 상기 통계수치정보가 서로 일치하는지 여부를 확인하여, 서로 일치하지 않는 것으로 확인되는 경우를 상기 유형별 이상으로서 탐지하는 것을 특징으로 하는 이상탐지장치.
  8. 제 7 항에 있어서,
    상기 2 이상의 단위기간에서의 상기 통계수치정보는,
    상기 이용형태정보를 기초로 구분되며,
    상기 이상탐지부는,
    상기 2 이상의 단위기간 각각에서의 상기 이용형태정보를 기초로 구분되는 통계수치정보의 각각의 합산값과, 상기 이상탐지기간 동안의 상기 통계수치정보가 서로 일치하는지 여부를 확인하여, 서로 일치하지 않는 것으로 확인되는 경우를 상기 유형별 이상으로서 탐지하는 것을 특징으로 하는 이상탐지장치.
  9. 제 7 항에 있어서,
    상기 유형별 이상은,
    상기 2 이상의 단위기간 각각에서의 상기 통계수치정보의 변동추이를 기초로 탐지되며,
    상기 이상탐지부는,
    2 이상의 상기 이상탐지기간 각각에 대하여 상기 2 이상의 단위기간에서의 상기 통계수치정보의 변동추이 간의 차이를 확인하며, 상기 2 이상의 단위기간 중 특정 단위기간에서의 상기 통계수치정보의 변동추이 간의 차이가 임계치 이상인 것으로 확인되는 경우를 상기 유형별 이상으로서 탐지하는 것을 특징으로 하는 이상탐지장치.
  10. 제 7 항에 있어서,
    상기 유형별 이상은,
    상기 2 이상의 단위기간 각각에서의 상기 통계수치정보와 관련하여 지정된 기준값을 기초로 탐지되며,
    상기 이상탐지부는,
    상기 2 이상의 단위기간에서의 상기 통계수치정보와 상기 기준값 간의 차이를 확인하여, 상기 통계수치정보와 상기 기준값 간의 차이가 임계치 이상인 것으로 확인되는 경우를 상기 유형별 이상으로서 탐지하는 것을 특징으로 하는 이상탐지장치.
  11. 다수의 정보공급사플랫폼장치 각각이 전자정보의 이용과 관련된 이용통계데이터를 각각 생성하는 데이터생성단계;
    이상탐지장치가 상기 다수의 정보공급사플랫폼장치로부터 전자정보의 이용과 관련된 이용통계데이터를 수집하는 데이터수집단계;
    상기 이상탐지장치가 수집된 상기 이용통계데이터 중에서 기준데이터포맷과 일치하는 이용통계데이터만을 이상탐지대상으로 결정하는 탐지대상결정단계;
    상기 이상탐지장치가 상기 이상탐지대상으로 결정된 이용통계데이터로부터 기 지정된 유형별 이상을 탐지하는 이상탐지단계; 및
    상기 이상탐지장치가 탐지된 상기 유형별 이상을 통지하기 위한 알림메시지를 생성하는 메시지생성단계를 포함하는 것을 특징으로 하는 이상 자동 탐지 방법.
  12. 각각의 전자정보를 발행하는 다수의 정보공급사플랫폼장치로부터 전자정보의 이용과 관련된 이용통계데이터를 수집하는 데이터수집단계;
    상기 수집된 이용통계데이터 중에서 기준데이터포맷과 일치하는 이용통계데이터만을 이상탐지대상으로 결정하는 탐지대상결정단계; 및
    상기 이상탐지대상으로 결정된 이용통계데이터로부터 기 지정된 유형별 이상을 탐지하는 이상탐지단계를 포함하는 것을 특징으로 하는 이상탐지장치의 동작 방법.
  13. 제 12 항에 있어서,
    상기 방법은,
    상기 수집된 이용통계데이터가 상기 기준데이터포맷과 일치하지 않거나, 또는 상기 이상탐지대상으로 결정된 이용통계데이터로부터 상기 유형별 이상이 확인되면, 해당 상태를 통지하기 위한 알림메시지를 생성하여 해당 정보공급사플랫폼장치에 전달하는 메시지전달단계를 더 포함하는 것을 특징으로 하는 이상탐지장치의 동작 방법.
  14. 제 12 항에 있어서,
    상기 기준데이터포맷에는,
    XML(Extensible Markup Language) 데이터포맷이 포함되며,
    상기 탐지대상결정단계는,
    상기 XML 데이터포맷에서 정의된 문서 규격을 갖는 이용통계데이터만을 상기 이상탐지대상으로 결정하는 것을 특징으로 하는 이상탐지장치의 동작 방법.
  15. 제 12 항에 있어서,
    상기 이용통계데이터에는,
    상기 다수의 정보공급사플랫폼장치로부터 수집되는 각각의 전자정보의 이용통계데이터를 구분하기 위한 식별정보, 각각의 전자정보의 이용에 대한 통계수치정보, 및 각각의 전자정보에 대한 사용자의 이용 형태를 구분하기 위한 이용형태정보 중 적어도 하나가 포함되는 것을 특징으로 하는 이상탐지장치의 동작 방법.
  16. 제 15 항에 있어서,
    상기 이상탐지단계는,
    상기 식별정보를 기초로 특정 정보공급사플랫폼장치로부터 수집된 전자정보에 대하여 2 이상의 이용통계데이터가 존재하는지 여부를 확인하고, 상기 2 이상의 이용통계데이터가 존재하는 것으로 확인되면, 상기 2 이상의 이용통계데이터 각각에 대한 상기 통계수치정보를 확인하여, 상기 2 이상의 이용통계데이터 각각의 상기 통계수치정보가 서로 상이한 것으로 확인되는 경우를 상기 유형별 이상 중 하나로서 탐지하는 것을 특징으로 하는 이상탐지장치의 동작 방법.
  17. 제 16 항에 있어서,
    상기 유형별 이상은,
    2 이상의 단위기간이 포함되도록 지정된 이상탐지기간을 기초로 탐지되며,
    상기 이상탐지단계는,
    상기 2 이상의 단위기간 각각에서의 상기 통계수치정보의 합산값과, 상기 이상탐지기간 동안의 상기 통계수치정보가 서로 일치하는지 여부를 확인하여, 서로 일치하지 않는 것으로 확인되는 경우를 상기 유형별 이상으로서 탐지하는 것을 특징으로 하는 이상탐지장치의 동작 방법.
  18. 제 17 항에 있어서,
    상기 2 이상의 단위기간에서의 상기 통계수치정보는,
    상기 이용형태정보를 기초로 구분되며,
    상기 이상탐지단계는,
    상기 2 이상의 단위기간 각각에서의 상기 이용형태정보를 기초로 구분되는 통계수치정보의 각각의 합산값과, 상기 이상탐지기간 동안의 상기 통계수치정보가 서로 일치하는지 여부를 확인하여, 서로 일치하지 않는 것으로 확인되는 경우를 상기 유형별 이상으로서 탐지하는 것을 특징으로 하는 이상탐지장치의 동작 방법.
  19. 제 17 항에 있어서,
    상기 유형별 이상은,
    상기 2 이상의 단위기간 각각에서의 상기 통계수치정보의 변동추이를 기초로 탐지되며,
    상기 이상탐지단계는,
    2 이상의 상기 이상탐지기간 각각에 대하여, 상기 2 이상의 단위기간에서의 상기 통계수치정보의 변동추이 간의 차이를 확인하며, 상기 2 이상의 단위기간 중 특정 단위기간에서의 상기 통계수치정보의 변동추이 간의 차이가 임계치 이상인 것으로 확인되는 경우를 상기 유형별 이상으로서 탐지하는 것을 특징으로 하는 이상탐지장치의 동작 방법.
  20. 제 17 항에 있어서,
    상기 유형별 이상은,
    상기 2 이상의 단위기간 각각에서의 상기 통계수치정보와 관련하여 지정된 기준값을 기초로 탐지되며,
    상기 이상탐지단계는,
    상기 2 이상의 단위기간에서의 상기 통계수치정보와 상기 기준값 간의 차이를 확인하여, 상기 통계수치정보와 상기 기준값 간의 차이가 임계치 이상인 것으로 확인되는 경우를 상기 유형별 이상으로서 탐지하는 것을 특징으로 하는 이상탐지장치의 동작 방법.
PCT/KR2013/011519 2012-12-24 2013-12-12 이용통계데이터의 이상 자동 탐지 시스템 및 그 방법 그리고 이에 적용되는 장치 WO2014104622A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/396,437 US9672242B2 (en) 2012-12-24 2013-12-12 System for automatically detecting abnormalities statistical data on usage, method therefor, and apparatus applied to same
KR1020147030103A KR101557854B1 (ko) 2012-12-24 2013-12-12 이용통계데이터의 이상 자동 탐지 시스템 및 그 방법 그리고 이에 적용되는 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0151949 2012-12-24
KR20120151949 2012-12-24

Publications (1)

Publication Number Publication Date
WO2014104622A1 true WO2014104622A1 (ko) 2014-07-03

Family

ID=51021613

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/011519 WO2014104622A1 (ko) 2012-12-24 2013-12-12 이용통계데이터의 이상 자동 탐지 시스템 및 그 방법 그리고 이에 적용되는 장치

Country Status (3)

Country Link
US (1) US9672242B2 (ko)
KR (1) KR101557854B1 (ko)
WO (1) WO2014104622A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488061A (zh) * 2014-09-18 2016-04-13 阿里巴巴集团控股有限公司 一种验证数据有效性的方法及装置
CN108628721A (zh) * 2018-05-02 2018-10-09 腾讯科技（上海）有限公司 用户数据值的异常检测方法、装置、存储介质及电子装置
CN111527478A (zh) * 2017-10-13 2020-08-11 华为技术有限公司 云设备协同实时用户体验和性能异常检测的系统和方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11086948B2 (en) 2019-08-22 2021-08-10 Yandex Europe Ag Method and system for determining abnormal crowd-sourced label
US11710137B2 (en) 2019-08-23 2023-07-25 Yandex Europe Ag Method and system for identifying electronic devices of genuine customers of organizations
US11108802B2 (en) 2019-09-05 2021-08-31 Yandex Europe Ag Method of and system for identifying abnormal site visits
RU2757007C2 (ru) 2019-09-05 2021-10-08 Общество С Ограниченной Ответственностью «Яндекс» Способ и система для определения вредоносных действий определенного вида
US11128645B2 (en) 2019-09-09 2021-09-21 Yandex Europe Ag Method and system for detecting fraudulent access to web resource
US11334559B2 (en) 2019-09-09 2022-05-17 Yandex Europe Ag Method of and system for identifying abnormal rating activity
RU2752241C2 (ru) 2019-12-25 2021-07-23 Общество С Ограниченной Ответственностью «Яндекс» Способ и система для выявления вредоносной активности предопределенного типа в локальной сети
KR102362582B1 (ko) * 2020-12-31 2022-02-15 렉스소프트 주식회사 통계 데이터 전처리 방법, 서버 및 컴퓨터 판독가능매체

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010045473A (ko) * 1999-11-05 2001-06-05 이계철 무선통신 시스템에서의 통계 데이터 축적을 통한 오류검증 방법
KR20060024092A (ko) * 2004-09-13 2006-03-16 주식회사 케이티 아이피 망에서의 과금 자료 검증 장치 및 방법
JP2012068928A (ja) * 2010-09-24 2012-04-05 Toshiba Corp 情報監視システムおよび情報監視方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7305360B1 (en) * 2000-10-25 2007-12-04 Thomson Financial Inc. Electronic sales system
US7103452B2 (en) * 2003-12-29 2006-09-05 Theodora Retsina Method and system for targeting and monitoring the energy performance of manufacturing facilities
JP2006172313A (ja) * 2004-12-17 2006-06-29 Fuji Electric Systems Co Ltd データチェック管理方法およびプログラム
WO2008128068A1 (en) * 2007-04-13 2008-10-23 Opus Iii System and method for providing packaged programming to electronic media players
US8751414B2 (en) * 2011-05-04 2014-06-10 International Business Machines Corporation Identifying abnormalities in resource usage

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010045473A (ko) * 1999-11-05 2001-06-05 이계철 무선통신 시스템에서의 통계 데이터 축적을 통한 오류검증 방법
KR20060024092A (ko) * 2004-09-13 2006-03-16 주식회사 케이티 아이피 망에서의 과금 자료 검증 장치 및 방법
JP2012068928A (ja) * 2010-09-24 2012-04-05 Toshiba Corp 情報監視システムおよび情報監視方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488061A (zh) * 2014-09-18 2016-04-13 阿里巴巴集团控股有限公司 一种验证数据有效性的方法及装置
CN105488061B (zh) * 2014-09-18 2019-08-09 阿里巴巴集团控股有限公司 一种验证数据有效性的方法及装置
CN111527478A (zh) * 2017-10-13 2020-08-11 华为技术有限公司 云设备协同实时用户体验和性能异常检测的系统和方法
CN108628721A (zh) * 2018-05-02 2018-10-09 腾讯科技（上海）有限公司 用户数据值的异常检测方法、装置、存储介质及电子装置

Also Published As

Publication number Publication date
US20150106340A1 (en) 2015-04-16
KR20140147113A (ko) 2014-12-29
KR101557854B1 (ko) 2015-10-07
US9672242B2 (en) 2017-06-06

Similar Documents

Publication Publication Date Title
WO2014104622A1 (ko) 이용통계데이터의 이상 자동 탐지 시스템 및 그 방법 그리고 이에 적용되는 장치
WO2020015067A1 (zh) 数据采集方法、装置、设备及存储介质
US20130111459A1 (en) Delivery system and management method thereof
CN111736875A (zh) 版本更新监控方法、装置、设备及计算机存储介质
CN113561656B (zh) 印刷车间生产工艺质量监控和追溯的方法、系统以及设备
WO2015088066A1 (ko) 소프트웨어 품질 평가 모듈과 방법 및 소프트웨어 품질 평가 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
WO2017150791A2 (ko) 디지털 콘텐츠 모니터링 시스템 및 그 처리 방법
WO2021027143A1 (zh) 信息推送方法、装置、设备及计算机可读存储介质
WO2011065660A4 (ko) 계산 시뮬레이션 모사 시스템 및 그 방법
JP2004145715A (ja) コンピュータの保守システムおよび保守方法
JP2006059108A (ja) 情報システム開発試験支援システム
WO2020143296A1 (zh) 数据采集方法、装置、设备及计算机可读存储介质
WO2019225869A1 (ko) 판매 지원 마케팅 시스템
WO2020091477A1 (ko) 지능형 정보시스템 운영 성과 측정 방법
CN101512450B (zh) 数据记录装置
WO2020235898A1 (ko) 크라우드 소싱 기반 프로젝트의 작업 단가 측정 방법
JP5380386B2 (ja) 機器情報管理システム及び方法
WO2020062645A1 (zh) 基于数据分析的定价方法、设备、存储介质及装置
WO2022092689A1 (ko) 고객 응대 통합 관리 방법 및 이를 실행하는 서버
WO2021054530A1 (ko) 마케터의 마케팅 캠페인에 대한 성과 측정 시스템 및 방법
WO2023008894A1 (ko) 인공지능 에이전트 기반의 유해 컨텐츠 차단 서비스 플랫폼장치
EP3798955A1 (en) Management of tickets and resolution processes for an industrial automation environment
JP2010092367A (ja) トレース情報取得システム、およびトレース情報取得方法
JP2007264937A (ja) プログラム移送制御システムと方法およびプログラム
JP4451021B2 (ja) 折機械の群管理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13867437

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14396437

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20147030103

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13867437

Country of ref document: EP

Kind code of ref document: A1