KR20180005042A - Cloud-based apparatus and mehtod for processing data, and cloud-based user device for receiving data process service - Google Patents

Cloud-based apparatus and mehtod for processing data, and cloud-based user device for receiving data process service Download PDF

Info

Publication number
KR20180005042A
KR20180005042A KR1020160084936A KR20160084936A KR20180005042A KR 20180005042 A KR20180005042 A KR 20180005042A KR 1020160084936 A KR1020160084936 A KR 1020160084936A KR 20160084936 A KR20160084936 A KR 20160084936A KR 20180005042 A KR20180005042 A KR 20180005042A
Authority
KR
South Korea
Prior art keywords
log data
unit
task performing
performing unit
user terminal
Prior art date
Application number
KR1020160084936A
Other languages
Korean (ko)
Other versions
KR102128389B1 (en
Inventor
김기현
김현숙
박수호
손단영
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020160084936A priority Critical patent/KR102128389B1/en
Publication of KR20180005042A publication Critical patent/KR20180005042A/en
Application granted granted Critical
Publication of KR102128389B1 publication Critical patent/KR102128389B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1858—Parallel file systems, i.e. file systems supporting multiple processors
    • G06F17/30224—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/81—Indexing, e.g. XML tags; Data structures therefor; Storage structures
    • G06F17/30038—
    • G06F17/30289—
    • G06F17/30911—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Debugging And Monitoring (AREA)

Abstract

The cloud-based data processing apparatus comprises: a collection part collecting log data generated in a plurality of user terminals; a tagging part tagging the collected log data based on a preset tag identifier; a work management part determining the volume of the log data, generating at least one virtual machine based on the determined volume of the log data, and generating at least one map task performance part and at least one reduced task performance part to allocate the same to the virtual machine; and an allocation part allocating the log data to at least one map task performance part and allocating the log data processed by the map task performance part to at least one reduced task performance part. The map task performance part and the reduced task performance part are configured to perform a parallel distribution process of the log data based on the tagged tag identifier. According to the present invention, it is possible to automatically perform the parallel distribution process of the log data.

Description

클라우드 기반의 데이터 처리 장치, 방법 및 클라우드 기반의 데이터 처리 서비스를 제공받는 사용자 단말{CLOUD-BASED APPARATUS AND MEHTOD FOR PROCESSING DATA, AND CLOUD-BASED USER DEVICE FOR RECEIVING DATA PROCESS SERVICE}CLAUD-BASED APPARATUS AND MEHTOD FOR PROCESSING DATA, AND CLOUD-BASED USER DEVICE FOR RECEIVING DATA PROCESS SERVICE <br> <br> <br> Patents - stay tuned to the technology CLOUD-BASED APPARATUS AND MEHTOD FOR PROCESSING DATA,

본 발명은 클라우드 기반의 데이터 처리 장치, 방법 및 클라우드 기반의 데이터 처리 서비스를 제공받는 사용자 단말에 관한 것이다. The present invention relates to a cloud-based data processing apparatus, a method, and a user terminal provided with a cloud-based data processing service.

클라우드 컴퓨팅(Cloud Computing)이란 인터넷 기반으로 사용자가 필요한 소프트웨어를 자신의 컴퓨터에 설치하지 않고도 인터넷 접속을 통해 언제든 사용할 수 있고, 동시에 각종 정보통신 기기로 데이터를 손쉽게 공유할 수 있는 사용 환경을 말한다. 클라우드 컴퓨팅은 빅데이터의 처리를 위해 이용될 수 있고, 빅데이터의 처리를 위해서는 다수의 서버를 통한 분산 처리가 필수적이다. Cloud Computing refers to the environment in which users can use the Internet at any time without having to install the necessary software on their computers and easily share the data with various information and communication devices at the same time. Cloud computing can be used to process big data, and distributed processing through multiple servers is essential for processing big data.

이러한 클라우드 컴퓨팅 환경에서 데이터를 분산 처리하는 기술과 관련하여, 선행기술인 한국등록특허 제 10-1195123호는 클라우드 컴퓨팅 네트워크 시스템 및 그것의 파일 분산 방법에 대해 개시하고 있다. With respect to the technology for distributing data in such a cloud computing environment, Korean Patent Registration No. 10-1195123 discloses a cloud computing network system and a method for distributing the file.

클라우드 컴퓨팅 환경에서 데이터의 분산 병렬 처리를 수행하기 위해서는 많은 비용과 시간이 소요된다. 따라서, 데이터의 분산 처리에 필요한 작업을 자동화함으로써, 편의성을 제공할 수 있는 방안이 요구되고 있다. Distributed parallel processing of data in a cloud computing environment is expensive and time consuming. Accordingly, there is a demand for a method for providing convenience by automating a job required for distributed processing of data.

대규모 로그 데이터의 군집화에 소요되는 시간과 비용을 단축시킬 수 있는 클라우드 기반의 데이터 처리 장치, 방법 및 클라우드 기반의 데이터 처리 서비스를 제공받는 사용자 단말을 제공하고자 한다. 또한, 맵리듀스를 사용함으로써, 로그 데이터의 분산 병렬 처리를 자동으로 실행시킬 수 있도록 하는 클라우드 기반의 데이터 처리 장치, 방법 및 클라우드 기반의 데이터 처리 서비스를 제공받는 사용자 단말을 제공하고자 한다. 시청자의 시청 패턴에 기초하여 사용자 맞춤형 미디어 콘텐츠 추천 서비스를 제공할 수 있는 클라우드 기반의 데이터 처리 장치, 방법 및 클라우드 기반의 데이터 처리 서비스를 제공받는 사용자 단말을 제공하고자 한다. 군집화된 로그 데이터에 기초하여 고속 로그 검색 기능을 제공하는 클라우드 기반의 데이터 처리 장치, 방법 및 클라우드 기반의 데이터 처리 서비스를 제공받는 사용자 단말을 제공하고자 한다. 미디어 서비스의 이용 중에 발생되는 장애를 로그 데이터 기반으로 분석할 수 있는 클라우드 기반의 데이터 처리 장치, 방법 및 클라우드 기반의 데이터 처리 서비스를 제공받는 사용자 단말을 제공하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.A cloud-based data processing apparatus and method capable of shortening the time and cost required for clustering large-scale log data, and a user terminal provided with a cloud-based data processing service. The present invention also provides a cloud-based data processing apparatus and method, and a user terminal provided with a cloud-based data processing service, which enable distributed parallel processing of log data to be automatically executed by using MapReduce. A cloud-based data processing apparatus and method capable of providing a user-customized media content recommendation service based on a viewer's viewing pattern, and a user terminal provided with a cloud-based data processing service. A cloud-based data processing apparatus and method for providing a high-speed log search function based on clustering log data, and a user terminal provided with a cloud-based data processing service. A cloud-based data processing apparatus and method capable of analyzing a failure occurring during use of a media service based on log data, and a user terminal provided with a cloud-based data processing service. It is to be understood, however, that the technical scope of the present invention is not limited to the above-described technical problems, and other technical problems may exist.

상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 복수의 사용자 단말에서 발생된 로그 데이터를 수집하는 수집부, 상기 수집된 로그 데이터를 기설정된 태그 식별자에 기초하여 태깅(tagging)하는 태깅부, 상기 로그 데이터의 규모를 판단하고, 상기 판단된 로그 데이터의 규모에 기초하여 적어도 하나 이상의 가상 머신을 생성하고, 상기 가상 머신에 적어도 하나 이상의 맵 태스크 수행부 및 리듀스 태스크 수행부를 생성하여 할당하는 작업 관리부 및 상기 적어도 하나 이상의 맵 태스크 수행부로 상기 로그 데이터를 할당하고, 상기 적어도 하나 이상의 리듀스 태스크 수행부로 상기 맵 태스크 수행부에 의해 처리된 로그 데이터를 할당하는 할당부를 포함하고, 상기 맵 태스크 수행부 및 상기 리듀스 태스크 수행부는 상기 태깅된 태그 식별자에 기초하여 상기 로그 데이터를 분산 병렬 처리하도록 구성되는 것인 데이터 처리 장치를 제공할 수 있다. According to an aspect of the present invention, there is provided an information processing apparatus including a collecting unit for collecting log data generated in a plurality of user terminals, a tagging unit for collecting the collected log data based on a predetermined tag identifier, ), A tagging unit for determining a size of the log data, generating at least one virtual machine based on the determined size of the log data, and at least one map task performing unit and a reducing task performing unit And an allocation unit allocating the log data to the at least one map task performing unit and allocating the log data processed by the map task performing unit to the at least one or more redundancy task performing unit, Wherein the map task performing unit and the reduction task performing unit perform the tagging Can provide the basis of the tag identifier is configured to distributed parallel processing the log data, the data processing apparatus.

본 발명의 다른 실시예는, 키 이벤트를 입력받는 입력부, 상기 키 이벤트에 대한 로그 데이터를 생성하는 생성부, 상기 생성된 로그 데이터를 데이터 처리 장치로 전송하는 전송부 및 상기 데이터 처리 장치에 의해 분산 병렬 처리된 상기 로그 데이터를 기반으로 하는 미디어 서비스를 제공받는 서비스 제공부를 포함하고, 상기 전송된 로그 데이터는 상기 데이터 처리 장치에 의해 설정된 태그 식별자에 기초하여 태깅(tagging)되고, 상기 로그 데이터의 규모가 판단되고, 상기 판단된 로그 데이터의 규모에 기초하여 적어도 하나 이상의 가상 머신이 생성되고, 상기 가상 머신에 적어도 하나 이상의 맵 태스크 수행부 및 리듀스 태스크 수행부가 생성되어 할당되고, 상기 맵 태스크 수행부 및 상기 리듀스 태스크 수행부는 상기 태깅된 태그 식별자에 기초하여 상기 로그 데이터를 분산 병렬 처리하도록 구성되는 것인 사용자 단말을 제공할 수 있다. According to another aspect of the present invention, there is provided an information processing apparatus including an input unit for receiving a key event, a generating unit for generating log data for the key event, a transmitting unit for transmitting the generated log data to the data processing device, And a service providing unit for receiving a media service based on the log data processed in parallel, wherein the transmitted log data is tagged based on a tag identifier set by the data processing apparatus, At least one virtual machine is created based on the determined size of the log data, at least one map task performing unit and a redundancy task performing unit are created and allocated to the virtual machine, and the map task performing unit And the redundancy task performing unit is configured to perform, based on the tagged tag identifier, Wherein the log data is distributed and processed in parallel.

본 발명의 또 다른 실시예는, 복수의 사용자 단말에서 발생된 로그 데이터를 수집하는 단계, 상기 수집된 로그 데이터를 기설정된 태그 식별자에 기초하여 태깅(tagging)하는 단계, 상기 로그 데이터의 규모를 판단하는 단계, 상기 판단된 로그 데이터의 규모에 기초하여 적어도 하나 이상의 가상 머신을 생성하는 단계, 상기 가상 머신에 적어도 하나 이상의 맵 태스크 수행부 및 리듀스 태스크 수행부를 생성하여 할당하는 단계, 상기 적어도 하나 이상의 맵 태스크 수행부로 상기 로그 데이터를 할당하고, 상기 적어도 하나 이상의 리듀스 태스크 수행부로 상기 맵 태스크 수행부에 의해 처리된 로그 데이터를 할당하는 단계 및 상기 태깅된 태그 식별자에 기초하여 상기 로그 데이터를 분산 병렬 처리하는 단계를 포함하는 것인 데이터 처리 방법을 제공할 수 있다. According to another embodiment of the present invention, there is provided a method of managing log data, comprising: collecting log data generated by a plurality of user terminals; tagging the collected log data based on a predetermined tag identifier; Generating at least one map task execution unit and a redundancy task execution unit in the virtual machine based on the determined size of the log data, Assigning the log data to a map task performing unit and assigning log data processed by the map task performing unit to the at least one or more redundancy task performing unit; And a data processing method comprising the steps of: .

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.The above-described task solution is merely exemplary and should not be construed as limiting the present invention. In addition to the exemplary embodiments described above, there may be additional embodiments described in the drawings and the detailed description of the invention.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 대규모 로그 데이터의 군집화에 소요되는 시간과 비용을 단축시킬 수 있는 클라우드 기반의 데이터 처리 장치, 방법 및 클라우드 기반의 데이터 처리 서비스를 제공받는 사용자 단말을 제공할 수 있다. 또한, 맵리듀스를 사용함으로써, 로그 데이터의 분산 병렬 처리를 자동으로 실행시킬 수 있도록 하는 클라우드 기반의 데이터 처리 장치, 방법 및 클라우드 기반의 데이터 처리 서비스를 제공받는 사용자 단말을 제공할 수 있다. 시청자의 시청 패턴에 기초하여 사용자 맞춤형 미디어 콘텐츠 추천 서비스를 제공할 수 있는 클라우드 기반의 데이터 처리 장치, 방법 및 클라우드 기반의 데이터 처리 서비스를 제공받는 사용자 단말을 제공할 수 있다. 군집화된 로그 데이터에 기초하여 고속 로그 검색 기능을 제공하는 클라우드 기반의 데이터 처리 장치, 방법 및 클라우드 기반의 데이터 처리 서비스를 제공받는 사용자 단말을 제공할 수 있다. 미디어 서비스의 이용 중에 발생되는 장애를 로그 데이터 기반으로 분석할 수 있는 클라우드 기반의 데이터 처리 장치, 방법 및 클라우드 기반의 데이터 처리 서비스를 제공받는 사용자 단말을 제공할 수 있다.According to one of the above-mentioned objects of the present invention, there is provided a cloud-based data processing apparatus and method capable of shortening the time and cost required for clustering large-scale log data, and a user terminal Can be provided. Also, by using MapReduce, it is possible to provide a cloud-based data processing apparatus and method for automatically executing distributed parallel processing of log data, and a user terminal provided with a cloud-based data processing service. A cloud-based data processing apparatus and method capable of providing a user-customized media content recommendation service based on a viewer's viewing pattern, and a user terminal provided with a cloud-based data processing service. A cloud-based data processing apparatus and method for providing a high-speed log search function based on clustered log data, and a user terminal provided with a cloud-based data processing service can be provided. A cloud-based data processing apparatus and method capable of analyzing a failure occurring during use of a media service based on a log data basis, and a user terminal provided with a cloud-based data processing service can be provided.

도 1은 본 발명의 일 실시예에 따른 클라우드 기반의 데이터 처리 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 사용자 단말의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 사용자 단말에서 클라우드 기반의 데이터 처리 서비스를 제공받는 방법의 순서도이다.
도 4는 본 발명의 일 실시예에 따른 데이터 처리 장치의 구성도이다.
도 5는 본 발명의 일 실시예에 따른 데이터 처리 장치에서 키 이벤트에 기초하여 로그 데이터를 분산 병렬 처리하는 과정을 설명하기 위한 예시적인 도면이다.
도 6은 본 발명의 일 실시예에 따른 데이터 처리 장치에서 사용자 단말의 고유 식별자로 태깅된 로그 데이터를 분산 병렬 처리하는 과정을 설명하기 위한 예시적인 도면이다.
도 7은 본 발명의 일 실시예에 따른 데이터 처리 장치에서 클라우드 기반의 데이터 처리 방법의 순서도이다. 1 is a configuration diagram of a cloud-based data processing system according to an embodiment of the present invention.
2 is a configuration diagram of a user terminal according to an embodiment of the present invention.
3 is a flowchart of a method of receiving a cloud-based data processing service at a user terminal according to an embodiment of the present invention.
4 is a configuration diagram of a data processing apparatus according to an embodiment of the present invention.
5 is an exemplary diagram illustrating a process of distributing and parallelizing log data based on a key event in a data processing apparatus according to an embodiment of the present invention.
6 is an exemplary diagram illustrating a process of distributing and parallelizing log data tagged with a unique identifier of a user terminal in a data processing apparatus according to an exemplary embodiment of the present invention.
7 is a flowchart of a cloud-based data processing method in a data processing apparatus according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another part in between . Also, when an element is referred to as "including" an element, it is to be understood that the element may include other elements as well as other elements, And does not preclude the presence or addition of one or more other features, integers, steps, operations, components, parts, or combinations thereof.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.In this specification, the term &quot; part &quot; includes a unit realized by hardware, a unit realized by software, and a unit realized by using both. Further, one unit may be implemented using two or more hardware, or two or more units may be implemented by one hardware.

본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.In this specification, some of the operations or functions described as being performed by the terminal or the device may be performed in the server connected to the terminal or the device instead. Similarly, some of the operations or functions described as being performed by the server may also be performed on a terminal or device connected to the server.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 클라우드 기반의 데이터 처리 시스템의 구성도이다. 도 1을 참조하면, 클라우드 기반의 데이터 처리 시스템(1)은 복수의 사용자 단말(110) 및 데이터 처리 장치(120)를 포함할 수 있다. 도 1에 도시된 복수의 사용자 단말(110) 및 데이터 처리 장치(120)는 클라우드 기반의 데이터 처리 시스템(1)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것이다. 1 is a configuration diagram of a cloud-based data processing system according to an embodiment of the present invention. Referring to FIG. 1, a cloud-based data processing system 1 may include a plurality of user terminals 110 and a data processing apparatus 120. The plurality of user terminals 110 and the data processing apparatus 120 shown in FIG. 1 illustratively show the components that can be controlled by the cloud-based data processing system 1.

도 1의 클라우드 기반의 데이터 처리 시스템(1) 의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 복수의 사용자 단말(110)은 네트워크를 통해 데이터 처리 장치(120)와 동시에 또는 시간 간격을 두고 연결될 수 있다. Each component of the cloud-based data processing system 1 of FIG. 1 is generally connected via a network. For example, as shown in FIG. 1, a plurality of user terminals 110 may be connected to the data processing apparatus 120 through a network at the same time or at intervals.

네트워크는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보교환이 가능한 연결구조를 의미하는 것으로, 이러한 네트워크의 일예는, Wi-Fi, 블루투스(Bluetooth), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 3G, 4G, 5G, LTE 등이 포함되나 이에 한정되지는 않는다.The network refers to a connection structure in which information can be exchanged between each node such as terminals and servers. An example of such a network is Wi-Fi, Bluetooth, Internet, LAN (Local Area Network ), Wireless LAN (Wireless Local Area Network), WAN (Wide Area Network), PAN (Personal Area Network), 3G, 4G, 5G, LTE and the like.

사용자 단말(110)은 사용자로부터 입력받은 키 이벤트(key event)에 대한 로그 데이터를 생성하고, 생성된 로그 데이터를 데이터 처리 장치(120)로 전송할 수 있다. 예를 들어, 키 이벤트는 사용자가 사용자 단말(110)의 리모컨을 조작함으로써 입력되는 리모컨의 키 입력 값일 수 있다. The user terminal 110 may generate log data for a key event input from a user, and may transmit the generated log data to the data processing apparatus 120. For example, the key event may be a key input value of the remote controller that is input by the user operating the remote controller of the user terminal 110. [

로그 데이터는 쌍을 이룬 "키(key)"와 "값(value)"에 기초하여 구성될 수 있다. 예를 들어, 키(key)는 입력받은 "키 이벤트"를 포함하고, 값(value)은 입력받은 키 이벤트의 "입력 횟수"를 포함할 수 있다. 본원 발명은 상술한 "키(key)"와 "값(value)" 쌍에 기초하여 로그 데이터를 분산 병렬 처리할 수 있다.The log data may be constructed based on the paired "key" and "value ". For example, the key may include an input "key event ", and the value may include an" input count " The present invention can logically parallelize log data based on the above-described "key" and "value" pairs.

사용자 단말(110)은 데이터 처리 장치(120)에 의해 분산 병렬 처리된 로그 데이터를 기반으로 하는 미디어 서비스를 제공받을 수 있다. 예를 들어, 사용자 단말(110)은 사용자 단말(110)의 고유 식별자에 기초하여 분산 병렬 처리된 로그 데이터를 이용하여 사용자 단말(110)에 대응되는 맞춤형 콘텐츠 추천 서비스를 제공받을 수 있다. 다른 예를 들어, 사용자 단말(110)은 키 이벤트에 기초하여 분산 병렬 처리된 로그 데이터를 이용하여 분석된 사용자 단말(110)의 시청 패턴을 기반으로 하는 미디어 서비스를 제공받을 수 있다. The user terminal 110 can receive media services based on log data distributed and processed by the data processing apparatus 120. [ For example, the user terminal 110 may be provided with a customized content recommendation service corresponding to the user terminal 110 using the log data distributed and processed in parallel based on the unique identifier of the user terminal 110. In another example, the user terminal 110 may be provided with a media service based on a viewing pattern of the analyzed user terminal 110 using log data distributed and processed based on a key event.

사용자 단말(110)은 서비스 장애가 발생된 경우, 서비스 장애를 기반으로 하여 로그 데이터를 생성할 수 있다. 사용자 단말(110)은 서비스 장애와 관련하여 분산 병렬 처리된 로그 데이터를 이용하여 분석된 서비스 장애를 기반으로 하는 미디어 서비스를 제공받을 수 있다. 예를 들어, 1) 특정 사용자 단말에서 입력받은 키 이벤트에 대한 비정상적인 로그 데이터(예를 들어, null또는 예외 값의 발생)가 발생하는 경우 및 2) 특정 사용자 단말에서 입력받은 키 이벤트에 대한 장애 패턴의 로그 데이터가 발생하는 경우, 본원 발명은 로그 데이터를 분산 병렬 처리함으로써 1) 및 2)의 경우를 감지할 수 있고, 이를 이용하여 미디어 서비스의 송출을 보완(예를 들어, 사용자 단말과 미디어 서비스를 송출하는 서버 간의 세션을 새롭게 연결)할 수 있다.When a service failure occurs, the user terminal 110 can generate log data based on a service failure. The user terminal 110 can receive the media service based on the service failure analyzed using the log data distributed and processed in relation to the service failure. For example, it is assumed that 1) abnormal log data (for example, null or exception value) is generated for a key event input from a specific user terminal, and 2) a fault pattern for a key event The present invention can detect the cases 1) and 2) by performing logarithmic dispersion processing on the log data, and can supplement the transmission of the media service (for example, A new session can be established between the servers that send out the data.

또한, 본원 발명의 분산 병렬 처리를 통해 특정 사용자 단말에 대해 누적된 키 이벤트의 분포를 확인할 수 있고, 확인된 키 이벤트의 분포에 기초하여 특정 사용자 단말에서의 서비스 장애 이력을 분석할 수 있고, 분석된 서비스 장애 이력을 통해 서비스 장애의 원인을 도출할 수 있다.Also, it is possible to check the distribution of key events accumulated for a specific user terminal through the distributed parallel processing of the present invention, analyze the service failure history at a specific user terminal based on the distribution of the identified key events, The cause of the service failure can be derived from the history of the service failure.

데이터 처리 장치(120)는 복수의 사용자 단말(110)에서 발생된 로그 데이터를 수집하고, 수집된 로그 데이터를 기설정된 태그 식별자에 기초하여 태깅(tagging)할 수 있다. The data processing apparatus 120 may collect log data generated by the plurality of user terminals 110 and may tag the collected log data based on a predetermined tag identifier.

데이터 처리 장치(120)는 로그 데이터의 규모를 판단하고, 판단된 로그 데이터의 규모에 기초하여 적어도 하나 이상의 가상 머신을 생성하고, 가상 머신에 적어도 하나 이상의 맵 태스크 수행부 및 리듀스 태스크 수행부를 생성하여 할당할 수 있다. The data processing apparatus 120 determines the size of the log data, creates at least one virtual machine based on the determined size of the log data, creates at least one map task performing unit and a reduce task performing unit in the virtual machine .

데이터 처리 장치(120)는 적어도 하나 이상의 맵 태스크 수행부로 로그 데이터를 할당하고, 적어도 하나 이상의 리듀스 태스크 수행부로 맵 태스크 수행부에 의해 처리된 로그 데이터를 할당할 수 있다. 맵 태스크 수행부 및 리듀스 태스크 수행부는 태깅된 태그 식별자에 기초하여 로그 데이터를 분산 병렬 처리할 수 있다. 예를 들어, 맵 태스크 수행부는 태깅된 태그 식별자에 기초하여 로그 데이터를 분류하고, 리듀스 태스크 수행부는 분류된 로그 데이터가 가지는 값에 따라 분류된 로그 데이터를 병합할 수 있다. 이 때, 태깅된 태그 식별자가 사용자 단말(110)의 고유 식별자를 포함하는 경우, 맵 태스크 수행부는 각 사용자 단말(110)의 고유 식별자에 기초하여 로그 데이터를 분류할 수 있다. 또는, 맵 태스크 수행부는 키 이벤트에 기초하여 로그 데이터를 분류할 수 있다.The data processing apparatus 120 may allocate log data to at least one map task performing unit and allocate log data processed by the map task performing unit to at least one or more reduce task performing unit. The map task performing unit and the reduce task performing unit may perform the distributed parallel processing of the log data based on the tagged tag identifiers. For example, the map task performing unit classifies the log data based on the tagged tag identifier, and the redess task performing unit may merge the log data classified according to the value of the classified log data. In this case, if the tagged tag identifier includes the unique identifier of the user terminal 110, the map task performing unit may classify the log data based on the unique identifier of each user terminal 110. Alternatively, the map task performing unit may classify the log data based on the key event.

데이터 처리 장치(120)는 복수의 사용자 단말(110)로부터 발생된 추가 로그 데이터를 수집하고, 수집된 추가 로그 데이터의 규모를 판단하고, 판단된 추가 로그 데이터의 규모에 기초하여 적어도 하나 이상의 추가 가상 머신을 생성하고, 추가 가상 머신에 적어도 하나 이상의 맵 태스크 수행부 및 리듀스 태스크 수행부를 생성하여 할당할 수 있다. 또는, 데이터 처리 장치(120)는 판단된 추가 로그 데이터의 규모에 기초하여 기존 가상 머신, 기존 맵태스크 수행부 및 기존 리듀스 태스크 수행부를 삭제할 수도 있다. The data processing apparatus 120 collects additional log data generated from the plurality of user terminals 110, determines the size of the collected additional log data, and determines at least one additional virtual At least one map task performing unit and a redundancy task performing unit may be created and allocated to the additional virtual machine. Alternatively, the data processing apparatus 120 may delete the existing virtual machine, the existing map task performing unit, and the existing redundancy task performing unit based on the determined size of the additional log data.

데이터 처리 장치(120)는 가상 머신 및 추가 가상 머신 간을 연동시키기 위한 환경설정 파일을 생성하고, 가상 머신으로 환경설정 파일을 전송할 수 있다. 가상 머신은 환경설정 파일을 추가 가상 머신으로 전송할 수 있다. 가상 머신은 마스터(Master) 가상 머신이고, 추가 가상 머신은 슬레이브(Slave) 가상 머신일 수 있다. The data processing apparatus 120 may generate an environment setting file for interworking between the virtual machine and the additional virtual machine, and may transmit the environment setting file to the virtual machine. The virtual machine can transfer the configuration file to the additional virtual machine. The virtual machine may be a master virtual machine, and the additional virtual machine may be a slave virtual machine.

데이터 처리 장치(120)는 각 사용자 단말(110)의 고유 식별자에 기초하여 분산 병렬 처리된 로그 데이터를 이용하여 각 사용자 단말(110) 별로 대응되는 맞춤형 콘텐츠 추천 서비스를 제공할 수 있다. 또한, 데이터 처리 장치(120)는 키 이벤트에 기초하여 분산 병렬 처리된 로그 데이터를 이용하여 사용자 단말(110)의 시청 패턴을 분석할 수 있다. 또한, 데이터 처리 장치(120)는 태깅된 태그 식별자에 기초하여 분산 병렬 처리된 로그 데이터를 이용하여 고속 로그 검색 서비스를 제공할 수 있다. The data processing apparatus 120 can provide a customized content recommendation service corresponding to each user terminal 110 using the log data distributed and processed in parallel based on the unique identifier of each user terminal 110. [ Also, the data processing apparatus 120 may analyze the viewing pattern of the user terminal 110 using the log data distributed and processed in parallel based on the key event. In addition, the data processing apparatus 120 can provide a high-speed log search service using the log data distributed and processed based on the tagged tag identifier.

데이터 처리 장치(120)는 로그 데이터 중 서비스 장애를 기반으로 발생된 로그 데이터에 대해 서비스 장애가 발생된 사용자 단말(110)의 고유 식별자에 기초하여 태깅을 수행하고, 서비스 장애와 관련하여 분산 병렬 처리된 로그 데이터를 이용하여 서비스 장애가 발생된 사용자 단말(110) 별로 서비스 장애를 분석할 수 있다. The data processing apparatus 120 performs tagging based on the unique identifier of the user terminal 110 in which the service fault has occurred with respect to the log data generated based on the service fault in the log data, The service failure can be analyzed for each user terminal 110 in which a service failure has occurred using log data.

도 2는 본 발명의 일 실시예에 따른 사용자 단말의 구성도이다. 도 2를 참조하면, 사용자 단말(110)은 입력부(210), 생성부(220), 전송부(230) 및 서비스 제공부(240)를 포함할 수 있다. 2 is a configuration diagram of a user terminal according to an embodiment of the present invention. 2, the user terminal 110 may include an input unit 210, a generating unit 220, a transmitting unit 230, and a service providing unit 240.

입력부(210)는 키 이벤트를 입력받을 수 있다. 예를 들어, 입력부(210)는 사용자로부터 리모트 컨트롤러를 통해 키 이벤트를 입력받을 수 있다. The input unit 210 can receive a key event. For example, the input unit 210 may receive a key event from a user through a remote controller.

생성부(220)는 키 이벤트에 대한 로그 데이터를 생성할 수 있다. 예를 들어, 생성부(220)는 "Sep 8 18:37:26 Server 1 ShowWindowScenestart"와 같은 로그 데이터를 생성할 수 있다. 키 이벤트는 리모트 컨트롤러에 의해 입력된 것으로, 예를 들어, 'SessionStart', 'SessionEnd', 'ShowWindowSceneStart', 'ShowWindowSceneStop', 'HomeMenuSceneStart', 'HomeMenuSceneStop', 'VODDetailSceneStart', 'VODDetailSceneStop', 'VODStartPlay', 'VODStopPlay' 등을 포함할 수 있다. The generating unit 220 may generate log data for a key event. For example, the generation unit 220 may generate log data such as "Sep 1 18:37:26 Server 1 ShowWindowScenestart ". The key events are those entered by the remote controller, for example, 'SessionStart', 'SessionEnd', 'ShowWindowSceneStart', 'ShowWindowSceneStop', 'HomeMenuSceneStart', 'HomeMenuSceneStop', 'VODDetailSceneStart', 'VODDetailSceneStop', 'VODStartPlay' , 'VODStopPlay', and the like.

생성부(220)는 서비스 장애가 발생된 경우, 서비스 장애를 기반으로 하여 로그 데이터를 생성할 수 있다. The generation unit 220 may generate log data based on a service failure when a service failure occurs.

전송부(230)는 생성된 로그 데이터를 데이터 처리 장치(120)로 전송할 수 있다. The transmission unit 230 may transmit the generated log data to the data processing apparatus 120. [

서비스 제공부(240)는 데이터 처리 장치(120)에 의해 분산 병렬 처리된 로그 데이터를 기반으로 하는 미디어 서비스를 제공받을 수 있다. 예를 들어, 서비스 제공부(240)는 사용자 단말(110)의 고유 식별자에 기초하여 분산 병렬 처리된 로그 데이터를 이용하여 생성된 맞춤형 콘텐츠 추천 서비스를 제공받을 수 있다. 다른 예를 들어, 서비스 제공부(240)는 키 이벤트에 기초하여 분산 병렬 처리된 로그 데이터를 이용하여 분석된 사용자 단말(110)의 시청 패턴을 기반으로 하는 미디어 서비스를 제공받을 수 있다.The service providing unit 240 may receive the media service based on the log data distributed and processed by the data processing unit 120. For example, the service providing unit 240 may be provided with a customized content recommendation service generated using logarithmic-distributed log data based on the unique identifier of the user terminal 110. For example, the service providing unit 240 may receive the media service based on the viewing pattern of the user terminal 110 analyzed using the log data distributed and processed based on the key event.

서비스 제공부(240)는 서비스 장애와 관련하여 분산 병렬 처리된 로그 데이터를 이용하여 분석된 서비스 장애를 기반으로 하는 미디어 서비스를 제공받을 수 있다. The service providing unit 240 can receive the media service based on the service failure analyzed using the log data processed by the distributed parallel processing in connection with the service failure.

도 3은 본 발명의 일 실시예에 따른 사용자 단말에서 클라우드 기반의 데이터 처리 서비스를 제공받는 방법의 순서도이다. 도 3에 도시된 실시예에 따른 복수의 사용자 단말(110)에 의해 수행되는 클라우드 기반의 데이터 처리 서비스를 제공받는 방법은 도 1에 도시된 실시예에 따른 클라우드 기반의 데이터 처리 시스템(1)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 및 도 2에 도시된 실시예에 따른 사용자 단말(110)에 의해 수행되는 클라우드 기반의 데이터 처리 서비스를 제공받는 방법에도 적용된다. 3 is a flowchart of a method of receiving a cloud-based data processing service at a user terminal according to an embodiment of the present invention. A method of receiving a cloud-based data processing service performed by a plurality of user terminals 110 according to the embodiment shown in FIG. 3 is similar to that of the cloud-based data processing system 1 according to the embodiment shown in FIG. And includes steps in which the time is thermally processed. Accordingly, the present invention is also applicable to a method of providing a cloud-based data processing service performed by the user terminal 110 according to the embodiment shown in FIGS.

단계 S310에서 사용자 단말(110)은 키 이벤트를 입력받을 수 있다. 단계 S320에서 사용자 단말(110)은 키 이벤트에 대한 로그 데이터를 생성할 수 있다. 단계 S330에서 사용자 단말(110)은 생성된 로그 데이터를 데이터 처리 장치(120)로 전송할 수 있다. 단계 S340에서 사용자 단말(110)은 데이터 처리 장치(120)에 의해 분산 병렬 처리된 로그 데이터를 기반으로 하는 미디어 서비스를 제공받을 수 있다. 사용자 단말(110)은 사용자 단말(110)의 고유 식별자에 기초하여 분산 병렬 처리된 로그 데이터를 이용하여 사용자 단말(110)에 대응되는 맞춤형 콘텐츠 추천 서비스를 제공받을 수 있다. 또한, 사용자 단말(110)은 키 이벤트에 기초하여 분산 병렬 처리된 로그 데이터를 이용하여 분서된 사용자 단말(110)의 시청 패턴을 기반으로 하는 미디어 서비스를 제공받을 수 있다. In step S310, the user terminal 110 may receive a key event. In step S320, the user terminal 110 may generate log data for the key event. In step S330, the user terminal 110 may transmit the generated log data to the data processing apparatus 120. [ In step S340, the user terminal 110 may receive a media service based on the log data distributed and processed by the data processing device 120. [ The user terminal 110 can receive the customized content recommendation service corresponding to the user terminal 110 using the log data distributed and processed in parallel based on the unique identifier of the user terminal 110. [ Also, the user terminal 110 may receive media service based on the viewing pattern of the user terminal 110 that has been distributed using the log data distributed and processed on the basis of the key event.

도 3에서는 도시되지 않았으나, 사용자 단말(110)은 서비스 장애가 발생된 경우, 서비스 장애를 기반으로 하여 로그 데이터를 생성하는 단계를 더 포함할 수 있다. 도 3에서는 도시되지 않았으나, 사용자 단말(110)은 서비스 장애와 관련하여 분산 병렬 처리된 로그 데이터를 이용하여 분석된 서비스 장애를 기반으로 하는 미디어 서비스를 제공받을 수 있다. Although not shown in FIG. 3, the user terminal 110 may further include a step of, when a service failure occurs, generating log data based on a service failure. Although not shown in FIG. 3, the user terminal 110 may be provided with a media service based on analyzed service failure using log data processed by distributed parallel processing in connection with a service failure.

상술한 설명에서, 단계 S310 내지 S340은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.In the above description, steps S310 to S340 may be further divided into further steps or combined into fewer steps, according to an embodiment of the present invention. Also, some of the steps may be omitted as necessary, and the order between the steps may be changed.

도 4는 본 발명의 일 실시예에 따른 데이터 처리 장치의 구성도이다. 도 4를 참조하면, 데이터 처리 장치(120)는 수집부(410), 태깅부(420), 작업 관리부(430), 할당부(440), 검색부(450), 서비스 제공부(460), 시청 패턴 분석부(470), 장애 분석부(480) 및 환경설정 관리부(490)를 포함할 수 있다. 4 is a configuration diagram of a data processing apparatus according to an embodiment of the present invention. 4, the data processing apparatus 120 includes a collecting unit 410, a tagging unit 420, a task managing unit 430, an assigning unit 440, a searching unit 450, a service providing unit 460, A viewing pattern analyzing unit 470, a failure analyzing unit 480, and an environment setting managing unit 490.

수집부(410)는 복수의 사용자 단말(110)에서 발생된 로그 데이터를 수집할 수 있다. 또한, 수집부(410)는 복수의 사용자 단말(110)로부터 추가 로그 데이터를 수집할 수 있다. 로그 데이터는 키(key)와 값(value)으로 구성될 수 있다. 수집부(410)는 복수의 사용자 단말(110)로부터 예를 들어, "Sep 8 18:37:26 Server 1 ShowWindowScenestartStart"와 같이 시간/서버호스트명/키이벤트메세지/상세내역으로 구성된 로그 데이터를 수집할 수 있다. 키 이벤트 메시지는 리모트 컨트롤러를 통해 입력된 것으로, 예를 들어, 'SessionStart', 'SessionEnd', 'ShowWindowSceneStart', 'ShowWindowSceneStop', 'HomeMenuSceneStart', 'HomeMenuSceneStop', 'VODDetailSceneStart', 'VODDetailSceneStop', 'VODStartPlay', 'VODStopPlay' 등을 포함할 수 있다. The collecting unit 410 may collect log data generated by the plurality of user terminals 110. [ Further, the collecting unit 410 may collect additional log data from the plurality of user terminals 110. The log data may consist of a key and a value. The collecting unit 410 collects log data composed of time / server host name / key event message / details such as "Sep 8 18:37:26 Server 1 ShowWindowScenestartStart" from a plurality of user terminals 110 can do. The key event message is input through the remote controller, and may be, for example, 'SessionStart', 'SessionEnd', 'ShowWindowSceneStart', 'ShowWindowSceneStop', 'HomeMenuSceneStart', 'HomeMenuSceneStop', 'VODDetailSceneStart', 'VODDetailSceneStop', 'VODStartPlay ',' VODStopPlay ', and the like.

태깅부(420)는 수집된 로그 데이터를 기설정된 태그 식별자에 기초하여 태깅(tagging)할 수 있다. 기설정된 태그 식별자는 예를 들어, 사용자 단말(110)의 고유 식별자(SSID)를 포함할 수 있다. The tagging unit 420 may tag the collected log data based on a predetermined tag identifier. The predetermined tag identifier may include, for example, a unique identifier (SSID) of the user terminal 110.

기설정된 태그 식별자가 사용자 단말(110)의 고유 식별자(SSID)인 경우, 로그 데이터는 키(key): 사용자 단말(110)의 SSID/값(value): 키 이벤트(key event)로 구성될 수 있다. 예를 들어, 태깅부(420)는 로그 데이터를 사용자 단말(110)의 고유 식별자(SSID)에 기초하여 태깅을 수행하는 경우, "Sep 8 18:37:26 Server 1 ShowWindowScenestart"를 "Sep 8 18:37:26 TT150608274 ShowWindowScenestart"로 태깅할 수 있다. If the predetermined tag identifier is a unique identifier (SSID) of the user terminal 110, the log data may be composed of a key: an SSID / value of the user terminal 110: a key event have. For example, when the tagging unit 420 performs tagging based on the unique identifier (SSID) of the user terminal 110, the tagging unit 420 sets "Sep 8 18:37:26 Server 1 ShowWindowScenestart" to "Sep 8 18 : 37: 26 TT150608274 ShowWindowScenestart ".

사용자 단말(110)의 고유 식별자(SSID)에 기초하여 태깅을 수행할 경우, 로그 데이터는 고객 정보를 추가로 포함할 수 있으며, 태깅부(420)는 네임(name)과 태그(tags)로 구성된 쉬퍼(Shipper)를 설정할 수 있다. 네임(name)은 사용자 단말(110)을 식별하기 위한 고유 식별자(SSID)를 의미하며, 태그(tags)는 SSID 이외의 고객의 정보를 포함할 수 있다. When the tagging is performed based on the unique identifier (SSID) of the user terminal 110, the log data may further include customer information, and the tagging unit 420 may include the name and the tags You can set a shipper. The name refers to a unique identifier (SSID) for identifying the user terminal 110, and the tags can include information on a customer other than the SSID.

태깅부(420)는 로그 데이터 중 서비스 장애를 기반으로 발생된 로그 데이터에 대해 서비스 장애가 발생된 사용자 단말(110)의 고유 식별자에 기초하여 태깅을 수행할 수 있다. 로그 데이터 중 서비스 장애를 기반으로 발생된 로그 데이터는 별도의 알림부(미도시)를 통해 알람이 울려진 후, 별도의 태깅이 수행될 수 있다. The tagging unit 420 may perform tagging based on the unique identifier of the user terminal 110 in which the service failure has occurred with respect to the log data generated based on the service failure in the log data. The log data generated based on the service failure in the log data may be tagged separately after an alarm is sounded through a separate notification unit (not shown).

태깅이 완료된 로그 데이터는 데이터 분산 병렬 처리에 적합하도록 시퀀스 파일을 거쳐 벡터 데이터로 변환될 수 있다. 시퀀스 파일은 예를 들어, binary 키 및 값의 쌍으로 구성되며, 읽기, 쓰기 및 분류 작업을 위해 writer, reader, sorter 클래스를 제공할 수 있다. The tagged log data can be converted into vector data through a sequence file to be suitable for data distribution parallel processing. A sequence file, for example, consists of a pair of binary keys and values, and can provide writer, reader, and sorter classes for reading, writing, and sorting operations.

작업 관리부(430)는 로그 데이터의 규모를 판단하고, 판단된 로그 데이터의 규모에 기초하여 적어도 하나 이상의 가상 머신을 생성하고, 가상 머신에 적어도 하나 이상의 맵 태스크 수행부 및 리듀스 태스크 수행부를 생성하여 할당할 수 있다. 예를 들어, 최초로 생성된 가상 머신은 하둡(Hadoop)의 마스터(Master) 및 슬레이브(Slaves)의 역할을 수행할 수 있는 가상 머신일 수 있으며, 작업 관리부(430)는 수집부(410)에서 수집된 로그 데이터의 조각을(Hadoop의 Block 단위 64MB) 단위로 가상 머신에 저장하고, 블록의 개수만큼 맵 태스크 수행부를 생성할 수 있다. 데이터 조각의 기본 설정은 64MB이고, 크기는 설정 파일을 통해 변경될 수 있으며, 관리자로부터 별도의 설정을 입력받지 않은 경우, 기본적으로 하둡(Hadoop)의 복제 정책(예를 들어, 데이터 복제 개수 3개 Block)을 준수할 수 있다.The task management unit 430 determines the size of the log data, creates at least one virtual machine based on the determined size of the log data, creates at least one map task performing unit and a reduce task performing unit in the virtual machine Can be assigned. For example, the first virtual machine may be a virtual machine capable of performing a role of a master and a slave of Hadoop, and the task management unit 430 may collect A piece of log data (Hadoop Block unit 64MB) is stored in the virtual machine, and a map task performing unit can be created by the number of blocks. The default setting of the data slice is 64 MB. The size can be changed through the settings file. If the administrator does not input any settings, the default setting is Hadoop replication policy (for example, three data copies Block) can be adhered to.

작업 관리부(430)는 추가 로그 데이터의 규모를 판단하고, 판단된 추가 로그 데이터의 규모에 기초하여 적어도 하나 이상의 추가 가상 머신을 생성하고, 추가 가상 머신에 적어도 하나 이상의 맵 태스크 수행부 및 리듀스 태스크 수행부를 생성하여 할당할 수 있다. 또한, 데이터 처리 장치(120)는 판단된 추가 로그 데이터의 규모에 기초하여 기존 가상 머신, 기존 맵태스크 수행부 및 기존 리듀스 태스크 수행부를 삭제할 수도 있다. The task management unit 430 determines the size of the additional log data, creates at least one additional virtual machine based on the determined size of the additional log data, adds at least one map task performing unit and a resume task An execution unit can be created and assigned. Also, the data processing apparatus 120 may delete the existing virtual machine, the existing map task performing unit, and the existing redundancy task performing unit based on the determined size of the additional log data.

예를 들어, 최초로 생성된 가상 머신의 블록 개수가 증가하면, 작업 관리부(430)는 이를 인지하여, 추가 가상 머신을 생성할 수 있다. 이 때, 추가 가상 머신은 자원 에이전트가 구동되며, 최초로 생성된 가상 머신으로부터 환경설정 파일을 수신하여 슬레이브 가상 머신으로 설정받을 수 있다. 슬레이브 가상 머신으로의 설정이 완료되면, 최초 가상 머신으로부터 로그 데이터 블록을 가져올 수 있다. 이 때, 최초 가상 머신은 마스터 및 슬레이브 역할을 수행하고, 추가 생성 가상 머신은 슬레이브 역할을 수행할 수 있다. 추가 생성 가상 머신의 개수가 증가하면, 생성할 수 있는 맵 태스크 수행부 및 리듀스 태스크 수행부의 개수가 증가하며, 로그 데이터의 분산 병렬 처리가 완료되면, 수행 결과는 최초 가상 머신에서 확인할 수 있다. For example, if the number of blocks of the firstly created virtual machine increases, the task management unit 430 may recognize the virtual machine and generate an additional virtual machine. At this time, the additional virtual machine is activated by the resource agent, and the configuration file can be received from the first created virtual machine and set as a slave virtual machine. When the configuration to the slave virtual machine is completed, the log data block can be fetched from the first virtual machine. At this time, the first virtual machine serves as a master and slave, and the additional generated virtual machine can serve as a slave. If the number of additional created virtual machines increases, the number of map task performing units and redescription task performing units that can be generated increases. When the distributed parallel processing of the log data is completed, the execution result can be confirmed in the first virtual machine.

이러한 과정을 통해 분배된 데이터 경로를 가진 메타 데이터는 마스터(Master) 역할을 담당하는 최초 가상 머신에 저장된다. 예를 들어, 슬레이브(Slave) 가상 머신이 삭제된 경우, 마스터(Master) 역할의 최초 가상 머신이 메타 데이터를 보유하고 있으므로, 삭제된 슬레이브 가상 머신을 복구할 수 있다는 장점을 갖는다. Through this process, the metadata with the distributed data path is stored in the first virtual machine acting as a master. For example, when the slave virtual machine is deleted, since the first virtual machine in the role of master holds the metadata, the deleted slave virtual machine can be recovered.

할당부(440)는 적어도 하나 이상의 맵 태스크 수행부로 로그 데이터를 할당할 수 있다. 할당부(440)는 적어도 하나 이상의 리듀스 태스크 수행부로 맵 태스크 수행부에 의해 처리된 로그 데이터를 할당할 수 있다. 이 때, 맵 태스크 수행부 및 리듀스 태스크 수행부는 태깅된 태그 식별자에 기초하여 로그 데이터를 분산 병렬 처리할 수 있다. The allocating unit 440 may allocate log data to at least one map task performing unit. The allocating unit 440 may allocate the log data processed by the map task performing unit to at least one or more redess task performing units. At this time, the map task performing unit and the reduction task performing unit can perform the distributed parallel processing of the log data based on the tagged tag identifiers.

예를 들어, 맵 태스크 수행부는 태깅된 태그 식별자에 기초하여 로그 데이터를 분류하고, 분류된 로그 데이터가 가지는 값에 따라 분류된 로그 데이터를 병합할 수 있다. 이 때, 태깅된 태그 식별자는 사용자 단말(110)의 고유 식별자를 포함할 수 있다. 맵 태스크 수행부는 각 사용자 단말(110)의 고유 식별자에 기초하여 로그 데이터를 분류할 수 있다. 또는, 맵 태스크 수행부는 키 이벤트에 기초하여 로그 데이터를 분류할 수 있다. For example, the map task performing unit may classify the log data based on the tagged tag identifier, and merge the log data classified according to the value of the classified log data. In this case, the tagged tag identifier may include a unique identifier of the user terminal 110. The map task performing unit may classify the log data based on the unique identifier of each user terminal 110. Alternatively, the map task performing unit may classify the log data based on the key event.

검색부(450)는 태깅된 태그 식별자에 기초하여 분산 병렬 처리된 로그 데이터를 이용하여 고속 로그 검색 서비스를 제공할 수 있다. The search unit 450 can provide the high-speed log search service using the log data processed by the distributed parallel processing based on the tagged tag identifier.

서비스 제공부(460)는 각 사용자 단말(110)의 고유 식별자에 기초하여 분산 병렬 처리된 로그 데이터를 이용하여 각 사용자 단말(110) 별로 대응되는 맞춤형 콘텐츠 추천 서비스를 제공받을 수 있다. The service providing unit 460 can receive a customized content recommendation service corresponding to each user terminal 110 using the log data distributed and processed in parallel based on the unique identifier of each user terminal 110.

시청 패턴 분석부(470)는 키 이벤트에 기초하여 분산 병렬 처리된 로그 데이터를 이용하여 사용자 단말(110)의 시청 패턴을 분석할 수 있다. 시청 패턴 분석부(470)는 사용자 단말(110)에서 발생된 키 이벤트에 기초하여 사용자 단말(110) 별로 리모트 컨트롤러의 키 패턴을 분석할 수 있으며, 리모트 컨트롤러의 사용 패턴을 인지하여 사용자 단말(110)의 시청 패턴을 분석할 수 있다. The viewing pattern analyzing unit 470 can analyze the viewing pattern of the user terminal 110 using the log data distributed and processed in parallel based on the key event. The viewing pattern analyzing unit 470 can analyze the key pattern of the remote controller for each user terminal 110 based on the key event generated in the user terminal 110 and recognize the usage pattern of the remote controller, ) Can be analyzed.

장애 분석부(480)는 서비스 장애와 관련하여 분산 병렬 처리된 로그 데이터를 이용하여 서비스 장애가 발생된 사용자 단말(110) 별로 서비스 장애를 분석할 수 있다. 예를 들어, 장애 분석부(480)는 서비스 장애와 관련하여 분산 병렬 처리된 로그 데이터를 이용함으로써, 특정 사용자 단말(110)의 기종에서 장기간에 걸쳐 서비스 장애를 발생시키는 지에 대한 분석을 수행할 수 있다. The failure analysis unit 480 can analyze the service failure for each of the user terminals 110 in which the service failure has occurred by using the log data distributed and processed in relation to the service failure. For example, the failure analysis unit 480 can analyze whether the service failure occurs over a long period in the model of the specific user terminal 110 by using the log data distributed and processed in relation to the service failure have.

환경설정 관리부(490)는 가상 머신 및 추가 가상 머신 간을 연동시키기 위한 환경설정 파일을 생성하고, 가상 머신으로 환경설정 파일을 전송할 수 있다. 가상 머신은 환경 설정 파일을 추가 가상 머신으로 전송할 수 있다. 가상 머신은 마스터 가상 머신이고, 추가 가상 머신은 슬레이브 가상 머신이고, 환경 설정 파일은 예를 들어, 하둡 설정 파일일 수 있다. The environment setting management unit 490 may generate an environment setting file for interworking between the virtual machine and the additional virtual machine, and may transmit the environment setting file to the virtual machine. The virtual machine can transfer the configuration file to the additional virtual machine. The virtual machine is the master virtual machine, the additional virtual machine is the slave virtual machine, and the configuration file may be, for example, a Hadoop configuration file.

하둡(Hadoop) 설정 파일은 분산 처리 플랫폼을 제공하는 아파치 오픈 소스 프로젝트로서, 신뢰성과 확장성을 보장하는 환경을 제공하여 다양한 업체에 의해 사용되고 있다. 맵 태스크 수행부 및 리듀스 태스크 수행부는 하둡을 구성하는 중요 소프트웨어 프레임워크로서, 데이터 분산 환경에서 대용량 데이터의 처리를 위해 간단하고 직관적인 인터페이스를 제공하는 특징을 가지고 있다. The Hadoop configuration file is an Apache open source project that provides a distributed processing platform and is used by various vendors to provide a reliable and scalable environment. The Map Task Performer and the Reduce Task Performer are important software frameworks that make up Hadoop, and provide a simple and intuitive interface for processing large amounts of data in a distributed environment.

도 5는 본 발명의 일 실시예에 따른 데이터 처리 장치에서 키 이벤트에 기초하여 로그 데이터를 분산 병렬 처리하는 과정을 설명하기 위한 예시적인 도면이다. 도 5를 참조하면, 데이터 처리 장치(120)는 사용자 단말(110)에서 발생된 로그 데이터(500)를 수집할 수 있다. 5 is an exemplary diagram illustrating a process of distributing and parallelizing log data based on a key event in a data processing apparatus according to an embodiment of the present invention. Referring to FIG. 5, the data processing apparatus 120 may collect log data 500 generated by the user terminal 110.

예를 들어, 데이터 처리 장치(120)는 제 1 사용자 단말에서 발생된 로그 데이터(501) 및 제 2 사용자 단말에서 발생된 로그 데이터(502)를 수집하고, 키 이벤트에 기초하여 태깅할 수 있다. 다른 예를 들어, 데이터 처리 장치(120)는 사용자 단말(100)에서 제 1 시점에서의 로그 데이터(501) 및 제 2 시점에서의 로그 데이터(502)를 수집할 수 있다. For example, the data processing apparatus 120 may collect the log data 501 generated at the first user terminal and the log data 502 generated at the second user terminal, and may tag based on the key event. For example, the data processing apparatus 120 may collect the log data 501 at the first time point and the log data 502 at the second time point at the user terminal 100. [

이하에서는, 데이터 처리 장치(120)가 사용자 단말(110)로부터 제 1 시점의 로그 데이터(501) 및 제 2 시점의 로그 데이터(502)를 수집한 것으로 가정하여 설명하도록 하겠다. Hereinafter, it will be assumed that the data processing apparatus 120 has collected the log data 501 at the first time point and the log data 502 at the second time point from the user terminal 110. [

데이터 처리 장치(120)는 맵 태스크 수행부 및 리듀스 태스크 수행부를 생성하여 가상 머신에 할당함으로써, 맵 태스크 수행부 및 리듀스 태스크 수행부에 의해 로그 데이터(500)가 분산 병렬 처리되도록 할 수 있다. The data processing apparatus 120 may generate the map task performing unit and the reduce task performing unit and allocate the map task performing unit and the reduce task performing unit to the virtual machine so that the map task performing unit and the reduction task performing unit may perform the distributed parallel processing of the log data 500 .

맵 태스크 수행부는 키 이벤트에 기초하여 로그 데이터를 분류할 수 있다. 예를 들어, 맵 태스크 수행부는 제 1 시점의 로그 데이터(501)를 키 이벤트에 따라 분류함으로써, 제 1 중간 파일(511) 및 제 2 중간 파일(512)을 생성할 수 있다. 또한, 맵 태스크 수행부는 제 2 시점의 로그 데이터(502)를 키 이벤트에 따라 분류함으로써, 제 3 중간 파일(513) 및 제 4 중간 파일(514)을 생성할 수 있다. 도 5를 참고하면, 4 대의 맵 테스크 수행부가 로그 데이터(500)를 할당받아 분류함으로써, 각 맵 테스크 수행부와 대응되는 제 1 중간 파일(511), 제 2 중간 파일(512), 제 3 중간 파일(513) 및 제 4 중간 파일(514)이 생성될 수 있다.The map task performing unit may classify the log data based on the key event. For example, the map task performing unit may generate the first intermediate file 511 and the second intermediate file 512 by classifying the log data 501 at the first time point according to the key event. The map task performing unit may generate the third intermediate file 513 and the fourth intermediate file 514 by classifying the log data 502 at the second time point according to the key event. 5, the four map task performing units are allocated and classified by the log data 500 so that the first intermediate file 511, the second intermediate file 512, the third intermediate file 512, A file 513 and a fourth intermediate file 514 may be generated.

데이터 처리 장치(120)는 맵 태스크 수행부에 의해 분류된 로그 데이터를 리듀스 태스크 수행부에 할당함으로써, 로그 데이터를 분산 병렬 처리할 수 있다. The data processing apparatus 120 can perform logarithmic data dispersion parallel processing by allocating the log data classified by the map task performing unit to the reduce task performing unit.

리듀스 태스크 수행부는 분류된 로그 데이터가 가지는 값(누적 횟수)에 따라 분류된 로그 데이터를 병합할 수 있다. 예를 들어, 리듀스 태스크 수행부는 제 1 중간 파일(511) 및 제 3 중간 파일(513)에 기초하여 'SessionStart, 2'(521), 'SessionEnd, 2'(522), 'ShowWindowSceneStart, 2'(523), 'ShowWindowSceneStop, 2'(524)와 같이 로그 데이터를 누적하여 병합할 수 있다. 또한, 리듀스 태스크 수행부는 제 1 중간 파일(511) 및 제 4 중간 파일(514)에 기초하여 'HomeMenuSceneStart, 2'(525), 'HomeMenuSceneStop, 2'(526)과 같이 로그 데이터를 누적하여 병합할 수 있다. 리듀스 태스크 수행부는 제 2 중간 파일(512)의 경우, 병합할 로그 데이터가 존재하지 않으므로, 제 2 중간 파일(512)의 로그 데이터(527 내지 530)를 그대로 처리할 수 있다. The redundancy task performing unit may merge the log data classified according to the value (cumulative count) of the classified log data. For example, the redundancy task performing unit may include a 'SessionStart, 2' 521, a 'SessionEnd, 2' 522, a 'ShowWindowSceneStart, 2' (523), and 'ShowWindowSceneStop, 2' (524). Also, the redundancy task execution unit accumulates log data such as 'HomeMenuSceneStart, 2' 525, 'HomeMenuSceneStop, 2' 526 based on the first intermediate file 511 and the fourth intermediate file 514, can do. The redundancy task performing unit can process the log data 527 to 530 of the second intermediate file 512 as it is because there is no log data to be merged in the case of the second intermediate file 512. [

리듀스 태스크 수행부는 로그 데이터의 분산 병렬 처리가 완료되면, 최종 결과(540)를 사용자가 명시한 출력 데이터의 저장 위치에 작성하여 저장하거나, 출력 DB 파일에 삽입할 수 있다. Upon completion of the distributed parallel processing of the log data, the redess task performing unit may create and store the final result 540 in the storage location of the output data specified by the user or insert it into the output DB file.

도 6은 본 발명의 일 실시예에 따른 데이터 처리 장치에서 사용자 단말의 고유 식별자로 태깅된 로그 데이터를 분산 병렬 처리하는 과정을 설명하기 위한 예시적인 도면이다. 도 6을 참조하면, 데이터 처리 장치(120)는 사용자 단말(110)의 고유 식별자(SSID)에 기초하여 맵 태스크 수행부 및 리듀스 태스크 수행부를 이용하여 태깅된 로그 데이터를 분산 병렬 처리할 수 있다. 6 is an exemplary diagram illustrating a process of distributing and parallelizing log data tagged with a unique identifier of a user terminal in a data processing apparatus according to an exemplary embodiment of the present invention. Referring to FIG. 6, the data processing apparatus 120 may perform distributed parallel processing of the tagged log data using the map task performing unit and the redess task performing unit based on the unique identifier (SSID) of the user terminal 110 .

데이터 처리 장치(120)는 복수의 사용자 단말(110)에서 발생된 로그 데이터(600)를 수집하고, 각 사용자 단말(110)의 고유 식별자(SSID)에 기초하여 태깅할 수 있다. 예를 들어, 제 1 사용자 단말로부터 수집하여 태깅된 로그 데이터(601)는 'TT150608274, ShowWindowSceneStart0'과 같이 구성될 수 있다. The data processing apparatus 120 may collect the log data 600 generated by the plurality of user terminals 110 and may tag the user terminal 110 based on the unique identifier (SSID) of each user terminal 110. For example, the log data 601 collected and tagged from the first user terminal may be configured as 'TT150608274, ShowWindowSceneStart0'.

맵 태스크 수행부는 각 사용자의 고유 식별자에 기초하여 태깅된 로그 데이터를 분류할 수 있다. 예를 들어, 맵 태스크 수행부는 수집된 로그 데이터를 제 1 사용자 단말의 고유식별자(TT150608274, 611)에 기초하여 분류하고, 제 2 사용자 단말의 고유식별자(TT150608270, 612)에 기초하여 분류하고, 제 3 사용자 단말의 고유식별자(TT150608379, 613)에 기초하여 분류하고, 제 4 사용자 단말의 고유식별자(TT150608224, 614)에 기초하여 분류할 수 있다. The map task performing unit may classify the tagged log data based on the unique identifier of each user. For example, the map task performing unit classifies the collected log data based on the unique identifier (TT150608274, 611) of the first user terminal, classifies the collected log data based on the unique identifier (TT150608270, 612) of the second user terminal, 3 based on the unique identifier (TT150608379, 613) of the user terminal, and can be classified based on the unique identifier (TT150608224, 614) of the fourth user terminal.

데이터 처리 장치(120)는 맵 태스크 수행부에 의해 분류된 로그 데이터를 리듀스 태스크 수행부에 할당함으로써, 로그 데이터를 분산 병렬 처리할 수 있다. The data processing apparatus 120 can perform logarithmic data dispersion parallel processing by allocating the log data classified by the map task performing unit to the reduce task performing unit.

리듀스 태스크 수행부는 분류된 로그 데이터가 가지는 값에 따라 분류된 로그 데이터를 병합할 수 있다. 예를 들어, 리듀스 태스크 수행부는 로그 데이터를 제 1 사용자 단말의 고유식별자에 따라 'TT150608274 ShowWindowSceneStart0', 제 2 사용자 단말의 고유식별자에 따라 'TT150608270 ShowWindowSceneStop0', 제 3 사용자 단말의 고유식별자에 따라 'TT150608379 HomeMenuSceneStart, HomeMenuSceneStop, VODDetailscenestart, VODDetailscenestop', 제 4 사용자 단말의 고유식별자에 따라 'TT150608224VODstopplay, VODstartplay'와 같이 병합하고, 로그 데이터의 분산 병렬 처리가 완료되면, 최종 결과(620)를 사용자가 명시한 출력 데이터의 저장 위치에 작성하여 저장하거나, 출력 DB 파일에 삽입할 수 있다. The redess task performing unit may merge the log data classified according to the value of the classified log data. For example, the redescription task performing unit may set the log data to 'TT150608274 ShowWindowSceneStart0' according to the unique identifier of the first user terminal, 'TT150608270 ShowWindowSceneStop0' according to the unique identifier of the second user terminal, TT150608379 HomeMenuSceneStart, HomeMenuSceneStop, VODDetailscenestart, VODDetailscenestop ', and' TT150608224VODstopplay, VODstartplay 'according to the unique identifier of the fourth user terminal. When the distributed parallel processing of the log data is completed, the final result 620 is output to the output data And insert it into the output DB file.

도 7은 본 발명의 일 실시예에 따른 데이터 처리 장치에서 클라우드 기반의 데이터 처리 방법의 순서도이다. 도 7에 도시된 실시예에 따른 데이터 처리 장치(120)에 의해 수행되는 데이터 처리 방법은 도 1에 도시된 실시예에 따른 클라우드 기반의 데이터 처리 시스템(1)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 6에 도시된 실시예에 따른 데이터 처리 장치(120)에 의해 수행되는 데이터 처리 방법에도 적용된다. 7 is a flowchart of a cloud-based data processing method in a data processing apparatus according to an embodiment of the present invention. The data processing method performed by the data processing apparatus 120 according to the embodiment shown in FIG. 7 includes steps that are processed in a time-series manner in the cloud-based data processing system 1 according to the embodiment shown in FIG. 1 do. Accordingly, the following description is also applied to the data processing method performed by the data processing apparatus 120 according to the embodiment shown in FIGS.

단계 S710에서 데이터 처리 장치(120)는 복수의 사용자 단말(110)에서 발생된 로그 데이터를 수집할 수 있다. 단계 S720에서 데이터 처리 장치(120)는 수집된 로그 데이터를 기설정된 태그 식별자에 기초하여 태깅(tagging)할 수 있다. 단계 S730에서 데이터 처리 장치(120)는 로그 데이터의 규모를 판단할 수 있다. 단계 S740에서 데이터 처리 장치(120)는 판단된 로그 데이터의 규모에 기초하여 적어도 하나 이상의 가상 머신을 생성할 수 있다. 단계 S750에서 데이터 처리 장치(120)는 가상 머신에 적어도 하나 이상의 맵 태스크 수행부 및 리듀스 태스크 수행부를 생성하여 할당할 수 있다. 단계 S760에서 데이터 처리 장치(120)는 적어도 하나 이상의 맵 태스크 수행부로 로그 데이터를 할당하고, 적어도 하나 이상의 리듀스 태스크 수행부로 맵 태스크 수행부에 의해 처리된 로그 데이터를 할당할 수 있다. 단계 S770에서 데이터 처리 장치(120)는 태깅된 태그 식별자에 기초하여 로그 데이터를 분산 병렬 처리할 수 있다. In step S710, the data processing apparatus 120 may collect log data generated by the plurality of user terminals 110. [ In step S720, the data processing apparatus 120 may tag the collected log data based on a predetermined tag identifier. In step S730, the data processing apparatus 120 can determine the scale of the log data. In step S740, the data processing apparatus 120 may generate at least one virtual machine based on the determined size of the log data. In step S750, the data processing apparatus 120 may create and allocate at least one map task performing unit and a reduce task performing unit to the virtual machine. In step S760, the data processing apparatus 120 may allocate the log data to at least one map task performing unit and allocate the log data processed by the map task performing unit to at least one or more redess task performing unit. In step S770, the data processing apparatus 120 may perform the distributed parallel processing of the log data based on the tagged tag identifier.

도 7에서는 도시되지 않았으나, 데이터 처리 장치(120)는 복수의 사용자 단말(110)로부터 추가 로그 데이터를 수집하는 단계, 추가 로그 데이터의 규모를 판단하는 단계, 판단된 추가 로그 데이터의 규모에 기초하여 적어도 하나 이상의 추가 가상 머신을 생성하는 단계 및 추가 가상 머신에 적어도 하나 이상의 맵 태스크 수행부 및 리듀스 태스크 수행부를 생성하여 할당하는 단계를 더 포함할 수 있다. 데이터 처리 장치(120)는 추가 가상 머신의 생성뿐만 아니라, 기존 가상 머신, 기존 맵 태스크 수행부 및 리듀스 태스크 수행부에 대한 삭제를 수행할 수도 있다. Although not shown in FIG. 7, the data processing apparatus 120 may include a step of collecting additional log data from a plurality of user terminals 110, a step of determining the size of the additional log data, Creating at least one additional virtual machine, and creating and assigning at least one map task performing unit and a redundancy task performing unit to the additional virtual machine. The data processing apparatus 120 may perform not only creation of an additional virtual machine but also deletion of an existing virtual machine, an existing map task performing unit, and a reduction task performing unit.

도 1 내지 도7을 통해 설명된 클라우드 기반의 데이터 처리 방법은 영상을 공유하여 다자간 커뮤니케이션을 제공하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도7을 통해 설명된 클라우드 기반의 데이터 처리 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다. 1 to 7, a method of sharing images to provide multi-party communication includes a computer program stored in a medium executed by a computer or a recording medium including instructions executable by the computer But may also be implemented in other forms. In addition, the cloud-based data processing method illustrated in FIGS. 1 through 7 may be implemented in the form of a computer program stored in a medium executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, the computer-readable medium may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes any information delivery media, including computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다. It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

110: 사용자 단말
120: 데이터 처리 장치
210: 입력부
220: 생성부
230: 전송부
240: 서비스 제공부
410: 수집부
420: 태깅부
430: 작업 관리부
440: 할당부
450: 검색부
460: 서비스 제공부
470: 시청 패턴 분석부
480: 장애 분석부
490: 환경설정 관리부110: User terminal
120: Data processing device
210:
220:
230:
240: Service Offering
410: collecting section
420: tagging unit
430:
440:
450:
460: Service Offering
470: a viewing pattern analyzing unit
480:
490: Configuration manager

Claims (20)

클라우드 기반의 데이터 처리 장치에 있어서,
복수의 사용자 단말에서 발생된 로그 데이터를 수집하는 수집부
상기 수집된 로그 데이터를 기설정된 태그 식별자에 기초하여 태깅(tagging)하는 태깅부;
상기 로그 데이터의 규모를 판단하고, 상기 판단된 로그 데이터의 규모에 기초하여 적어도 하나 이상의 가상 머신을 생성하고, 상기 가상 머신에 적어도 하나 이상의 맵 태스크 수행부 및 리듀스 태스크 수행부를 생성하여 할당하는 작업 관리부; 및
상기 적어도 하나 이상의 맵 태스크 수행부로 상기 로그 데이터를 할당하고, 상기 적어도 하나 이상의 리듀스 태스크 수행부로 상기 맵 태스크 수행부에 의해 처리된 로그 데이터를 할당하는 할당부를 포함하고,
상기 맵 태스크 수행부 및 상기 리듀스 태스크 수행부는 상기 태그 식별자에 기초하여 상기 로그 데이터를 분산 병렬 처리하도록 구성되는 것인, 데이터 처리 장치.
In a cloud-based data processing apparatus,
A collecting unit for collecting log data generated from a plurality of user terminals,
A tagging unit for tagging the collected log data based on a predetermined tag identifier;
At least one virtual machine is created based on the determined size of the log data, and at least one map task performing unit and a reduction task performing unit are created and assigned to the virtual machine Management; And
And an allocation unit allocating the log data to the at least one map task performing unit and allocating the log data processed by the map task performing unit to the at least one or more redundancy task performing unit,
Wherein the map task performing unit and the reduction task performing unit are configured to perform the distributed parallel processing of the log data based on the tag identifier.
제 1 항에 있어서,
상기 맵 태스크 수행부는 상기 태깅된 태그 식별자에 기초하여 상기 로그 데이터를 분류하고,
상기 리듀스 태스크 수행부는 상기 분류된 로그 데이터가 가지는 값에 따라 상기 분류된 로그 데이터를 병합하도록 구성되는 것인, 데이터 처리 장치.
The method according to claim 1,
The map task performing unit classifies the log data based on the tagged tag identifier,
Wherein the redess task performing unit is configured to combine the classified log data according to a value of the classified log data.
제 2 항에 있어서,
상기 태그 식별자는 상기 사용자 단말의 고유 식별자를 포함하고,
상기 맵 태스크 수행부는 상기 각 사용자 단말의 고유 식별자에 기초하여 상기 로그 데이터를 분류하는 것인, 데이터 처리 장치.
3. The method of claim 2,
Wherein the tag identifier comprises a unique identifier of the user terminal,
Wherein the map task performing unit classifies the log data based on a unique identifier of each user terminal.
제 3 항에 있어서,
상기 각 사용자 단말의 고유 식별자에 기초하여 분산 병렬 처리된 로그 데이터를 이용하여 상기 각 사용자 단말 별로 대응되는 맞춤형 콘텐츠 추천 서비스를 제공하는 서비스 제공부
를 더 포함하는 것인, 데이터 처리 장치.
The method of claim 3,
A service providing unit for providing a customized content recommendation service corresponding to each of the user terminals using the log data distributed and processed in parallel based on the unique identifier of each user terminal;
The data processing apparatus further comprising:
제 1 항에 있어서,
상기 로그 데이터는 키 이벤트를 포함하고,
상기 맵 태스크 수행부는 상기 키 이벤트에 기초하여 상기 로그 데이터를 분류하는 것인, 데이터 처리 장치.
The method according to claim 1,
Wherein the log data includes a key event,
Wherein the map task performing unit classifies the log data based on the key event.
제 5 항에 있어서,
상기 키 이벤트에 기초하여 분산 병렬 처리된 로그 데이터를 이용하여 사용자 단말의 시청 패턴을 분석하는 시청 패턴 분석부
를 더 포함하는 것인, 데이터 처리 장치.
6. The method of claim 5,
A viewing pattern analyzing unit for analyzing a viewing pattern of the user terminal using the log data distributed and processed on the basis of the key event,
The data processing apparatus further comprising:
제 2 항에 있어서,
상기 태깅된 태그 식별자에 기초하여 분산 병렬 처리된 로그 데이터를 이용하여 고속 로그 검색 서비스를 제공하는 검색부
를 더 포함하는 것인, 데이터 처리 장치.
3. The method of claim 2,
A search unit for providing a high-speed log search service using the log data distributed and parallel-processed based on the tagged tags,
The data processing apparatus further comprising:
제 1 항에 있어서,
상기 태깅부는 상기 로그 데이터 중 서비스 장애를 기반으로 발생된 로그 데이터에 대해 상기 서비스 장애가 발생된 사용자 단말의 고유 식별자에 기초하여 태깅을 수행하도록 구성되는 것인, 데이터 처리 장치.
The method according to claim 1,
Wherein the tagging unit is configured to perform tagging based on a unique identifier of a user terminal in which the service failure has occurred, with respect to log data generated based on a service failure in the log data.
제 8 항에 있어서,
상기 서비스 장애와 관련하여 분산 병렬 처리된 로그 데이터를 이용하여 상기 서비스 장애가 발생된 사용자 단말 별로 서비스 장애를 분석하는 장애 분석부
를 더 포함하는 것인, 데이터 처리 장치.
9. The method of claim 8,
And a failure analysis unit for analyzing a service failure for each user terminal in which the service failure has occurred using the log data distributed and processed in association with the service failure,
The data processing apparatus further comprising:
제 1 항에 있어서,
상기 수집부는 상기 복수의 사용자 단말로부터 추가 로그 데이터를 수집하고,
상기 작업 관리부는 상기 추가 로그 데이터의 규모를 판단하고, 상기 판단된 추가 로그 데이터의 규모에 기초하여 적어도 하나 이상의 추가 가상 머신을 생성하고, 상기 추가 가상 머신에 적어도 하나 이상의 맵 태스크 수행부 및 리듀스 태스크 수행부를 생성하여 할당하도록 구성되는 것인, 데이터 처리 장치.
The method according to claim 1,
Wherein the collecting unit collects additional log data from the plurality of user terminals,
Wherein the operation management unit determines the size of the additional log data, creates at least one additional virtual machine based on the determined size of the additional log data, and controls the at least one map task performing unit and the re- And to generate and assign a task performing unit.
제 10 항에 있어서,
상기 가상 머신 및 상기 추가 가상 머신 간을 연동시키기 위한 환경설정 파일을 생성하고, 상기 가상 머신으로 상기 환경설정 파일을 전송하는 환경설정 관리부를 더 포함하고,
상기 가상 머신은 상기 환경설정 파일을 상기 추가 가상 머신으로 전송하도록 구성되는 것인, 데이터 처리 장치.
11. The method of claim 10,
Further comprising an environment setting management unit for generating an environment setting file for interworking between the virtual machine and the additional virtual machine and transmitting the environment setting file to the virtual machine,
And the virtual machine is configured to transfer the configuration file to the additional virtual machine.
클라우드 기반의 데이터 처리 서비스를 제공받는 사용자 단말에 있어서,
키 이벤트를 입력받는 입력부;
상기 키 이벤트에 대한 로그 데이터를 생성하는 생성부;
상기 생성된 로그 데이터를 데이터 처리 장치로 전송하는 전송부; 및
상기 데이터 처리 장치에 의해 분산 병렬 처리된 상기 로그 데이터를 기반으로 하는 미디어 서비스를 제공받는 서비스 제공부
를 포함하고,
상기 전송된 로그 데이터는 상기 데이터 처리 장치에 의해 설정된 태그 식별자에 기초하여 태깅(tagging)되고, 상기 로그 데이터의 규모가 판단되고,
상기 판단된 로그 데이터의 규모에 기초하여 적어도 하나 이상의 가상 머신이 생성되고, 상기 가상 머신에 적어도 하나 이상의 맵 태스크 수행부 및 리듀스 태스크 수행부가 생성되어 할당되고,
상기 맵 태스크 수행부 및 상기 리듀스 태스크 수행부는 상기 태깅된 태그 식별자에 기초하여 상기 로그 데이터를 분산 병렬 처리하도록 구성되는 것인, 사용자 단말.
In a user terminal provided with a cloud-based data processing service,
An input unit for receiving a key event;
A generating unit for generating log data for the key event;
A transmitting unit for transmitting the generated log data to a data processing apparatus; And
A service providing unit for receiving a media service based on the log data distributed and processed by the data processing apparatus;
Lt; / RTI &gt;
The transmitted log data is tagged based on the tag identifier set by the data processing apparatus, the size of the log data is determined,
At least one virtual machine is created based on the determined size of the log data, at least one map task performing unit and a redess task performing unit are created and allocated to the virtual machine,
Wherein the map task performing unit and the reduction task performing unit are configured to perform the distributed parallel processing of the log data based on the tagged tag identifier.
제 12 항에 있어서,
상기 기설정된 태그 식별자는 상기 사용자 단말의 고유 식별자를 포함하고,
상기 로그 데이터는 상기 사용자 단말의 고유 식별자에 기초하여 태깅되고,
상기 맵 태스크 수행부는 상기 사용자 단말의 고유 식별자에 기초하여 상기 로그 데이터를 분류하는 것인, 사용자 단말.
13. The method of claim 12,
Wherein the predetermined tag identifier includes a unique identifier of the user terminal,
Wherein the log data is tagged based on a unique identifier of the user terminal,
Wherein the map task performing unit classifies the log data based on a unique identifier of the user terminal.
제 13 항에 있어서,
상기 서비스 제공부는 상기 사용자 단말의 고유 식별자에 기초하여 분산 병렬 처리된 로그 데이터를 이용하여 상기 사용자 단말에 대응되는 맞춤형 콘텐츠 추천 서비스를 제공받도록 구성되는 것인, 사용자 단말.
14. The method of claim 13,
Wherein the service providing unit is configured to receive a customized content recommendation service corresponding to the user terminal using log data distributed and processed in parallel based on the unique identifier of the user terminal.
제 12 항에 있어서,
상기 로그 데이터는 키 이벤트를 포함하고,
상기 맵 태스크 수행부는 상기 키 이벤트에 기초하여 상기 로그 데이터를 분류하는 것인, 사용자 단말.
13. The method of claim 12,
Wherein the log data includes a key event,
And the map task performing unit classifies the log data based on the key event.
제 15 항에 있어서,
상기 서비스 제공부는 상기 키 이벤트에 기초하여 분산 병렬 처리된 로그 데이터를 이용하여 분석된 상기 사용자 단말의 시청 패턴을 기반으로 하는 미디어 서비스를 제공받는 것인, 사용자 단말.
16. The method of claim 15,
Wherein the service providing unit is provided with a media service based on a viewing pattern of the user terminal analyzed using log data distributed and processed based on the key event.
제 12 항에 있어서,
상기 생성부는 서비스 장애가 발생된 경우, 상기 서비스 장애를 기반으로 하여 로그 데이터를 생성하고,
상기 서비스 장애를 기반으로 발생된 로그 데이터는 상기 서비스 장애가 발생된 사용자 단말의 고유 식별자에 기초하여 태깅이 수행되는 것인, 사용자 단말.
13. The method of claim 12,
Wherein the generation unit generates log data based on the service failure when a service failure occurs,
Wherein the log data generated based on the service fault is tagged based on a unique identifier of the user terminal in which the service fault occurred.
제 17 항에 있어서,
상기 서비스 제공부는 상기 서비스 장애와 관련하여 분산 병렬 처리된 로그 데이터를 이용하여 분석된 서비스 장애를 기반으로 하는 미디어 서비스를 제공받는 것인, 사용자 단말.
18. The method of claim 17,
Wherein the service providing unit is provided with a media service based on the analyzed service failure using the log data distributed and processed in association with the service failure.
클라우드 기반의 데이터를 처리하는 방법에 있어서,
복수의 사용자 단말에서 발생된 로그 데이터를 수집하는 단계;
상기 수집된 로그 데이터를 기설정된 태그 식별자에 기초하여 태깅(tagging)하는 단계;
상기 로그 데이터의 규모를 판단하는 단계;
상기 판단된 로그 데이터의 규모에 기초하여 적어도 하나 이상의 가상 머신을 생성하는 단계;
상기 가상 머신에 적어도 하나 이상의 맵 태스크 수행부 및 리듀스 태스크 수행부를 생성하여 할당하는 단계;
상기 적어도 하나 이상의 맵 태스크 수행부로 상기 로그 데이터를 할당하고, 상기 적어도 하나 이상의 리듀스 태스크 수행부로 상기 맵 태스크 수행부에 의해 처리된 로그 데이터를 할당하는 단계; 및
상기 태깅된 태그 식별자에 기초하여 상기 로그 데이터를 분산 병렬 처리하는 단계
를 포함하는 것인, 데이터 처리 방법.
In a method for processing cloud-based data,
Collecting log data generated at a plurality of user terminals;
Tagging the collected log data based on a predetermined tag identifier;
Determining a scale of the log data;
Generating at least one virtual machine based on the determined size of the log data;
Generating and assigning at least one map task performing unit and a reduce task performing unit to the virtual machine;
Allocating the log data to at least one map task performing unit and allocating log data processed by the map task performing unit to the at least one or more redundancy task performing unit; And
Performing distributed parallel processing on the log data based on the tagged tag identifier
The data processing method comprising the steps of:
제 19 항에 있어서,
상기 복수의 사용자 단말로부터 추가 로그 데이터를 수집하는 단계;
상기 추가 로그 데이터의 규모를 판단하는 단계;
상기 판단된 추가 로그 데이터의 규모에 기초하여 적어도 하나 이상의 추가 가상 머신을 생성하는 단계; 및
상기 추가 가상 머신에 적어도 하나 이상의 맵 태스크 수행부 및 리듀스 태스크 수행부를 생성하여 할당하는 단계
를 더 포함하는 것인, 데이터 처리 방법.20. The method of claim 19,
Collecting additional log data from the plurality of user terminals;
Determining a scale of the additional log data;
Generating at least one additional virtual machine based on the determined size of the additional log data; And
Creating and assigning at least one map task performing unit and a reduce task performing unit to the additional virtual machine
The data processing method further comprising:
KR1020160084936A 2016-07-05 2016-07-05 Cloud-based apparatus and mehtod for processing data, and cloud-based user device for receiving data process service KR102128389B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160084936A KR102128389B1 (en) 2016-07-05 2016-07-05 Cloud-based apparatus and mehtod for processing data, and cloud-based user device for receiving data process service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160084936A KR102128389B1 (en) 2016-07-05 2016-07-05 Cloud-based apparatus and mehtod for processing data, and cloud-based user device for receiving data process service

Publications (2)

Publication Number Publication Date
KR20180005042A true KR20180005042A (en) 2018-01-15
KR102128389B1 KR102128389B1 (en) 2020-07-09

Family

ID=61001478

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160084936A KR102128389B1 (en) 2016-07-05 2016-07-05 Cloud-based apparatus and mehtod for processing data, and cloud-based user device for receiving data process service

Country Status (1)

Country Link
KR (1) KR102128389B1 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100931198B1 (en) * 2007-12-10 2009-12-10 에스케이 텔레콤주식회사 Rich media usage pattern analysis method and system
KR20120009660A (en) * 2010-07-20 2012-02-02 에스케이 텔레콤주식회사 Apparatus, system and method for providing defect analysis service
KR20140031429A (en) * 2012-08-28 2014-03-13 에스케이플래닛 주식회사 Item recommend system and method thereof, apparatus supporting the same
KR20140052771A (en) * 2012-10-25 2014-05-07 에스케이텔레콤 주식회사 Analysis and operation system and method for big data, and apparatus supporting the same
KR20150000355A (en) * 2013-06-24 2015-01-02 삼성전자주식회사 Method and apparatus for managing medical data
US20150134699A1 (en) * 2013-11-11 2015-05-14 International Business Machines Corporation Data movement from a database to a distributed file system
US20150262268A1 (en) * 2009-08-31 2015-09-17 Vivek Padmanabhan Incremental computation of billing percentile values in a cloud based application acceleration as a service environment
KR20160099762A (en) * 2015-02-12 2016-08-23 소프트온넷(주) Cloud System for supporting auto-scaled Hadoop Distributed Parallel Processing System

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100931198B1 (en) * 2007-12-10 2009-12-10 에스케이 텔레콤주식회사 Rich media usage pattern analysis method and system
US20150262268A1 (en) * 2009-08-31 2015-09-17 Vivek Padmanabhan Incremental computation of billing percentile values in a cloud based application acceleration as a service environment
KR20120009660A (en) * 2010-07-20 2012-02-02 에스케이 텔레콤주식회사 Apparatus, system and method for providing defect analysis service
KR20140031429A (en) * 2012-08-28 2014-03-13 에스케이플래닛 주식회사 Item recommend system and method thereof, apparatus supporting the same
KR20140052771A (en) * 2012-10-25 2014-05-07 에스케이텔레콤 주식회사 Analysis and operation system and method for big data, and apparatus supporting the same
KR20150000355A (en) * 2013-06-24 2015-01-02 삼성전자주식회사 Method and apparatus for managing medical data
US20150134699A1 (en) * 2013-11-11 2015-05-14 International Business Machines Corporation Data movement from a database to a distributed file system
KR20160099762A (en) * 2015-02-12 2016-08-23 소프트온넷(주) Cloud System for supporting auto-scaled Hadoop Distributed Parallel Processing System

Also Published As

Publication number Publication date
KR102128389B1 (en) 2020-07-09

Similar Documents

Publication Publication Date Title
US10560465B2 (en) Real time anomaly detection for data streams
CN110515912A (en) Log processing method, device, computer installation and computer readable storage medium
US10491453B2 (en) Correlating computing network events
CN110427299B (en) Log processing method, related device and system for micro-service system application
CN107291928B (en) Log storage system and method
US9258312B1 (en) Distributed policy enforcement with verification mode
CN110928851B (en) Method, device and equipment for processing log information and storage medium
US10721184B2 (en) Distributed policy enforcement with optimizing policy transformations
CN111046011B (en) Log collection method, system, device, electronic equipment and readable storage medium
KR20130093806A (en) System for notifying access of individual information and method thereof
US20120054824A1 (en) Access control policy template generating device, system, method and program
CN110928853A (en) Method and device for identifying log
CN111953541A (en) Alarm information processing method and device, computer equipment and storage medium
CN110990473A (en) Tag data processing system and method
US20150006459A1 (en) Alarm Correlation Analysis Method, Apparatus and System
CN113157659A (en) Log processing method and device
CN112017007A (en) User behavior data processing method and device, computer equipment and storage medium
US20120072589A1 (en) Information Processing Apparatus and Method of Operating the Same
EP3151124A1 (en) On-board information system and information processing method therefor
US20190392039A1 (en) Cognitively identifying favorable photograph qualities
CN113821254A (en) Interface data processing method, device, storage medium and equipment
WO2021097713A1 (en) Distributed security testing system, method and device, and storage medium
CN112463527A (en) Data processing method, device, equipment, system and storage medium
KR102128389B1 (en) Cloud-based apparatus and mehtod for processing data, and cloud-based user device for receiving data process service
CN115204251A (en) Data processing method and device, electronic equipment and storage medium

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant