KR20190138048A - Data management device - Google Patents

Data management device Download PDF

Info

Publication number
KR20190138048A
KR20190138048A KR1020180064125A KR20180064125A KR20190138048A KR 20190138048 A KR20190138048 A KR 20190138048A KR 1020180064125 A KR1020180064125 A KR 1020180064125A KR 20180064125 A KR20180064125 A KR 20180064125A KR 20190138048 A KR20190138048 A KR 20190138048A
Authority
KR
South Korea
Prior art keywords
data
log
compressed
management device
processor
Prior art date
Application number
KR1020180064125A
Other languages
Korean (ko)
Other versions
KR102137153B1 (en
Inventor
김동욱
강우람
김건우
박원영
이정수
진성호
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020180064125A priority Critical patent/KR102137153B1/en
Priority to PCT/KR2018/009040 priority patent/WO2019235685A1/en
Publication of KR20190138048A publication Critical patent/KR20190138048A/en
Application granted granted Critical
Publication of KR102137153B1 publication Critical patent/KR102137153B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

According to an embodiment of the present invention, provided is a data management device, which comprises: a communication unit receiving log data indicating a sensing value from a log source; a first data storage storing the log data; a second data storage storing compressed data of the log data or statistical data to which statistical information is added; and a processor receiving a log data search request using the statistical information, and searching the log data based on the statistical information in accordance with the received log data search request.

Description

데이터 관리 장치{DATA MANAGEMENT DEVICE}DATA MANAGEMENT DEVICE}

본 발명은 데이터 관리 장치에 관한 것이다.The present invention relates to a data management apparatus.

유비쿼터스 사회로 발전함에 따라 다양한 분야에서 모니터링 응용이 확산되고 있다. 유비쿼터스는 동시에 어디에나 존재하는, 편재하는 이라는 사전적 의미를 가지고 있으며, 언제 어디서나 컴퓨팅 장치에 액세스할 수 있는 환경을 의미한다. With the development of ubiquitous society, monitoring applications are spreading in various fields. Ubiquitous has a dictionary meaning of ubiquitous, which exists everywhere at the same time, and means an environment that can access computing devices anytime and anywhere.

이는 통신 기술의 발전과 저장 및 컴퓨팅 기기의 발전에 따른 것이다. 사용자는 자신이 가지고 있는 모바일 장치나 개인 컴퓨터, 특수한 용도를 위한 전용 기기 등으로 다양한 분야의 정보들을 수신하고 동시에 전송할 수 있게 되었다.This is due to the development of communication technology and the development of storage and computing devices. Users can receive and transmit information in various fields simultaneously with their mobile devices, personal computers, and special devices for special purposes.

사용자가 모바일 장치나 Personal Computer(PC)로 수신하는 정보들은 서버와 같은 고성능 컴퓨팅 장치로부터 전송된 것일 수도 있고, 센서를 구비하는 센서 플랫폼으로부터 전송된 것일 수도 있다.Information that a user receives to a mobile device or a personal computer (PC) may be transmitted from a high performance computing device such as a server, or may be transmitted from a sensor platform having a sensor.

이러한, 센싱 데이터는 주기적인 시간 간격으로 측정되고, 시간의 흐름에 따라 정렬된 시퀀스 데이터이다.The sensing data is measured sequence data at periodic time intervals and arranged over time.

센싱 데이터는 항시, 수집되고 있으므로, 데이터가 쌓이는 경우, 큰 용량의 메모리가 필요하여, 메모리 비용이 늘어날 수 있다.Since the sensing data is always collected, when data is accumulated, a large capacity of memory is required, and memory costs may increase.

또한, 데이터 량이 많은 경우, 원하는 데이터를 검색하기 위해, 시간이 많이 소요되는 문제가 있었다.In addition, when the amount of data is large, there is a problem that takes a long time to search for the desired data.

본 발명은 수 많은 센싱 기기로부터 수집된 데이터를 효율적으로 저장하고, 데이터 검색을 용이하게 하는 데이터 관리 장치의 제공을 목적으로 한다.An object of the present invention is to provide a data management apparatus that efficiently stores data collected from numerous sensing devices and facilitates data retrieval.

본 발명은 불필요한 데이터를 주기적으로 삭제하여, 저장 공간을 축소시킬 수 있는 데이터 관리 장치의 제공을 목적으로 한다.An object of the present invention is to provide a data management apparatus which can reduce unnecessary storage by periodically deleting unnecessary data.

본 발명의 실시 예에 따른 데이터 관리 장치는 로그 소스로부터 센싱 값을 나타내는 로그 데이터를 수신하는 통신부와 상기 로그 데이터를 저장하는 제1 데이터 저장소와 상기 로그 데이터의 압축 데이터 또는 상기 압축 데이터에 통계 정보가 부가된 통계 데이터를 저장하는 제2 데이터 저장소 및 상기 통계 정보를 이용하는 로그 데이터 검색 요청을 수신하고, 수신된 로그 데이터 검색 요청에 따라 상기 통계 정보에 기반하여, 상기 로그 데이터를 검색하는 프로세서를 포함할 수 있다.According to an embodiment of the present invention, a data management apparatus includes a communication unit configured to receive log data indicating a sensing value from a log source, a first data store storing the log data, and compressed data of the log data or compressed data of the log data. A second data store storing the added statistical data and a processor configured to receive a log data search request using the statistical information and to search the log data based on the statistical information according to the received log data search request; Can be.

본 발명의 다양한 실시 예에 따르면, chunk 단위로 빠른 데이터 검색 시간을 보장하므로, 기기 별 데이터 분석이 중요한 도메인에서 효율적으로 사용될 수 있다.According to various embodiments of the present disclosure, since a fast data retrieval time is guaranteed in chunks, device-specific data analysis may be efficiently used in an important domain.

또한, 불필요한 저장 공간이 낭비되는 것을 방지하여, 저장 공간의 효율을 극대화시킬 수 있다.In addition, it is possible to prevent unnecessary storage space is wasted, thereby maximizing the efficiency of the storage space.

도 1은 본 발명의 일 실시 예에 따른 데이터 관리 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 데이터 관리 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 3a 내지 도 3c는 본 발명의 일 실시 예에 따라 타임스탬프를 압축하여, 저장되는 과정을 설명하는 도면이다.
도 4a 내지 도 4c는 본 발명의 일 실시 예에 따라 타임스탬프를 압축하여, 저장되는 과정을 설명하는 도면이다.
도 5a 내지 도 5c는 본 발명의 실시 예에 따른 원본 로그 데이터, 압축 데이터, 통합 데이터를 설명하기 위한 도면이다.
도 6은 본 발명의 또 다른 실시 예에 따른 데이터 관리 장치의 동작 방법을 설명하기 위한 흐름도이다.1 is a block diagram illustrating a data management apparatus according to an embodiment of the present invention.
2 is a flowchart illustrating a method of operating a data management apparatus according to an exemplary embodiment.
3A to 3C are diagrams illustrating a process of compressing and storing a time stamp according to an embodiment of the present invention.
4A to 4C are diagrams illustrating a process of compressing and storing a time stamp according to an embodiment of the present invention.
5A to 5C are diagrams for describing original log data, compressed data, and integrated data according to an embodiment of the present invention.
6 is a flowchart illustrating a method of operating a data management apparatus according to another embodiment of the present invention.

이하, 본 발명과 관련된 실시 예에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. Hereinafter, exemplary embodiments related to the present invention will be described in detail with reference to the accompanying drawings. The suffixes "module" and "unit" for components used in the following description are given or used in consideration of ease of specification, and do not have distinct meanings or roles from each other.

도 1은 본 발명의 일 실시 예에 따른 데이터 관리 장치를 설명하기 위한 블록도이다.1 is a block diagram illustrating a data management apparatus according to an embodiment of the present invention.

본 발명의 일 실시 예에 따른 데이터 관리 장치(100)는 통신부(110), 제1 데이터 저장소(120), 로그 데이터 압축기(130), 제2 데이터 저장소(140), 압축 해제기(150) 및 프로세서(170)를 포함한다.Data management apparatus 100 according to an embodiment of the present invention is the communication unit 110, the first data store 120, the log data compressor 130, the second data store 140, the decompressor 150 and A processor 170.

통신부(110)는 로그 소스(10)로부터 로그 데이터를 유선 또는 무선으로 수신할 수 있다.The communication unit 110 may receive log data from the log source 10 by wire or wirelessly.

일 실시 예에서 로그 소스는 각종 센싱 값을 감지하는 센서일 수 있다.According to an embodiment, the log source may be a sensor that detects various sensing values.

센서는 온도 센서, 습도 센서, 자기 센서 중 어느 하나일 수 있으나, 이는 예시에 불과하다.The sensor may be any one of a temperature sensor, a humidity sensor, and a magnetic sensor, but this is only an example.

통신부(110)는 로그 데이터를 사용자의 단말기(300)에 전송할 수 있다.The communication unit 110 may transmit log data to the terminal 300 of the user.

제1 데이터 저장소(120)는 파싱된 로그 데이터를 저장한다.The first data store 120 stores parsed log data.

제1 데이터 저장소(120)는 수집된 로그 데이터를 일정 기간 동안만 저장하는 저장소일 수 있다.The first data store 120 may be a store that stores collected log data only for a certain period of time.

로그 데이터 압축기(130)는 데이터 압축 주기에 도래한 경우, 제1 데이터 저장소(120)에 저장된 로그 데이터를 압축하여, 압축 데이터를 생성할 수 있다.When the log data compressor 130 arrives at a data compression period, the log data compressor 130 may compress the log data stored in the first data store 120 to generate compressed data.

제2 데이터 저장소(140)는 압축 데이터 또는 압축 데이터에 통계 정보가 삽입된 통계 데이터를 저장할 수 있다.The second data store 140 may store the statistical data in which the statistical information is inserted into the compressed data or the compressed data.

압축 해제기(150)는 압축 데이터의 압축을 해제할 수 있다.The decompressor 150 may decompress the compressed data.

압축 해제기(150)는 프로세서(170)에 포함될 수도 있다.The decompressor 150 may be included in the processor 170.

프로세서(170)는 데이터 관리 장치(100)의 동작을 전반적으로 제어할 수 있다.The processor 170 may control overall operations of the data management apparatus 100.

프로세서(170)는 로그 데이터를 압축하는 주기를 나타내는 데이터 압축 주기에 도래하였는지를 판단할 수 있다.The processor 170 may determine whether a data compression period representing a period of compressing log data has arrived.

프로세서(170)는 데이터 압축 주기에 도래한 경우, 제1 데이터 저장소(120)에 저장된 로그 데이터를 압축하여, 압축 데이터를 생성할 수 있다.When the processor 170 arrives at the data compression period, the processor 170 may compress the log data stored in the first data store 120 to generate compressed data.

제1 데이터 저장소(120) 또는 제2 데이터 저장소(140)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. The first data storage 120 or the second data storage 140 may be a flash memory type, a hard disk type, a solid state disk type, or an SSD type. ), Multimedia card micro type, card type memory (e.g. SD or XD memory, etc.), random access memory (RAM), static random access memory (SRAM), read-only memory (ROM), electrically erasable programmable read-only memory (EEPROM), programmable read-only memory (PROM), a magnetic memory, a magnetic disk, and an optical disk.

도 2는 본 발명의 일 실시 예에 따른 데이터 관리 장치의 동작 방법을 설명하기 위한 흐름도이다.2 is a flowchart illustrating a method of operating a data management apparatus according to an exemplary embodiment.

도 2를 참조하면, 데이터 관리 장치(100)의 통신부(110)는 로그 소스로부터 로그 데이터를 수신한다(S201). Referring to FIG. 2, the communication unit 110 of the data management apparatus 100 receives log data from a log source (S201).

일 실시 예에서 로그 소스는 각종 센싱 값을 감지하는 센서일 수 있다.According to an embodiment, the log source may be a sensor that detects various sensing values.

센서는 온도 센서, 습도 센서, 자기 센서 중 어느 하나일 수 있으나, 이는 예시에 불과하다.The sensor may be any one of a temperature sensor, a humidity sensor, and a magnetic sensor, but this is only an example.

통신부(110)는 유선 또는 무선으로, 로그 소스(100)로부터 센싱 값을 나타내는 로그 데이터를 수신할 수 있다.The communication unit 110 may receive log data indicating a sensing value from the log source 100 by wire or wirelessly.

통신부(110)가 무선으로 로그 데이터를 수신하는 경우, 통신부(110)는 근거리 무선 통신 모듈을 포함할 수 있다.When the communicator 110 wirelessly receives log data, the communicator 110 may include a short range wireless communication module.

근거리 무선 통신 모듈은 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wireless USB(Wireless Universal Serial Bus)등의 근거리 통신 규격을 위한 모듈을 포함할 수 있다.The near field communication module includes Bluetooth ™, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, Near Field Communication (NFC), Wireless USB (Wireless Universal Serial Bus). The module may include a module for a short range communication standard.

데이터 관리 장치(100)의 프로세서(170)는 수신된 로그 데이터를 파싱한다(S203).The processor 170 of the data management apparatus 100 parses the received log data (S203).

프로세서(170)는 수신된 로그 데이터를 미리 정해진 데이터 포맷에 따라 파싱 할 수 있다. The processor 170 may parse the received log data according to a predetermined data format.

프로세서(170)는 파싱된 로그 데이터를 제1 데이터 저장소에 저장한다(S205).The processor 170 stores the parsed log data in the first data store (S205).

제1 데이터 저장소(120)는 수집된 로그 데이터를 일정 기간 동안만 저장하는 저장소일 수 있다.The first data store 120 may be a store that stores collected log data only for a certain period of time.

프로세서(170)는 로그 데이터를 압축하는 주기를 나타내는 데이터 압축 주기에 도래하였는지를 판단한다(S207).The processor 170 determines whether a data compression period representing a period of compressing log data has been reached (S207).

프로세서(170)는 데이터 압축 주기 마다 제1 데이터 저장소(120)에 저장된 로그 데이터를 압축할 수 있다.The processor 170 may compress log data stored in the first data store 120 at every data compression cycle.

데이터 압축 주기는 1주일 일 수 있으나, 이는 예시에 불과하고, 관리자의 설정에 따라 달라질 수 있다.The data compression period may be one week, but this is only an example and may vary depending on the administrator's setting.

로그 데이터 압축기(130)는 데이터 압축 주기에 도래한 경우, 제1 데이터 저장소(120)에 저장된 로그 데이터를 압축하여, 압축 데이터를 생성한다(S209).When the log data compressor 130 arrives at a data compression cycle, the log data compressor 130 compresses log data stored in the first data store 120 to generate compressed data (S209).

로그 데이터 압축기(130)는 로그 데이터를 chunk 형태로 압축하여, 압축 데이터를 생성할 수 있다.The log data compressor 130 may compress the log data in a chunk form to generate compressed data.

압축 데이터는 로그 소스 별로, 특정 시간 간격으로 생성될 수 있다.Compressed data may be generated at specific time intervals for each log source.

압축 데이터는 센싱 값의 측정 시간을 나타내는 타임스탬프와 센싱 값 각각을 포함할 수 있다.The compressed data may include a timestamp indicating a measurement time of the sensing value and each of the sensing values.

이에 대해서는, 이하의 도면을 참조하여 설명한다.This will be described with reference to the following drawings.

도 3a 내지 도 3c는 본 발명의 일 실시 예에 따라 타임스탬프를 압축하여, 저장되는 과정을 설명하는 도면이다.3A to 3C are diagrams illustrating a process of compressing and storing time stamps according to an embodiment of the present invention.

도 3a를 참조하면, 로그 소스로부터 수신된 원본 타임 스탬프 데이터(310)가 도시되어 있다.Referring to FIG. 3A, original time stamp data 310 received from a log source is shown.

데이터 관리 장치(100)의 프로세서(170)는 원본 타임 스탬프 데이터(310)를 파싱하여, 파싱된 타임 스탬프 데이터(320)를 제1 데이터 저장소(120)에 저장할 수 있다.The processor 170 of the data management apparatus 100 may parse the original time stamp data 310 and store the parsed time stamp data 320 in the first data store 120.

프로세서(170)는 데이터 압축 주기가 도래한 경우, 제1 데이터 저장소(120)에 저장된 타임 스탬프 데이터(320)를 chunk 형태로 압축하여, 압축된 타임 스탬프 데이터(330)를 생성할 수 있다.When the data compression period arrives, the processor 170 may compress the time stamp data 320 stored in the first data store 120 in a chunk form to generate the compressed time stamp data 330.

압축된 타임 스탬프 데이터(330)는 타임 스탬프 값의 시작 값(331) 및 시작 값(331)을 기준으로, 타임 스탬프 값의 순차적인 차이를 나타내는 차이 값(333)을 포함할 수 있다.The compressed time stamp data 330 may include a difference value 333 indicating a sequential difference between the time stamp values based on the start value 331 and the start value 331 of the time stamp value.

압축된 타임 스탬프 데이터(330)는 제2 데이터 저장소(140)에 저장될 수 있다.The compressed time stamp data 330 may be stored in the second data store 140.

압축된 타임 스탬프 데이터(330)는 제1 데이터 저장소(120)에 저장된 데이터(320)에 비해, 데이터가 압축되어, 데이터 크기가 크게 감소될 수 있다. 이에 따라, 저장 공간이 효율적으로 사용될 수 있다.In the compressed time stamp data 330, the data is compressed compared to the data 320 stored in the first data store 120, thereby greatly reducing the data size. Thus, the storage space can be used efficiently.

도 4a 내지 도 4c는 본 발명의 일 실시 예에 따라 타임스탬프를 압축하여, 저장되는 과정을 설명하는 도면이다.4A to 4C are diagrams illustrating a process of compressing and storing a time stamp according to an embodiment of the present invention.

도 4a를 참조하면, 로그 소스로부터 수신된 원본 센싱 데이터(410)가 도시되어 있다.4A, original sensing data 410 received from a log source is shown.

데이터 관리 장치(100)의 프로세서(170)는 원본 센싱 데이터(410)를 파싱하여, 파싱된 센싱 데이터(420)를 제1 데이터 저장소(120)에 저장할 수 있다.The processor 170 of the data management apparatus 100 may parse the original sensing data 410 and store the parsed sensing data 420 in the first data store 120.

프로세서(170)는 데이터 압축 주기가 도래한 경우, 제1 데이터 저장소(120)에 저장된 센싱 데이터(420)를 chunk 형태로 압축하여, 압축된 센싱 데이터(430)를 생성할 수 있다.When the data compression period arrives, the processor 170 may generate the compressed sensing data 430 by compressing the sensing data 420 stored in the first data store 120 in a chunk form.

예를 들어, 20.8이라는 동일한 센싱 값이 일정 시간 간격으로, 15번 반복된 경우, 프로세서(170)는 해당 센싱 값(431) 및 동일한 센싱 값의 반복 횟수(433)를 포함하는 압축된 센싱 데이터(430)를 생성할 수 있다.For example, if the same sensing value of 20.8 is repeated 15 times at regular time intervals, the processor 170 may include the compressed sensing data including the corresponding sensing value 431 and the number of repetitions 433 of the same sensing value. 430 may be generated.

압축된 센싱 데이터(430)는 제2 데이터 저장소(140)에 저장될 수 있다.The compressed sensing data 430 may be stored in the second data store 140.

압축된 센싱 데이터(430)는 제1 데이터 저장소(120)에 저장된 데이터(420)에 비해, 데이터가 압축되어, 데이터 크기가 크게 감소될 수 있다. 이에 따라, 저장 공간이 효율적으로 사용될 수 있다.In the compressed sensing data 430, the data may be compressed compared to the data 420 stored in the first data store 120, thereby greatly reducing the data size. Thus, the storage space can be used efficiently.

다시, 도 2를 설명한다.Again, Fig. 2 is described.

프로세서(170)는 생성된 압축 데이터에 통계 정보를 삽입한다(S211).The processor 170 inserts statistical information into the generated compressed data (S211).

일 실시 예에서 통계 정보는 압축 데이터의 검색 효율성을 위해 삽입된 정보일 수 있다.In one embodiment, the statistical information may be information inserted for the search efficiency of compressed data.

일 실시 예에서, 통계 정보는 압축 데이터에 기반하여 생성된 정보일 수 있다.In one embodiment, the statistical information may be information generated based on the compressed data.

프로세서(170)는 압축 데이터를 분석하여, 압축 데이터에 포함된 센싱 값의 범위를 추출하고, 추출된 센싱 값의 범위를 통계 정보로 획득할 수 있다.The processor 170 may analyze the compressed data, extract a range of sensing values included in the compressed data, and obtain the extracted range of sensing values as statistical information.

또 다른 실시 예에서, 통계 정보는 특정 기간 동안 센싱 값의 평균, 표준 편차 등을 포함할 수 있다.In another embodiment, the statistical information may include an average of the sensing value, a standard deviation, and the like for a specific period of time.

이에 대해서는 이하의 도면을 참조하여 설명한다.This will be described with reference to the following drawings.

도 5a 내지 도 5c는 본 발명의 실시 예에 따른 원본 로그 데이터, 압축 데이터, 통합 데이터를 설명하기 위한 도면이다.5A to 5C are diagrams for describing original log data, compressed data, and integrated data according to an embodiment of the present invention.

도 5a는 복수의 원본 로그 데이터들(510)을 나타내는 도면이고, 도 5b는 복수의 원본 로그 데이터들이 압축된 상태인 압축 데이터(530)를 나타내는 도면이고, 도 5c는 압축 데이터(530)에 통계 정보(551)가 포함된 상태의 통계 데이터(550)를 나타내는 도면이다.5A is a diagram illustrating a plurality of original log data 510, and FIG. 5B is a diagram showing compressed data 530 in a state where a plurality of original log data are compressed. It is a figure which shows the statistical data 550 of the state with the information 551 included.

프로세서(170)는 복수의 원본 로그 데이터(510)을 압축하여, 압축 데이터(530)를 생성할 수 있다.The processor 170 may compress the plurality of original log data 510 to generate the compressed data 530.

프로세서(170)는 압축 데이터(530)에 기초하여, 통계 정보(551)를 획득할 수 있다.The processor 170 may obtain statistical information 551 based on the compressed data 530.

예를 들어, 압축 데이터(530)가 온도 센서를 통해 측정된 온도 값을 포함하는 경우, 프로세서(170)는 압축 데이터(530)의 온도 값들의 분포를 이용하여 온도 센서를 통해 측정된 온도 값의 범위, 파이프 입구의 온도 값의 범위, 파이프 출구의 온도 값의 범위를 포함하는 통계 정보(551)를 생성할 수 있다.For example, if the compressed data 530 includes a temperature value measured through a temperature sensor, the processor 170 may determine the temperature value measured through the temperature sensor using a distribution of temperature values of the compressed data 530. Statistical information 551 can be generated that includes a range, a range of temperature values at the pipe inlet, and a range of temperature values at the pipe outlet.

통계 정보(551)는 추후, 데이터의 검색을 빠르게 하도록 활용될 수 있다.The statistical information 551 may later be utilized to speed up the retrieval of the data.

프로세서(170)는 생성된 통합 정보(551)를 압축 데이터(530)에 삽입하여, 통합 데이터(550)를 생성할 수 있다.The processor 170 may generate the unified data 550 by inserting the generated unified information 551 into the compressed data 530.

프로세서(170)는 압축 데이터에 통계 정보가 삽입된 통합 데이터를 제2 데이터 저장소(140)에 저장한다(S213).The processor 170 stores the integrated data in which statistical information is inserted into the compressed data in the second data store 140 (S213).

그 후, 프로세서(170)는 제1 데이터 저장소(120)에 저장된 로그 데이터를 삭제한다(S215).Thereafter, the processor 170 deletes log data stored in the first data store 120 (S215).

즉, 프로세서(170)는 통합 데이터(550)가 생성된 후, 제1 데이터 저장소(120)에 저장되어, 통합 데이터(550)에 대응하는 로그 데이터를 삭제할 수 있다.That is, the processor 170 may delete the log data corresponding to the integrated data 550 after the integrated data 550 is generated and stored in the first data store 120.

이에 따라, 제1 데이터 저장소(120)의 메모리 관리가 효율적으로 수행될 수 있다.Accordingly, memory management of the first data store 120 may be efficiently performed.

도 6은 본 발명의 또 다른 실시 예에 따른 데이터 관리 장치의 동작 방법을 설명하기 위한 흐름도이다.6 is a flowchart illustrating a method of operating a data management apparatus according to another embodiment of the present invention.

특히, 도 6은 로그 데이터의 검색을 위한 데이터 관리 장치(100)의 동작 방법을 설명하는 도면이다.In particular, FIG. 6 is a diagram illustrating an operation method of the data management apparatus 100 for retrieving log data.

도 6의 실시 예는 도 2의 단계 S215 이후에 수행될 수 있다.The embodiment of FIG. 6 may be performed after step S215 of FIG. 2.

프로세서(170)는 로그 데이터 검색 요청을 수신한다(S601).The processor 170 receives a log data search request (S601).

프로세서(170)는 로그 데이터 검색 요청에 따른 검색 범위가 숏텀 범위에 포함되는지를 판단한다(S603).The processor 170 determines whether the search range according to the log data search request is included in the short term range (S603).

일 실시 예에서, 숏텀 범위는 기 설정된 기간 보다 더 작은 기간의 범위일 수 있다. 기 설정된 기간은 일주일 미만일 수 있으나, 이는 예시에 불과한 수치이다.In one embodiment, the short term range may be a range of periods smaller than the preset period. The preset period may be less than a week, but this is only an example.

프로세서(170)는 검색 범위가 숏텀 범위에 포함되는 것으로 판단한 경우, 제1 데이터 저장소(120)를 통해 로그 데이터를 검색한다(S605).When the processor 170 determines that the search range is included in the short range, the processor 170 searches the log data through the first data store 120 (S605).

즉, 프로세서(170)는 검색 요청에 따라 숏텀 기간의 데이터를 저장하고 있는 제1 데이터 저장소(120)를 통해 로그 데이터를 검색할 수 있다.That is, the processor 170 may search the log data through the first data store 120 storing the data of the short term according to the search request.

그 후, 프로세서(170)는 검색된 원본 로그 데이터를 생성하고(S607), 생성된 원본 로그 데이터를 단말기(300)에 전송한다(S609).Thereafter, the processor 170 generates the retrieved original log data (S607), and transmits the generated original log data to the terminal 300 (S609).

프로세서(170)는 파싱된 로그 데이터로부터 원본 로그 데이터를 복구하고, 원본 로그 데이터를 통신부(110)를 통해 단말기(300)에 전송할 수 있다.The processor 170 may recover the original log data from the parsed log data, and transmit the original log data to the terminal 300 through the communication unit 110.

한편, 프로세서(170)는 검색 범위가 숏텀 범위에 포함되지 않은 경우, 프로세서(170)는 제2 데이터 저장소(140)를 통해 압축 데이터를 검색한다(S611).On the other hand, if the search range is not included in the short range, the processor 170 searches for compressed data through the second data store 140 (S611).

만약, 로그 데이터 검색 요청이 통계 정보를 이용한 검색 요청인 경우, 프로세서(170)는 통계 정보를 이용하여, 압축 데이터를 필터링한다(S615).If the log data search request is a search request using statistical information, the processor 170 filters compressed data using the statistical information (S615).

즉, 프로세서(170)는 통계 정보를 이용하여, 로그 데이터를 검색하기 위한 요청을 수신한 경우, 통계 정보를 통해 압축 데이터를 필터링할 수 있다.That is, when the processor 170 receives the request for retrieving the log data using the statistical information, the processor 170 may filter the compressed data through the statistical information.

예를 들어, 검색 요청이 특정 온도 값의 범위를 검색하는 요청인 경우, 프로세서(170)는 통합 데이터에 포함된 통계 정보를 이용하여, 해당 온도 값의 범위를 갖는 압축 데이터를 추출할 수 있다.For example, when the search request is a request for searching a range of specific temperature values, the processor 170 may extract compressed data having a range of corresponding temperature values by using statistical information included in the integrated data.

프로세서(170)는 필터링된 압축 데이터의 압축을 해제하고(S617), 검색 요청에 따른 검색을 수행하고, 검색된 원본 로그 데이터를 생성한다(S607).The processor 170 decompresses the filtered compressed data (S617), performs a search according to the search request, and generates the searched original log data (S607).

한편, 로그 데이터 검색 요청이 통계 정보를 이용한 검색 요청이 아닌 경우, 프로세서(170)는 해당 압축 데이터의 압축을 해제하고(S619), 검색 요청에 따른 검색을 수행한 후, 검색된 원본 로그 데이터를 생성한다(S607).On the other hand, if the log data search request is not a search request using statistical information, the processor 170 decompresses the compressed data (S619), performs a search according to the search request, and then generates the searched original log data. (S607).

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 상기 컴퓨터는 단말기의 제어부(180)를 포함할 수도 있다. The present invention described above can be embodied as computer readable codes on a medium in which a program is recorded. The computer-readable medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include hard disk drives (HDDs), solid state disks (SSDs), silicon disk drives (SDDs), ROMs, RAM, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, and the like. There is this. In addition, the computer may include the controller 180 of the terminal.

따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고, 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.Accordingly, the above detailed description should not be construed as limiting in all aspects, but should be considered as illustrative. The scope of the invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the invention are included in the scope of the invention.

Claims (10)

데이터 관리 장치에 있어서,
로그 소스로부터 센싱 값을 나타내는 로그 데이터를 수신하는 통신부;
상기 로그 데이터를 저장하는 제1 데이터 저장소;
상기 로그 데이터의 압축 데이터 또는 상기 압축 데이터에 통계 정보가 부가된 통계 데이터를 저장하는 제2 데이터 저장소; 및
상기 통계 정보를 이용하는 로그 데이터 검색 요청을 수신하고, 수신된 로그 데이터 검색 요청에 따라 상기 통계 정보에 기반하여, 상기 로그 데이터를 검색하는 프로세서를 포함하는
데이터 관리 장치.In the data management apparatus,
A communication unit for receiving log data indicating a sensing value from a log source;
A first data store for storing the log data;
A second data store for storing the compressed data of the log data or the statistical data added with the statistical information to the compressed data; And
And a processor configured to receive a log data search request using the statistical information and search the log data based on the statistical information according to the received log data search request.
Data management device. 제1항에 있어서,
상기 통계 정보는
상기 압축 데이터에 포함된 센싱 값의 범위를 포함하는
데이터 관리 장치.The method of claim 1,
The statistical information is
A range of sensing values included in the compressed data
Data management device. 제2항에 있어서,
상기 통계 정보는
특정 기간 동안 상기 센싱 값의 평균, 표준 편차 중 하나 이상을 포함하는
데이터 관리 장치.The method of claim 2,
The statistical information is
At least one of an average and a standard deviation of the sensing values for a particular period of time.
Data management device. 제1항에 있어서,
상기 프로세서는
상기 로그 데이터 검색 요청이 기 설정된 기간 미만의 데이터 요청인 경우, 상기 제1 데이터 저장소에 저장된 로그 데이터를 검색하는
데이터 관리 장치.The method of claim 1,
The processor is
When the log data search request is a data request for less than a preset period, the log data stored in the first data store is searched.
Data management device. 제1항에 있어서,
상기 프로세서는
상기 로그 데이터 검색 요청이 상기 기 설정된 기간 이상의 데이터 요청인 경우, 상기 제2 데이터 저장소에 저장된 압축 데이터를 검색하는
데이터 관리 장치.The method of claim 1,
The processor is
When the log data search request is a data request for the predetermined period or more, the compressed data stored in the second data store is searched.
Data management device. 제1항에 있어서,
상기 압축 데이터는
타임 스탬프 값의 시작 값 및 상기 시작 값을 기준으로, 타임 스탬프 값의 순차적인 차이를 나타내는 차이 값을 포함하는
데이터 관리 장치.The method of claim 1,
The compressed data
A start value of a time stamp value and a difference value indicating a sequential difference of time stamp values based on the start value
Data management device. 제1항에 있어서,
상기 센싱 값 및 동일한 센싱 값의 반복 횟수를 포함하는
데이터 관리 장치.The method of claim 1,
The number of repetitions of the sensing value and the same sensing value
Data management device. 제1항에 있어서,
상기 프로세서는
상기 로그 데이터의 데이터 압축 주기에 도래한 경우, 상기 로그 데이터를 압축하여, 상기 압축 데이터를 생성하는
데이터 관리 장치.The method of claim 1,
The processor is
When the data compression cycle of the log data arrives, the log data is compressed to generate the compressed data.
Data management device. 제8항에 있어서,
상기 프로세서는
상기 로그 데이터에 대응하는 상기 압축 데이터 또는 상기 통계 데이터가 상기 제2 데이터 저장소에 저장된 후, 상기 제1 데이터 저장소에 저장된 로그 데이터를 삭제하는
데이터 관리 장치.The method of claim 8,
The processor is
Deleting the log data stored in the first data store after the compressed data or the statistical data corresponding to the log data are stored in the second data store.
Data management device. 제1항에 있어서,
상기 로그 소스는
온도 센서, 습도 센서 중 어느 하나인
데이터 관리 장치.The method of claim 1,
The log source is
Either the temperature sensor or the humidity sensor
Data management device.
KR1020180064125A 2018-06-04 2018-06-04 Data management device KR102137153B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180064125A KR102137153B1 (en) 2018-06-04 2018-06-04 Data management device
PCT/KR2018/009040 WO2019235685A1 (en) 2018-06-04 2018-08-08 Data management device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180064125A KR102137153B1 (en) 2018-06-04 2018-06-04 Data management device

Publications (2)

Publication Number Publication Date
KR20190138048A true KR20190138048A (en) 2019-12-12
KR102137153B1 KR102137153B1 (en) 2020-07-24

Family

ID=68769356

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180064125A KR102137153B1 (en) 2018-06-04 2018-06-04 Data management device

Country Status (2)

Country Link
KR (1) KR102137153B1 (en)
WO (1) WO2019235685A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008310634A (en) * 2007-06-15 2008-12-25 Mitsubishi Electric Corp Database search device and database search program
JP2016521402A (en) * 2013-03-29 2016-07-21 キュムラス システムズ インコーポレイテッドＣｕｍｕｌｕｓ Ｓｙｓｔｅｍｓ Ｉｎｃｏｒｐｏｒａｔｅｄ Data organization and high-speed search
KR101744892B1 (en) * 2016-03-17 2017-06-09 주식회사 젠시스템즈 System and method for data searching using time series tier indexing

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101720316B1 (en) * 2011-10-18 2017-04-05 한국전자통신연구원 Method and apparatus for providing information for sensor network
KR101809756B1 (en) * 2012-07-09 2017-12-15 엘에스산전 주식회사 Apparatus and method for searching of PLC log-data
KR101909500B1 (en) * 2016-06-08 2018-10-18 (주)레드스톤소프트 Management Device for Log Data and Management System for Log Data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008310634A (en) * 2007-06-15 2008-12-25 Mitsubishi Electric Corp Database search device and database search program
JP2016521402A (en) * 2013-03-29 2016-07-21 キュムラス システムズ インコーポレイテッドＣｕｍｕｌｕｓ Ｓｙｓｔｅｍｓ Ｉｎｃｏｒｐｏｒａｔｅｄ Data organization and high-speed search
KR101744892B1 (en) * 2016-03-17 2017-06-09 주식회사 젠시스템즈 System and method for data searching using time series tier indexing

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
신동현 외, ‘무선센서네트워크에서 센서 데이터 손실과 오류 감소를 위한 데이터 압축 방법’, 멀티미디어학회 논문지, 2016. 02* *

Also Published As

Publication number Publication date
KR102137153B1 (en) 2020-07-24
WO2019235685A1 (en) 2019-12-12

Similar Documents

Publication Publication Date Title
CN110209348B (en) Data storage method and device, electronic equipment and storage medium
KR20170054299A (en) Reference block aggregating into a reference set for deduplication in memory management
JP5719037B2 (en) Storage apparatus and duplicate data detection method
CN101425039A (en) Electronic appliance and method for controlling file copy for storage apparatus
CN105468642A (en) Data storage method and apparatus
EP2026184A1 (en) Device, method, and program for selecting data storage destination from a plurality of tape recording devices
US9280551B2 (en) De-duplication deployment planning
EP3422204A1 (en) Method and apparatus for archiving database, and method and apparatus for searching archived database
CN107656971A (en) A kind of intelligent grid collection Monitoring Data storage method based on Redis
CN104427341A (en) Image processing method and apparatus, and terminal
US10503713B1 (en) Criterion-based retention of data object versions
Nath Energy efficient sensor data logging with amnesic flash storage
KR102137153B1 (en) Data management device
CN107169057B (en) Method and device for detecting repeated pictures
EP3070615A1 (en) Information processing apparatus, and data management method
CN115454353B (en) High-speed writing and query method for space application data
KR20120010441A (en) Portable digital forensics data acquisition apparatus, data acquisition method, and computer readable medium thereof
Dou et al. Supporting historic queries in sensor networks with flash storage
KR101111400B1 (en) Apparatus and method for recovering the data of embeded system
CN114327296A (en) Intelligent disk fragment analysis method and device and electronic equipment
CN110443590B (en) Electronic human resource archive management system and management method thereof
CN104103028A (en) Diagnosis-and-treatment-record management system, diagnosis-and-treatment-record management method
CN114610792A (en) Data processing method, device and system and industrial equipment
CN104572643A (en) Search method and search engine
JP6360933B1 (en) Data processing method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right