WO2017090799A1 - 데이터 유형에 따른 선택적 db 구성 방법 및 시스템 - Google Patents

데이터 유형에 따른 선택적 db 구성 방법 및 시스템 Download PDF

Info

Publication number
WO2017090799A1
WO2017090799A1 PCT/KR2015/012851 KR2015012851W WO2017090799A1 WO 2017090799 A1 WO2017090799 A1 WO 2017090799A1 KR 2015012851 W KR2015012851 W KR 2015012851W WO 2017090799 A1 WO2017090799 A1 WO 2017090799A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
dbms
stored
determined
optimal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2015/012851
Other languages
English (en)
French (fr)
Inventor
송민환
이상신
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Electronics Technology Institute
Original Assignee
Korea Electronics Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Electronics Technology Institute filed Critical Korea Electronics Technology Institute
Publication of WO2017090799A1 publication Critical patent/WO2017090799A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor

Definitions

  • the present invention relates to a data storage technology, and more particularly, to a method and system for storing and managing data in an optimal DB (DataBase).
  • DataBase DataBase
  • Efficient data management includes not only storing and keeping a large amount of data securely, but also providing data quickly for requests for retrieval of data.
  • the most generated data from the devices constituting the IoT is measurement data. Since the measurement time is important for the measurement data, it is important to match and manage the measurement data.
  • an object of the present invention is to provide a method and system for selectively configuring the optimal DB according to the data type.
  • Another object of the present invention is to provide a method and system capable of accurately managing a time interval of received time series data.
  • DB configuration method for achieving the above object, based on the characteristics of the data, determining one of a plurality of DBMS (DataBase Management System) DBMS to store the data; And storing the data in the determined DBMS.
  • DBMS DataBase Management System
  • the determining may include determining a DBMS to store the data based on the profile of the data.
  • determining step it is determined that general data or metadata is stored in a first DBMS, time-series data is determined to be stored in a second DBMS, and image data is determined to be stored in a third DBMS, The video data may be determined to be stored in the fourth DBMS, and the high speed sampling data may be determined to be stored in the fifth DBMS.
  • the storing may include storing the time series data with a time stamp calculated from a sequence number or a timer value received together with the time series data.
  • the determination step may be performed.
  • the determining may include determining a DBMS to store the data based on at least one of the data storage period, the type of the data, and the size of the data.
  • the determining may determine the type of the data, based on the query processing history for the data.
  • a data storage system a plurality of DBMS (DataBase Management System); And a processor configured to determine one of the plurality of DBMSs as a DBMS to store the data based on characteristics of the data, and to store the data in the determined DBMS.
  • DBMS DataBase Management System
  • FIG. 1 is a view provided to explain a concept of a selective DB configuration method according to a data type according to an embodiment of the present invention
  • FIG. 2 is a diagram schematically illustrating a concept of a method of determining an optimal DBMS from a storage type of data
  • FIG. 3 is a diagram schematically illustrating a concept of a method of determining an optimal DBMS from a query processing history of data
  • 4 through 7 are message sequence charts provided in the description of the process of the platform collecting time series data from a device that does not have an RTC;
  • FIG. 8 is a block diagram of a data storage system according to another embodiment of the present invention.
  • FIG. 9 is a flowchart provided to explain a selective DB configuration method according to a data type according to another embodiment of the present invention.
  • FIG. 1 is a view provided to explain a concept of a selective DB configuration method according to a data type according to an embodiment of the present invention.
  • Optional DB configuration method is applicable to the IoT / CoT platform / server that stores the data collected from the Internet of Things / Cloud of Things (CoT) devices.
  • CoT Cloud of Things
  • data requested for storage / query through API is data virtualized for management and retrieval purposes.
  • data is stored in different DBMSs (DBMS-1, DBMS-2, DBMS-3, ..., DBMS-n).
  • the DBMS in which data will be stored is determined by the data profile. That is, when the data profile is 1) the first type of profile (Profile-1), stored in the first type of DBMS (DBMS-1), and 2) the second type of profile (Profile-2), 3) is stored in the third type DBMS (DBMS-2), 3) in the case of the third type of profile (Profile-) 3, is stored in the third type of DBMS (DBMS-3), ..., n) In the case of an n-type profile (Profile-n), the n-type DBMS (DBMS-n) is stored.
  • the data profile may be divided into general data, metadata, time series data, image data, video data, high speed sampling data, and the like.
  • Time series data may include data consisting of time-measure pairs.
  • DBMS can be implemented in various kinds.
  • RDB Relational DB
  • TS Series Time Series DB
  • DBMS can be implemented in various kinds.
  • RDB Relational DB
  • TS Series Time Series DB
  • the data can be stored in DBMS-1 once, and later, the optimal DBMS can be determined by determining what type of data is stored.
  • the data may be stored in DBMS-1 once, and later the query processing history of the data may be analyzed to determine the optimal DBMS.
  • FIG. 2 schematically illustrates the concept of a method for determining an optimal DBMS from a storage type of data.
  • the requested data is temporarily stored in DBMS-1.
  • the storage type of the data is determined based on the data storage cycle, type, size, and the like. Then, by inferring the profile of the data from the storage type of the data, an optimal DBMS is determined for the data.
  • an optimal DBMS for data temporarily stored in DBMS-1 is determined to be DBMS-n, and a process of moving data temporarily stored in DBMS-1 to DBMS-n is indicated by a curved arrow.
  • FIG. 3 schematically illustrates a concept of a method of determining an optimal DBMS from a query processing history of data. Also in FIG. 3, the requested data is temporarily stored in DBMS-1.
  • the data reflects the characteristic that the query processing speed (query result return speed) is the fastest when stored in the optimal DBMS. If the data is stored in an inappropriate DBMS, the query processing speed (returning query results) is slow.
  • the optimal DBMS is derived by analyzing the processing time for the query amount requested at the current DBMS.
  • an optimal DBMS for data temporarily stored in DBMS-1 is determined to be DBMS-n, and a process of moving data temporarily stored in DBMS-1 to DBMS-n is indicated by a curved arrow.
  • the method of determining the optimal DBMS shown in FIGS. 2 and 3 later may be applied for further updating even when the optimal DBMS is determined by referring to the profile of the data at the time of initial storage.
  • the optimal DBMS is determined as DBMS-2 and stored by referring to the profile of data at the time of initial storage, then the optimal DBMS is found to be DBMS-3 by analyzing the storage type or query processing history. To update the DBMS. In this case, the data stored / stored in DBMS-2 is moved to DBMS-3.
  • a DBMS eg, TSDB
  • FIGS. 4 to 7 are diagrams provided to explain a process of collecting time series data from an IoT / CoT device that does not have a Real Time Clock (RTC) by the IoT / CoT platform / server / gateway.
  • RTC Real Time Clock
  • the measurement interval of the measurement data without the accurate measurement time is restored as accurately as possible, and the measurement time is restored as accurately as possible.
  • FIG. 4 is a message sequence chart illustrating a method of collecting measurement data from a device having a constant sampling rate (cycle) and storing the measured data in a DBMS.
  • the device first registers time information with the platform and requests time initialization.
  • the registered time information is the sampling rate (period) of the device.
  • the platform In response to the time initialization request of the device, the platform generates a time stamp at the initial time or its current time.
  • the device then periodically sends measurement data along with the sequence number to the platform. Then, the platform sequentially stores the measurement data while increasing the initially generated time stamp by a sampling period (delta T).
  • 5 is a message sequence chart illustrating another method of collecting measurement data from a device having a constant sampling rate and storing the same in a DBMS.
  • the data set to be delivered may include 1) measurement data in order, and 2) measurement data added with sequence numbers.
  • the platform maps the measurement data included in the received data set by increasing the time stamp based on the sampling period and storing the measured data in the corresponding DBMS.
  • FIG. 6 is a message sequence chart illustrating a method of collecting measurement data generated by aperiodic sampling in a device and storing the measurement data in a DBMS.
  • the device first registers time information with the platform and requests time initialization.
  • the registered time information is information indicating that the sampling mode of the device is aperiodic mode and timer basic information.
  • the platform In response to the device's time initialization request, the platform generates a time stamp at the initial time or at its current time.
  • the device then sends its timer value to the platform with measurement data generated aperiodically.
  • the timer of the device is a general timer, not an RTC.
  • the platform incrementally stores the initial generated time stamp based on the timer value and stores the measured data sequentially.
  • FIG. 7 is a message sequence chart illustrating another method of collecting measurement data generated by aperiodic sampling in a device and storing the measurement data in a DBMS.
  • the 7 differs from the method shown in FIG. 6 in that a plurality of measurement data is transferred from the device to the platform in a set.
  • the data set to be delivered consists of measurement data added with timer values.
  • the platform maps the measurement data included in the received data set by increasing the time stamp based on the timer value and storing the measured data in the corresponding DBMS.
  • a data storage system may include an interface 110, a processor 120, and DBMSs 130-1, 130-2,..., 130-n. Include.
  • the interface 110 is a communication interface that collects data from the IoT / CoT device and delivers the data to the IoT / CoT device.
  • the DBMSs 130-1, 130-2,..., 130-n are different types of DBMSs that store data collected through the interface 110.
  • the processor 120 selects and stores an optimal DBMS for a data storage request received from the IoT / CoT device through the interface 110. In addition, the processor 120 obtains and provides corresponding data from the corresponding DBMS for the data query request received from the IoT / CoT device through the interface 110.
  • FIG. 9 is a flowchart provided to explain a selective DB configuration method according to a data type according to another embodiment of the present invention.
  • the processor 120 determines a profile of the data requested for storage (S220).
  • the data is stored in the optimal DBMS (S240).
  • the data is temporarily stored in the default DBMS (for example, DBMS-1 130-1) (S250).
  • the storage type of the data is determined based on the storage period, type, size, and the like of the data, and the data is inferred from the storage type of the data to determine the data. Determine the optimal DBMS for (S270).
  • step S270 If the optimal DBMS determined in step S270 is different from the DBMS in which data is stored in step S240 or S250, data movement to the determined optimal DBMS is additionally performed in step S270.
  • step S270 determines whether the optimal DBMS determined in step S270 is the same DBMS in which data is stored in step S240 or S250, data movement is not performed in step S270.
  • step S290 If the optimal DBMS determined in step S290 is different from the DBMS in which the current data is stored, data movement to the optimal DBMS is additionally performed. However, if there is no change in the optimal DBMS, data movement is not performed in step S270.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

데이터 유형에 따른 선택적 DB 구성 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 DB 구성 방법은, 데이터의 특징을 기초로 다수의 DBMS들 중 하나를 결정하여 데이터를 저장한다. 이에 의해, 데이터 유형에 따라 최적의 DB를 선택적으로 구성할 수 있게 되어, 데이터를 보다 효율적으로 관리할 수 있으며, 이는 데이터 검색 결과 제공 속도의 증대로 이어진다.

Description

데이터 유형에 따른 선택적 DB 구성 방법 및 시스템
본 발명은 데이터 저장 기술에 관한 것으로, 더욱 상세하게는 데이터를 최적의 DB(DataBase)에 저장하여 관리하기 위한 방법 및 시스템에 관한 것이다.
효율적인 데이터 관리에는, 많은 데이터들을 빠짐없이 저장하고 안전하게 보유하는 것 외에, 데이터의 검색 요청과 대해 빠르게 데이터를 제공하는 것까지 포함된다.
현재, IoT(Internet of Things)에서는 다양하고도 많은 디바이스들에 의해 다양하고도 많은 데이터들이 생성되고 있는 바, 데이터 관리는 매우 어려운 실정이다.
효율적인 데이터 관리에 대한 방안이, 다양하고 많아진 데이터를 감안하여, 모색되어져야 한다.
또한, IoT를 구성하는 디바이스들로부터 가장 많이 생성되는 데이터는 측정 데이터이다. 이 측정 데이터는 측정 시간이 중요하므로, 이와 함께 매칭하여 관리하는 것이 중요하다.
하지만, 측정 시간을 생성할 수 없는 간단한 센서와 같은 디바이스의 경우, 측정 데이터에 대한 시계열적 관리가 어려운 실정인 바, 이와 같은 디바이스들에서 생성된 측정 데이터들에 대한 효율적인 관리 방안에 대한 모색 역시 필요하다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 데이터 유형에 따라 최적의 DB를 선택적으로 구성하는 방법 및 시스템을 제공함에 있다.
또한, 본 발명의 다른 목적은, 수신되는 시계열적 데이터의 시간 간격을 정확하게 관리할 수 있는 방법 및 시스템을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, DB 구성 방법은, 데이터의 특징을 기초로, 다수의 DBMS(DataBase Management System)들 중 하나를 상기 데이터를 저장할 DBMS로 결정하는 단계; 및 결정된 DBMS에 상기 데이터를 저장하는 단계;를 포함한다.
그리고, 상기 결정단계는, 상기 데이터의 프로파일을 기초로, 상기 데이터를 저장할 DBMS를 결정할 수 있다.
또한, 상기 결정단계는, 일반 데이터 또는 메타데이터는 제1 DBMS에 저장하는 것으로 결정하고, 시계열적 데이터는 제2 DBMS에 저장하는 것으로 결정하며, 이미지 데이터는 제3 DBMS에 저장하는 것으로 결정하고, 동영상 데이터는 제4 DBMS에 저장하는 것으로 결정하며, 고속 샘플링 데이터는 제5 DBMS에 저장하는 것으로 결정할 수 있다.
그리고, 상기 저장 단계는, 상기 시계열적 데이터와 함께 수신되는 시퀀스 번호 또는 타이머 값으로부터 계산한 타임 스탬프와 함께 상기 시계열적 데이터를 저장할 수 있다.
또한, 저장된 데이터의 용량이 정해진 용량을 초과하면, 상기 파악 단계를 수행할 수 있다.
그리고, 상기 결정단계는, 상기 데이터의 저장 주기, 상기 데이터의 타입 및 상기 데이터의 사이즈 중 적어도 하나를 기초로, 상기 데이터를 저장할 DBMS를 결정할 수 있다.
또한, 상기 결정단계는, 상기 데이터에 대한 쿼리 처리 이력을 기초로, 상기 데이터의 유형을 파악할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 데이터 저장 시스템은, 다수의 DBMS(DataBase Management System)들; 및 데이터의 특징을 기초로 상기 다수의 DBMS들 중 하나를 상기 데이터를 저장할 DBMS로 결정하고, 결정된 DBMS에 상기 데이터를 저장하는 프로세서;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 데이터 유형에 따라 최적의 DB를 선택적으로 구성할 수 있게 되어, 데이터를 보다 효율적으로 관리할 수 있으며, 이는 데이터 검색 결과 제공 속도의 증대로 이어진다.
또한, 본 발명의 실시예들에 따르면, 수신되는 시계열적 데이터에 대한 시간 간격을 보다 정확하게 관리할 수 있고 이용할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 데이터 유형에 따른 선택적 DB 구성 방법의 개념 설명에 제공되는 도면,
도 2는 데이터의 저장 유형으로부터 최적의 DBMS를 결정하는 방법의 개념을 도식적으로 나타낸 도면,
도 3은 데이터의 쿼리 처리 이력으로부터 최적의 DBMS를 결정하는 방법의 개념을 도식적으로 나타낸 도면,
도 4 내지 도 7은 플랫폼이 RTC를 보유하고 있지 않은 디바이스로부터 시계열적 데이터를 수집하는 과정의 설명에 제공되는 메시지 시퀀스 차트들,
도 8은 본 발명의 다른 실시예에 따른 데이터 저장 시스템의 블럭도, 그리고,
도 9는 본 발명의 또 다른 실시예에 따른 데이터 유형에 따른 선택적 DB 구성 방법의 설명에 제공되는 흐름도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른, 데이터 유형에 따른 선택적 DB 구성 방법의 개념 설명에 제공되는 도면이다.
본 발명의 실시예에 따른 선택적 DB 구성 방법은 IoT(Internet of Things)/CoT(Cloud of Things) 디바이스들로부터 수집되는 데이터들을 저장하는 IoT/CoT 플랫폼/서버에 적용가능하다.
하지만, 이는 적용예에 불과한 것으로, 다른 종류의 디바이스들로부터 데이터를 수집하는 다른 종류의 플랫폼/서버에 적용될 수도 있음은 물론이다.
도 1에 도시된 바와 같이, API(I/F)를 통해 저장/쿼리 요청되는 데이터들은 관리 및 검색을 목적으로 Data Virtualization 된다. 또한, 데이터들은 각기 다른 DBMS들(DBMS-1, DBMS-2, DBMS-3, ... , DBMS-n)에 저장된다.
데이터가 저장될 DBMS는 데이터 프로파일에 의해 결정된다. 즉, 데이터 프로파일이, 1) 제1 타입의 프로파일(Profile-1)인 경우, 제1 타입의 DBMS(DBMS-1)에 저장되고, 2) 제2 타입의 프로파일(Profile-2)인 경우, 제2 타입의 DBMS(DBMS-2)에 저장되며, 3) 제3 타입의 프로파일(Profile-)3인 경우, 제3 타입의 DBMS(DBMS-3)에 저장되고, ... , n) 제n 타입의 프로파일(Profile-n)인 경우, 제n 타입의 DBMS(DBMS-n)에 저장된다.
데이터 프로파일은, 일반 데이터나 메타 데이터, 시계열적 데이터(Time Series Data), 이미지 데이터, 동영상 데이터, 고속 샘플링 데이터 등으로 구분될 수 있다. 시계열적 데이터는 시간-측정값의 짝으로 이루어진 데이터를 들 수 있다.
DBMS 역시 다양한 종류로 구현 가능하다. 예를 들어, 일반 데이터나 메타 데이터를 저장할 RDB(Relational DB), 시계열적 데이터를 저장할 TSDB(Time Series DB) 등은 물론, 그 밖의 다른 DB들을 포함하도록 구성한다.
한편, 데이터 프로파일에 의해 DBMS를 결정할 수 없는 경우에는, 데이터를 일단 DBMS-1에 저장하고, 추후에 데이터의 저장 유형이 어떠한지 판단하여 최적의 DBMS를 결정할 수 있다.
다른 방법으로, 데이터 프로파일에 의해 DBMS를 결정할 수 없는 경우 데이터를 일단 DBMS-1에 저장하고, 추후에 데이터의 쿼리 처리 이력을 분석하여 최적의 DBMS를 결정할 수 있다.
도 2에는 데이터의 저장 유형으로부터 최적의 DBMS를 결정하는 방법의 개념이 도식적으로 나타나 있다. 도 2에서는 저장 요청된 데이터를 일단 DBMS-1에 임시 저장한다.
이후, 저장된 데이터의 용량이 정해진 용량을 초과하면, 데이터의 저장 주기, 타입, 사이즈 등을 기초로 데이터의 저장 유형을 판단한다. 그리고, 데이터의 저장 유형으로부터 데이터의 프로파일을 추론함으로써, 데이터에 최적의 DBMS를 결정한다.
도 2에서는 DBMS-1에 임시 저장된 데이터에 대한 최적 DBMS가 DBMS-n으로 판단되어, DBMS-1에 임시 저장된 데이터를 DBMS-n으로 이동시키는 과정이 곡선의 화살표로 나타나 있다.
만약, DBMS-1에 임시 저장된 데이터에 대한 최적 DBMS가 DBMS-1로 판단되면, 데이터 이동은 수행되지 않는다.
도 3에는 데이터의 쿼리 처리 이력으로부터 최적의 DBMS를 결정하는 방법의 개념이 도식적으로 나타나 있다. 도 3에서도 저장 요청된 데이터는 일단 DBMS-1에 임시 저장한다.
이후, 저장된 데이터에 대한 쿼리 처리 이력을 기초로, 데이터의 쿼리 처리에 소요되는 시간을 참조하여 데이터의 프로파일을 추론함으로써, 데이터에 최적의 DBMS를 결정한다.
데이터는 최적의 DBMS에 저장되어 있어야 쿼리 처리 속도(쿼리 결과 반환 속도)가 가장 빠르다는 특성을 반영한 것이다. 데이터가 부적절한 DBMS에 저장되어 있으면, 쿼리 처리 속도(쿼리 결과 반환 속도)가 느리다. 현재 DBMS에 요청된 분량의 쿼리에 대한 처리 시간을 분석하여, 최적의 DBMS를 도출한다.
도 3에서는 DBMS-1에 임시 저장된 데이터에 대한 최적 DBMS가 DBMS-n으로 판단되어, DBMS-1에 임시 저장된 데이터를 DBMS-n으로 이동시키는 과정이 곡선의 화살표로 나타나 있다.
만약, DBMS-1에 임시 저장된 데이터에 대한 최적 DBMS가 DBMS-1로 판단되면, 데이터 이동은 수행되지 않는다.
도 2와 도 3에 도시된 최적의 DBMS를 추후에 판단하는 방법은, 최초 저장시에 데이터의 프로파일을 참조하여 최적의 DBMS를 결정한 경우에도 추가적으로 업데이틀 위해 적용될 수 있음은 물론이다.
예를 들어, 최초 저장시에 데이터의 프로파일을 참조하여 최적의 DBMS를 DBMS-2로 결정하여 저장하였는데, 이후 저장 유형이나 쿼리 처리 이력을 분석하여 최적의 DBMS가 DBMS-3으로 판명된 경우, 최적의 DBMS를 업데이트 하는 것이다. 이 경우, DBMS-2에 저장하였던/저장하던 데이터를 DBMS-3으로 이동시킨다.
이하에서는, 전술한 시계열적 데이터(Time Series Data)를 DBMS(이를 테면, TSDB)에 저장하기 전의, 수집/전처리 과정에 대해 상세히 설명한다.
도 4 내지 도 7은 IoT/CoT 플랫폼/서버/게이트웨이가 RTC(Real Time Clock)를 보유하고 있지 않은 IoT/CoT 디바이스로부터 시계열적 데이터를 수집하는 과정의 설명에 제공되는 도면들이다.
본 발명의 실시예에서는, 정확한 측정 시간이 없는 측정 데이터의 측정 간격을 최대한 정확하게, 그리고, 측정 시간을 최대한 정확하게 복원하여 저장한다.
도 4는 일정한 샘플링 속도(주기)를 가지는 디바이스로부터 측정 데이터를 수집하여 DBMS에 저장하는 방법을 나타낸 메시지 시퀀스 차트이다.
도 4에서는, 먼저 디바이스가 플랫폼에 타임 정보를 등록하고 시각 초기화를 요청한다. 등록되는 타임 정보는 디바이스의 샘플링 속도(주기)이다. 그리고, 디바이스의 시각 초기화 요청에 의해, 플랫폼은 초기 시각 또는 자신의 현재 시각으로 타임 스탬프를 생성한다.
이후, 디바이스는 주기적으로 측정 데이터를 시퀀스 번호와 함께 플랫폼으로 전송한다. 그러면, 플랫폼은 초기 생성한 타임 스탬프를 샘플링 주기(delta T)만큼 증가시키면서, 측정 데이터들을 순차적으로 저장한다.
도 5는 일정한 샘플링 속도를 가지는 디바이스로부터 측정 데이터를 수집하여 DBMS에 저장하는 다른 방법을 나타낸 메시지 시퀀스 차트이다.
도 5에서는 디바이스로부터 플랫폼으로 다수의 측정 데이터들이 세트로 전달된다는 점에서, 도 4에 도시된 방법과 차이가 있다. 전달되는 데이터 세트는, 1) 측정 데이터들이 순서대로 수록되어 구성될 수 있고, 2) 시퀀스 번호들이 부가된 측정 데이터들이 수록되어 구성될 수도 있다.
플랫폼은 수신한 데이터 세트에 포함된 측정 데이터들을, 샘플링 주기 기반으로 타임 스탬프를 증가시키면서 매핑시켜 해당 DBMS에 저장한다.
도 6은 디바이스에서 비주기적 샘플링으로 생성되는 측정 데이터를 수집하여 DBMS에 저장하는 방법을 나타낸 메시지 시퀀스 차트이다.
도 4와 마찬가지로, 도 6에서도, 먼저 디바이스가 플랫폼에 타임 정보를 등록하고 시각 초기화를 요청한다. 등록되는 타임 정보는 디바이스의 샘플링 모드가 비주기적 모드라는 정보 및 타이머 기본 정보이다.
디바이스의 시각 초기화 요청에 의해, 플랫폼은 초기 시각 또는 자신의 현재 시각으로 타임 스탬프를 생성한다.
이후, 디바이스는 비주기적으로 생성되는 측정 데이터와 함께 자신의 타이머 값를 플랫폼으로 전송한다. 여기서, 디바이스의 타이머는 RTC가 아닌 일반 타이머이다.
플랫폼은 초기 생성한 타임 스탬프를 타이머 값을 기반으로 증가시키면서, 측정 데이터들과 함께 순차적으로 저장한다.
도 7은 디바이스에서 비주기적 샘플링으로 생성되는 측정 데이터를 수집하여 DBMS에 저장하는 다른 방법을 나타낸 메시지 시퀀스 차트이다.
도 7에서는 디바이스로부터 플랫폼으로 다수의 측정 데이터들이 세트로 전달된다는 점에서, 도 6에 도시된 방법과 차이가 있다. 전달되는 데이터 세트는, 타이머 값들이 부가된 측정 데이터들이 수록되어 구성된다.
플랫폼은 수신한 데이터 세트에 포함된 측정 데이터들을 타이머 값을 기반으로 타임 스탬프를 증가시키면서 매핑시켜 해당 DBMS에 저장한다.
도 8은 본 발명의 다른 실시예에 따른 데이터 저장 시스템의 블럭도이다. 도 8에 도시된 바와 같이, 본 발명의 실시예에 따른 데이터 저장 시스템은, 인터페이스(110), 프로세서(120) 및 DBMS들(130-1, 130-2, ... , 130-n)을 포함한다.
인터페이스(110)는 IoT/CoT 디바이스로부터 데이터를 수집하고, 보유하고 있는 데이터를 IoT/CoT 디바이스에 전달하는 통신 인터페이스이다.
DBMS들(130-1, 130-2, ... , 130-n)은 인터페이스(110)를 통해 수집된 데이터를 저장하는 각기 다른 타입의 DBMS들이다.
프로세서(120)는 인터페이스(110)를 통해 IoT/CoT 디바이스로부터 수신되는 데이터 저장 요청에 대해 최적의 DBMS를 선정하여 저장한다. 또한, 프로세서(120)는 인터페이스(110)를 통해 IoT/CoT 디바이스로부터 수신되는 데이터 쿼리 요청에 대해 해당 데이터를 해당 DBMS로부터 획득하여 제공한다.
최적의 DBMS 선정은, 데이터 프로파일, 저장 유형 및 데이터 쿼리 처리 이력 등을 참조로 이루어진다. 이하에서, 도 9를 참조하여 상세히 설명한다. 도 9는 본 발명의 또 다른 실시예에 따른 데이터 유형에 따른 선택적 DB 구성 방법의 설명에 제공되는 흐름도이다.
도 9에 도시된 바와 같이, 먼저, 인터페이스(110)를 통해 IoT/CoT 디바이스로부터 데이터 저장 요청이 있으면(S210-Y), 프로세서(120)는 저장 요청된 데이터의 프로파일을 파악한다(S220).
S220단계를 통해 파악된 프로파일로부터 요청된 데이터에 대한 최적 DBMS를 결정할 수 있으면(S230-Y), 최적 DBMS에 데이터를 저장한다(S240).
반면, 요청된 데이터에 대한 최적 DBMS를 결정할 수 없으면(S230-N), 디폴트로 지정된 DBMS(이를 테면, DBMS-1(130-1))에 데이터를 임시 저장한다(S250).
이후, 임시 저장된 데이터의 용량이 정해진 용량을 초과하면(S260), 데이터의 저장 주기, 타입, 사이즈 등을 기초로 데이터의 저장 유형을 판단하고, 데이터의 저장 유형으로부터 데이터의 프로파일을 추론함으로써, 데이터에 대한 최적의 DBMS를 결정한다(S270).
S270단계에서 결정된 최적 DBMS가 S240단계 또는 S250단계에서 데이터가 저장된 DBMS가 상이하면, S270단계에서는 결정된 최적 DBMS로의 데이터 이동이 추가적으로 수행된다.
반면, S270단계에서 결정된 최적 DBMS가 S240단계 또는 S250단계에서 데이터가 저장된 DBMS가 동일하면, S270단계에서 데이터 이동은 수행되지 않는다.
이후, 저장된 데이터에 대해 누적된 쿼리 처리 이력이 정해진 분량을 초과하면(S280-Y), 누적된 쿼리 처리 이력으로부터 데이터의 쿼리 처리에 소요되는 시간을 참조하여 데이터의 프로파일을 추론함으로써, 데이터에 대한 최적의 DBMS를 결정한다(S290).
S290단계에서 결정된 최적의 DBMS가 현재 데이터가 저장되어 있는 DBMS와 상이하면, 최적 DBMS로의 데이터 이동이 추가적으로 수행된다. 하지만, 최적 DBMS에 변경이 없으면, S270단계에서 데이터 이동은 수행되지 않는다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (8)

  1. 데이터의 특징을 기초로, 다수의 DBMS(DataBase Management System)들 중 하나를 상기 데이터를 저장할 DBMS로 결정하는 단계; 및
    결정된 DBMS에 상기 데이터를 저장하는 단계;를 포함하는 것을 특징으로 하는 DB 구성 방법.
  2. 청구항 1에 있어서,
    상기 결정단계는,
    상기 데이터의 프로파일을 기초로, 상기 데이터를 저장할 DBMS를 결정하는 것을 특징으로 하는 DB 구성 방법.
  3. 청구항 2에 있어서,
    상기 결정단계는,
    일반 데이터 또는 메타데이터는 제1 DBMS에 저장하는 것으로 결정하고,
    시계열적 데이터는 제2 DBMS에 저장하는 것으로 결정하며,
    이미지 데이터는 제3 DBMS에 저장하는 것으로 결정하고,
    동영상 데이터는 제4 DBMS에 저장하는 것으로 결정하며,
    고속 샘플링 데이터는 제5 DBMS에 저장하는 것으로 결정하는 것을 특징으로 하는 DB 구성 방법.
  4. 청구항 3에 있어서,
    상기 저장 단계는,
    상기 시계열적 데이터와 함께 수신되는 시퀀스 번호 또는 타이머 값으로부터 계산한 타임 스탬프와 함께 상기 시계열적 데이터를 저장하는 것을 특징으로 하는 DB 구성 방법.
  5. 청구항 1에 있어서,
    저장된 데이터의 용량이 정해진 용량을 초과하면, 상기 파악 단계를 수행하는 것을 특징으로 하는 DB 구성 방법.
  6. 청구항 5에 있어서,
    상기 결정단계는,
    상기 데이터의 저장 주기, 상기 데이터의 타입 및 상기 데이터의 사이즈 중 적어도 하나를 기초로, 상기 데이터를 저장할 DBMS를 결정하는 것을 특징으로 하는 DB 구성 방법.
  7. 청구항 1 또는 청구항 6에 있어서,
    상기 결정단계는,
    상기 데이터에 대한 쿼리 처리 이력을 기초로, 상기 데이터의 유형을 파악하는 것을 특징으로 하는 DB 구성 방법.
  8. 다수의 DBMS(DataBase Management System)들; 및
    데이터의 특징을 기초로 상기 다수의 DBMS들 중 하나를 상기 데이터를 저장할 DBMS로 결정하고, 결정된 DBMS에 상기 데이터를 저장하는 프로세서;를 포함하는 것을 특징으로 하는 데이터 저장 시스템.
PCT/KR2015/012851 2015-11-27 2015-11-27 데이터 유형에 따른 선택적 db 구성 방법 및 시스템 Ceased WO2017090799A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150167311A KR101785166B1 (ko) 2015-11-27 2015-11-27 데이터 유형에 따른 선택적 db 구성 방법 및 시스템
KR10-2015-0167311 2015-11-27

Publications (1)

Publication Number Publication Date
WO2017090799A1 true WO2017090799A1 (ko) 2017-06-01

Family

ID=58763285

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/012851 Ceased WO2017090799A1 (ko) 2015-11-27 2015-11-27 데이터 유형에 따른 선택적 db 구성 방법 및 시스템

Country Status (2)

Country Link
KR (1) KR101785166B1 (ko)
WO (1) WO2017090799A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102297612B1 (ko) * 2019-11-25 2021-09-03 한국전자기술연구원 대규모 위치 데이터의 실시간 스트리밍 분석을 통한 이동체 위치 데이터 서비스 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070192323A1 (en) * 2006-02-10 2007-08-16 Vertical Systems, Inc. System and method of access and control management between multiple databases
US7937232B1 (en) * 2006-07-06 2011-05-03 Pivotal Systems Corporation Data timestamp management
US20110153603A1 (en) * 2009-12-17 2011-06-23 Yahoo! Inc. Time series storage for large-scale monitoring system
US20110179419A1 (en) * 2010-01-15 2011-07-21 Oracle International Corporation Dependency on a resource type
WO2013064815A1 (en) * 2011-11-04 2013-05-10 Performance Horizon Group Method and database system for manipulating data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070192323A1 (en) * 2006-02-10 2007-08-16 Vertical Systems, Inc. System and method of access and control management between multiple databases
US7937232B1 (en) * 2006-07-06 2011-05-03 Pivotal Systems Corporation Data timestamp management
US20110153603A1 (en) * 2009-12-17 2011-06-23 Yahoo! Inc. Time series storage for large-scale monitoring system
US20110179419A1 (en) * 2010-01-15 2011-07-21 Oracle International Corporation Dependency on a resource type
WO2013064815A1 (en) * 2011-11-04 2013-05-10 Performance Horizon Group Method and database system for manipulating data

Also Published As

Publication number Publication date
KR20170062010A (ko) 2017-06-07
KR101785166B1 (ko) 2017-10-12

Similar Documents

Publication Publication Date Title
KR20220058606A (ko) 자원 관리 플랫폼에 기반하는 태스크 분배 방법 및 시스템
CN108509453B (zh) 一种信息处理方法及装置
WO2012108623A1 (ko) 이미지 데이터베이스에 신규 이미지 및 이에 대한 정보를 추가하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
WO2013151221A1 (ko) 대용량 데이터의 클러스터 결과 분석 시스템 및 방법
WO2014038781A1 (ko) 군집 분석 지원 시스템 및 방법과, 이를 지원하는 장치
CN109933585A (zh) 数据查询方法和数据查询系统
WO2017124262A1 (zh) 通过刷取身份证信息推荐书籍的方法以及图书推荐系统
CN104899323A (zh) 一种用于idc有害信息监测平台的爬虫系统
WO2018062614A1 (ko) 계량데이터 관리 시스템 및 컴퓨터 판독가능 기록 매체
WO2018182060A1 (ko) 관계형 데이터베이스 기반의 텍스트 로그데이터 저장 및 검색 방법
WO2020222386A1 (en) Method and apparatus for updating a cluster probability model
CN103034650A (zh) 一种数据处理系统和方法
CN106933946A (zh) 一种基于移动终端的大数据管理方法及系统
CN117762632A (zh) 一种基于算力操作系统的算力管理方法
CN113037791A (zh) 运维方法和系统、计算机可读存储介质
WO2014168408A1 (ko) 클라우드 기반 악성코드 진단 장치, 시스템 및 방법
CN114416812A (zh) 数据统计方法、装置、电子设备及存储介质
CN116431826B (zh) 知识图谱的更新方法、装置、设备及存储介质
WO2017090799A1 (ko) 데이터 유형에 따른 선택적 db 구성 방법 및 시스템
WO2014098337A1 (ko) 유해 사이트 수집 장치 및 방법
WO2023182661A1 (ko) 빅데이터를 분석하는 전자 장치 및 그 동작 방법
CN111061916A (zh) 一种基于多目标库图像识别的视频共享系统
WO2020125544A1 (zh) 一种分布式图像分析方法、系统及存储介质
WO2014098372A1 (ko) 유해 사이트 수집 장치 및 방법
CN113553320A (zh) 数据质量监控方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15909348

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15909348

Country of ref document: EP

Kind code of ref document: A1