KR20180022075A - Dual In-Memory based Data Storage and Processing System for Real-Time Data Processing - Google Patents

Dual In-Memory based Data Storage and Processing System for Real-Time Data Processing Download PDF

Info

Publication number
KR20180022075A
KR20180022075A KR1020160106923A KR20160106923A KR20180022075A KR 20180022075 A KR20180022075 A KR 20180022075A KR 1020160106923 A KR1020160106923 A KR 1020160106923A KR 20160106923 A KR20160106923 A KR 20160106923A KR 20180022075 A KR20180022075 A KR 20180022075A
Authority
KR
South Korea
Prior art keywords
memory
data
processing
storage
dual
Prior art date
Application number
KR1020160106923A
Other languages
Korean (ko)
Other versions
KR101905968B1 (en
Inventor
지영민
유준재
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020160106923A priority Critical patent/KR101905968B1/en
Publication of KR20180022075A publication Critical patent/KR20180022075A/en
Application granted granted Critical
Publication of KR101905968B1 publication Critical patent/KR101905968B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/78—Architectures of general purpose stored program computers comprising a single central processing unit
    • G06F15/7839—Architectures of general purpose stored program computers comprising a single central processing unit with memory
    • G06F15/7842—Architectures of general purpose stored program computers comprising a single central processing unit with memory on one IC chip (single chip microcontrollers)
    • G06F15/785—Architectures of general purpose stored program computers comprising a single central processing unit with memory on one IC chip (single chip microcontrollers) with decentralized control, e.g. smart memories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0893—Caches characterised by their organisation or structure
    • G06F12/0897—Caches characterised by their organisation or structure with two or more cache hierarchy levels

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

A dual in-memory based data storing and processing system for real-time data processing is provided. The data storage system according to an embodiment of the present invention includes a first memory in which a first in-memory DB for a first purpose is constructed, a second memory in which a second in-memory DB for a second purpose is constructed, a storage in which a DB is constructed, and a processor for controlling the first memory, the second memory, and the storage. Accordingly, the performance of the system can be improved by dualizing data collection (data stream storage) and data inquiry response processing into the dual in-memory DB in a dual memory, thereby ultimately performing the quick processing of big data.

Description

실시간 데이터 처리를 위한 듀얼 인메모리 기반 데이터 저장 및 처리 시스템{Dual In-Memory based Data Storage and Processing System for Real-Time Data Processing}[0001] Dual In-Memory Based Data Storage and Processing System for Real-Time Data Processing [

본 발명은 빅데이터 처리 기술에 관한 것으로, 더욱 상세하게는 인메모리 기반으로 실시간 데이터를 처리하기 위한 데이터 저장 및 처리 시스템에 관한 것이다.The present invention relates to a big data processing technique, and more particularly, to a data storing and processing system for processing real time data on an in-memory basis.

기존의 데이터 저장 시스템은 스토리지에 구축한 DB에 데이터를 저장하고, 외부로부터 조회 요청이 들어오면 DB에서 데이터를 검색하여 응답을 하는 구조였다.The existing data storage system stores data in the DB built in the storage and retrieves data from the DB when an inquiry is received from the outside.

하지만, 이와 같은 구조의 데이터 저장 시스템은 처리할 수 있는 데이터 양과 속도에 한계가 있어, 빅데이터 시대에 돌입하면서 응답 속도가 떨어지는 단점을 보이고 있다.However, the data storage system having such a structure has a limitation in the amount of data to be processed and the speed thereof, and it shows a disadvantage that the response speed is lowered as it enters the big data age.

이에, 메모리에 DB를 구축하는 인메모리 DB 기술이 등장하여, 빅데이터를 처리하는데 사용되고 있다. 하지만, 데이터 수집과 처리가 매우 많이 이루어지는 관계로, 이 역시 속도에는 한계가 있을 수 있다.Thus, an in-memory DB technology for building a DB in a memory has appeared and is used for processing big data. However, because there is a lot of data collection and processing, this can also be a speed limit.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 빅데이터의 빠른 처리를 위해, 데이터 수집과 데이터 조회 응답 처리를 위한 인메모리 DB를 듀얼 메모리에 듀얼 인메모리 DB로 구현한 데이터 저장 시스템을 제공함에 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and it is an object of the present invention to provide an in-memory DB for data collection and data inquiry response processing, And to provide an implemented data storage system.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 데이터 저장 시스템은, 제1 목적을 위한 제1 인메모리 DB가 구축되는 제1 메모리; 제2 목적을 위한 제2 인메모리 DB가 구축되는 제2 메모리; DB가 구축되는 스토리지; 및 제1 메모리, 제2 메모리 및 스토리지를 제어하는 프로세서;를 포함한다.According to an aspect of the present invention, there is provided a data storage system including a first memory in which a first in-memory DB for a first purpose is constructed; A second memory in which a second in-memory DB for a second purpose is constructed; Storage where the DB is built; And a processor for controlling the first memory, the second memory, and the storage.

그리고, 제1 메모리 및 제2 메모리는, 물리적으로 구분되어 있을 수 있다.The first memory and the second memory may be physically separated.

또한, 제1 목적은, 외부로부터 유입되는 데이터를 저장하는 것일 수 있다.In addition, the first object may be to store data that is input from the outside.

그리고, 제1 목적은, 제1 인메모리 DB에 저장된 데이터의 조회에 대한 응답하는 것을 더 포함할 수 있다.The first object may further include responding to inquiry of data stored in the first in-memory DB.

또한, 제2 목적은, 외부 애플리케이션으로부터의 데이터 조회에 응답하는 것일 수 있다.The second objective may also be to respond to a data inquiry from an external application.

그리고, 제2 메모리는, 제1 인메모리 DB 및 DB 중 적어도 하나로부터 데이터를 획득하여, 제2 인메모리 DB에 포함시킬 수 있다.The second memory may acquire data from at least one of the first in-memory DB and the second in-memory and include the data in the second in-memory DB.

또한, 제1 메모리는, 제2 인메모리 DB 및 DB에 구축된 데이터를 제1 인메모리 DB로 유입시키지 않을 수 있다.In addition, the first memory can prevent the data in the second in-memory DB and the data in the DB from being introduced into the first in-memory DB.

그리고, 프로세서는, 보조 프로세서를 통해 제2 메모리를 제어할 수 있다.And, the processor can control the second memory through the coprocessor.

또한, 스토리지는, HDD일 수 있다.Further, the storage may be a HDD.

한편, 본 발명의 다른 실시예에 따른, 데이터 저장 방법은, 제1 메모리에 제1 목적을 위한 제1 인메모리 DB를 구축하는 단계; 제2 메모리에 제2 목적을 위한 제2 인메모리 DB를 구축하는 단계;를 포함한다.According to another aspect of the present invention, there is provided a data storage method comprising: constructing a first in-memory DB for a first purpose in a first memory; And building a second in-memory DB for a second purpose in the second memory.

한편, 본 발명의 다른 실시예에 따른, 데이터 저장 시스템은, 외부 애플리케이션으로부터의 데이터 조회에 응답하기 위한 인메모리 DB가 구축되는 메모리; DB가 구축되는 스토리지; 및 메모리 및 스토리지를 제어하는 프로세서;를 포함한다.According to another aspect of the present invention, there is provided a data storage system including: a memory in which an in-memory DB for responding to a data inquiry from an external application is constructed; Storage where the DB is built; And a processor for controlling memory and storage.

한편, 본 발명의 다른 실시예에 따른, 데이터 처리 방법은, 메모리에 데이터 조회 요청에 응답하기 위한 인메모리 DB를 구축하는 단계; 인메모리 DB를 이용하여, 외부 애플리케이션으로부터 수신한 데이터 조회 요청을 처리하여 응답하는 단계;를 포함한다.According to another aspect of the present invention, there is provided a data processing method including: building an in-memory DB for responding to a data inquiry request to a memory; Processing the data inquiry request received from the external application using the in-memory DB, and responding.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 데이터 수집(데이터 스트림 저장)과 데이터 조회 응답 처리를 듀얼 메모리에 듀얼 인메모리 DB로 이원화함으로써 시스템 성능을 향상시켜, 궁극적으로 빅데이터의 빠른 처리가 가능해진다.As described above, according to the embodiments of the present invention, system performance can be improved by dividing data collection (data stream storage) and data inquiry response processing into a dual memory and a dual in memory DB, and ultimately, .

또한, 본 발명의 실시예들에 따르면, 이원화된 인메모리 DB는 자신이 관장하는 데이터만을 특화된 DB 타입으로 관리할 수 있어, 메모리 저장 공간을 효율적으로 활용할 수 있다. Also, according to the embodiments of the present invention, the binarized in-memory DB can manage only the data managed by itself in a DB type that is specialized, and can efficiently utilize the memory storage space.

도 1은 본 발명의 일 실시예에 따른 듀얼 인메모리 기반 데이터 저장 및 처리 구조를 나타낸 도면,
도 2는 본 발명의 일 실시예에 따른 데이터 저장 시스템의 블럭도, 그리고,
도 3은 본 발명의 다른 실시예에 따른 데이터 저장 시스템의 블럭도이다.Figure 1 illustrates a dual in-memory based data storage and processing structure in accordance with one embodiment of the present invention;
2 is a block diagram of a data storage system according to an embodiment of the present invention,
3 is a block diagram of a data storage system in accordance with another embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 일 실시예에 따른 듀얼 인메모리 기반 데이터 저장 및 처리 구조를 나타낸 도면이다. 본 발명의 실시예에 따른 DB는, 듀얼 인메모리 DB 기반으로 실시간 스트림 데이터를 처리한다.1 is a diagram illustrating a dual in-memory based data storage and processing structure according to an embodiment of the present invention. The DB according to the embodiment of the present invention processes real-time stream data based on a dual-in-memory DB.

이를 위해, 본 발명의 실시예에 따른 시스템에는, 데이터 수집과 데이터 조회 응답 처리를 위한 인메모리 DB가 듀얼 메모리에 듀얼 인메모리 DB로 구현되어 있다.To this end, in the system according to the embodiment of the present invention, an in-memory DB for data collection and data inquiry response processing is implemented as a dual in-memory DB in a dual memory.

듀얼 인메모리 DB는 수집 인메모리 DB(10)와 처리 인메모리 DB(20)로 구축된다. 수집 인메모리 DB(10)는 실시간으로 유입되는 스트림 데이터를 저장하기 위한 인메모리 DB이고, 처리 인메모리 DB(20)는 외부 애플리케이션에서 요청하는 데이터 조회 응답을 처리하기 위한 인메모리 DB이다.The dual in-memory DB is constructed as a collection in-memory DB 10 and a processing in-memory DB 20. The collecting in-memory DB 10 is an in-memory DB for storing stream data flowing in real time, and the in-memory DB 20 is an in-memory DB for processing a data inquiry response requested by an external application.

수집 인메모리 DB(10)가 저장하는 실시간 데이터는 설정에 따라 유지하는 기간이 달라지며, 남은 메모리 공간에 따라서도 동적으로 유지 기간이 달라질 수 있다.The period of keeping the real-time data stored in the collection-in-memory DB 10 varies according to the setting, and the maintenance period may be dynamically varied depending on the remaining memory space.

수집 인메모리 DB(10)는 최근에 유입된 실시간 데이터를 인메모리 DB에 유지하며, 스토리지의 DB(30)에 데이터를 저장할 때는 블록 단위의 스트림 데이터 집합으로 저장한다.The collection-in-memory DB 10 stores the real-time data that has recently flowed into the in-memory DB, and stores the data in a block-by-block stream data set when storing data in the storage DB 30.

이를 위해, 수집 인메모리 DB(10)는 주기적으로 메모리 상태 및 설정 값을 확인하여 인메모리 DB를 관리하는 태스크가 존재한다.To this end, there is a task of managing the in-memory DB by periodically checking the memory status and the setting values in the collection in-memory DB 10.

또한, 수집 인메모리 DB(10)는 후술할 처리 인메모리 DB(20)에서 실시간 데이터를 요청하면 이에 응답하는 역할도 수행한다.In addition, the collecting in-memory DB 10 also plays a role of responding to real-time data requests from the memory DB 20, which will be described later.

나아가, 수집 인메모리 DB(10)는 자신이 보유하고 있는 데이터에 대한 조회 응답에 대해서는, 직접 응답 처리할 수도 있다.Further, the collecting in-memory DB 10 may perform direct response processing on the inquiry response to the data held by the collecting in-memory DB 10.

처리 인메모리 DB(20)는 외부 애플리케이션에서 요청하는 데이터 조회를 처리하여 응답하기 위한 인메모리 DB를 구비하며, 이 프로세스를 처리하기 위한 요청 빈도에 가 높은 데이터들만 처리 인메모리 DB(20)에 유지키기 위한 태스크가 존재한다.The processing-in-memory DB 20 has an in-memory DB for processing and responding to a data inquiry requested by an external application. The processing-in-memory DB 20 includes a memory DB 20 for processing only high- There is a task to protect.

이 태스크는 주기별로 요청 빈도가 높은 데이터를 처리 인메모리 DB(20)에 보관하고 빈도가 낮은 데이터는 처리 인메모리 DB(20)에서 삭제하여 공간을 확보한다.In this task, data having a high frequency of request for each cycle is stored in the memory DB 20 for processing, and data having a low frequency is deleted from the memory DB 20 for processing, thereby securing space.

그리고, 처리 인메모리 DB(20)에 없는 데이터의 요청이 발생하면 수집 인메모리 DB(10) 또는 DB(30)로부터 데이터를 조회/확보하여, 외부 애플리케이션에 제공한다.When a request for data that is not in the processing-in-memory DB 20 occurs, the data is inquired / secured from the collection-in memory DB 10 or the DB 30 and provided to the external application.

전술한 바 있듯이, 최근에 유입되어 수집 인메모리 DB(10)에 보유되어 있는 스트림 데이터는, 수집 인메모리 DB(10)가 애플리케이션에게 직접 제공하도록 구현할 수 있다.As described above, the stream data held in the memory DB 10, which has recently been collected and collected, can be implemented so that the collection in-memory DB 10 directly provides the application.

도 2는 본 발명의 일 실시예에 따른 데이터 저장 시스템의 블럭도이다. 본 발명의 실시예에 따른 데이터 저장 시스템은, 도 2에 도시된 바와 같이, NIC(Network Interface Card)(110), 수집용 메모리(120), CPU(130), 처리용 메모리(140) 및 HDD(Hard Disk Drive)(150)를 포함한다.2 is a block diagram of a data storage system in accordance with an embodiment of the present invention. 2, a data storage system according to an embodiment of the present invention includes an NIC (Network Interface Card) 110, a collecting memory 120, a CPU 130, a processing memory 140, (Hard Disk Drive) 150.

NIC(110)는 네트워크를 통해 외부 기기/클라이언트와 통신 연결하여, 외부 기기로부터 데이터를 수신하고, 외부 클라이언트의 애플리케이션으로부터 데이터 조회 요청을 수신한다.The NIC 110 communicates with an external device / client via a network, receives data from an external device, and receives a data inquiry request from an application of the external client.

수집용 메모리(120)는 전술한 수집 인메모리 DB(10)가 구축되는 메모리이다. 수집 인메모리 DB(10)는 외부로부터 유입되는 데이터를 저장하고, 저장하고 있는 데이터에 대한 조회 요청을 처리하여 응답하는 것을 목적으로 하는 인메모리 DB이다.The collecting memory 120 is a memory in which the above-described collecting memory DB 10 is constructed. The collecting in-memory DB 10 is an in-memory DB for storing data inputted from the outside and processing an inquiry request for stored data and responding.

처리용 메모리(140)는 전술한 처리 인메모리 DB(20)가 구축되는 메모리이다. 처리 인메모리 DB(20)는 외부 클라이언트의 애플리케이션으로부터의 데이터 조회 요청을 처리하여 응답하는 것을 목적으로 하는 인메모리 DB이다.The processing memory 140 is a memory in which the memory DB 20, which is the above-described processing, is built. The processing in-memory DB 20 is an in-memory DB for processing and responding to a data inquiry request from an application of an external client.

HDD(150)는 전술한 DB(30)가 구축되는 스토리지이다. HDD와 SSD(Solid State Disk)를 병행하여 DB(30)를 구축하여도 무방하다.The HDD 150 is a storage in which the above-described DB 30 is constructed. It is also possible to construct the DB 30 in parallel with the HDD and the SSD (Solid State Disk).

처리용 메모리(140)는 수집용 메모리(120)에 구축된 수집 인메모리 DB(10)와 HDD(150)에 구축된 DB(30)에 저장된 데이터들 중 조회 요청이 빈번한 데이터들을 처리 인메모리 DB(20)에 저장한다.The processing memory 140 stores a collection memory DB 10 constructed in the collection memory 120 and data stored in the DB 30 constructed in the HDD 150, (20).

그리고, 처리용 메모리(140)는 처리 인메모리 DB(20)에 저장된 데이터들 중 조회 요청이 떨어지는 데이터에 대해서는 삭제 처리한다.Then, the processing memory 140 deletes the data in which the inquiry request falls out of the data stored in the memory DB 20 which is the processing.

반면, 수집용 메모리(120)는 외부로부터 유입되는 데이터를 저장함에 목적이 있으므로, 저장된 데이터를 HDD(150)의 DB(30)로 옮기기는 하지만, 처리용 메모리(140)의 처리 인메모리 DB(20)나 HDD(150)의 DB(30)에 구축되어 있는 데이터를 수집 인메모리 DB(10)에 옮겨오지는 않는다.The collected data is transferred to the DB 30 of the HDD 150. However, since the collecting memory 120 has the purpose of storing the data inputted from the memory DB 20 and the data built in the DB 30 of the HDD 150 are not transferred to the collection-in-memory DB 10.

CPU(130)는 NIC(100), 수집용 메모리(120), 처리용 메모리(140) 및 HDD(150)의 전반적인 동작을 제어한다. 즉, CPU(130)는 NIC(100), 수집용 메모리(120), 처리용 메모리(140) 및 HDD(150) 간의 데이터 전달을 제어한다.The CPU 130 controls the overall operation of the NIC 100, the collecting memory 120, the processing memory 140, and the HDD 150. [ That is, the CPU 130 controls data transfer between the NIC 100, the collecting memory 120, the processing memory 140, and the HDD 150.

도 2에 도시된 바와 같이, 수집용 메모리(120)와 처리용 메모리(140)는 물리적으로 구분되어 있는데, 양자의 동작을 구분시키기 독립성을 보장하기 위함이다. 독립성을 강화하기 위해, 도 3에 도시된 바와 같이, CPU(130)와 처리용 메모리(140)의 사이에서 처리용 메모리(140)의 동작을 제어하는 별도의 보조 CPU(135)를 더 구비시킬 수도 있다.As shown in FIG. 2, the collecting memory 120 and the processing memory 140 are physically separated from each other in order to ensure independence in distinguishing between the operations of the collecting memory 120 and the processing memory 140. A separate auxiliary CPU 135 for controlling the operation of the processing memory 140 is additionally provided between the CPU 130 and the processing memory 140 as shown in Fig. 3 It is possible.

지금까지, 실시간 데이터 처리를 위한 듀얼 인메모리 기반 데이터 저장 및 처리 시스템에 대해 바람직한 실시예를 들어 상세히 설명하였다.Up to now, a dual in-memory based data storage and processing system for real-time data processing has been described in detail with a preferred embodiment.

본 발명의 실시예에 따른 데이터 저장 및 처리 시스템은, 각 인메모리 DB가 저장과 조회의 특성에 맞는 구조로 설계되어 특화된 역할을 수행하여, 메모리를 효율적으로 관리하면서 데이터 저장 및 조회 요청에 실시간으로 응답할 수 있게 된다.The data storage and processing system according to the embodiment of the present invention is designed in such a structure that each in-memory DB is structured in accordance with the characteristics of storage and inquiry, and plays a specialized role. It becomes possible to respond.

특히, 듀얼 인메모리 구성을 통하여 실시간 스트림 데이터의 저장과 처리를 구분하여 성능을 향상시키고, 각 수집 인메모리는 저장에 특화된 데이터 처리를 관장하기 때문에 저장 성능을 보장할 수 있으며, 처리 인메모리는 데이터 조회를 관장하여 성능을 보장할 수 있다.In particular, the performance of the real-time stream data is distinguished from that of the real-time stream data through the dual-in-memory configuration. Since each collector memory manages data processing specialized for storage, the storage performance can be guaranteed. The performance of the inquiry can be guaranteed.

나아가, 실시간 데이터 스트림 저장과 조회 프로세스를 이원화 하여 시스템 성능을 향상시키고, 각 인메모리는 자신이 관장하는 데이터만을 관리하므로 인메모리 저장 공간을 효율적으로 활용할 수 있게 된다.Furthermore, real-time data stream storage and query processing are simplified to improve system performance, and each in-memory manages only data managed by itself, thereby enabling efficient use of in-memory storage space.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.It goes without saying that the technical idea of the present invention can also be applied to a computer-readable recording medium having a computer program for performing the functions of the apparatus and method according to the present embodiment. In addition, the technical idea according to various embodiments of the present invention may be embodied in computer-readable code form recorded on a computer-readable recording medium. The computer-readable recording medium is any data storage device that can be read by a computer and can store data. For example, the computer-readable recording medium may be a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical disk, a hard disk drive, or the like. In addition, the computer readable code or program stored in the computer readable recording medium may be transmitted through a network connected between the computers.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the spirit and scope of the present invention.

10 : 수집 인메모리 DB
20 : 처리 인메모리 DB
30 : DB10: Collection in memory DB
20: Processing in-memory DB
30: DB

Claims (12)

제1 목적을 위한 제1 인메모리 DB가 구축되는 제1 메모리;
제2 목적을 위한 제2 인메모리 DB가 구축되는 제2 메모리;
DB가 구축되는 스토리지; 및
제1 메모리, 제2 메모리 및 스토리지를 제어하는 프로세서;를 포함하는 것을 특징으로 하는 데이터 저장 시스템.
A first memory in which a first in-memory DB for a first purpose is constructed;
A second memory in which a second in-memory DB for a second purpose is constructed;
Storage where the DB is built; And
And a processor for controlling the first memory, the second memory, and the storage.
청구항 1에 있어서,
제1 메모리 및 제2 메모리는,
물리적으로 구분되어 있는 것을 특징으로 하는 데이터 저장 시스템.
The method according to claim 1,
The first memory and the second memory,
Wherein the data storage system is physically divided.
청구항 1에 있어서,
제1 목적은,
외부로부터 유입되는 데이터를 저장하는 것을 특징으로 하는 데이터 저장 시스템.
The method according to claim 1,
First,
And stores data that is input from outside.
청구항 3에 있어서,
제1 목적은,
제1 인메모리 DB에 저장된 데이터의 조회에 대한 응답을 더 포함하는 것을 특징으로 하는 데이터 저장 시스템.
The method of claim 3,
First,
Further comprising a response to an inquiry of data stored in the first memory DB.
청구항 1에 있어서,
제2 목적은,
외부 애플리케이션으로부터의 데이터 조회에 응답하는 것을 특징으로 하는 데이터 저장 시스템.
The method according to claim 1,
Second,
And responds to an inquiry of data from an external application.
청구항 5에 있어서,
제2 메모리는,
제1 인메모리 DB 및 DB 중 적어도 하나로부터 데이터를 획득하여, 제2 인메모리 DB에 포함시키는 것을 특징으로 하는 데이터 저장 시스템.
The method of claim 5,
The second memory,
Acquiring data from at least one of the first memory DB and the second database and storing the data in the second memory DB.
청구항 6에 있어서,
제1 메모리는,
제2 인메모리 DB 및 DB에 구축된 데이터를 제1 인메모리 DB로 유입시키지 않는 것을 특징으로 하는 데이터 저장 시스템.
The method of claim 6,
The first memory,
And the data stored in the second memory DB and the second database are not transferred to the first memory DB.
청구항 1에 있어서,
프로세서는,
보조 프로세서를 통해 제2 메모리를 제어하는 것을 특징으로 하는 데이터 저장 시스템.
The method according to claim 1,
The processor,
And controls the second memory via the coprocessor.
청구항 1에 있어서,
스토리지는, HDD인 것을 특징으로 하는 데이터 저장 시스템.
The method according to claim 1,
Wherein the storage is an HDD.
제1 메모리에 제1 목적을 위한 제1 인메모리 DB를 구축하는 단계;
제2 메모리에 제2 목적을 위한 제2 인메모리 DB를 구축하는 단계;를 포함하는 것을 특징으로 하는 데이터 저장 방법.
Building a first in-memory DB for a first purpose in a first memory;
And constructing a second in-memory DB for a second purpose in the second memory.
외부 애플리케이션으로부터의 데이터 조회에 응답하기 위한 인메모리 DB가 구축되는 메모리;
DB가 구축되는 스토리지; 및
메모리 및 스토리지를 제어하는 프로세서;를 포함하는 것을 특징으로 하는 데이터 저장 시스템.
A memory in which an in-memory DB for responding to a data inquiry from an external application is constructed;
Storage where the DB is built; And
And a processor for controlling the memory and the storage.
메모리에 데이터 조회 요청에 응답하기 위한 인메모리 DB를 구축하는 단계;
인메모리 DB를 이용하여, 외부 애플리케이션으로부터 수신한 데이터 조회 요청을 처리하여 응답하는 단계;를 포함하는 것을 특징으로 하는 데이터 처리 방법.
Building an in-memory DB for responding to a data inquiry request to the memory;
Processing the data inquiry request received from the external application using the in-memory DB, and responding to the data inquiry request.
KR1020160106923A 2016-08-23 2016-08-23 Dual In-Memory based Data Storage and Processing System for Real-Time Data Processing KR101905968B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160106923A KR101905968B1 (en) 2016-08-23 2016-08-23 Dual In-Memory based Data Storage and Processing System for Real-Time Data Processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160106923A KR101905968B1 (en) 2016-08-23 2016-08-23 Dual In-Memory based Data Storage and Processing System for Real-Time Data Processing

Publications (2)

Publication Number Publication Date
KR20180022075A true KR20180022075A (en) 2018-03-06
KR101905968B1 KR101905968B1 (en) 2018-10-10

Family

ID=61727343

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160106923A KR101905968B1 (en) 2016-08-23 2016-08-23 Dual In-Memory based Data Storage and Processing System for Real-Time Data Processing

Country Status (1)

Country Link
KR (1) KR101905968B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070119155A (en) * 2006-06-14 2007-12-20 (주) 시스메이트 Design of ip flow information management and export architecture using dual memories
JP2011180649A (en) * 2010-02-26 2011-09-15 Nec Corp Data processing system, data processing method, and data processing program
KR20140142125A (en) * 2013-05-30 2014-12-11 한양대학교 산학협력단 Computer systerm providing file system
JP2016072985A (en) * 2014-09-29 2016-05-09 エディファイアー・エルエルシーＥｄｉｆｉｒｅ ＬＬＣ Management of dynamic conference session state in secure media-based conferencing
KR20160073297A (en) * 2014-12-16 2016-06-24 삼성전자주식회사 In-memory cluster computing framework node and data caching method thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070119155A (en) * 2006-06-14 2007-12-20 (주) 시스메이트 Design of ip flow information management and export architecture using dual memories
JP2011180649A (en) * 2010-02-26 2011-09-15 Nec Corp Data processing system, data processing method, and data processing program
KR20140142125A (en) * 2013-05-30 2014-12-11 한양대학교 산학협력단 Computer systerm providing file system
JP2016072985A (en) * 2014-09-29 2016-05-09 エディファイアー・エルエルシーＥｄｉｆｉｒｅ ＬＬＣ Management of dynamic conference session state in secure media-based conferencing
KR20160073297A (en) * 2014-12-16 2016-06-24 삼성전자주식회사 In-memory cluster computing framework node and data caching method thereof

Also Published As

Publication number Publication date
KR101905968B1 (en) 2018-10-10

Similar Documents

Publication Publication Date Title
US20190042104A1 (en) Tier-optimized write scheme
KR101378270B1 (en) Data prefetch in sas expanders
US20160328176A1 (en) Providing access information to a storage controller to determine a storage tier for storing data
US9594515B2 (en) Methods and systems using observation based techniques for determining performance capacity of a resource of a networked storage environment
US9195611B2 (en) Efficiently updating and deleting data in a data storage system
US9424196B2 (en) Adjustment of the number of task control blocks allocated for discard scans
US20100211949A1 (en) Management computer and processing management method
JPWO2016016944A1 (en) Database management system and database management method
US10146783B2 (en) Using file element accesses to select file elements in a file system to defragment
CN108667740B (en) Flow control method, device and system
JP6582721B2 (en) Control device, storage system, and control program
JP5956064B2 (en) Computer system, data management method, and computer
CN113220650A (en) Data storage method, device, apparatus, storage medium, and program
US20150268858A1 (en) Computer system, cash data management method, and computer
US10168944B2 (en) Information processing apparatus and method executed by an information processing apparatus
KR101905968B1 (en) Dual In-Memory based Data Storage and Processing System for Real-Time Data Processing
US10949102B2 (en) Leveraging snapshot for time series pattern analysis prediction
WO2016029481A1 (en) Method and device for isolating disk regions
US10530870B2 (en) Direct volume migration in a storage area network
CN112835967B (en) Data processing method, device, equipment and medium based on distributed storage system
US20180165380A1 (en) Data processing system and data processing method
US20170270129A1 (en) Application server, cloud device, storage medium access monitoring method, and computer-readable storage medium having computer program stored thereon
US11340814B1 (en) Placing data in a data storage array based on detection of different data streams within an incoming flow of data
CN111782588A (en) File reading method, device, equipment and medium
US20120233224A1 (en) Data processing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant