KR20230020661A - An Application System to Build A Data Infrastructure Optimized For Distributed Environment Based On Data Fabric - Google Patents
An Application System to Build A Data Infrastructure Optimized For Distributed Environment Based On Data Fabric Download PDFInfo
- Publication number
- KR20230020661A KR20230020661A KR1020210102314A KR20210102314A KR20230020661A KR 20230020661 A KR20230020661 A KR 20230020661A KR 1020210102314 A KR1020210102314 A KR 1020210102314A KR 20210102314 A KR20210102314 A KR 20210102314A KR 20230020661 A KR20230020661 A KR 20230020661A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- function
- builder
- relationship
- distributed
- Prior art date
Links
- 239000004744 fabric Substances 0.000 title claims abstract description 29
- 238000009440 infrastructure construction Methods 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 15
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000013500 data storage Methods 0.000 claims description 6
- 238000011017 operating method Methods 0.000 claims description 4
- 238000002360 preparation method Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 2
- 230000008676 import Effects 0.000 claims description 2
- 238000003825 pressing Methods 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 claims 1
- 230000008901 benefit Effects 0.000 abstract description 5
- 230000006872 improvement Effects 0.000 abstract description 4
- 230000007423 decrease Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000013523 data management Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2291—User-Defined Types; Storage management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
- G06F16/24561—Intermediate data storage techniques for performance improvement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Abstract
Description
본 발명은 데이터 웨어하우스 혹은 데이터 레이크 구축 없이 분산된 데이터의 효율적인 활용방안으로 지리적으로 분산되어있는 이질의 소스 데이터들을 연계 및 지원하기 위한 물리적인 이동을 최소화함으로써, 분산 환경의 장점을 극대화시킬 수 있고, 모든 데이터들을 하나의 플랫폼에 통합시킴으로써, 데이터 관리를 단순화함은 물론 하이브리드 클라우드 환경하에서 어디서든 손쉽게 데이터를 액세스하고 공유할 수 있으며, Knowledge Graph Database를 구축하여 관계형 데이터베이스에서 필요시 되는 인덱싱과 데이터들 간의 조인 정보를 저장, 관리하는데 소요되는 높은 복잡성과 비용의 오버헤드 없이 보다 빠른 검색과 효율적인 관리를 보장하며 데이터양의 증가로 인해 빈번히 발생하는 시스템 과부하를 탄력적으로 제어함으로써, 서비스 제공 속도 저하를 미연에 방지할 수 있고, 블록체인의 단점을 보완하기 위해 홀로체인 프레임워크를 이용하여 마이크로 서비스와 강화된 보안 기능을 제공하는 홀로체인 기술을 적용하여 Process 성능향상, 탈중앙화, 네트워크 성능개선, 데이터 저장시의 암호화 외에도 데이터 전송시에도 암호화를 기본적으로 지원함으로써, 한층 업그레이드된 보안 기술을 적용할 수 있는 데이터 패브릭을 기반으로 한 분산 환경에 최적화된 데이터 인프라 구축 시스템에 관한 기술이다.The present invention can maximize the advantages of a distributed environment by minimizing physical movement to link and support geographically dispersed heterogeneous source data as an efficient utilization method of distributed data without building a data warehouse or data lake. , By integrating all data into one platform, data management is simplified, data can be easily accessed and shared anywhere in a hybrid cloud environment, and a knowledge graph database is built to provide indexing and data required in relational databases. Faster search and efficient management are ensured without the high complexity and cost overhead required to store and manage join information between joins, and by flexibly controlling system overload that frequently occurs due to an increase in data volume, the slowdown in service provision speed is not noticed. process performance improvement, decentralization, network performance improvement, data storage It is a technology related to a data infrastructure construction system optimized for a distributed environment based on a data fabric that can apply a more upgraded security technology by basically supporting encryption during data transmission in addition to encryption of data transmission.
4차 산업 혁명의 한축인 빅데이터 시대에 들어서면서, 이미 파악하기 힘들 정도의 데이터는 쌓여 있고, 클라우드의 발전으로 더욱 많은 데이터들이 매일매일 기하급수적으로 증가하는 현 상황에서 저장되어 있는 데이터를 효율적으로 접근하고 관리하는 것이 매우 중요시되고 있다. Entering the era of big data, which is one of the pillars of the 4th industrial revolution, data that is already difficult to grasp is piled up, and more data is increasing exponentially every day due to the development of the cloud. Access and management are very important.
세분화된 산업형태로 기업이 확장되면서 더욱 많은 수의 최첨단 애플리케이션을 활용하게 되지만, 리파지토리 시스템은 여전히 기존의 구형시스템에 의존하고 있고, 사일로화된 데이터 때문에 시간이 지날수록 데이터에 대한 접근 방식은 정체되고 어려워짐으로 인하여 결과적으로는 낮은 생산력 및 효율성, 데이터 접근성, 스토리지 및 보안에 대한 신뢰성, 확장성 등의 문제점이 발생한다.As companies expand into fragmented industries, they take advantage of an increasing number of cutting-edge applications, but repository systems still rely on existing legacy systems, and access to data becomes stagnant over time due to siled data. As a result, problems such as low productivity and efficiency, data accessibility, reliability for storage and security, and scalability occur.
이를 해결하기 위해 데이터웨어하우스와 데이터레이크기술을 기반으로 하는 다양한 제품들이 출시, 도입되어 여러 장소에 흩어져 있는 데이터들을 중앙에 위치한 하나의 리파지토리로 모음으로써 데이터 접근에 대한 문제점을 해결하고 있으나, 이러한 기술은 분산되어 있는 모든 데이터를 물리적으로 옮기는 ETL 작업이 필수적으로 요구되어 상당한 시간과 비용을 부담해야 하는 것이 사실이다.In order to solve this problem, various products based on data warehouse and data lake technology have been released and introduced to solve the problem of data access by collecting data scattered in various places into one central repository. It is true that the ETL work that physically moves all the distributed data is required, and it takes a lot of time and money.
또한, 모든 데이터가 한곳으로 집중됨으로 비즈니스의 연속성을 보장하기 위한 데이터 리파지토리의 레질리언스에 대한 대책도 큰 부담이 되고 있는 실정이다.In addition, since all data is concentrated in one place, measures for the resilience of the data repository to ensure business continuity are becoming a great burden.
그러므로 데이터 관리를 단순화함은 물론 하이브리드 클라우드 환경하에서 어디서든 손쉽게 데이터를 액세스하고 공유할 수 있으며, 서비스 제공 속도 저하를 미연에 방지할 수 있고, 한층 업그레이드된 보안 기술을 적용할 수 있는 데이터 패브릭을 기반으로 한 분산 환경에 최적화된 데이터 인프라 구축 시스템의 개발이 절실히 요구되고 있는 실정이다.Therefore, it is based on a data fabric that simplifies data management, enables easy data access and sharing anywhere in a hybrid cloud environment, prevents service delivery speed from slowing down, and applies upgraded security technology. Therefore, the development of a data infrastructure construction system optimized for a distributed environment is urgently required.
따라서 본 발명은 상기와 같은 문제점을 해결하기 위하여 착상된 것으로서, 데이터 웨어하우스 혹은 데이터 레이크 구축 없이 분산된 데이터의 효율적인 활용방안으로 지리적으로 분산되어있는 이질의 소스 데이터들을 연계 및 지원하기 위한 물리적인 이동을 최소화함으로써, 분산 환경의 장점을 극대화시킬 수 있는 데이터 패브릭을 기반으로 한 분산 환경에 최적화된 데이터 인프라 구축 시스템을 제공하는데 그 목적이 있다.Therefore, the present invention was conceived to solve the above problems, and as a method for efficient utilization of distributed data without building a data warehouse or data lake, physical movement to connect and support geographically dispersed heterogeneous source data The purpose is to provide a data infrastructure construction system optimized for a distributed environment based on a data fabric that can maximize the advantages of a distributed environment by minimizing
본 발명의 다른 목적은 모든 데이터들을 하나의 플랫폼에 통합시킴으로써, 데이터 관리를 단순화함은 물론 하이브리드 클라우드 환경하에서 어디서든 손쉽게 데이터를 액세스하고 공유할 수 있는 데이터 패브릭을 기반으로 한 분산 환경에 최적화된 데이터 인프라 구축 시스템을 제공하는데 있다.Another object of the present invention is to simplify data management by integrating all data into one platform, as well as data optimized for a distributed environment based on a data fabric that can easily access and share data anywhere in a hybrid cloud environment. It is to provide an infrastructure construction system.
본 발명의 다른 목적은 Knowledge Graph Database를 구축하여 관계형 데이터베이스에서 필요시 되는 인덱싱과 데이터들 간의 조인 정보를 저장, 관리하는데 소요되는 높은 복잡성과 비용의 오버헤드 없이 보다 빠른 검색과 효율적인 관리를 보장하며 데이터양의 증가로 인해 빈번히 발생하는 시스템 과부하를 탄력적으로 제어함으로써, 서비스 제공 속도 저하를 미연에 방지할 수 있는 데이터 패브릭을 기반으로 한 분산 환경에 최적화된 데이터 인프라 구축 시스템을 제공하는데 있다.Another object of the present invention is to build a Knowledge Graph Database to ensure faster search and efficient management without the high complexity and cost overhead required to store and manage indexing required in relational databases and join information between data. It is an object of the present invention to provide a data infrastructure construction system optimized for a distributed environment based on a data fabric that can prevent a decrease in service provision speed in advance by flexibly controlling system overload that frequently occurs due to an increase in quantity.
본 발명의 다른 목적은 블록체인의 단점을 보완하기 위해 홀로체인 프레임워크를 이용하여 마이크로 서비스와 강화된 보안 기능을 제공하는 홀로체인 기술을 적용하여 Process 성능향상, 탈중앙화, 네트워크 성능개선, 데이터 저장시의 암호화 외에도 데이터 전송시에도 암호화를 기본적으로 지원함으로써, 한층 업그레이드된 보안 기술을 적용할 수 있는 데이터 패브릭을 기반으로 한 분산 환경에 최적화된 데이터 인프라 구축 시스템을 제공하는데 있다.Another object of the present invention is to improve process performance, decentralization, network performance, and data storage by applying the Holochain technology that provides microservices and enhanced security functions using the Holochain framework to compensate for the disadvantages of the block chain. It is to provide a data infrastructure construction system optimized for a distributed environment based on a data fabric that can apply a more upgraded security technology by basically supporting encryption during data transmission in addition to encryption of .
상기 목적을 달성하기 위한 본 발명의 바람직한 일실시예에 따른 데이터 패브릭을 기반으로 한 분산 환경에 최적화된 데이터 인프라 구축 시스템은 클라이언트 인터페이스와 데이터 빌더(Data Builder)가 연동되며, 사용자들에게 서비스를 제공하는 웹 인터페이스로서, Data Builder로부터 분산된 데이터들의 테이블과 컬럼 정보를 제공 받아서 사용자가 필요로 하는 데이터들 간의 관계를 설정하고, 설정된 관계를 Knowledge Graph Database에 저장하기 위하여 Data Builder에 전달해 주는 기능과, 사용자가 원하는 데이터를 제공받기 위해 먼저 사용자가 요청하는 데이터 관계 내역을 Data Builder를 통해 Knowledge Graph Database에서 검색하여 웹 인터페이스가 수신하는 기능과, 사용자가 수신한 관계 내역의 데이터를 수집하기 위하여 Data Builder에게 데이터 제공을 요청하는 기능을 갖는 클라이언트 인터페이스와; 상기 클라이언트 인터페이스 및 Data Collector와 각각 연동되며, 상기 클라이언트 인터페이스에 서비스를 제공하는 Backend system으로서, Data Fabric 환경에서 분산되어 있는 데이터 소스들의 메타 데이터 정보를 활용하여 관련 데이터들 간의 상호 관계를 설정할 수 있도록 클라이언트 인터페이스에 필요한 테이블 및 컬럼 정보를 제공하고, 클라이언트 인터페이스를 통해 설정된 관계를 Knowledge Graph Database에 저장하고 관리하는 기능과, 사용자가 원하는 데이터를 제공하기 위해 먼저 사용자가 요청한 데이터 관계 내역을 Data Builder를 통해 Knowledge Graph Database에서 검색하여 웹 인터페이스로 전송하는 기능과, 사용자가 수신한 관계 내역의 데이터를 전송하기 위하여 Data Collector에게 데이터 제공을 요청하는 기능을 갖는 데이터 빌더(Data Builder)와; 상기 데이터 빌더(Data Builder)와 연동되며, 분산된 각각의 데이터 소스에서 데이터를 가져오기 위하여 홀로체인(Holo Chain)을 적용하여 장애에 대비한 분산 처리기능과 보안 기능을 반영하며, Data Builder로부터 요청받은 데이터 관계 내역을 MicroService들에게 전달하는 기능과, MicroService들과 연결되는 데이터 소스에서 데이터를 검색하여 수집된 데이터를 Data Builder에 전달하는 기능과, 통합 환경에서 데이터 소스 간의 공유 및 접근을 효율적으로 지원하기 위해 end-to-end 분산 플랫폼을 지원 관리하는 기능을 갖는 데이터 콜렉터(Data Collector)와; 상기 Data Collector와 연동되며, 기존의 운영방식인 클라우드, ERP, Date Mart(DW), Sass의 데이터 원천 소스가 관리되고 있는 데이터베이스의 존재영역인 데이터 소스; 을 포함함을 특징으로 한다.A data infrastructure construction system optimized for a distributed environment based on a data fabric according to a preferred embodiment of the present invention for achieving the above object is linked to a client interface and a data builder, and provides services to users It is a web interface that provides a function of receiving table and column information of distributed data from Data Builder, setting the relationship between the data that the user needs, and passing it to the Data Builder to save the established relationship in the Knowledge Graph Database; In order to receive the data the user wants, first, the data relationship details requested by the user are retrieved from the Knowledge Graph Database through the Data Builder to receive the web interface, and to the Data Builder to collect the data of the relationship details received by the user. a client interface having a function of requesting provision of data; As a backend system that interworks with the client interface and data collector and provides services to the client interface, the client can establish mutual relationships between related data by utilizing meta data information of data sources distributed in a data fabric environment. The ability to provide table and column information required for the interface, store and manage relationships established through the client interface in the Knowledge Graph Database, and provide the data relationship history requested by the user in advance to provide the desired data to the user through the Data Builder A data builder having a function of searching in the graph database and transmitting to a web interface, and a function of requesting the data collector to provide data in order to transmit the data of the relationship details received by the user; It interlocks with the Data Builder, applies Holo Chain to import data from each distributed data source, reflects the distributed processing function and security function in preparation for failure, and requests from the Data Builder Function to deliver received data relationship details to MicroServices, function to search data from data sources connected to MicroServices and deliver collected data to Data Builder, and efficiently support sharing and access between data sources in an integrated environment a data collector having a function of supporting and managing an end-to-end distribution platform to do so; A data source that is interlocked with the Data Collector and is an area of existence of a database in which data sources of cloud, ERP, Date Mart (DW), and Sass, which are existing operating methods, are managed; It is characterized by including.
상기 본 발명에 있어서, 상기 클라이언트 인터페이스에서 데이터들 간의 관계를 설정하는 부분에서, 상기 클라이언트 인터페이스에서 관계를 지정하고자 하는 테이블들을 선택하면 각 테이블이 하나의 노드(원 모양)으로 표시되며 그 노드를 클릭하면 해당 노드의 중요 컬럼 리스트가 펼쳐지고 다시 클릭하면 컬럼 리스트는 감춰지게 하는 기능과, 선택된 테이블들 간의 관계를 지정하기 위해서 소스 테이블 노드를 컨트롤키와 함께 클릭한 후 destination 테이블을 마찬가지로 컨트롤키와 함께 클릭하면 두 테이블이 화살표로 연결되게 하는 기능을 포함하는 리스트에서 테이블 관계를 지정하는 과정과; 컬럼들을 지정하기 위해서 각각 테이블의 컬럼 리스트를 클릭한 후 드래그(Drag)하여 화살표의 해당 테이블과 가까운 부분에 드롭(Drop)하면 해당 컬럼이 화살표 위에 위치하게 하는 기능과, 두개 이상의 컬럼을 지정하고자 할 때도 첫 번째 컬럼 지정 때와 마찬가지의 작업을 반복하는 기능을 포함하는 두 테이블간의 연결되는 컬럼들을 지정하는 과정과; 모든 테이블 간의 관계가 정의되면 ‘저장’ 버튼을 클릭하여 설계된 내용이 Data Builder로 전달되어 knowledge graph database에 저장되게 하는 기능을 포함하는 knowledge graph database에 저장하는 과정; 을 포함함을 특징으로 한다.In the present invention, in the part of setting the relationship between data in the client interface, when tables to specify the relationship are selected in the client interface, each table is displayed as one node (circular shape), and clicking the node function to expand the important column list of the corresponding node and hide the column list when clicked again, and to specify the relationship between the selected tables, click the source table node with the control key and then click the destination table with the control key in the same way. specifying a table relationship in a list that includes a function that allows two tables to be connected by an arrow if To designate columns, click and drag the column list of each table and drop it near the corresponding table of the arrow to place the column above the arrow, and if you want to designate two or more columns a process of specifying columns that are connected between two tables including a function of repeating the same operation as when specifying the first column even when specifying the first column; When the relationship between all tables is defined, click the ‘Save’ button to save the designed contents to the knowledge graph database, which includes a function to be transferred to the Data Builder and stored in the knowledge graph database; It is characterized by including.
상기 본 발명에 있어서, 상기 클라이언트 인터페이스에서 사용자가 원하는 데이터를 수집하기 위해 관계 내역을 불러오는 과정은 이미 등록된 테이블 리스트에서 원하는 테이블들을 선택하면 선택된 테이블들 간에 이미 설정된 관계와 함께 테이블 및 컬럼 리스트가 화면에 표시되는 과정과; 검색하고자 하는 테이블의 컬럼들을 선택하는 과정과; 특정 컬럼 값의 sum/avg/min/max와 같은 aggregated 값을 원하는 경우 해당 컬럼을 선택한 후 원하는 aggregation 함수를 선택하는 과정과; 검색하고자 하는 모든 테이블과 컬럼들이 선택되면 ‘검색’ 버튼을 누름으로 요청 사항을 API를 통하여 Data Collector로 전송하여 검색된 데이터를 제공받는 과정; 을 포함함을 특징으로 한다.In the present invention, in the process of calling up relation details to collect desired data by the user in the client interface, when desired tables are selected from the already registered table list, a table and column list are displayed on the screen along with the previously established relationship between the selected tables. the process displayed in; selecting columns of a table to be searched; If you want an aggregated value such as sum/avg/min/max of a specific column value, selecting the desired aggregation function after selecting the column; When all the tables and columns to be searched are selected, press the ‘Search’ button to transmit the request to the Data Collector through the API and receive the searched data; It is characterized by including.
상기 본 발명에 있어서, 상기 Data Collector는 홀로체인 프레임워크를 이용하는데, 홀로체인(또는 hApp bundle)은 이질의 흩어져 있는 데이터 소스들의 관리를 하나의 복잡한 모놀리식(monolithic) 어플리케이션이 아닌 마이크로 서비스 형태의 에이전트인 DNA가 각각의 데이터 소스들을 독립적으로 담당하며 각 DNA는 한개 이상의 실행단위인 ZOME으로 구성되는데, 분산된 각각의 데이터 소스와의 소통을 담당하는 창구 역할을 하며, Data Builder로부터 요청받은 지정된 데이터를 해당 데이터 소스로부터 검색하여 전달하는 기능과, 전체 시스템의 레질리언스를 지원하기 위해 DNA들 간에 서로의 데이터를 공유/백업하여 특정 DNA가 수행 불가한 상태가 되었을 때 다른 DNA가 이를 대신 수행하는 기능과, 상기 각각의 ZOME은 지정된 특정 데이터 소스들로부터 필요한 데이터를 수집하여 속해있는 DNA에게 전달하며 해당 데이터 소스와 관련된 모든 필요한 작업을 전담하는 기능과, 데이터 저장 외에도 DNA들 간의 전송시에도 모두 데이터 암호화를 제공하여 시스템 보안을 극대화하는 기능을 갖는 것을 포함함을 특징으로 한다.In the present invention, the Data Collector uses the Holochain framework, and the Holochain (or hApp bundle) manages heterogeneous and scattered data sources in the form of a microservice rather than a complex monolithic application. DNA, an agent of , is in charge of each data source independently, and each DNA is composed of one or more execution units, ZOME. The ability to retrieve and deliver data from the data source, and sharing/backup of data between DNAs to support the resilience of the entire system, so that when a specific DNA becomes unavailable, another DNA performs it instead function, and each ZOME collects necessary data from designated specific data sources and delivers it to the DNA to which it belongs, and is dedicated to all necessary tasks related to the data source, as well as data storage and transmission between DNAs It is characterized by including having a function of maximizing system security by providing data encryption.
상기 본 발명에 있어서, 상기 Data Collector에 포함되는 hApp Bundle(또는 홀로체인)은 Data Builder로부터 전달받은 데이터 소스 이름들과 각 데이터 소스로부터 검색할 정보를 분석하여 해당되는 데이터 소스를 담당하고 있는 각각의 해당 DNA에 요청사항을 전달하는 기능을 갖고, 상기 DNA는 요청받은 사항을 실제 실행단위인 ZOME으로 보내므로 각각의 ZOME은 저장된 데이터 소스에 대한 접속 정보를 이용하여 분산된 데이터 소스들로부터 필요한 데이터를 수집한 후 속해 있는 DNA에게 전달하는 기능을 갖는 것을 포함함을 특징으로 한다.In the present invention, the hApp Bundle (or Holochain) included in the Data Collector analyzes the data source names transmitted from the Data Builder and the information to be searched from each data source, and each in charge of the corresponding data source It has a function of transmitting requests to the corresponding DNA, and since the DNA sends the requested items to ZOME, which is an actual execution unit, each ZOME uses access information on stored data sources to retrieve necessary data from distributed data sources. It is characterized in that it includes having a function of delivering to the DNA to which it belongs after being collected.
상기 본 발명에 있어서, 상기 각 DNA는 필요에 따라 검색된 데이터를 캐쉬에 보관할 수 있고, 검색 요청이 있는 경우 실제 데이터 소스에 접속하여 요청된 데이터를 검색하는 대신 이미 캐쉬에 저장된 내용을 전달하여 실행 속도를 크게 향상시킬 수 있는 것을 포함함을 특징으로 한다.In the present invention, each DNA can keep the searched data in the cache as needed, and when there is a search request, instead of accessing the actual data source and searching for the requested data, the content already stored in the cache is delivered to speed up the execution. It is characterized by including what can greatly improve.
상술한 바와 같이, 본 발명인 데이터 패브릭을 기반으로 한 분산 환경에 최적화된 데이터 인프라 구축 시스템은 다음과 같은 효과를 가진다.As described above, the data infrastructure construction system optimized for the distributed environment based on the data fabric of the present invention has the following effects.
첫째, 본 발명은 데이터 웨어하우스 혹은 데이터 레이크 구축 없이 분산된 데이터의 효율적인 활용방안으로 지리적으로 분산되어있는 이질의 소스 데이터들을 연계 및 지원하기 위한 물리적인 이동을 최소화함으로써, 분산 환경의 장점을 극대화시킬 수 있다.First, the present invention maximizes the advantages of a distributed environment by minimizing physical movement to link and support geographically dispersed heterogeneous source data as an efficient utilization method of distributed data without building a data warehouse or data lake. can
둘째, 본 발명은 모든 데이터들을 하나의 플랫폼에 통합시킴으로써, 데이터 관리를 단순화함은 물론 하이브리드 클라우드 환경하에서 어디서든 손쉽게 데이터를 액세스하고 공유할 수 있다.Second, by integrating all data into one platform, the present invention simplifies data management and enables easy access and sharing of data anywhere in a hybrid cloud environment.
셋째, 본 발명은 Knowledge Graph Database를 구축하여 관계형 데이터베이스에서 필요시 되는 인덱싱과 데이터들 간의 조인 정보를 저장, 관리하는데 소요되는 높은 복잡성과 비용의 오버헤드 없이 보다 빠른 검색과 효율적인 관리를 보장하며 데이터양의 증가로 인해 번번히 발생하는 시스템 과부하를 탄력적으로 제어함으로써, 서비스 제공 속도 저하를 미연에 방지할 수 있다.Third, the present invention builds a Knowledge Graph Database to ensure faster search and efficient management without the high complexity and cost overhead required to store and manage indexing required in relational databases and join information between data. By flexibly controlling the system overload that frequently occurs due to the increase of
넷째, 본 발명은 블록체인의 단점을 보완하기 위해 홀로체인 프레임워크를 이용하여 마이크로 서비스와 강화된 보안 기능을 제공하는 홀로체인 기술을 적용하여 Process 성능향상, 탈중앙화, 네트워크 성능개선, 데이터 저장시의 암호화 외에도 데이터 전송시에도 암호화를 기본적으로 지원함으로써, 한층 업그레이드된 보안 기술을 적용할 수 있다.Fourth, the present invention applies the Holochain technology that provides microservices and enhanced security functions using the Holochain framework to compensate for the disadvantages of the block chain, improving process performance, decentralization, network performance, and data storage. In addition to encryption, encryption is basically supported during data transmission, so a more upgraded security technology can be applied.
도 1은 본 발명의 일실시예에 따른 데이터 패브릭을 기반으로 한 분산 환경에 최적화된 데이터 인프라 구축 시스템의 구성을 설명하기 위해 나타낸 도면.
도 2는 본 발명의 일실시예에 따른 클라이언트 인터페이스에서 테이블 관계를 지정, 컬럼들을 지정, 데이터베이스에 저장하는 과정을 설명하기 위해 나타낸 도면.1 is a diagram illustrating the configuration of a data infrastructure construction system optimized for a distributed environment based on a data fabric according to an embodiment of the present invention.
2 is a diagram illustrating a process of designating table relationships, designating columns, and storing in a database in a client interface according to an embodiment of the present invention;
이하 첨부된 도면과 함께 본 발명의 바람직한 실시예를 살펴보면 다음과 같은데, 본 발명을 설명함에 있어서 관련된 공지기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 것이며, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있으므로, 그 정의는 본 발명인 데이터 패브릭을 기반으로 한 분산 환경에 최적화된 데이터 인프라 구축 시스템을 설명하는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, looking at preferred embodiments of the present invention together with the accompanying drawings, the detailed description of the known technology or configuration related to the present invention may unnecessarily obscure the subject matter of the present invention. Descriptions will be omitted, and the terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of the user or operator, so the definitions are defined in a distributed environment based on the data fabric of the present invention. It should be made based on the contents throughout this specification describing the optimized data infrastructure construction system.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 일실시예에 따른 데이터 패브릭을 기반으로 한 분산 환경에 최적화된 데이터 인프라 구축 시스템을 상세하게 설명한다.Hereinafter, a data infrastructure construction system optimized for a distributed environment based on a data fabric according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일실시예에 따른 데이터 패브릭을 기반으로 한 분산 환경에 최적화된 데이터 인프라 구축 시스템의 구성을 설명하기 위해 나타낸 도면이고, 도 2는 본 발명의 일실시예에 따른 클라이언트 인터페이스에서 테이블 관계를 지정, 컬럼들을 지정, 데이터베이스에 저장하는 과정을 설명하기 위해 나타낸 도면이다.1 is a diagram illustrating the configuration of a data infrastructure construction system optimized for a distributed environment based on a data fabric according to an embodiment of the present invention, and FIG. 2 is a diagram showing a client interface according to an embodiment of the present invention. This diagram is shown to explain the process of specifying table relationships, specifying columns, and storing them in the database.
상기 본 발명인 데이터 패브릭을 기반으로 한 분산 환경에 최적화된 데이터 인프라 구축 시스템은 클라이언트 인터페이스(10), 테이블(11), 컬럼 정보(또는 컬럼 리스트)(12), 데이터 빌더(Data Builder)(20), Knowledge Graph Database(21), Data Collector(30), 홀로체인(또는 hApp bundle)(31), DNA(32), Zome(33), 데이터 소스(40) 등으로 구성된다.A data infrastructure construction system optimized for a distributed environment based on the data fabric of the present invention includes a client interface (10), a table (11), column information (or column list) (12), and a data builder (20). , Knowledge Graph Database (21), Data Collector (30), Holochain (or hApp bundle) (31), DNA (32), Zome (33), and data source (40).
도 1과 도 2에 도시한 바와 같이, 본 발명인 데이터 패브릭을 기반으로 한 분산 환경에 최적화된 데이터 인프라 구축 시스템은 클라이언트 인터페이스(10)와 데이터 빌더(Data Builder)(20)가 연동되며, 사용자들에게 서비스를 제공하는 웹 인터페이스로서, Data Builder(20)로부터 분산된 데이터들의 테이블(11)과 컬럼 정보(12)를 제공 받아서 사용자가 필요로 하는 데이터들 간의 관계를 설정하고, 설정된 관계를 Knowledge Graph Database(21)에 저장하기 위하여 Data Builder(20)에 전달해 주는 기능과, 사용자가 원하는 데이터를 제공받기 위해 먼저 사용자가 요청하는 데이터 관계 내역을 Data Builder(20)를 통해 Knowledge Graph Database(21)에서 검색하여 웹 인터페이스가 수신하는 기능과, 사용자가 수신한 관계 내역의 데이터를 수집하기 위하여 Data Builder(20)에게 데이터 제공을 요청하는 기능을 갖는 클라이언트 인터페이스(10)와; 상기 클라이언트 인터페이스(10) 및 Data Collector(30)와 각각 연동되며, 상기 클라이언트 인터페이스(10)에 서비스를 제공하는 Backend system으로서, Data Fabric 환경에서 분산되어 있는 데이터 소스(40)들의 메타 데이터 정보를 활용하여 관련 데이터들 간의 상호 관계를 설정할 수 있도록 클라이언트 인터페이스(10)에 필요한 테이블(11) 및 컬럼 정보(12)를 제공하고, 클라이언트 인터페이스(10)를 통해 설정된 관계를 Knowledge Graph Database(21)에 저장하고 관리하는 기능과, 사용자가 원하는 데이터를 제공하기 위해 먼저 사용자가 요청한 데이터 관계 내역을 Data Builder(20)를 통해 Knowledge Graph Database(21)에서 검색하여 웹 인터페이스로 전송하는 기능과, 사용자가 수신한 관계 내역의 데이터를 전송하기 위하여 Data Collector(30)에게 데이터 제공을 요청하는 기능을 갖는 데이터 빌더(Data Builder)(20)와; 상기 데이터 빌더(Data Builder)(20)와 연동되며, 분산된 각각의 데이터 소스(40)에서 데이터를 가져오기 위하여 홀로체인(Holo Chain)(31)을 적용하여 장애에 대비한 분산 처리기능과 보안 기능을 반영하며, Data Builder(20)로부터 요청받은 데이터 관계 내역을 Micro Service들에게 전달하는 기능과, Micro Service들과 연결되는 데이터 소스(40)에서 데이터를 검색하여 수집된 데이터를 Data Builder(20)에 전달하는 기능과, 통합 환경에서 데이터 소스(40) 간의 공유 및 접근을 효율적으로 지원하기 위해 end-to-end 분산 플랫폼을 지원 관리하는 기능을 갖는 데이터 콜렉터(Data Collector)(30)와; 상기 Data Collector(30)와 연동되며, 기존의 운영방식인 클라우드, ERP, Date Mart(DW), Sass의 데이터 원천 소스가 관리되고 있는 데이터베이스의 존재영역인 데이터 소스(40); 을 구비한다.As shown in FIGS. 1 and 2, in the data infrastructure construction system optimized for the distributed environment based on the data fabric of the present invention, the
상기 본 발명인 데이터 패브릭을 기반으로 한 분산 환경에 최적화된 데이터 인프라 구축 시스템을 구성하는 각 기술적 수단들의 기능을 설명하면 다음과 같다.Functions of each technical means constituting a data infrastructure construction system optimized for a distributed environment based on the data fabric of the present invention will be described as follows.
상기 클라이언트 인터페이스(10)는 클라이언트 인터페이스(10)와 데이터 빌더(Data Builder)(20)가 연동되며, 사용자들에게 서비스를 제공하는 웹 인터페이스로서, Data Builder(20)로부터 분산된 데이터들의 테이블(11)과 컬럼 정보(12)를 제공 받아서 사용자가 필요로 하는 데이터들 간의 관계를 설정하고, 설정된 관계를 Knowledge Graph Database(21)에 저장하기 위하여 Data Builder(20)에 전달해 주는 기능과, 사용자가 원하는 데이터를 제공받기 위해 먼저 사용자가 요청하는 데이터 관계 내역을 Data Builder(20)를 통해 Knowledge Graph Database(21)에서 검색하여 웹 인터페이스가 수신하는 기능과, 사용자가 수신한 관계 내역의 데이터를 수집하기 위하여 Data Builder(20)에게 데이터 제공을 요청하는 기능을 갖는 것이다.The
여기서, 도 1과 도 2에 도시한 바와 같이, 상기 클라이언트 인터페이스에서 데이터들 간의 관계를 설정하는 부분에서, 상기 클라이언트 인터페이스(10)에서 관계를 지정하고자 하는 테이블(11)들을 선택하면 각 테이블(11)이 하나의 노드(원 모양)으로 표시되며 그 노드를 클릭하면 해당 노드의 중요 컬럼 리스트(12)가 펼쳐지고 다시 클릭하면 컬럼 리스트(12)는 감춰지게 하는 기능과, 선택된 테이블(11)들 간의 관계를 지정하기 위해서 소스 테이블 노드를 컨트롤키와 함께 클릭한 후 destination 테이블을 마찬가지로 컨트롤키와 함께 클릭하면 두 테이블이 화살표로 연결되게 하는 기능을 포함하는 리스트에서 테이블 관계를 지정하는 과정과; 컬럼(12)들을 지정하기 위해서 각각 테이블(11)의 컬럼 리스트(12)를 클릭한 후 드래그(Drag)하여 화살표의 해당 테이블(11)과 가까운 부분에 드롭(Drop)하면 해당 컬럼(12)이 화살표 위에 위치하게 하는 기능과, 두개 이상의 컬럼을 지정하고자 할 때도 첫 번째 컬럼 지정 때와 마찬가지의 작업을 반복하는 기능을 포함하는 두 테이블(11)간의 연결되는 컬럼(12)들을 지정하는 과정과; 모든 테이블 간의 관계가 정의되면 ‘저장’ 버튼을 클릭하여 설계된 내용이 Data Builder(20)로 전달되어 knowledge graph database(21)에 저장되게 하는 기능을 포함하는 knowledge graph database(21)에 저장하는 과정; 을 포함하는 것이다.Here, as shown in FIGS. 1 and 2, in the part of setting the relationship between data in the client interface, when tables 11 to be specified in the relationship are selected in the
또한, 상기 클라이언트 인터페이스에서 사용자가 원하는 데이터를 수집하기 위해 관계 내역을 불러오는 과정은 이미 등록된 테이블 리스트에서 원하는 테이블(11)들을 선택하면 선택된 테이블(11)들 간에 이미 설정된 관계와 함께 테이블(11) 및 컬럼 리스트(12)가 화면에 표시되는 과정과; 검색하고자 하는 테이블(11)의 컬럼(12)들을 선택하는 과정과; 특정 컬럼 값의 sum/avg/min/max와 같은 aggregated 값을 원하는 경우 해당 컬럼(12)을 선택한 후 원하는 aggregation 함수를 선택하는 과정과; 검색하고자 하는 모든 테이블(11)과 컬럼(12)들이 선택되면 ‘검색’ 버튼을 누름으로 요청 사항을 API를 통하여 Data Collector(30)로 전송하여 검색된 데이터를 제공받는 과정; 을 포함하는 것이다.In addition, the process of calling the relationship details to collect the data desired by the user in the client interface, when the desired tables 11 are selected from the already registered table list, the table 11 with the previously established relationship between the selected tables 11 and the process of displaying the
상기 데이터 빌더(Data Builder)(20)는 상기 클라이언트 인터페이스(10) 및 Data Collector(30)와 각각 연동되며, 상기 클라이언트 인터페이스(10)에 서비스를 제공하는 Backend system으로서, Data Fabric 환경에서 분산되어 있는 데이터 소스(40)들의 메타 데이터 정보를 활용하여 관련 데이터들 간의 상호 관계를 설정할 수 있도록 클라이언트 인터페이스(10)에 필요한 테이블(11) 및 컬럼 정보(12)를 제공하고, 클라이언트 인터페이스(10)를 통해 설정된 관계를 Knowledge Graph Database(21)에 저장하고 관리하는 기능과, 사용자가 원하는 데이터를 제공하기 위해 먼저 사용자가 요청한 데이터 관계 내역을 Data Builder(20)를 통해 Knowledge Graph Database(21)에서 검색하여 웹 인터페이스로 전송하는 기능과, 사용자가 수신한 관계 내역의 데이터를 전송하기 위하여 Data Collector(30)에게 데이터 제공을 요청하는 기능을 갖는 것이다.The
상기 데이터 콜렉터(Data Collector)(30)는 상기 데이터 빌더(Data Builder)(20)와 연동되며, 분산된 각각의 데이터 소스(40)에서 데이터를 가져오기 위하여 홀로체인(Holo Chain)(31)을 적용하여 장애에 대비한 분산 처리기능과 보안 기능을 반영하며, Data Builder(20)로부터 요청받은 데이터 관계 내역을 Micro Service들에게 전달하는 기능과, Micro Service들과 연결되는 데이터 소스(40)에서 데이터를 검색하여 수집된 데이터를 Data Builder(20)에 전달하는 기능과, 통합 환경에서 데이터 소스(40) 간의 공유 및 접근을 효율적으로 지원하기 위해 end-to-end 분산 플랫폼을 지원 관리하는 기능을 갖는 것이다.The
여기서, 상기 Data Collector(30)는 홀로체인 프레임워크를 이용하는데, 홀로체인(또는 hApp bundle)(31)은 이질의 흩어져 있는 데이터 소스(40)들의 관리를 하나의 복잡한 모놀리식(monolithic) 어플리케이션이 아닌 마이크로 서비스 형태의 에이전트인 DNA(32)가 각각의 데이터 소스(40)들을 독립적으로 담당하며 각 DNA(32)는 한개 이상의 실행단위인 ZOME(33)으로 구성되는데, 분산된 각각의 데이터 소스(40)와의 소통을 담당하는 창구 역할을 하며, Data Builder(20)로부터 요청받은 지정된 데이터를 해당 데이터 소스(40)로부터 검색하여 전달하는 기능과, 전체 시스템의 레질리언스를 지원하기 위해 DNA(32)들 간에 서로의 데이터를 공유/백업하여 특정 DNA(32)가 수행 불가한 상태가 되었을 때 다른 DNA(32)가 이를 대신 수행하는 기능과, 상기 각각의 ZOME(33)은 지정된 특정 데이터 소스(40)들로부터 필요한 데이터를 수집하여 속해있는 DNA(32)에게 전달하며 해당 데이터 소스(40)와 관련된 모든 필요한 작업을 전담하는 기능과, 데이터 저장 외에도 DNA(32)들 간의 전송시에도 모두 데이터 암호화를 제공하여 시스템 보안을 극대화하는 기능을 갖는 것이다.Here, the
또한, 상기 Data Collector(30)에 포함되는 hApp Bundle(또는 홀로체인)(31)은 Data Builder(20)로부터 전달받은 데이터 소스(40) 이름들과 각 데이터 소스(40)로부터 검색할 정보를 분석하여 해당되는 데이터 소스(40)를 담당하고 있는 각각의 해당 DNA(32)에 요청사항을 전달하는 기능을 갖고, 상기 DNA(32)는 요청받은 사항을 실제 실행단위인 ZOME(33)으로 보내므로 각각의 ZOME(33)은 저장된 데이터 소스(40)에 대한 접속 정보를 이용하여 분산된 데이터 소스(40)들로부터 필요한 데이터를 수집한 후 속해 있는 DNA(32)에게 전달하는 기능을 갖는 것이다.In addition, the hApp Bundle (or Holochain) 31 included in the
또한, 상기 각 DNA(32)는 필요에 따라 검색된 데이터를 캐쉬에 보관할 수 있고, 검색 요청이 있는 경우 실제 데이터 소스(40)에 접속하여 요청된 데이터를 검색하는 대신 이미 캐쉬에 저장된 내용을 전달하여 실행 속도를 크게 향상시킬 수 있는 것이다.In addition, each of the DNAs 32 can store the searched data in the cache as needed, and when there is a search request, instead of accessing the
상기 데이터 소스(40)는 상기 Data Collector(30)와 연동되며, 기존의 운영방식인 클라우드, ERP, Date Mart(DW), Sass의 데이터 원천 소스가 관리되고 있는 데이터베이스의 존재영역인 것이다.The
이상에서 설명한 바와 같이, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것은 아니다.As described above, various substitutions, modifications, and changes can be made by those skilled in the art within the scope of the technical spirit of the present invention, so it is limited to the above-described embodiments and accompanying drawings. it is not going to be
상술한 바와 같이, 본 발명인 데이터 패브릭을 기반으로 한 분산 환경에 최적화된 데이터 인프라 구축 시스템은 데이터를 통합 분산 관리하는 분야에 폭 넓게 적용할 수 있는 것이다.As described above, the data infrastructure construction system optimized for the distributed environment based on the data fabric of the present invention can be widely applied to the field of integrated and distributed management of data.
10 : 클라이언트 인터페이스 11 : 테이블
12 : 컬럼 정보(또는 컬럼 리스트) 20 : 데이터 빌더(Data Builder)
21 : Knowledge Graph Database 30 : Data Collector
31 : 홀로체인(또는 hApp bundle) 32 : DNA
33 : Zome 40 : 데이터 소스10: client interface 11: table
12: Column information (or column list) 20: Data Builder
21: Knowledge Graph Database 30: Data Collector
31: Holochain (or hApp bundle) 32: DNA
33: Zome 40: Data Source
Claims (6)
클라이언트 인터페이스와 데이터 빌더(Data Builder)가 연동되며, 사용자들에게 서비스를 제공하는 웹 인터페이스로서, Data Builder로부터 분산된 데이터들의 테이블과 컬럼 정보를 제공 받아서 사용자가 필요로 하는 데이터들 간의 관계를 설정하고, 설정된 관계를 Knowledge Graph Database에 저장하기 위하여 Data Builder에 전달해 주는 기능과, 사용자가 원하는 데이터를 제공받기 위해 먼저 사용자가 요청하는 데이터 관계 내역을 Data Builder를 통해 Knowledge Graph Database에서 검색하여 웹 인터페이스가 수신하는 기능과, 사용자가 수신한 관계 내역의 데이터를 수집하기 위하여 Data Builder에게 데이터 제공을 요청하는 기능을 갖는 클라이언트 인터페이스와;
상기 클라이언트 인터페이스 및 Data Collector와 각각 연동되며, 상기 클라이언트 인터페이스에 서비스를 제공하는 Backend system으로서, Data Fabric 환경에서 분산되어 있는 데이터 소스들의 메타 데이터 정보를 활용하여 관련 데이터들 간의 상호 관계를 설정할 수 있도록 클라이언트 인터페이스에 필요한 테이블 및 컬럼 정보를 제공하고, 클라이언트 인터페이스를 통해 설정된 관계를 Knowledge Graph Database에 저장하고 관리하는 기능과, 사용자가 원하는 데이터를 제공하기 위해 먼저 사용자가 요청한 데이터 관계 내역을 Data Builder를 통해 Knowledge Graph Database에서 검색하여 웹 인터페이스로 전송하는 기능과, 사용자가 수신한 관계 내역의 데이터를 전송하기 위하여 Data Collector에게 데이터 제공을 요청하는 기능을 갖는 데이터 빌더(Data Builder)와;
상기 데이터 빌더(Data Builder)와 연동되며, 분산된 각각의 데이터 소스에서 데이터를 가져오기 위하여 홀로체인(Holo Chain)을 적용하여 장애에 대비한 분산 처리기능과 보안 기능을 반영하며, Data Builder로부터 요청받은 데이터 관계 내역을 Micro Service들에게 전달하는 기능과, Micro Service들과 연결되는 데이터 소스에서 데이터를 검색하여 수집된 데이터를 Data Builder에 전달하는 기능과, 통합 환경에서 데이터 소스 간의 공유 및 접근을 효율적으로 지원하기 위해 end-to-end 분산 플랫폼을 지원 관리하는 기능을 갖는 데이터 콜렉터(Data Collector)와;
상기 Data Collector와 연동되며, 기존의 운영방식인 클라우드, ERP, Date Mart(DW), Sass의 데이터 원천 소스가 관리되고 있는 데이터베이스의 존재영역인 데이터 소스; 을 포함함을 특징으로 하는 데이터 패브릭을 기반으로 한 분산 환경에 최적화된 데이터 인프라 구축 시스템.In a data infrastructure construction system optimized for a distributed environment based on data fabric,
As a web interface that provides services to users by linking the client interface and the Data Builder, it receives table and column information of distributed data from the Data Builder and establishes the relationship between the data that the user needs. , The function of passing the established relationship to the Data Builder to save it in the Knowledge Graph Database, and the web interface retrieves the data relationship details requested by the user from the Knowledge Graph Database through the Data Builder in order to provide the data the user wants. a client interface having a function of performing a request for providing data to a data builder in order to collect data of relationship details received by a user;
As a backend system that interworks with the client interface and data collector and provides services to the client interface, the client can establish mutual relationships between related data by utilizing meta data information of data sources distributed in a data fabric environment. The ability to provide table and column information required for the interface, store and manage relationships established through the client interface in the Knowledge Graph Database, and provide the data relationship history requested by the user in advance to provide the desired data to the user through the Data Builder A data builder having a function of searching in the graph database and transmitting to a web interface, and a function of requesting the data collector to provide data in order to transmit the data of the relationship details received by the user;
It interlocks with the Data Builder, applies Holo Chain to import data from each distributed data source, reflects the distributed processing function and security function in preparation for failure, and requests from the Data Builder Function to deliver received data relationship history to Micro Services, function to search data from data sources connected to Micro Services and deliver collected data to Data Builder, efficient sharing and access between data sources in an integrated environment A data collector having a function of supporting and managing an end-to-end distribution platform to support;
A data source that is interlocked with the Data Collector and is an area of existence of a database in which data sources of cloud, ERP, Date Mart (DW), and Sass, which are existing operating methods, are managed; A data infrastructure construction system optimized for a distributed environment based on a data fabric comprising a.
상기 클라이언트 인터페이스에서 데이터들 간의 관계를 설정하는 부분에서, 상기 클라이언트 인터페이스에서 관계를 지정하고자 하는 테이블들을 선택하면 각 테이블이 하나의 노드(원 모양)으로 표시되며 그 노드를 클릭하면 해당 노드의 중요 컬럼 리스트가 펼쳐지고 다시 클릭하면 컬럼 리스트는 감춰지게 하는 기능과, 선택된 테이블들 간의 관계를 지정하기 위해서 소스 테이블 노드를 컨트롤키와 함께 클릭한 후 destination 테이블을 마찬가지로 컨트롤키와 함께 클릭하면 두 테이블이 화살표로 연결되게 하는 기능을 포함하는 리스트에서 테이블 관계를 지정하는 과정과; 컬럼들을 지정하기 위해서 각각 테이블의 컬럼 리스트를 클릭한 후 드래그(Drag)하여 화살표의 해당 테이블과 가까운 부분에 드롭(Drop)하면 해당 컬럼이 화살표 위에 위치하게 하는 기능과, 두개 이상의 컬럼을 지정하고자 할 때도 첫 번째 컬럼 지정 때와 마찬가지의 작업을 반복하는 기능을 포함하는 두 테이블간의 연결되는 컬럼들을 지정하는 과정과; 모든 테이블 간의 관계가 정의되면 ‘저장’ 버튼을 클릭하여 설계된 내용이 Data Builder로 전달되어 knowledge graph database에 저장되게 하는 기능을 포함하는 knowledge graph database에 저장되게 하는 과정; 을 포함함을 특징으로 하는 데이터 패브릭을 기반으로 한 분산 환경에 최적화된 데이터 인프라 구축 시스템.According to claim 1,
In the part of setting the relationship between data in the client interface, if you select the tables you want to specify the relationship in the client interface, each table is displayed as a node (circular shape), and if you click the node, the important column of the corresponding node To designate a function to hide the column list when the list is expanded and clicked again, and to designate the relationship between the selected tables, click the source table node with the control key and then click the destination table with the control key in the same way to display the two tables as arrows. specifying a table relationship in a list including a function to be connected; To designate columns, click and drag the column list of each table and drop it near the corresponding table of the arrow to place the column above the arrow, and if you want to designate two or more columns a process of specifying columns that are connected between two tables including a function of repeating the same operation as when specifying the first column even when specifying the first column; When the relationship between all tables is defined, click the 'Save' button to transfer the designed contents to the Data Builder and save them to the knowledge graph database, which includes a function to save them to the knowledge graph database; A data infrastructure construction system optimized for a distributed environment based on a data fabric comprising a.
상기 클라이언트 인터페이스에서 사용자가 원하는 데이터를 수집하기 위해 관계 내역을 불러오는 과정은 이미 등록된 테이블 리스트에서 원하는 테이블들을 선택하면 선택된 테이블들 간에 이미 설정된 관계와 함께 테이블 및 컬럼 리스트가 화면에 표시되는 과정과; 검색하고자 하는 테이블의 컬럼들을 선택하는 과정과; 특정 컬럼 값의 sum/avg/min/max와 같은 aggregated 값을 원하는 경우 해당 컬럼을 선택한 후 원하는 aggregation 함수를 선택하는 과정과; 검색하고자 하는 모든 테이블과 컬럼들이 선택되면 ‘검색’ 버튼을 누름으로 요청 사항을 API를 통하여 Data Collector로 전송하여 검색된 데이터를 제공받는 과정; 을 포함함을 특징으로 하는 데이터 패브릭을 기반으로 한 분산 환경에 최적화된 데이터 인프라 구축 시스템.According to claim 1,
In the client interface, the process of calling up relation details to collect desired data by the user includes displaying a list of tables and columns along with pre-established relationships between the selected tables on the screen when desired tables are selected from a table list already registered; selecting columns of a table to be searched; If you want an aggregated value such as sum/avg/min/max of a specific column value, selecting the desired aggregation function after selecting the column; When all tables and columns to be searched are selected, pressing the 'Search' button sends the request to the Data Collector through the API to receive the searched data; A data infrastructure construction system optimized for a distributed environment based on a data fabric comprising a.
상기 Data Collector는 홀로체인 프레임워크를 이용하는데, 홀로체인(또는 hApp bundle)은 이질의 흩어져 있는 데이터 소스들의 관리를 하나의 복잡한 모놀리식(monolithic) 어플리케이션이 아닌 마이크로 서비스 형태의 에이전트인 DNA가 각각의 데이터 소스들을 독립적으로 담당하며 각 DNA는 한개 이상의 실행단위인 ZOME으로 구성되는데, 분산된 각각의 데이터 소스와의 소통을 담당하는 창구 역할을 하며, Data Builder로부터 요청받은 지정된 데이터를 해당 데이터 소스로부터 검색하여 전달하는 기능과, 전체 시스템의 레질리언스를 지원하기 위해 DNA들 간에 서로의 데이터를 공유/백업하여 특정 DNA가 수행 불가한 상태가 되었을 때 다른 DNA가 이를 대신 수행하는 기능과, 상기 각각의 ZOME은 지정된 특정 데이터 소스들로부터 필요한 데이터를 수집하여 속해있는 DNA에게 전달하며 해당 데이터 소스와 관련된 모든 필요한 작업을 전담하는 기능과, 데이터 저장 외에도 DNA들 간의 전송시에도 모두 데이터 암호화를 제공하여 시스템 보안을 극대화하는 기능을 갖는 것을 포함함을 특징으로 하는 데이터 패브릭을 기반으로 한 분산 환경에 최적화된 데이터 인프라 구축 시스템.According to claim 1,
The Data Collector uses the Holochain framework. The Holochain (or hApp bundle) manages heterogeneous and scattered data sources, rather than a complex monolithic application, and DNA, an agent in the form of microservices, respectively. Each DNA is composed of one or more execution units, ZOME, which serves as a window in charge of communication with each distributed data source, and transmits designated data requested from the Data Builder from the corresponding data source. The function of searching and delivering, and the function of sharing/backing up each other's data between DNAs to support the resilience of the entire system so that other DNAs perform it instead when a specific DNA becomes unable to perform, and each of the above ZOME of ZOME collects necessary data from designated specific data sources, delivers it to the DNA to which it belongs, and provides a function dedicated to all necessary tasks related to the data source, as well as data encryption during transmission between DNAs in addition to data storage, A data infrastructure construction system optimized for a distributed environment based on a data fabric comprising a function of maximizing security.
상기 Data Collector에 포함되는 hApp Bundle(또는 홀로체인)은 Data Builder로부터 전달받은 데이터 소스 이름들과 각 데이터 소스로부터 검색할 정보를 분석하여 해당되는 데이터 소스를 담당하고 있는 각각의 해당 DNA에 요청사항을 전달하는 기능을 갖고, 상기 DNA는 요청받은 사항을 실제 실행단위인 ZOME으로 보내므로 각각의 ZOME은 저장된 데이터 소스에 대한 접속 정보를 이용하여 분산된 데이터 소스들로부터 필요한 데이터를 수집한 후 속해 있는 DNA에게 전달하는 기능을 갖는 것을 포함함을 특징으로 하는 데이터 패브릭을 기반으로 한 분산 환경에 최적화된 데이터 인프라 구축 시스템.According to claim 1,
The hApp Bundle (or Holochain) included in the Data Collector analyzes the data source names received from the Data Builder and the information to be searched from each data source, and sends a request to each corresponding DNA in charge of the corresponding data source Since the DNA transmits the requested items to the ZOME, which is an actual execution unit, each ZOME collects the necessary data from the distributed data sources using the access information on the stored data sources, and then the DNA to which it belongs. A data infrastructure construction system optimized for a distributed environment based on a data fabric, comprising a function of delivering to.
상기 각 DNA는 필요에 따라 검색된 데이터를 캐쉬에 보관할 수 있고, 검색 요청이 있는 경우 실제 데이터 소스에 접속하여 요청된 데이터를 검색하는 대신 이미 캐쉬에 저장된 내용을 전달하여 실행 속도를 크게 향상시킬 수 있는 것을 포함함을 특징으로 하는 데이터 패브릭을 기반으로 한 분산 환경에 최적화된 데이터 인프라 구축 시스템.According to claim 5,
Each of the above DNAs can keep the retrieved data in the cache as needed, and when there is a search request, instead of accessing the actual data source and searching for the requested data, it delivers the contents already stored in the cache, greatly improving the execution speed. A data infrastructure construction system optimized for a distributed environment based on a data fabric, comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210102314A KR20230020661A (en) | 2021-08-04 | 2021-08-04 | An Application System to Build A Data Infrastructure Optimized For Distributed Environment Based On Data Fabric |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210102314A KR20230020661A (en) | 2021-08-04 | 2021-08-04 | An Application System to Build A Data Infrastructure Optimized For Distributed Environment Based On Data Fabric |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230020661A true KR20230020661A (en) | 2023-02-13 |
Family
ID=85202787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210102314A KR20230020661A (en) | 2021-08-04 | 2021-08-04 | An Application System to Build A Data Infrastructure Optimized For Distributed Environment Based On Data Fabric |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230020661A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116881027A (en) * | 2023-09-08 | 2023-10-13 | 国网信息通信产业集团有限公司 | Atomic service combination communication method, device, electronic equipment and medium |
| CN116975043A (en) * | 2023-09-21 | 2023-10-31 | 国网信息通信产业集团有限公司 | Data real-time transmission construction method based on stream frame |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060040684A (en) | 2003-08-14 | 2006-05-10 | 인터내셔널 비지네스 머신즈 코포레이션 | System, method, and computer program product for centralized management of an infiniband distributed system area network |
-
2021
- 2021-08-04 KR KR1020210102314A patent/KR20230020661A/en not_active Application Discontinuation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060040684A (en) | 2003-08-14 | 2006-05-10 | 인터내셔널 비지네스 머신즈 코포레이션 | System, method, and computer program product for centralized management of an infiniband distributed system area network |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116881027A (en) * | 2023-09-08 | 2023-10-13 | 国网信息通信产业集团有限公司 | Atomic service combination communication method, device, electronic equipment and medium |
| CN116881027B (en) * | 2023-09-08 | 2024-01-16 | 国网信息通信产业集团有限公司 | Atomic service combination communication method, device, electronic equipment and medium |
| CN116975043A (en) * | 2023-09-21 | 2023-10-31 | 国网信息通信产业集团有限公司 | Data real-time transmission construction method based on stream frame |
| CN116975043B (en) * | 2023-09-21 | 2023-12-08 | 国网信息通信产业集团有限公司 | Data real-time transmission construction method based on stream frame |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI698108B (en) | Blockchain-based data processing method and device | |
| US11816126B2 (en) | Large scale unstructured database systems | |
| US11636076B2 (en) | Method and system for managing recent data in a mobile device linked to an on-demand service | |
| US10992740B2 (en) | Dynamically balancing partitions within a distributed streaming storage platform | |
| Cui et al. | Big data: the driver for innovation in databases | |
| US7403946B1 (en) | Data management for netcentric computing systems | |
| US8832061B2 (en) | Optimizing data synchronization between mobile clients and database systems | |
| KR20230020661A (en) | An Application System to Build A Data Infrastructure Optimized For Distributed Environment Based On Data Fabric | |
| CN108536778B (en) | Data application sharing platform and method | |
| CN110737643B (en) | Big data analysis processing management middle platform based on catering information management system | |
| US20030220901A1 (en) | Interaction manager | |
| US7647335B1 (en) | Computing system and methods for distributed generation and storage of complex relational data | |
| US20210173714A1 (en) | High-throughput parallel data transmission | |
| CN109815026A (en) | Electric power time series database based on distributed component | |
| CN110213156A (en) | A kind of span centre heart group's instant communicating method and system | |
| CN112632025A (en) | Power grid enterprise management decision support application system based on PAAS platform | |
| CN109635189A (en) | A kind of information search method, device, terminal device and storage medium | |
| CN116166191A (en) | Integrated system of lake and storehouse | |
| CN115811546A (en) | System and method for realizing network cooperative distributed processing for scientific and technological service | |
| CN101014044A (en) | Network GIS system and data transmitting method thereof | |
| CN108549659B (en) | Data warehouse management system and management method | |
| CN110019440B (en) | Data processing method and device | |
| CN110866065A (en) | Data exchange system, exchange method and storage medium | |
| Devgan et al. | MMBD sharing on data analytics platform | |
| CN117043764A (en) | Replication of databases to remote deployments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |