KR102380518B1 - 이종 데이터 통합 서비스 방법 및 이종 데이터 통합 서비스 시스템 - Google Patents

이종 데이터 통합 서비스 방법 및 이종 데이터 통합 서비스 시스템 Download PDF

Info

Publication number
KR102380518B1
KR102380518B1 KR1020210081143A KR20210081143A KR102380518B1 KR 102380518 B1 KR102380518 B1 KR 102380518B1 KR 1020210081143 A KR1020210081143 A KR 1020210081143A KR 20210081143 A KR20210081143 A KR 20210081143A KR 102380518 B1 KR102380518 B1 KR 102380518B1
Authority
KR
South Korea
Prior art keywords
schema
mapping
data
item
standard
Prior art date
Application number
KR1020210081143A
Other languages
English (en)
Inventor
김진영
김성찬
송사광
조민희
Original Assignee
한국과학기술정보연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술정보연구원 filed Critical 한국과학기술정보연구원
Priority to KR1020210081143A priority Critical patent/KR102380518B1/ko
Application granted granted Critical
Publication of KR102380518B1 publication Critical patent/KR102380518B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/211—Schema design and management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence

Abstract

본 발명은, 스키마 매핑 과정에 사전적, 통계적, AI적 요소를 결합한 항목 간 매핑 추천 기능을 도입함으로써, 스키마 매핑의 편의성/정확도를 증대시키고 비용/시간을 절감하고 나아가 데이터의 완전성까지 향상시키는 새로운 방식의 스키마 매핑 기술을 실현하는 이종 데이터 통합 서비스 방법 및 이종 데이터 통합 서비스 시스템을 제안하고 있다.

Description

이종 데이터 통합 서비스 방법 및 이종 데이터 통합 서비스 시스템{INTEGRATED SERVICE METHOD AND INTEGRATED SERVICE SYSTEM FOR HETEROGENEOUS DATA}
본 발명은, 이종의 데이터를 수집 및 통합 서비스하는 통합 서비스 기술에 관한 것이다.
더욱 상세하게는, 본 발명은 다양한 데이터 소스(예: 서비스, 데이터베이스, 리포지터리 등)로부터 수집되는 이종 스키마 구조를 가지는 데이터들을 통합 서비스에 적재하기 위해 필요한 스키마 매핑의 편의성을 증대시키고 비용/시간을 절감하면서 정확도 역시 보장할 수 있는 새로운 방식의 스키마 매핑 기술을 실현하기 위한 것이다.
다양한 데이터들을 저장 및 관리하며 이용자에게 검색을 통해 원하는 데이터를 검색 및 제공할 수 있는 데이터 제공 서비스의 기술이 매우 광범위한 기술 분야에서 적용되고 있다.
또한, 다양한 주체(회사, 기관 등)에 의해 다양한 기술 분야에서 데이터 제공 서비스가 제공됨에 따라, 그 데이터들의 양이 방대해지고 있으며 및 데이터를 저장 및 관리하기 위한 스키마 구조 역시 다양해지고 있다.
한편, 다양한 주체에 의해 제공되는 데이터 제공 서비스들의 데이터들을 통합하여, 이용자에게 이종의 데이터들을 보다 편리하게 검색 및 제공하기 위한 이종 데이터 통합 서비스에 대한 관심이 높아지고 있다.
이와 같은 이종 데이터 통합 서비스를 구현하기 위해서는, 다양한 데이터 소스(예: 서비스, 데이터베이스, 리포지터리 등)로부터 수집되는 이종의 데이터들이 각기 다른 스키마 구조를 가지므로, 이들 이종의 데이터들을 하나의 통일된 스키마 구조(이하, 표준 스키마)로 적재/저장하기 위한 스키마 매핑 과정이 필요할 것이다.
간단히 설명하면, 스키마 매핑 과정은, 데이터 소스(예: 서비스, 데이터베이스, 리포지터리 등)로부터 수집되는 데이터(이하, 수집 데이터)의 스키마를 표준 스키마와 매핑시키는 절차이다.
이러한 스키마 매핑 과정은, 수집 데이터의 스키마, 실제 데이터 값 형태, 표준 스키마에 대한 지식이 기반되는 전문적 인력에 의해 수행되어야 하는데, 스키마 매핑이 잘못된 경우 데이터 오류(필드 손실, 필드 추가로 인한 Null값, 표준화 오류 등)들이 발생하여 데이터의 완전성이 떨어질 수 있기 때문이다.
헌데, 경우에 따라서는, 데이터 소스(예: 서비스, 데이터베이스, 리포지터리 등)로부터 수집되는 데이터(이하, 수집 데이터)의 스키마 정보가 없을 수 있으며, 이 경우 스키마 매핑을 위해 수집 데이터 마다 스키마 생성, 스키마 매핑, 정제 등의 작업을 수행해야 하므로, 통합 서비스를 위한 데이터로서 적재/저장하기 까지 비용 및 시간이 증가하는 문제가 있다.
또한, 스키마 매핑 과정은, 수집 데이터의 스키마 항목이 너무 많거나 매핑할 수집 데이터의 스키마 종류가 많은 경우, 스키마 매핑을 위한 시간과 비용이 증가하며 데이터 오류 발생 확률도 증가하는 문제가 있다.
결국, 이용자에게 이종의 데이터들을 보다 편리하게 검색 및 제공하기 위한 이종 데이터 통합 서비스를 구현하기 위해서는, 전술한 기존의 스키마 매핑 과정의 문제 또는 한계점들을 개선하고, 스키마 매핑의 편의성을 증대시키고 비용/시간을 절감하면서 정확도 역시 보장할 수 있는 스키마 매핑 기술이 필요할 것이다.
이에, 본 발명에서는, 이종 데이터 통합 서비스 구현을 위해, 스키마 매핑의 편의성을 증대시키고 비용/시간을 절감하면서 정확도 역시 보장할 수 있는 새로운 방식의 스키마 매핑 기술을 제안하고자 한다.
본 발명은 상기한 사정을 감안하여 창출된 것으로서, 본 발명에서 도달하고자 하는 목적은, 이종 데이터 통합 서비스 구현을 위해, 스키마 매핑의 편의성을 증대시키고 비용/시간을 절감하면서 정확도 역시 보장할 수 있는 새로운 방식의 스키마 매핑 기술을 실현하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 관점에 따른 이종 데이터 통합 서비스 방법은, 수집 데이터에 대한 데이터스키마를 확정하는 스키마 확정단계; 이종의 데이터스키마를 가지는 이종의 데이터를 저장하기 위해 기 정의한 표준 스키마를 확인하는 표준 스키마 확인단계; 및 이종의 데이터스키마를 상기 표준 스키마에 매핑시키기 위해 기 수행된 기존의 매핑 절차에서 추출한 정보를 근거로 기 구축되는 스키마 항목명 기준의 DB(Data base)를 기반으로, 상기 확정한 데이터스키마를 상기 표준 스키마에 매핑시키는 매핑 절차 수행 중에 항목 간 매핑을 추천하는 항목 간 매핑 추천단계; 상기 확정한 데이터스키마 및 상기 매핑 절차를 통해 결정되는 스키마매핑정보를 활용하여, 상기 수집 데이터를 상기 표준 스키마에 따른 데이터로 변환하여 저장하는 데이터 저장단계를 포함한다.
구체적으로, 상기 항목 간 매핑 추천단계는, 상기 항목명 기준의 DB와, 이종의 데이터스키마 각각을 상기 표준 스키마에 매핑시키는 기존의 매핑 절차에서 추출한 정보를 근거로 기 구축되는 스키마매핑정보 기준의 DB를 기반으로, 기 정의된 스키마매핑정보 추천 알고리즘에 따라, 상기 확정한 데이터스키마의 항목 및 상기 표준 스키마의 항목 간 매핑을 추천할 수 있다.
구체적으로, 상기 항목 간 매핑 추천단계는, 상기 확정한 데이터스키마의 특정 항목에 대한 매핑 추천 질의 시, 상기 표준 스키마에 따른 데이터가 저장되는 통합데이터베이스를 기반으로 상기 특정 항목과 유사도가 가장 높은 상기 표준 스키마의 항목을 검색하여 추천 응답하는 AI(artificial　intelligence) 응답 기능을 제공할 수 있다.
구체적으로, 상기 스키마 항목명 기준의 DB는, 상기 표준 스키마의 항목 별 항목명을 대표 명으로 하며, 대표 명 별로, 상기 기존의 매핑 절차에서 결정된 스키마매핑정보 및 상기 매핑 절차를 통해 결정되는 스키마매핑정보를 근거로 표준 스키마의 항목과 매핑 결정된 데이터스키마 항목의 항목명 중 대표 명에 대한 사전적 이명에 해당되는 항목명을 목록(List)화한 이명 목록을 포함하는 스키마 항목명 전거데이터베이스일 수 있다.
구체적으로, 상기 스키마매핑정보 기준의 DB는, 상기 기존의 매핑 절차에서 결정된 스키마매핑정보 및 상기 매핑 절차를 통해 결정되는 스키마매핑정보를 저장하며, 스키마매핑정보 저장 시에, 매치 항목과 항목 간 매핑 빈도수를 더 저장하거나, 항목을 노드로 가지며 엣지를 매핑 빈도수로 가지는 그래프 형태로 저장하는 스키마매핑정보 데이터베이스일 수 있다.
구체적으로, 상기 스키마매핑정보 추천 알고리즘은, 상기 항목명 기준의 DB에서 상기 확정한 데이터스키마의 특정 항목의 항목명과 동일한 대표 명이 있으면, 상기 특정 항목을 상기 동일한 대표 명의 표준 스키마 항목으로 매핑 추천하도록 정의되고, 상기 항목명 기준의 DB에서 상기 특정 항목의 항목명이 포함되는 이명 목록이 있으면, 상기 특정 항목을 상기 이명 목록의 대표 명에 해당되는 표준 스키마 항목으로 매핑 추천하도록 정의될 수 있다.
구체적으로, 상기 스키마매핑정보 추천 알고리즘은, 상기 스키마매핑정보 기준의 DB에서 상기 확정한 데이터스키마의 특정 항목과 매핑 빈도가 가장 높은 표준 스키마 항목을 검색하여, 상기 특정 항목을 상기 검색한 표준 스키마 항목으로 매핑 추천하도록 정의될 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 관점에 따른 이종 데이터 통합 서비스 시스템은, 수집 데이터에 대한 데이터스키마를 확정하는 스키마 확정부; 이종의 데이터스키마를 가지는 이종의 데이터를 저장하기 위해 기 정의한 표준 스키마를 확인하는 표준 스키마 확인부; 및 이종의 데이터스키마를 상기 표준 스키마에 매핑시키기 위해 기 수행된 기존의 매핑 절차에서 추출한 정보를 근거로 기 구축되는 스키마 항목명 기준의 DB(Data base)를 기반으로, 상기 확정한 데이터스키마를 상기 표준 스키마에 매핑시키는 매핑 절차 수행 중에 항목 간 매핑을 추천하는 스키마매핑정보 추천부; 상기 확정한 데이터스키마 및 상기 매핑 절차를 통해 결정되는 스키마매핑정보를 활용하여, 상기 수집 데이터를 상기 표준 스키마에 따른 데이터로 변환하여 저장하는 데이터 저장처리부를 포함한다.
구체적으로, 상기 스키마매핑정보 추천부는, 상기 항목명 기준의 DB와, 이종의 데이터스키마 각각을 상기 표준 스키마에 매핑시키는 기존의 매핑 절차에서 추출한 정보를 근거로 기 구축되는 스키마매핑정보 기준의 DB를 기반으로, 기 정의된 스키마매핑정보 추천 알고리즘에 따라, 상기 확정한 데이터스키마의 항목 및 상기 표준 스키마의 항목 간 매핑을 추천할 수 있다.
구체적으로, 상기 확정한 데이터스키마의 특정 항목에 대한 매핑 추천 질의 시, 상기 표준 스키마에 따른 데이터가 저장되는 통합데이터베이스를 기반으로 상기 특정 항목과 유사도가 가장 높은 상기 표준 스키마의 항목을 검색하여 추천 응답하는 AI(artificial　intelligence) 기능부를 더 포함할 수 있다.
구체적으로, 상기 스키마 항목명 기준의 DB는, 상기 표준 스키마의 항목 별 항목명을 대표 명으로 하며, 대표 명 별로, 상기 기존의 매핑 절차에서 결정된 스키마매핑정보 및 상기 매핑 절차를 통해 결정되는 스키마매핑정보를 근거로 표준 스키마의 항목과 매핑 결정된 데이터스키마 항목의 항목명 중 대표 명에 대한 사전적 이명에 해당되는 항목명을 목록(List)화한 이명 목록을 포함하는 스키마 항목명 전거데이터베이스일 수 있다.
구체적으로, 상기 스키마매핑정보 기준의 DB는, 상기 기존의 매핑 절차에서 결정된 스키마매핑정보 및 상기 매핑 절차를 통해 결정되는 스키마매핑정보를 저장하며, 스키마매핑정보 저장 시에, 매치 항목과 항목 간 매핑 빈도수를 더 저장하거나, 항목을 노드로 가지며 엣지를 매핑 빈도수로 가지는 그래프 형태로 저장하는 스키마매핑정보 데이터베이스일 수 있다.
구체적으로, 상기 스키마매핑정보 추천 알고리즘은, 상기 항목명 기준의 DB에서 상기 확정한 데이터스키마의 특정 항목의 항목명과 동일한 대표 명이 있으면, 상기 특정 항목을 상기 동일한 대표 명의 표준 스키마 항목으로 매핑 추천하도록 정의되고, 상기 항목명 기준의 DB에서 상기 특정 항목의 항목명이 포함되는 이명 목록이 있으면, 상기 특정 항목을 상기 이명 목록의 대표 명에 해당되는 표준 스키마 항목으로 매핑 추천하도록 정의될 수 있다.
구체적으로, 상기 스키마매핑정보 추천 알고리즘은, 상기 스키마매핑정보 기준의 DB에서 상기 확정한 데이터스키마의 특정 항목과 매핑 빈도가 가장 높은 표준 스키마 항목을 검색하여, 상기 특정 항목을 상기 검색한 표준 스키마 항목으로 매핑 추천하도록 정의될 수 있다.
이에, 본 발명에 의하면, 이종의 스키마 구조를 갖는 이종의 데이터들을 하나의 통일된 스키마 구조로 적재/저장하기 위한 스키마 매핑에 있어, 스키마 매핑의 편의성을 증대시키고 비용/시간을 절감하면서 정확도 역시 보장할 수 있는 새로운 방식의 스키마 매핑 기술을 실현할 수 있다.
이로 인해, 본 발명에 따르면, 이종의 데이터들을 보다 편리하게 검색 및 제공하기 위한 이종 데이터 통합 서비스 구현 시, 새로운 스키마 매핑 기술을 통해 서비스 운용 효율 및 성능, 정확도 등을 향상시킬 수 있는 효과를 도출한다.
도 1은 기존의 스키마 매핑을 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 이종 데이터 통합 서비스 시스템의 구성을 보여주는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 이종 데이터 통합 서비스 방법의 동작 흐름을 보여주는 예시도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 대하여 설명한다.
본 발명은, 다양한 데이터 소스(예: 서비스, 데이터베이스, 리포지터리 등)로부터 수집되는 이종의 스키마 구조를 가지는 데이터들을 통합 서비스에 적재하기 위한 스키마 매핑 기술과 관련이 있다.
다양한 데이터들을 저장 및 관리하며 이용자에게 검색을 통해 원하는 데이터를 검색 및 제공할 수 있는 데이터 제공 서비스의 기술이 매우 광범위한 기술 분야에서 적용되고 있다.
또한, 다양한 주체(회사, 기관 등)에 의해 다양한 기술 분야에서 데이터 제공 서비스가 제공됨에 따라, 그 데이터들의 양이 방대해지고 있으며 및 데이터를 저장 및 관리하기 위한 스키마 구조 역시 다양해지고 있다.
한편, 다양한 주체에 의해 제공되는 데이터 제공 서비스들의 데이터들을 통합하여, 이용자에게 이종의 데이터들을 보다 편리하게 검색 및 제공하기 위한 이종 데이터 통합 서비스에 대한 관심이 높아지고 있다.
이와 같은 이종 데이터 통합 서비스를 구현하기 위해서는, 다양한 데이터 소스(예: 서비스, 데이터베이스, 리포지터리 등)로부터 수집되는 이종의 데이터들이 각기 다른 스키마 구조(이종의 스키마 구조)를 가지므로, 이들 이종의 데이터들을 하나의 통일된 스키마 구조(이하, 표준 스키마)로 적재/저장하기 위한 스키마 매핑 과정이 필요할 것이다.
간단히 설명하면, 스키마 매핑 과정은, 데이터 소스(예: 서비스, 데이터베이스, 리포지터리 등)로부터 수집되는 데이터(이하, 수집 데이터)의 스키마를 표준 스키마와 매핑시키는 절차이다.
도 1은 기존의 스키마 매핑을 설명하기 위한 개념을 설명하는 간략한 도면이다.
도 1에서 알 수 있듯이, ETL(Extraction, Transformation, Loading)는, 다양한 데이터 소스(예: 서비스, 데이터베이스, 리포지터리 등)로부터 필요한 데이터를 추출(Extract) 및 변환(Transform)하는 작업을 거쳐, 타겟 시스템(Target System)에 로딩(Load)하는 모든 과정을 의미한다.
여기서, 추출(Extract)은 데이터 소스에서 데이터를 획득/수집하는 것을 의미하며, 변환(Transform)은 타겟 시스템으로 전달되는 데이터(수집 데이터)와 타겟 테이블 간 매핑을 생성하는 것을 의미하며, 로딩(Load)은 데이터(수집 데이터)를 매핑에 맞게 타겟 테이블에 적재하는 것을 의미한다. 스키마 매핑 과정은 변환(Transform)과 관련이 있다 할 수 있다.
이러한 스키마 매핑 과정은, 수집 데이터의 스키마, 실제 데이터 값 형태, 표준 스키마에 대한 지식이 기반되는 전문적 인력에 의해 수행되어야 하는데, 스키마 매핑이 잘못된 경우 데이터 오류(필드 손실, 필드 추가로 인한 Null값, 표준화 오류 등)들이 발생하여 데이터의 완전성이 떨어질 수 있기 때문이다.
한편, 데이터 소스의 시스템은 RDBMS(Relational DataBase Management System)인 경우 수집 데이터의 스키마 정보를 포함하고 있어 타겟 시스템의 타겟 테이블에 매핑할 때 비교적 작업량이 적을 수 있지만, 데이터 소스의 시스템에서 OpenAPI, OAI-PMH, 파일 등으로 획득한 수집 데이터는 스키마 정보가 없기 때문에 수집 데이터에 대해 스키마 생성 작업까지 수행해야 한다.
이처럼, 경우에 따라서는, 데이터 소스(예: 서비스, 데이터베이스, 리포지터리 등)로부터 수집되는 데이터(이하, 수집 데이터)의 스키마 정보가 없을 수 있으며, 이 경우 스키마 매핑을 위해 수집 데이터 마다 스키마 생성, 스키마 매핑, 정제 등의 작업을 수행해야 하므로, 통합 서비스를 위한 데이터로서 적재/저장하기 까지 비용 및 시간이 증가하는 문제가 있다.
또한, 스키마 매핑 과정은, 수집 데이터의 스키마 항목이 너무 많거나 매핑할 수집 데이터의 스키마 종류가 많은 경우, 스키마 매핑을 위한 시간과 비용이 증가하며 데이터 오류 발생 확률도 증가하는 문제가 있다.
결국, 이종의 데이터들을 통합 제공하는 이종 데이터 통합 서비스를 구현하기 위해서는, 전술한 기존의 스키마 매핑 과정의 문제 또는 한계점들을 개선하고, 스키마 매핑의 편의성을 증대시키고 비용/시간을 절감하면서 정확도 역시 보장할 수 있는 스키마 매핑 기술이 필요할 것이다.
이에, 본 발명에서는, 이종 데이터 통합 서비스 구현을 위해, 스키마 매핑의 편의성을 증대시키고 비용/시간을 절감하면서 정확도 역시 보장할 수 있는 스키마 매핑 기술을 제안하고자 한다.
보다 구체적으로, 본 발명에서는, 스키마 매핑 과정에 사전적, 통계적, AI적 요소를 결합한 항목 간 매핑 추천 기능을 도입함으로써, 스키마 매핑의 편의성/정확도를 증대시키고 비용/시간을 절감하고 나아가 데이터의 완전성까지 향상시키는 새로운 방식의 스키마 매핑 기술을 제안하고자 한다.
도 2는 본 발명에서 제안하고자 하는 기술 방안을 실현하는 이종 데이터 통합 서비스 시스템의 구성을 보여주는 일 예시 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 이종 데이터 통합 서비스 시스템(100)은, 스키마확정부(110), 표준스키마확인부(120), 스키마매핑정보추천부(140), 데이터 저장처리부(180)를 포함하여 구성될 수 있다.
더 나아가, 본 발명의 이종 데이터 통합 서비스 시스템(100)은, 스키마매핑정보입력부(130), AI기능부(150), 검색엔진(160), 전거데이터생성부(171), 통합 서비스 및 본 발명의 기술 방안 실현을 위한 각종 DB들(170)를 더 포함할 수 있다.
이러한 이종 데이터 통합 서비스 시스템(100)의 구성 전체 내지는 적어도 일부는 하드웨어 모듈 형태 또는 소프트웨어 모듈 형태로 구현되거나, 하드웨어 모듈과 소프트웨어 모듈이 조합된 형태로도 구현될 수 있다.
여기서, 소프트웨어 모듈이란, 예컨대 이종 데이터 통합 서비스 시스템(100) 내에서 연산을 제어하는 프로세서에 의해 실행되는 명령어로 이해될 수 있으며, 이러한 명령어는 이종 데이터 통합 서비스 시스템(100) 내 메모리에 탑재된 형태를 가질 수 있을 것이다.
결국, 본 발명의 실시예에 따른 이종 데이터 통합 서비스 시스템(100)은, 전술한 구성을 통해, 본 발명에서 제안하는 기술 방안 즉 새로운 방식의 스키마 매핑 기술을 실현하며, 이하에서는 이를 실현하기 위한 이종 데이터 통합 서비스 시스템(100) 내 각 구성에 대해 보다 구체적으로 설명하기로 한다.
스키마확정부(110)는, 수집 데이터에 대한 데이터스키마를 확정하는 기능을 담당한다.
여기서 수집 데이터는, 다양한 데이터 소스(예: 서비스, 데이터베이스, 리포지터리 등)로부터 수집되는 데이터를 의미한다.
도 2에서는, 데이터 소스의 시스템에 대한 일 예시로서 서비스1,2,..,서비스n을 도시하였다.
이러한 서비스1,2,..,서비스n로부터 데이터가 수집(제공)되는 형태는 OpenAPI, OAI-PMH, 파일 등의 형태로 다양할 수 있고, 수집(제공)된 데이터의 형태는 XML, JSON, csv, xls 등의 형태로 다양할 수 있다.
스키마확정부(110)는, 전술과 같이 다양한 데이터 소스, 예컨대 서비스1,2,..,서비스n로부터 다양한 수집 형태/데이터 형태로 수집되는 이종의 데이터들 즉 수집 데이터에 대하여 데이터스키마(스키마 구조)를 확정한다.
구체적으로 예를 들면, 스키마확정부(110)는, 수집 데이터로부터 스키마를 추출하고 추출한 스키마에 대해 데이터담당자의 개입을 통해 입력되는 스키마를, 수집 데이터에 대한 데이터스키마로 확정할 수 있다.
예컨대, XML과 JSON 형태의 수집 데이터의 경우 스키마가 구조화되어 있기 때문에 스키마를 추출할 수 있으며, CSV와 XLS 형태의 수집 데이터의 경우 첫 줄에 항목명을 표기하게 하여 스키마를 추출할 수 있다.
보다 자세히 예를 들면, 스키마의 각 항목 중 항목명(물리명,논리명)의 경우, 물리명은 XML과 JSON의 경우 element(attribute) name으로 대체하여 추출할 수 있으나 논리명은 정보가 정보가 충분하지 않기 때문에 추출하기 어려울 수 있고, 또한 스키마의 항목 중 데이터 타입, 설명 등은 정보가 충분하지 않기 때문에 추출하기 어려울 수 있다. 다만, 데이터 타입의 경우 샘플 데이터가 존재하는 경우 예측하여 입력 가능하다.
이렇듯, 스키마확정부(110)는, 수집 데이터로부터 추출 가능한 스키마는 추출하고 추출이 어려운 스키마의 경우 데이터담당자가 개입하여 입력하는 방식으로, 수집 데이터에 대한 데이터스키마를 확정할 수 있다.
따라서, 본 발명에서 언급하는 데이터담당자는, 이종 데이터 통합 서비스로 수집되는 데이터는 스키마 뿐만 아니라 포함하고 있는 데이터의 성격(예: 연구분야)이 다르다는 점을 감안하여, 데이터 스키마와 해당 분야를 잘 알고 있는 전문 인력을 의미할 수 있다.
이하, 본 발명에서 언급하는 데이터스키마란, 수집 데이터에 대해 스키마확정부(110)에 의해 확정된 스키마를 의미한다.
표준스키마확인부(120)는, 이종의 데이터스키마를 가지는 이종의 데이터를 저장하기 위해 기 정의한 표준 스키마를 확인하는 기능을 담당한다.
앞서 설명한 바와 같이, 본 발명은, 이종의 데이터들을 보다 편리하게 검색 및 제공하기 위한 이종 데이터 통합 서비스를 구현하는데 필요한, 스키마 매핑 과정에 관한 것이다.
즉, 본 발명에서는, 이종의 데이터들 즉 이종의 수집 데이터이 갖는 이종의 스키마를 하나의 통일된 스키마로 적재/저장하기 위한 표준 스키마를 정의하는 것을 기본으로 한다.
이러한 표준 스키마는, 각 항목 별로 항목의 항목명(물리명,논리명), 데이터 타입, 설명 등을 포함하는 정보 형태일 수 있다.
이에, 표준스키마확인부(120)는, 본 발명에서 정의한 표준 스키마를 보유하며, 필요 시점에 확인하여 기타 기능부들(예: 130 등)에 전달할 수 있다.
스키마매핑정보추천부(140)는, 이종의 데이터스키마를 표준 스키마에 매핑시키기 위해 기 수행된 기존의 매핑 절차에서 추출한 정보를 근거로 기 구축되는 스키마 항목명 기준의 DB(Data base)를 기반으로, 금번 수집 데이터에 대해 확정한 데이터스키마를 표준 스키마에 매핑시키는 매핑 절차 수행 중에 항목 간 매핑을 추천하는 기능을 담당한다.
이러한 항목 간 매핑 추천은, 후술에서 자세히 언급하겠지만, 사전적 항목 간 매핑 추천 기능이라 할 수 있다.
더 구체적인 실시예에 따르면, 스키마매핑정보추천부(140)는, 항목명 기준의 DB와, 이종의 데이터스키마 각각을 표준 스키마에 매핑시키는 기존의 매핑 절차에서 추출한 정보를 근거로 기 구축되는 스키마매핑정보 기준의 DB를 기반으로, 기 정의된 스키마매핑정보 추천 알고리즘에 따라, 금번 수집 데이터에 대해 확정한 데이터스키마의 항목 및 표준 스키마의 항목 간 매핑을 추천할 수도 있다.
이러한 항목 간 매핑 추천은, 후술에서 자세히 언급하겠지만, 사전적/통계적 요소를 결합한 항목 간 매핑 추천 기능이라 할 수 있다.
또한 다른 구체적인 실시예를 설명하면, 본 발명의 이종 데이터 통합 서비스 시스템(100)에 더 포함될 수 있는 AI기능부(150)는, 금번 수집 데이터에 대해 확정한 데이터스키마의 특정 항목에 대한 매핑 추천 질의 시, 표준 스키마에 따른 데이터가 저장되는 통합데이터베이스(178, 통합DB)를 기반으로 상기 특정 항목과 유사도가 가장 높은 상기 표준 스키마의 항목을 검색하여 추천 응답하는 기능을 담당한다.
즉, 본 발명에서는, 전술의 사전적/통계적 요소를 결합한 항목 간 매핑 추천 기능에 AI기능부(150)에 의한 스키마 매핑 지원(추천 질의/추천 응답)을 더하여, 스키마 매핑 과정에 사전적, 통계적, AI적 요소를 결합한 항목 간 매핑 추천 기능을 도입할 수 있다.
그리고, 데이터저장처리부(180)는, 금번 수집 데이터에 대해 확정한 데이터스키마, 금번 수집 데이터의 데이터스키마에 대해 수행한 매핑 절차를 통해 결정되는 스키마매핑정보를 활용하여, 금번 수집 데이터를 표준 스키마에 따른 데이터로 변환하여 저장하는 기능을 담당한다.
이러한 데이터저장처리부(180)는, 데이터수집부(182), 데이터이관부(183)로 구분할 수 있다.
이하에서는, 본 발명에서 도입하는 사전적, 통계적, AI적 요소를 결합한 항목 간 매핑 추천 기능에 대하여 구체적으로 설명하겠다.
구체적 설명에 앞서, 통합 서비스 및 본 발명의 기술 방안 실현을 위한 각종 DB들(170)에 대해 설명하도록 한다.
스키마항목명전거DB(172)는, 전술한 사전적 항목 간 매핑 추천 기능 시에 기반으로 한 스키마 항목명 기준의 DB에 해당된다.
즉, 본 발명에서는, 전술한 사전적 항목 간 매핑 추천 기능을 구현하기 위해, 스키마항목명전거DB(172)를 도입하고 있다.
스키마항목명전거DB(172)는, 표준 스키마의 항목 별 항목명을 대표 명으로 하며, 대표 명 별로 해당 대표 명에 대한 사전적 이명에 해당되는 항목명을 목록(List)화한 이명 목록을 포함하는 DB이다.
이에, 본 발명에서는, 수집 데이터에 대해 매핑 절차를 수행하여 데이터스키마의 항목 및 표준 스키마의 항목 간 매핑을 통해 결정되는 매 스키마매핑정보(즉, 통계적 추출 정보)을 근거로, 표준 스키마의 항목 별 항목명(물리명,논리명) 각각을 대표 명으로 하는 이명 목록으로 구성되는 스키마항목명전거DB(172)를 구축한다.
이를 위해 진거데이터생성부(171)는, 금번 수집 데이터에 대해 매핑 절차를 수행하여 결정되는 스키마매핑정보를 근거로, 표준 스키마의 항목과 매핑 결정된 데이터스키마 항목의 항목명 중 대표 명에 대한 사전적 이명에 해당되는 항목명이 있으면 이를 이명 목록에 추가하거나 기 등록되어 있다면 매핑 횟수를 증가시키는 등, 스키마항목명전거DB(172) 구축 및 관리(업데이트)를 위한 처리를 수행할 수 있다.
이러한 방식으로, 스키마항목명전거DB(172)는, 표준 스키마의 항목 별 항목명(물리명,논리명)을 대표 명으로 하며, 대표 명 별로 기존(과거)의 매핑 절차에서 결정된 스키마매핑정보 및 금번 수행한 매핑 절차를 통해 결정되는 스키마매핑정보를 근거로 표준 스키마의 항목과 매핑 결정된 데이터스키마 항목의 항목명 중 대표 명에 대한 사전적 이명에 해당되는 항목명을 목록(List)화한 이명 목록을 포함하도록, 구축 및 관리(업데이트)될 수 있다.
스키마에 포함되어 있는 항목명(물리명, 논리명)은 상황에 따라 이명이 존재한다. 예를 들면, 제목의 물리명은 title, tit, ti 등 여러 이명들이 쓰일 수 있다.
이에, 본 발명에서는, 표준 스키마정보에 포함된 항목명(물리명, 논리명)을 대표 명으로 하여 해당 대표 명으로 매핑된 이명들을 목록화하고, 더 나아가 각 대표 명 및 이명들 간 매핑된 횟수를 함께 저장하거나 각 이명들에 함께 저장된 항목의 설명도 함께 저장함으로써, 표준 스키마의 각 항목명을 대표 명으로 하여 사전적 항목 간 매핑 추천 기능에 활용할 수 있는 스키마항목명전거DB(172)를 자동 구축 및 관리한다.
물론, 본 발명에서는, 서비스관리자가 직접 스키마항목명전거DB(172)를 구축 및 관리하는 것도 가능할 것이다.
스키마매핑정보DB(174)는, 전술한 통계적 항목 간 매핑 추천 기능 시에 기반으로 한 스키마매핑정보 기준의 DB에 해당된다.
즉, 본 발명에서는, 전술한 통계적 항목 간 매핑 추천 기능을 구현하기 위해, 스키마매핑정보DB(174)를 도입하고 있다.
스키마매핑정보DB(174)는, 기존의 매핑 절차에서 결정된 스키마매핑정보 및 금번 수집 데이터에 대해 수행한 매핑 절차를 통해 결정되는 스키마매핑정보를 저장하는 DB이다.
즉, 본 발명에서는, 수집 데이터에 대해 매핑 절차를 수행하여 데이터스키마의 항목 및 표준 스키마의 항목 간 매핑을 통해 결정되는 매 스키마매핑정보(즉, 통계적 추출 정보)를 저장하여 스키마매핑정보DB(174)를 구축한다.
이때, 스키마매핑정보DB(174)에는, 스키마매핑정보 저장 시에, 매치 항목과 항목 간 매핑 빈도수를 더 저장하거나, 항목을 노드로 가지며 엣지를 매핑 빈도수로 가지는 그래프 형태로 저장할 수도 있다.
예를 들면, 데이터스키마의 항목 B가 표준 스키마의 항목 A에 매핑되는 정보를 포함하고 있는 스키마매핑정보를 가정하면, 항목 A와 항목 B를 각 노드로 가지며 항목 A,B를 연결하는 엣지에 이들 간의 매핑 빈도수를 나타내는 그래프 형태로 저장할 수 있다.
아울러, 데이터스키마의 항목 C가 표준 스키마의 항목 A에 매핑되는 정보를 포함하고 있는 스키마매핑정보도 존재하는 경우라면, 항목 A,B,C를 각 노드로 가지며 항목 A를 기준으로 항목 B,C가 매치 항목으로서 표현되고, 항목 A,B를 연결하는 엣지에 이들 간의 매핑 빈도수, 항목 A,C를 연결하는 엣지에 이들 간의 매핑 빈도수를 나타내는 그래프 형태로 저장할 수 있다.
아울러, 스키마매핑정보DB(174)에는, 매 수집 데이터에 대해 결정한 스키마매핑정보 저장과 함께, 이에 대응되는 데이터스키마(즉, 스키마확정부(110)에서 확정한 데이터스키마)도 저장될 수 있다.
이 외에도, 본 발명에서는, 스키마매핑정보(예: 그래프 형태 저장) 시, 기 설정된 구분 분야 별로 구분 저장하여 스키마매핑정보DB(174) 내 구분 분야 별로 통계적 추출 정보를 구분하여 구축할 수 있고, 구분 분야 없이 저장하여 범 분야의 통계적 추출 정보를 구축할 수도 있다.
수집DB(176)는, 수집 데이터를, 해당 수집 데이터에 대해 스키마확정부(110)에서 확정한 데이터스키마에 따라 저장하는 DB이다.
이를 위해, 데이터수집부(182)는, 수집 데이터에 대해 스키마확정부(110)에서 확정한 데이터스키마에 맞는 테이블을 생성하고 해당 수집 데이터를 생성한 테이블에 적재하는 방식으로, 매 수집 데이터를 데이터스키마에 따라 수집DB(176)에 저장할 수 있다. 이때, 데이터수집부(182)의 수집 데이터 저장 동작은 주기적으로 수행될 수 있다.
통합DB(178)는, 수집 데이터를, 해당 수집 데이터에 대해 수행한 매핑 절차에서 결정된 스키마매핑정보에 따라 표준 스키마의 형태로 저장하는 DB이다.
이를 위해, 데이터이관부(184)는, 수집DB(176)에 적재된 상태의 수집 데이터(데이터스키마의 형태)를 독출하고, 해당 수집 데이터에 대해 결정된 스키마매핑정보를 근거로 앞서 독출한 수집 데이터를 변환하여 표준 스키마에 맞는 테이블에 적재하는 방식으로, 매 수집 데이터를 표준 스키마의 형태로 통합DB(178)에 저장할 수 있다.
다시 본 발명에서 도입하는 사전적, 통계적, AI적 요소를 결합한 항목 간 매핑 추천 기능에 대해 구체적으로 설명하면, 스키마매핑정보입력부(130)는, 스키마확정부(110)에서 확정된 데이터스키마의 항목들과 표준 스키마의 항목들 간 매핑을 입력(결정)하기 위한 기능부로서, 이를 위한 매핑 절차를 개시하여 수행하고 데이터담당자에 의한 수동 입력이 가능하다.
구체적으로 예를 들면, 스키마매핑정보입력부(130)는, 후술의 스키마매핑정보추천부(140)에서 추천된 매핑 정보가 입력될 수 있으며, 이후 데이터담당자가 AI기능부(150)를 활용(예: 챗봇과 자연어 질의/응답)하여 추천되는 매핑 정보가 입력될 수 있으며, 최종적으로 데이터담당자에 의해 상목 간 매핑이 입력/결정될 것이다.
스키마매핑정보입력부(130)로 항목 간 매핑을 추천하는 스키마매핑정보추천부(140)는, 스키마항목명전거DB(172) 및 스키마매핑정보DB(174)를 기반으로, 스키마매핑정보 추천 알고리즘에 따라 금번 수집 데이터에 대해 확정한 데이터스키마의 항목 및 표준 스키마의 항목 간 매핑을 추천할 수 있다.
구체적인 실시예를 설명하면, 스키마매핑정보 추천 알고리즘은, 스키마항목명전거DB(172)에서 상기 확정한 데이터스키마의 특정 항목의 항목명과 동일한 대표 명이 있으면, 상기 특정 항목을 상기 동일한 대표 명의 표준 스키마 항목으로 매핑 추천하도록 정의될 수 있다.
또한, 스키마매핑정보 추천 알고리즘은, 스키마항목명전거DB(172)에서 상기 특정 항목의 항목명이 포함되는 이명 목록이 있으면, 상기 특정 항목을 상기 이명 목록의 대표 명에 해당되는 표준 스키마 항목으로 매핑 추천하도록 정의될 수 있다.
이러한 실시예에 따르면, 스키마매핑정보추천부(140)는, 스키마매핑정보 추천 알고리즘에 따라, 스키마항목명전거DB(172)에서 금번 수집 데이터에 대해 확정한 데이터스키마의 각 항목 별로 해당 항목의 항목명과 동일한 대표 명이 있는지 검색하고, 동일한 대표 명이 있는 데이터스키마의 항목에 대해서는 검색된 동일 대표 명의 표준 스키마 항목으로 매핑 추천할 수 있다.
또한, 스키마매핑정보추천부(140)는, 스키마매핑정보 추천 알고리즘에 따라, 스키마항목명전거DB(172)에서 금번 수집 데이터에 대해 확정한 데이터스키마의 각 항목 별로 해당 항목의 항목명과 동일한 대표 명이 있는지 검색하고, 동일한 대표 명이 없는 데이터스키마의 항목에 대해서는 해당 항목의 항목명이 이명 목록에 있는지 검색하고, 이명 목록에 있는 데이터스키마의 항목에 대해서는 검색된 이명 목록의 대표 명에 해당되는 표준 스키마 항목으로 매핑 추천할 수 있다.
이렇듯, 본 발명에서는, 표준 스키마의 각 항목명을 대표 명으로 하여 사전적 항목 간 매핑 추천 기능에 활용하기 위해 도입한 스키마항목명전거DB(172)를 활용하여, 수집 데이터를 표준 스키마에 매핑시키는 매핑 절차에서 사전적 항목 간 매핑 추천 기능을 실현할 수 있다.
구체적인 다른 실시예를 설명하면, 스키마매핑정보 추천 알고리즘은, 스키마매핑정보DB(174)에서 금번 수집 데이터에 대해 확정한 데이터스키마의 특정 항목과 매핑 빈도가 가장 높은 표준 스키마 항목을 검색하여, 상기 특정 항목을 상기 검색한 표준 스키마 항목으로 매핑 추천하도록 정의될 수 있다.
이러한 실시예에 따르면, 스키마매핑정보추천부(140)는, 스키마매핑정보 추천 알고리즘에 따라, 스키마매핑정보DB(174)에서 금번 수집 데이터에 대해 확정한 데이터스키마의 각 항목 별로 해당 항목과 매핑 빈도가 가장 높은 표준 스키마의 항목을 검색하고, 검색 성공한 데이터스키마의 항목에 대해서는 검색된 가장 높은 매핑 빈도의 표준 스키마 항목으로 매핑 추천할 수 있다.
만약, 스키마매핑정보추천부(140)는, 매핑 빈도가 가장 높은 표준 스키마의 항목을 검색한 결과 검색 실패한 데이터스키마의 항목이 있다면, 해당 항목에 대해서는 항목 매핑 추천 대신 AI기능부(150, 예: 챗봇) 활용을 추천할 수 있다.
이렇듯, 본 발명에서는, 스키마항목명전거DB(172) 및 스키마매핑정보DB(174)를 활용하여, 수집 데이터를 표준 스키마에 매핑시키는 매핑 절차에서 사전적/통계적 항목 간 매핑 추천 기능을 실현할 수 있다.
스키마매핑정보입력부(130)로 항목 간 매핑을 추천하는 AI기능부(150)는, 검색엔진(160)과의 연동을 통해 자연어 질의 및 응답이 가능한 챗봇을 포함할 수 있고, 이밖에도 검색엔진(160)과의 연동을 통한 AI 형태의 추천 기능을 갖는다면 그 형태에 제한을 두지 않는다.
구체적인 실시예로서 AI 챗봇을 가정하여 설명하면, AI기능부(150)는, 데이터담당자가 직접 항목 간 매핑 시 도움이 되는 정보를 문의할 수 있도록 AI 챗봇을 제공할 수 있다.
이에, AI기능부(150)는, AI 챗봇을 통해서 금번 수집 데이터에 대해 확정한 데이터스키마의 특정 항목에 대한 매핑 추천 질의가 수신되면, 검색엔진(160)과의 연동을 통해 통합DB(178)를 기반으로 금번 매핑 추천 질의된 특정 항목과 유사도가 가장 높은 표준 스키마의 항목을 검색하여 추천 응답으로 회신할 수 있다.
예를 들면, A("HSR 레이더기반 강수량 및 반사도 변환 데이터")라는 항목은 어떤 항목과 매치해야 하지? 라고 자연어 매핑 추천 질의가 수신되는 경우를 가정할 수 있다.
이 경우, AI기능부(150)는, 검색엔진(160)과의 연동을 통해 통합DB(178)를 기반으로 금번 매핑 추천 질의된 특정 항목 A("HSR 레이더기반 강수량 및 반사도 변환 데이터")와 유사도가 가장 높은 표준 스키마의 항목을 검색하고, 그 결과 표준 스키마의 항목 중 제목에 해당되는 항목"title"에서 유사도가 가장 높은 경우, 표준 스키마의 해당 항목"title"을 AI 챗봇을 통해 추천 응답으로서 회신할 수 있다.
이에, 스키마매핑정보입력부(130)에서는, 전술의 스키마매핑정보추천부(140)에서 추천된 매핑 정보(항목 간 매핑 추천) 및 AI기능부(150)에서 추천되는 매핑 정보(매핑 추천 질의/추천 응답)를 제공하고, 이러한 항목 간 매핑 추천을 기반으로 데이터담당자에 의해 항목 간 매핑이 결정될 수 있다.
그리고, 스키마매핑정보입력부(130)에서 데이터스키마의 항목 및 표준 스키마의 항목 간 매핑이 결정되면, 금번 수행한 매핑 절차에서 결정된 스키마매핑정보는 전술한 바와 같이 스키마매핑정보DB(174)에 반영(저장)되는 한편 전거데이터생성부(171)에 의해 스키마항목명전거DB(172) 관리에 활용될 것이다.
이렇듯, 본 발명에서는, 스키마항목명전거DB(172) 및 스키마매핑정보DB(174), AI 기능부(150)를 활용하여 사전적/통계적 요소를 결합한 항목 간 매핑 추천 기능에 AI기능부(150)에 의한 스키마 매핑 지원(추천 질의/추천 응답)을 더하여, 스키마 매핑 과정에 사전적, 통계적, AI적 요소를 결합한 항목 간 매핑 추천 기능을 실현할 수 있다.
이상 설명한 바와 같이, 본 발명에서는, 스키마 매핑 과정에 사전적, 통계적, AI적 요소를 결합한 항목 간 매핑 추천 기능을 도입함으로써, 스키마 매핑의 편의성/정확도를 증대시키고 비용/시간을 절감하고 나아가 데이터의 완전성까지 향상시키는 새로운 방식의 스키마 매핑 기술을 실현해내고 있다.
이로 인해, 본 발명에 따르면, 이종의 데이터들을 보다 편리하게 검색 및 제공하기 위한 이종 데이터 통합 서비스 구현 시, 새로운 스키마 매핑 기술을 통해 서비스 운용 효율 및 성능, 정확도 등을 향상시킬 수 있는 효과를 도출한다.
이하에서는, 도 3을 참조하여 본 발명의 실시예에 따른 이종 데이터 통합 서비스 방법의 동작 흐름을 구체적으로 설명하겠다.
먼저, 설명의 편의를 위해, 본 발명의 이종 데이터 통합 서비스 방법이 동작이 주체로서 이종 데이터 통합 서비스 시스템(100)을 언급하여 설명하겠다.
먼저 본 발명의 이종 데이터 통합 서비스 시스템(100)은, 이종의 데이터들 즉 이종의 수집 데이터이 갖는 이종의 스키마를 하나의 통일된 스키마로 적재/저장하기 위한 표준 스키마를 정의하는 것을 기본으로 한다(S10).
이러한 표준 스키마는, 각 항목 별로 항목의 항목명(물리명,논리명), 데이터 타입, 설명 등을 포함하는 정보 형태일 수 있다.
그리고, 본 발명의 이종 데이터 통합 서비스 시스템(100)은, 사전적, 통계적, AI적 요소를 결합한 항목 간 매핑 추천 기능 실현을 위해, 각종 DB들(170)을 구축 및 관리한다(S20).
구체적으로, 본 발명의 이종 데이터 통합 서비스 시스템(100)은, 사전적 항목 간 매핑 추천 기능을 구현하기 위해, 스키마항목명전거DB(172)를 도입하고 있다.
스키마항목명전거DB(172)는, 표준 스키마의 항목 별 항목명을 대표 명으로 하며, 대표 명 별로 해당 대표 명에 대한 사전적 이명에 해당되는 항목명을 목록(List)화한 이명 목록을 포함하는 DB이다.
이에, 본 발명에서는, 수집 데이터에 대해 매핑 절차를 수행하여 데이터스키마의 항목 및 표준 스키마의 항목 간 매핑을 통해 결정되는 매 스키마매핑정보(즉, 통계적 추출 정보)을 근거로, 표준 스키마의 항목 별 항목명(물리명,논리명) 각각을 대표 명으로 하는 이명 목록으로 구성되는 스키마항목명전거DB(172)를 구축한다.
또한, 본 발명의 이종 데이터 통합 서비스 시스템(100)은, 전술한 통계적 항목 간 매핑 추천 기능을 구현하기 위해, 스키마매핑정보DB(174)를 도입하고 있다.
스키마매핑정보DB(174)는, 기존의 매핑 절차에서 결정된 스키마매핑정보 및 금번 수집 데이터에 대해 수행한 매핑 절차를 통해 결정되는 스키마매핑정보를 저장하는 DB이다.
즉, 본 발명에서는, 수집 데이터에 대해 매핑 절차를 수행하여 데이터스키마의 항목 및 표준 스키마의 항목 간 매핑을 통해 결정되는 매 스키마매핑정보(즉, 통계적 추출 정보)를 저장하여 스키마매핑정보DB(174)를 구축한다.
이때, 스키마매핑정보DB(174)에는, 스키마매핑정보 저장 시에, 매치 항목과 항목 간 매핑 빈도수를 더 저장하거나, 항목을 노드로 가지며 엣지를 매핑 빈도수로 가지는 그래프 형태로 저장할 수도 있다.
예를 들면, 데이터스키마의 항목 B가 표준 스키마의 항목 A에 매핑되는 정보를 포함하고 있는 스키마매핑정보를 가정하면, 항목 A와 항목 B를 각 노드로 가지며 항목 A,B를 연결하는 엣지에 이들 간의 매핑 빈도수를 나타내는 그래프 형태로 저장할 수 있다.
아울러, 데이터스키마의 항목 C가 표준 스키마의 항목 A에 매핑되는 정보를 포함하고 있는 스키마매핑정보도 존재하는 경우라면, 항목 A,B,C를 각 노드로 가지며 항목 A를 기준으로 항목 B,C가 매치 항목으로서 표현되고, 항목 A,B를 연결하는 엣지에 이들 간의 매핑 빈도수, 항목 A,C를 연결하는 엣지에 이들 간의 매핑 빈도수를 나타내는 그래프 형태로 저장할 수 있다.
아울러, 스키마매핑정보DB(174)에는, 매 수집 데이터에 대해 결정한 스키마매핑정보 저장과 함께, 이에 대응되는 데이터스키마도 저장될 수 있다.
이 외에도, 본 발명에서는, 스키마매핑정보(예: 그래프 형태 저장) 시, 기 설정된 구분 분야 별로 구분 저장하여 스키마매핑정보DB(174) 내 구분 분야 별로 통계적 추출 정보를 구분하여 구축할 수 있고, 구분 분야 없이 저장하여 범 분야의 통계적 추출 정보를 구축할 수도 있다.
본 발명의 이종 데이터 통합 서비스 시스템(100)은, 이 외에도, 수집 데이터를 해당 수집 데이터에 대해 확정한 데이터스키마에 따라 저장하는 수집DB(176), 수집 데이터를 해당 수집 데이터에 대해 수행한 매핑 절차에서 결정된 스키마매핑정보에 따라 표준 스키마의 형태로 저장하는 통합DB(178)을 구축 및 관리한다.
본 발명의 이종 데이터 통합 서비스 시스템(100)은, 다양한 데이터 소스, 예컨대 서비스1,2,..,서비스n로부터 다양한 수집 형태/데이터 형태로 이종의 데이터들을 수집할 수 있고, 이렇게 수집한 수집 데이터에 대하여 데이터스키마(스키마 구조)를 확정한다(S30).
구체적으로 예를 들면, 이종 데이터 통합 서비스 시스템(100)에서는, 수집 데이터로부터 스키마를 추출하고 추출한 스키마에 대해 데이터담당자의 개입을 통해 입력되는 스키마를, 수집 데이터에 대한 데이터스키마로 확정할 수 있다.
본 발명의 이종 데이터 통합 서비스 시스템(100)은, 이렇게 확정되는 금번 수집 데이터에 대한 데이터스키마를 스키마매핑정보DB(174)에 저장하며, 금번 확정한 데이터스키마에 맞는 테이블을 생성하고 해당 수집 데이터를 생성한 테이블에 적재하여 금번 수집 데이터를 수집DB(176)에 저장할 수 있다.
그리고, 본 발명의 이종 데이터 통합 서비스 시스템(100)은, 확정한 데이터스키마를 표준 스키마에 매핑시키는 매핑 절차를 개시하며(S40), 이러한 매핑 절차 중에 항목 간 매핑을 추천할 수 있다(S50).
구체적으로 설명하면, 본 발명의 이종 데이터 통합 서비스 시스템(100)은, 스키마항목명전거DB(172) 및 스키마매핑정보DB(174)를 기반으로, 스키마매핑정보 추천 알고리즘에 따라 금번 수집 데이터에 대해 확정한 데이터스키마의 항목 및 표준 스키마의 항목 간 매핑을 추천할 수 있다.
구체적인 실시예를 설명하면, 스키마매핑정보 추천 알고리즘은, 스키마항목명전거DB(172)에서 상기 확정한 데이터스키마의 특정 항목의 항목명과 동일한 대표 명이 있으면, 상기 특정 항목을 상기 동일한 대표 명의 표준 스키마 항목으로 매핑 추천하도록 정의될 수 있다.
또한, 스키마매핑정보 추천 알고리즘은, 스키마항목명전거DB(172)에서 상기 특정 항목의 항목명이 포함되는 이명 목록이 있으면, 상기 특정 항목을 상기 이명 목록의 대표 명에 해당되는 표준 스키마 항목으로 매핑 추천하도록 정의될 수 있다.
이러한 실시예에 따르면, 본 발명의 이종 데이터 통합 서비스 시스템(100)은, 스키마매핑정보 추천 알고리즘에 따라, 스키마항목명전거DB(172)에서 금번 수집 데이터에 대해 확정한 데이터스키마의 각 항목 별로 해당 항목의 항목명과 동일한 대표 명이 있는지 검색하고, 동일한 대표 명이 있는 데이터스키마의 항목에 대해서는 검색된 동일 대표 명의 표준 스키마 항목으로 매핑 추천할 수 있다.
또한, 본 발명의 이종 데이터 통합 서비스 시스템(100)은, 스키마매핑정보 추천 알고리즘에 따라, 스키마항목명전거DB(172)에서 금번 수집 데이터에 대해 확정한 데이터스키마의 각 항목 별로 해당 항목의 항목명과 동일한 대표 명이 있는지 검색하고, 동일한 대표 명이 없는 데이터스키마의 항목에 대해서는 해당 항목의 항목명이 이명 목록에 있는지 검색하고, 이명 목록에 있는 데이터스키마의 항목에 대해서는 검색된 이명 목록의 대표 명에 해당되는 표준 스키마 항목으로 매핑 추천할 수 있다.
이렇듯, 본 발명에서는, 표준 스키마의 각 항목명을 대표 명으로 하여 사전적 항목 간 매핑 추천 기능에 활용하기 위해 도입한 스키마항목명전거DB(172)를 활용하여, 수집 데이터를 표준 스키마에 매핑시키는 매핑 절차에서 사전적 항목 간 매핑 추천 기능을 실현할 수 있다.
구체적인 다른 실시예를 설명하면, 스키마매핑정보 추천 알고리즘은, 스키마매핑정보DB(174)에서 금번 수집 데이터에 대해 확정한 데이터스키마의 특정 항목과 매핑 빈도가 가장 높은 표준 스키마 항목을 검색하여, 상기 특정 항목을 상기 검색한 표준 스키마 항목으로 매핑 추천하도록 정의될 수 있다.
이러한 실시예에 따르면, 본 발명의 이종 데이터 통합 서비스 시스템(100)은, 스키마매핑정보 추천 알고리즘에 따라, 스키마매핑정보DB(174)에서 금번 수집 데이터에 대해 확정한 데이터스키마의 각 항목 별로 해당 항목과 매핑 빈도가 가장 높은 표준 스키마의 항목을 검색하고, 검색 성공한 데이터스키마의 항목에 대해서는 검색된 가장 높은 매핑 빈도의 표준 스키마 항목으로 매핑 추천할 수 있다.
만약, 본 발명의 이종 데이터 통합 서비스 시스템(100)은, 매핑 빈도가 가장 높은 표준 스키마의 항목을 검색한 결과 검색 실패한 데이터스키마의 항목이 있다면, 해당 항목에 대해서는 항목 매핑 추천 대신 AI기능(예: AI 챗봇) 활용을 추천할 수 있다.
이렇듯, 본 발명에서는, 스키마항목명전거DB(172) 및 스키마매핑정보DB(174)를 활용하여, 수집 데이터를 표준 스키마에 매핑시키는 매핑 절차에서 사전적/통계적 항목 간 매핑 추천 기능을 실현할 수 있다.
본 발명의 이종 데이터 통합 서비스 시스템(100)은, AI기능(예: AI 챗봇)을 도입하여, 검색엔진(160)과의 연동을 통해 자연어 질의 및 응답이 가능한 챗봇을 포함할 수 있고, 이밖에도 검색엔진(160)과의 연동을 통한 AI 형태의 추천 기능을 갖는다면 그 형태에 제한을 두지 않는다.
이에 본 발명의 이종 데이터 통합 서비스 시스템(100)은, 데이터담당자가 직접 항목 간 매핑 시 도움이 되는 정보를 문의할 수 있도록 AI기능(예: AI 챗봇)을 제공할 수 있다.
이에, 본 발명의 이종 데이터 통합 서비스 시스템(100)은, AI기능(예: AI 챗봇)을 통해서 금번 수집 데이터에 대해 확정한 데이터스키마의 특정 항목에 대한 매핑 추천 질의가 수신되면, 검색엔진(160)과의 연동을 통해 통합DB(178)를 기반으로 금번 매핑 추천 질의된 특정 항목과 유사도가 가장 높은 표준 스키마의 항목을 검색하여 추천 응답으로 회신할 수 있다.
예를 들면, A("HSR 레이더기반 강수량 및 반사도 변환 데이터")라는 항목은 어떤 항목과 매치해야 하지? 라고 자연어 매핑 추천 질의가 수신되는 경우를 가정할 수 있다.
이 경우, 본 발명의 이종 데이터 통합 서비스 시스템(100)은, AI기능(예: AI 챗봇) 기반의 검색엔진(160)과의 연동을 통해 통합DB(178)를 기반으로 금번 매핑 추천 질의된 특정 항목 A("HSR 레이더기반 강수량 및 반사도 변환 데이터")와 유사도가 가장 높은 표준 스키마의 항목을 검색하고, 그 결과 표준 스키마의 항목 중 제목에 해당되는 항목"title"에서 유사도가 가장 높은 경우, 표준 스키마의 해당 항목"title"을 AI 챗봇을 통해 추천 응답으로서 회신할 수 있다.
이에, 본 발명의 이종 데이터 통합 서비스 시스템(100)은, S50단계에서 추천된 매핑 정보(항목 간 매핑 추천) 및 AI 기능을 통해 추천되는 매핑 정보(매핑 추천 질의/추천 응답)를 기반으로 데이터담당자에 의해 항목 간 매핑이 결정될 수 있다.
본 발명의 이종 데이터 통합 서비스 시스템(100)은, S50단계에서 데이터스키마의 항목 및 표준 스키마의 항목 간 매핑이 결정되면, 금번 수행한 매핑 절차에서 결정된 스키마매핑정보를 전술한 바와 같이 스키마매핑정보DB(174)에 반영(저장)하여 스키마매핑정보DB(174)를 구축 및 관리할 수 있다(S70).
아울러, 본 발명의 이종 데이터 통합 서비스 시스템(100)은, S50단계에서 데이터스키마의 항목 및 표준 스키마의 항목 간 매핑이 결정되면, 금번 결정된 스키마매핑정보를 근거로 스키마항목명전거DB(172) 내 대표 명 별 이명 목록에 정보(예: 이명 추가, 매핑 횟수, 설명 등)를 업데이트하는 등 반영하여 스키마항목명전거DB(172)를 구축 및 관리할 수 있다(S80).
한편, 본 발명의 이종 데이터 통합 서비스 시스템(100)은, S50단계에서 데이터스키마의 항목 및 표준 스키마의 항목 간 매핑이 결정되면, 금번 결정한 스키마매핑정보를 활용하여 금번 수집 데이터를 표준 스키마에 따른 데이터로 변환하여 저장한다(S60).
구체적으로, 본 발명의 이종 데이터 통합 서비스 시스템(100)은, 앞서 수집DB(176)에 적재된 상태의 수집 데이터(데이터스키마의 형태)를 독출하고, 해당 수집 데이터에 대해 결정된 스키마매핑정보를 근거로 앞서 독출한 수집 데이터를 변환하여 표준 스키마에 맞는 테이블에 적재하는 방식으로, 매 수집 데이터를 표준 스키마의 형태로 통합DB(178)에 저장할 수 있다.
이상 설명한 바와 같이, 본 발명에서는, 스키마 매핑 과정에 사전적, 통계적, AI적 요소를 결합한 항목 간 매핑 추천 기능을 도입함으로써, 스키마 매핑의 편의성/정확도를 증대시키고 비용/시간을 절감하고 나아가 데이터의 완전성까지 향상시키는 새로운 방식의 스키마 매핑 기술을 실현해내고 있다.
이로 인해, 본 발명에 따르면, 이종의 데이터들을 보다 편리하게 검색 및 제공하기 위한 이종 데이터 통합 서비스 구현 시, 새로운 스키마 매핑 기술을 통해 서비스 운용 효율 및 성능, 정확도 등을 향상시킬 수 있는 효과를 도출한다.
위 설명한 본 발명의 일 실시예에 따른 이종 데이터 통합 서비스 방법은, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
지금까지 본 발명을 바람직한 실시 예를 참조하여 상세히 설명하였지만, 본 발명이 상기한 실시 예에 한정되는 것은 아니며, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 또는 수정이 가능한 범위까지 본 발명의 기술적 사상이 미친다 할 것이다.
본 발명의 이종 데이터 통합 서비스 방법 및 이종 데이터 통합 서비스 시스템에 따르면, 스키마 매핑 과정에 사전적, 통계적, AI적 요소를 결합한 항목 간 매핑 추천 기능을 도입하는 새로운 방식의 스키마 매핑 기술을 실현하는 점에서, 기존 기술의 한계를 뛰어 넘음에 따라 관련 기술에 대한 이용만이 아닌 적용되는 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.

Claims (14)

  1. 이종 데이터 통합 서비스 시스템에서 이루어지는 이종 데이터 통합 서비스 방법에 있어서,
    수집 데이터에 대한 데이터스키마를 확정하는 스키마 확정단계;
    이종의 데이터스키마를 가지는 이종의 데이터를 저장하기 위해 기 정의한 표준 스키마를 확인하는 표준 스키마 확인단계;
    이종의 데이터스키마를 상기 표준 스키마에 매핑시키기 위해 기 수행된 기존의 매핑 절차에서 추출한 정보를 근거로 기 구축되는 스키마 항목명 기준의 DB(Data base)를 기반으로, 상기 확정한 데이터스키마를 상기 표준 스키마에 매핑시키는 매핑 절차 수행 중에 항목 간 매핑을 추천하는 항목 간 매핑 추천단계; 및
    상기 확정한 데이터스키마 및 상기 매핑 절차를 통해 결정되는 스키마매핑정보를 활용하여, 상기 수집 데이터를 상기 표준 스키마에 따른 데이터로 변환하여 저장하는 데이터 저장단계를 포함하며,
    상기 항목 간 매핑 추천단계는,
    상기 항목명 기준의 DB와, 이종의 데이터스키마 각각을 상기 표준 스키마에 매핑시키는 기존의 매핑 절차에서 추출한 정보를 근거로 기 구축되는 스키마매핑정보 기준의 DB를 기반으로, 기 정의된 스키마매핑정보 추천 알고리즘에 따라, 상기 확정한 데이터스키마의 항목 및 상기 표준 스키마의 항목 간 매핑을 추천하며,
    상기 스키마매핑정보 기준의 DB는,
    상기 기존의 매핑 절차에서 결정된 스키마매핑정보 및 상기 매핑 절차를 통해 결정되는 스키마매핑정보를 저장하며, 스키마매핑정보 저장 시에, 매치 항목과 항목 간 매핑 빈도수를 더 저장하거나, 항목을 노드로 가지며 엣지를 매핑 빈도수로 가지는 그래프 형태로 저장하는 스키마매핑정보 데이터베이스인 것을 특징으로 하는 이종 데이터 통합 서비스 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 항목 간 매핑 추천단계는,
    상기 확정한 데이터스키마의 특정 항목에 대한 매핑 추천 질의 시, 상기 표준 스키마에 따른 데이터가 저장되는 통합데이터베이스를 기반으로 상기 특정 항목과 유사도가 가장 높은 상기 표준 스키마의 항목을 검색하여 추천 응답하는 AI(artificial　intelligence) 응답 기능을 제공하는 것을 특징으로 하는 이종 데이터 통합 서비스 방법.
  4. 제 1 항에 있어서,
    상기 스키마 항목명 기준의 DB는,
    상기 표준 스키마의 항목 별 항목명을 대표 명으로 하며,
    대표 명 별로, 상기 기존의 매핑 절차에서 결정된 스키마매핑정보 및 상기 매핑 절차를 통해 결정되는 스키마매핑정보를 근거로 표준 스키마의 항목과 매핑 결정된 데이터스키마 항목의 항목명 중 대표 명에 대한 사전적 이명에 해당되는 항목명을 목록(List)화한 이명 목록을 포함하는 스키마 항목명 전거데이터베이스인 것을 특징으로 하는 이종 데이터 통합 서비스 방법.
  5. 삭제
  6. 제 1 항에 있어서,
    상기 스키마매핑정보 추천 알고리즘은,
    상기 항목명 기준의 DB에서 상기 확정한 데이터스키마의 특정 항목의 항목명과 동일한 대표 명이 있으면, 상기 특정 항목을 상기 동일한 대표 명의 표준 스키마 항목으로 매핑 추천하도록 정의되고,
    상기 항목명 기준의 DB에서 상기 특정 항목의 항목명이 포함되는 이명 목록이 있으면, 상기 특정 항목을 상기 이명 목록의 대표 명에 해당되는 표준 스키마 항목으로 매핑 추천하도록 정의되는 것을 특징으로 하는 이종 데이터 통합 서비스 방법.
  7. 제 1 항에 있어서,
    상기 스키마매핑정보 추천 알고리즘은,
    상기 스키마매핑정보 기준의 DB에서 상기 확정한 데이터스키마의 특정 항목과 매핑 빈도가 가장 높은 표준 스키마 항목을 검색하여, 상기 특정 항목을 상기 검색한 표준 스키마 항목으로 매핑 추천하도록 정의되는 것을 특징으로 하는 이종 데이터 통합 서비스 방법.
  8. 수집 데이터에 대한 데이터스키마를 확정하는 스키마 확정부;
    이종의 데이터스키마를 가지는 이종의 데이터를 저장하기 위해 기 정의한 표준 스키마를 확인하는 표준 스키마 확인부; 및
    이종의 데이터스키마를 상기 표준 스키마에 매핑시키기 위해 기 수행된 기존의 매핑 절차에서 추출한 정보를 근거로 기 구축되는 스키마 항목명 기준의 DB(Data base)를 기반으로, 상기 확정한 데이터스키마를 상기 표준 스키마에 매핑시키는 매핑 절차 수행 중에 항목 간 매핑을 추천하는 스키마매핑정보 추천부;
    상기 확정한 데이터스키마 및 상기 매핑 절차를 통해 결정되는 스키마매핑정보를 활용하여, 상기 수집 데이터를 상기 표준 스키마에 따른 데이터로 변환하여 저장하는 데이터 저장처리부를 포함하며,
    상기 스키마매핑정보 추천부는,
    상기 항목명 기준의 DB와, 이종의 데이터스키마 각각을 상기 표준 스키마에 매핑시키는 기존의 매핑 절차에서 추출한 정보를 근거로 기 구축되는 스키마매핑정보 기준의 DB를 기반으로, 기 정의된 스키마매핑정보 추천 알고리즘에 따라, 상기 확정한 데이터스키마의 항목 및 상기 표준 스키마의 항목 간 매핑을 추천하며,
    상기 스키마매핑정보 기준의 DB는,
    상기 기존의 매핑 절차에서 결정된 스키마매핑정보 및 상기 매핑 절차를 통해 결정되는 스키마매핑정보를 저장하며, 스키마매핑정보 저장 시에, 매치 항목과 항목 간 매핑 빈도수를 더 저장하거나, 항목을 노드로 가지며 엣지를 매핑 빈도수로 가지는 그래프 형태로 저장하는 스키마매핑정보 데이터베이스인 것을 특징으로 하는 이종 데이터 통합 서비스 시스템.
  9. 삭제
  10. 제 8 항에 있어서,
    상기 확정한 데이터스키마의 특정 항목에 대한 매핑 추천 질의 시, 상기 표준 스키마에 따른 데이터가 저장되는 통합데이터베이스를 기반으로 상기 특정 항목과 유사도가 가장 높은 상기 표준 스키마의 항목을 검색하여 추천 응답하는 AI(artificial　intelligence) 기능부를 더 포함하는 것을 특징으로 하는 이종 데이터 통합 서비스 시스템.
  11. 제 8 항에 있어서,
    상기 스키마 항목명 기준의 DB는,
    상기 표준 스키마의 항목 별 항목명을 대표 명으로 하며,
    대표 명 별로, 상기 기존의 매핑 절차에서 결정된 스키마매핑정보 및 상기 매핑 절차를 통해 결정되는 스키마매핑정보를 근거로 표준 스키마의 항목과 매핑 결정된 데이터스키마 항목의 항목명 중 대표 명에 대한 사전적 이명에 해당되는 항목명을 목록(List)화한 이명 목록을 포함하는 스키마 항목명 전거데이터베이스인 것을 특징으로 하는 이종 데이터 통합 서비스 시스템.
  12. 삭제
  13. 제 8 항에 있어서,
    상기 스키마매핑정보 추천 알고리즘은,
    상기 항목명 기준의 DB에서 상기 확정한 데이터스키마의 특정 항목의 항목명과 동일한 대표 명이 있으면, 상기 특정 항목을 상기 동일한 대표 명의 표준 스키마 항목으로 매핑 추천하도록 정의되고,
    상기 항목명 기준의 DB에서 상기 특정 항목의 항목명이 포함되는 이명 목록이 있으면, 상기 특정 항목을 상기 이명 목록의 대표 명에 해당되는 표준 스키마 항목으로 매핑 추천하도록 정의되는 것을 특징으로 하는 이종 데이터 통합 서비스 시스템.
  14. 제 8 항에 있어서,
    상기 스키마매핑정보 추천 알고리즘은,
    상기 스키마매핑정보 기준의 DB에서 상기 확정한 데이터스키마의 특정 항목과 매핑 빈도가 가장 높은 표준 스키마 항목을 검색하여, 상기 특정 항목을 상기 검색한 표준 스키마 항목으로 매핑 추천하도록 정의되는 것을 특징으로 하는 이종 데이터 통합 서비스 시스템.
KR1020210081143A 2021-06-22 2021-06-22 이종 데이터 통합 서비스 방법 및 이종 데이터 통합 서비스 시스템 KR102380518B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210081143A KR102380518B1 (ko) 2021-06-22 2021-06-22 이종 데이터 통합 서비스 방법 및 이종 데이터 통합 서비스 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210081143A KR102380518B1 (ko) 2021-06-22 2021-06-22 이종 데이터 통합 서비스 방법 및 이종 데이터 통합 서비스 시스템

Publications (1)

Publication Number Publication Date
KR102380518B1 true KR102380518B1 (ko) 2022-04-01

Family

ID=81183847

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210081143A KR102380518B1 (ko) 2021-06-22 2021-06-22 이종 데이터 통합 서비스 방법 및 이종 데이터 통합 서비스 시스템

Country Status (1)

Country Link
KR (1) KR102380518B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101932619B1 (ko) * 2016-06-06 2018-12-27 바이두 유에스에이 엘엘씨 콘텐츠 항목과 이미지를 매칭시키기 위한 방법, 장치 및 데이터 처리 시스템
KR20190074552A (ko) * 2017-12-20 2019-06-28 주식회사 케이티 이종 데이터를 통합하기 위한 매쉬업 방법 및 그 장치
KR20190118913A (ko) * 2018-04-11 2019-10-21 한국전자통신연구원 메타데이터 변환 장치 및 방법
KR20200052448A (ko) * 2018-10-30 2020-05-15 삼성전자주식회사 지식 그래프에 기초하여 데이터베이스들을 통합하는 시스템 및 방법
EP3709189A1 (en) * 2019-03-14 2020-09-16 Siemens Aktiengesellschaft Recommender system for data integration

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101932619B1 (ko) * 2016-06-06 2018-12-27 바이두 유에스에이 엘엘씨 콘텐츠 항목과 이미지를 매칭시키기 위한 방법, 장치 및 데이터 처리 시스템
KR20190074552A (ko) * 2017-12-20 2019-06-28 주식회사 케이티 이종 데이터를 통합하기 위한 매쉬업 방법 및 그 장치
KR20190118913A (ko) * 2018-04-11 2019-10-21 한국전자통신연구원 메타데이터 변환 장치 및 방법
KR20200052448A (ko) * 2018-10-30 2020-05-15 삼성전자주식회사 지식 그래프에 기초하여 데이터베이스들을 통합하는 시스템 및 방법
EP3709189A1 (en) * 2019-03-14 2020-09-16 Siemens Aktiengesellschaft Recommender system for data integration

Similar Documents

Publication Publication Date Title
CN109299102B (zh) 一种基于Elastcisearch的HBase二级索引系统及方法
CN107402988B (zh) 一种分布式NewSQL数据库系统和半结构化数据查询方法
US10769142B2 (en) Graph processing in database
US10810191B2 (en) Limiting scans of loosely ordered and/or grouped relations in a database
CN106227800B (zh) 一种高度关联大数据的存储方法及管理系统
CN105122243B (zh) 用于半结构化数据的可扩展分析平台
US6470333B1 (en) Knowledge extraction system and method
US6748374B1 (en) Method for generating a relational database query statement using one or more templates corresponding to search conditions in an expression tree
US8495007B2 (en) Systems and methods for hierarchical aggregation of multi-dimensional data sources
US9576011B2 (en) Indexing hierarchical data
US20150363404A1 (en) Minimizing index maintenance costs for database storage regions using hybrid zone maps and indices
US20050289174A1 (en) Method and system for implementing and accessing a virtual table on data from a central server
CN101901242A (zh) 联合的配置数据管理
US8880463B2 (en) Standardized framework for reporting archived legacy system data
CN107451225A (zh) 用于半结构化数据的可缩放分析平台
CN103353901A (zh) 基于Hadoop分布式文件系统的表数据的有序管理方法以及系统
JP2004110219A (ja) データ処理システム及びジョイン処理方法
El Kaed et al. Forte: A federated ontology and timeseries query engine
KR102380518B1 (ko) 이종 데이터 통합 서비스 방법 및 이종 데이터 통합 서비스 시스템
CN117453980A (zh) 元数据管理、配置页面生成方法、服务器及存储介质
US20080148220A1 (en) System infrastructure structure formulation supporting system and supporting method
CN101719162A (zh) 基于片段模式匹配的多版本开放式地理信息服务访问方法及系统
JP3786233B2 (ja) 情報検索方法および情報検索システム
US8005844B2 (en) On-line organization of data sets
Černjeka et al. NoSQL document store translation to data vault based EDW

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant