KR20220127443A

KR20220127443A - 데이터 아키텍쳐 관리 시스템

Info

Publication number: KR20220127443A
Application number: KR1020210031727A
Authority: KR
Inventors: 김기창
Original assignee: 김기창
Priority date: 2021-03-11
Filing date: 2021-03-11
Publication date: 2022-09-20
Also published as: KR102639897B1

Abstract

본 발명은 데이터 아키텍쳐 관리 시스템에 관한 것으로, 현행 데이터 딕셔너리에서 추출한 메타 데이터를 사전 표준화하며, 표준 데이터를 관리하는 메타 데이터(Meta data) 관리부; 업무 데이터베이스에 데이터를 저장하는 장소를 설계하고, 현행 데이터 딕셔너리를 이용하여 ERD(Entity-Relationship Diagram) 모델의 구조를 생성하며 SQL(Structured Query Language) 분석을 통해 엔터티 관계(Entity-Relationship)를 생성하는 ERD 관리부; 메타 데이터의 품질 위반을 검토하여 오류를 찾아내거나, ERD 모델(Entity-Relationship Diagram model)의 품질 위반을 검토하여 ERD 모델의 구조적 오류를 찾아내는 DQ(Data Quality) 관리부; 및 ERD 모델을 이용하여 에즈 이즈(AS-IS) 데이터를 투비(TO-BE) 데이터로 마이그레이션(migration)하고, ERD 관리부와 연동하여 반자동으로 매핑 정의서와 이행을 위한 SQL을 생성하는 이행 관리부; SQL 분석을 통해 인덱스를 추천하여 성능을 업그레이드하는 성능 관리부; 및 설정된 데이터 아키텍쳐 관리 시스템을 융합하기 위한 모델에 상기 메타 데이터 관리부, 상기 ERD 관리부, 상기 DQ 관리부, 상기 이행 관리부 및 상기 성능 관리부로부터 수신한 데이터를 저장하는 데이터 저장부를 포함한다.

Description

데이터 아키텍쳐 관리 시스템{DATA ARCHITECTURE MANAGEMENT SYSTEM}

본 발명은 데이터 아키텍쳐 관리 시스템에 관한 것으로, 데이터 아키텍쳐 컨설팅을 수행하면서 축적한 노하우를 기반으로 효율적이고 효과적인 기능을 고려하여 각 단위 시스템이 상호 유기적으로 작동하도록 융합시킨 데이터 아키텍쳐 관리 시스템에 관한 것이다.

이 배경기술 부분에 기재된 사항은 발명의 배경에 대한 이해를 증진시키기 위하여 작성된 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래 기술이 아닌 사항을 포함할 수 있다.

데이터 표준화나 ERD(Entity-Relationship Diagram) 모델 설계 등 데이터 아키텍쳐(data architecture)를 구축하는 것은 모든 기업에서 중요한 사항으로 선택사항이 아닌 필수사항이 되었다. 특히, 빅 데이터에 대한 중요성이 부각되면서 데이터를 제대로 관리하는 것은 필수적이다.

메타 시스템은 많은 기업에 도입되어 있고, ERD 모델은 구축되지 않은 기업이 많지만 점차 개념모델이나 논리모델을 보유하려고 시도하고 있다. 데이터 품질 관리 시스템 또한 데이터 분석 영향으로 최근에 활발히 사용되고 있는 추세다.

데이터베이스를 관리할 수 있는 시스템은 물론, 데이터베이스 성능 튜닝을 지원할 수 있는 시스템은 이미 널리 사용되고 있는 필수 시스템이다.

이와 같이 기업은 데이터를 제대로 관리하기 위해 많은 시스템을 도입하고 있으며, 특히 데이터 표준을 관리하기 위한 도구나 데이터 품질을 높일 수 있는 도구 등을 필수 솔루션으로 사용하고 있다.

메타 시스템은 단어 사전, 용어 사전 등 데이터 표준화를 위한 시스템으로 활발히 사용 중이다. 케이스 툴(case tool)인 ERD 시스템은 데이터 모델을 설계하는 도구로 사용되고 있다.

메타 시스템을 도입한 일부 기업은 데이터 프로파일링을 통한 데이터 품질 향상 활동을 위해 DQ 시스템을 도입한 상태이다.

데이터 이행에 대한 시스템도 활발히 사용 중이다. 그러나, ERD와 연계되어 운영되는 시스템은 없는 상태이며, 지나치게 고가이고 사용하기 힘들어 확산되기에는 한계가 있는 상황이다. 또한 데이터베이스를 관리하는 시스템은 매우 활성화되어 있다.

문제는 위와 같은 4~5개의 핵심 시스템들이 개별적으로 운영된다는 점이다. 데이터 아키텍쳐 환경을 구축하려면 서로 연결시켜야 한다. 묶는 것이 아키텍쳐이며, 단순 연동이 아니라 융합이 되어야 하지만 회사까지 다를 수 있는 4~5개의 개별 시스템을 하나로 묶는 연동 작업조차 쉽지 않은 것이 현실이다.

시스템을 통합하는 자체가 어려운 작업이며, 특히 핵심인 ERD와 메타 시스템을 통합하여 유연하게 사용하기 힘들다. 어렵게 통합해도 물리적으로만 합친 것이 되고 효과적인 시스템이 되지는 못했다. 효과도 크지 않고 시간과 인력이 많이 소요된다는 것이 문제이다.

어렵게 통합을 구현해도 통합된 데이터베이스가 아닌 각자의 데이터베이스를 사용하기 때문에 생기는 원천적인 문제점 때문에 각 시스템 간 연계와 관련된 기능은 존재하지 않고 더 나아가 필요한 기능에 대한 구현 자체가 불가능하다.

현재 상황이 위와 같기 때문에 실무에서는 데이터 표준화부터 수행하고, 데이터 품질을 높이는 활동을 별도로 해야 한다. ERD가 없거나 부실하기 때문에 데이터 성격을 파악하여 대응하기도 쉽지 않은 상태의 기업도 많다.

자연스럽게 공공이나 민간 기업에서 데이터와 관련한 수많은 프로젝트가 진행되고 있지만, 노력에 비해 원하는 결과를 만드는 프로젝트는 많지 않다. 이는 데이터 아키텍쳐 시스템이 없기 때문이며, 사용할 데이터의 품질이 낮기 때문이다.

한국 공개특허공보 제10-2017-0123015호

전술한 종래기술의 문제점을 해결하기 위한 것으로, 본 발명은 근간이 되는 데이터가 좋은 품질로 생성되어 유지되도록 하여 좋은 품질의 데이터가 확보되는 데이터 아키텍쳐 관리 시스템을 제공하는 것을 목적으로 한다.

또한, 본 발명은 데이터 아키텍쳐 관리를 위한 각 구성이 유기적으로 융합된 데이터 아키텍쳐 관리 시스템을 제공하는 것을 목적으로 한다.

또한, 본 발명은 데이터 아키텍쳐 관리를 위한 각 구성이 데이터 표준, 데이터 구조 및 데이터 품질을 융합하여 조화를 이루도록 하는 데이터 아키텍쳐 관리 시스템을 제공하는 것을 목적으로 한다.

본 발명의 일 실시예에 따른 데이터 아키텍쳐 관리 시스템은, 현행 데이터 딕셔너리에서 추출한 메타 데이터를 사전 표준화하며, 표준 데이터를 관리하는 메타 데이터(Meta data) 관리부; 업무 데이터베이스에 데이터를 저장하는 장소를 설계하고, 현행 데이터 딕셔너리를 이용하여 ERD(Entity-Relationship Diagram) 모델의 구조를 생성하며 SQL(Structured Query Language) 분석을 통해 엔터티 관계(Entity-Relationship)를 생성하는 ERD 관리부; 메타 데이터의 품질 위반을 검토하여 오류를 찾아내거나, ERD 모델(Entity-Relationship Diagram model)의 품질 위반을 검토하여 ERD 모델의 구조적 오류를 찾아내는 DQ(Data Quality) 관리부; 및 ERD 모델을 이용하여 에즈 이즈(AS-IS) 데이터를 투비(TO-BE) 데이터로 마이그레이션(migration)하고, ERD 관리부와 연동하여 반자동으로 매핑 정의서와 이행을 위한 SQL을 생성하는 이행 관리부; SQL 분석을 통해 인덱스를 추천하여 성능을 업그레이드하는 성능 관리부; 및 설정된 데이터 아키텍쳐 융합 모델에 상기 메타 데이터 관리부, 상기 ERD 관리부, 상기 DQ 관리부, 상기 이행 관리부 및 상기 성능 관리부로부터 수신한 데이터를 저장하는 데이터 저장부를 포함한다.

여기서, 메타 데이터 관리부는 데이터 관리 원칙이나 지침을 변경하여 적용할 수 있도록 이슈가 되는 주요 특징을 환경 요소로 설정하여 솔루션을 변경 가능하도록 운영한다.

또한, 메타 데이터 관리부는 메타 데이터에 대한 구 표준과 신 표준을 구분하여 관리하고, ERD 모델이 구 표준인 경우 표준화를 수행하여 신 표준으로 변경한다.

또한, 메타 데이터 관리부는 데이터 코드(data code)를 저장하고, 데이터 코드의 코드 인스턴스(code instance)를 서로 비교하여 코드값의 중복율이 50~100% 발생하는 것을 선정하며, 코드명을 통해 유사성을 판단하여 코드의 통합여부를 판단한다.

또한, 메타 데이터 관리부는 에즈 이즈 데이터의 컬럼을 단어로 분리하여 의미 파악을 하며, 한글명과의 매핑을 통해 사전 표준화를 지원한다.

또한, 메타 데이터 관리부는 업무용어와 애플리케이션 화면 라벨과의 매핑을 통해 애플리케이션 화면에서 사용되는 업무용어에 해당되는 데이터 표준용어를 식별한다.

또한, ERD 관리부는 사용 중인 SQL(Structured Query Language)을 추출하여 조인 구문을 분석한 후 테이블 간의 관계를 도출하고 이를 ERD 리버스 엔지니어링할 때 관계선으로 표현하며, 일반 관계선과의 구분을 위해 점선으로 관리한다.

또한, ERD 관리부는 케이스(Computer-Aided Software Engineering) 툴을 이용하여 ERD 모델을 설계하고, ERD 모델을 설계할 때 업무 식별자, 중복 속성, 추출 속성, 배타 속성 및 배타 관계 등을 관리하며 개인정보 보호대상 속성을 관리하여 해당 개인정보 보호대상 속성이 속한 엔터티를 다른 데이터 저장부로 이관한다.

또한, ERD 관리부는 CASE TOOL을 사용하여 모델 설계를 할 때, 속성을 단어 별로 띄어쓰기하여 등록하면 표준 단어에 대한 검증을 하여 비표준일 경우 바로 표준 단어로 등록하며, 나아가 표준 용어로 신청되도록 한다.

또한, 이행 관리부는 에즈 이즈 데이터나 운영계 정보를 투비 데이터이나 정보계 정보로 매핑하여 데이터 이동에 따른 추적이 가능하도록 하며, 이를 바탕으로 이행 SQL을 생성하여 데이터 흐름을 관리한다.

또한, DQ 관리부는 데이터 모델에서 구조적으로 잘못 설계된 부분을 검토하는 방법으로, 지침에 따라 ERD 모델의 구조를 검토하여 검증을 유도한다.

또한, DQ 관리부는 단어의 이음동의어, 동음이의어, 한 글자 단어 및 복합어를 이용하여 메타 데이터의 품질 위반을 검토하며, ERD 모델에 사용된 메타 데이터의 불일치 위반을 검토한다.

또한, ERD 관리부는 데이터 주제영역과는 별도로 데이터 성격이나 데이터 묶음에 따라 데이터 맵(data map)을 관리하여 데이터 외부 공개 시 참조한다.

또한, ERD 관리부는 ERD 모델에 대한 엔터티나 속성, 코드를 선택하여 데이터베이스에 저장된 데이터를 조회하여 데이터 값을 확인한다.

또한, 성능 관리부는 시스템에서 사용 중인 SQL을 추출하여 조인 구문을 분석(parsing)해서 해당 테이블에 적절한 인덱스를 하며, 인덱스 생성 시 예상 플랜을 보여줘 성능 향상을 유도한다.

본 발명에 따르면, 빅데이터 분석 등의 근간이 되는 데이터가 좋은 품질로 생성되어 유지되도록 하여 좋은 품질의 데이터가 확보된다.

본 발명에 따르면, 데이터 아키텍쳐 관리를 위한 각 구성이 유기적으로 융합된다.

본 발명에 따르면, 데이터 아키텍쳐 관리를 위한 각 구성이 데이터 표준, 데이터 구조 및 데이터 품질을 융합하여 조화를 이루도록 한다.

도 1은 본 발명의 일 실시예에 따른 데이터 아키텍쳐 관리 시스템의 활용 예를 나타낸 개략도이다.
도 2는 본 발명의 일 실시예에 따른 데이터 아키텍쳐 관리 시스템의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 데이터 아키텍쳐 프레임워크의 개념을 도시한 개략도이다.
도 4는 본 발명의 일 실시예에 따른 데이터 아키텍쳐 솔루션의 구조를 나타낸 블록도이다.
도 5는 본 발명의 일 실시예에 따른 데이터 아키텍쳐 솔루션의 개념을 나타낸 블록도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

도 1은 본 발명의 일 실시예에 따른 데이터 아키텍쳐 관리 시스템의 활용 예를 나타낸 개략도이다.

도 1을 참조하면, 데이터 아키텍쳐 관리 시스템(1000)은 표준화 관리, 모델 관리, 품질개선 관리, 이행 관리, 코드 관리, 구 표준 관리, DB(database) 제약 관리, 개인정보 관리, 업무용어 관리, 결제 관리, 리포트 관리 등에 활용될 수 있으며, 이에 한정되지 않는다.

이러한 데이터 아키텍쳐 관리 시스템은 데이터 아키텍트(data architect), 데이터베이스 관리자(database administrator), 모델러(modeler), 개발자, 현업 사용자 등이 유용하게 활용할 수 있다.

도 2는 본 발명의 일 실시예에 따른 데이터 아키텍쳐 관리 시스템의 블록도이다.

도 2를 참조하면, 데이터 아키텍쳐 관리 시스템(1000)은 데이터 저장부(100), 메타 데이터(meta data) 관리부(200), ERD(Entity-Relationship Diagram) 관리부(300), DQ(Data Quality) 관리부(400), 이행 관리부(500) 및 성능 관리부(600)를 포함할 수 있다.

메타 데이터 관리부(200), ERD 관리부(300), DQ 관리부(400), 이행 관리부 (500) 및 성능 관리부(600)는 데이터 저장부(도 1의 DB, 100)를 통해 상호간에 유기적으로 융합되어 있다. 메타 데이터 관리부(200), ERD 관리부(300), DQ 관리부(400), 이행 관리부(500) 및 성능 관리부(600)가 데이터 저장부(100)를 통해 연결되어 있다는 것은 데이터 아키텍쳐 관리 시스템(1000)의 통합을 의미한다. 이는 기계적인 단순 통합이 아니라 상호간에 유기적으로 융합된 실질적인 통합이다.

이렇게 하여, 종래에는 존재하지 않았던, 메타 데이터 관리부(200), ERD 관리부(300), DQ 관리부(400), 이행 관리부(500) 및 성능 관리부(600)의 연계기능이 완벽하게 구현될 수 있다. 즉, 데이터 아키텍쳐 관리를 위한 각 구성이 유기적으로 융합된다. 이러한 데이터 아키텍쳐 관리 시스템(1000)은 빅데이터 분석의 근간이 되는 데이터가 좋은 품질로 생성되어 유지되도록 하여 좋은 품질의 데이터가 확보된다.

본 발명의 일 실시예에 따른 데이터 아키텍쳐 관리 시스템(1000)은 메타 데이터 관리부(200), ERD 관리부(300), DQ 관리부(400) 및 이행 관리부(500)가 완전히 융합되어 운영될 수 있도록 하나로 통합된 것이 본 발명의 핵심이라고 할 수 있다. 구체적으로는, 데이터 아키텍쳐 관리를 위한 각 구성이 데이터 표준, 데이터 구조 및 데이터 품질을 융합하여 조화를 이루도록 한다.

그러면, 데이터 아키텍쳐 관리 시스템(1000)의 각 구성에 대해 상세히 살펴보기로 한다.

1) 데이터 저장부(100)

데이터 저장부(100)는 메타 데이터 관리부(200), ERD 관리부(300), DQ 관리부(400), 이행 관리부(500) 및 성능 관리부(600)에 대한 ERD를 구비하여 데이터를 융합 관리한다. 즉, 데이터 저장부(100)는 설정된 데이터 아키텍쳐 융합 모델에 상기 메타 데이터 관리부, 상기 ERD 관리부, DQ 관리부, 상기 이행 관리부 및 상기 성능 관리부로부터 수신한 데이터를 저장한다.

2) 메타 데이터 관리부(200)

메타 데이터 관리부(200)는 데이터 표준을 관리한다. 메타 데이터는 데이터에 대한 데이터를 의미한다. 즉, 데이터와 연관된 모든 데이터를 관리한다. 메타 데이터 관리부(200)는 현행 데이터 딕셔너리에서 추출한 메타 데이터를 사전 표준화하며, 표준 데이터를 관리한다. 이는 단어를 분석하여(parsing) 유사한 단어를 동일 단어로 일관되도록 만드는 기법이다.

또한, 메타 데이터 관리부(200)부는 데이터 표준 지침서에서 이슈가 되는 주요 특징을 설정하여 데이터 아키텍쳐 관리 시스템(1000)의 설정으로 셋팅하여 사용할 수 있도록 하여 하나의 지침만이 적용되는 것이 아니라 여러 가지 지침 중에서 각자의 환경에 적합한 지침을 선택하도록 한다.

또한, 메타 데이터 관리부(200)는 메타 데이터에 대한 구 표준과 신 표준을 구분하여 관리하고, ERD 모델이 구 표준인 경우 표준화를 수행하여 신 표준으로 변경한다. 여기서, 구 표준은 신 표준 이전의 표준을 의미하며, 신 표준은 최신의 표준을 의미한다.

또한, 메타 데이터 관리부(200)는 데이터 코드(data code)를 저장하고, 데이터 코드의 코드 인스턴스(code instance)를 서로 비교하여 코드값의 중복율이 50~100% 발생하는 것을 선정하고, 코드명을 통해 유사성을 판단하여 코드의 통합여부를 판단한다.

또한, 메타 데이터 관리부(200)는 에즈 이즈 데이터의 컬럼을 단어로 분리하여 한글명과의 매핑을 통해 사전 표준화를 지원한다.

또한, 메타 데이터 관리부(200)는 업무용어와 애플리케이션 화면 라벨과의 매핑을 통해 애플리케이션 화면에서 사용되는 업무용어에 해당되는 데이터 표준용어를 식별하여 유기적으로 사용되도록 한다.

이와 같은 메타 데이터 관리부(200)는 아래와 같은 서비스를 제공할 수 있다.

a) 표준 단어: ERD 관리부(300)에 사용되는 단어로 명을 정할 때 표준 영문으로 적용

b) 표준 도메인: 데이터 타입에 대한 유형으로 도메인 그룹과 인포타입으로 구성

c) 표준 코드: 공통 코드를 관리하는 시스템으로 단순 코드, 목록 코드, 계층 코드 및 참조 코드로 구성되며, 외부 코드값도 병행 관리

d) 표준 용어: ERD 관리부(300)의 속성과 컬럼에서 사용되는 용어 관리

e) 업무 용어: 표준 용어와 일대다(1:M)로 연관된 업무 용어를 관리하여 애플리케이션 라벨과 연동하여 사용

f) 모델 스키마(schema): 테이블, 컬럼 등의 모델 스키마를 관리하여 ERD 관리부(300)와 연동하여 전체 서비스에서 사용

g) 영문 표준화: 표준 콘텐츠를 기반으로 ERD의 한글 속성에 대한 영문 자동 변환 지원

h) 코드 배포: 코드나 DML(Data Manipulation Language) 등에 대해 개발계나 테스트계 데이터베이스에 배포

i) 표준 원칙 설정: 데이터 표준 지침서와 연동된 표준화 운영방안을 설정하여 표준원칙을 유연하게 적용

j) 구 표준 병행: 표준화 이전 형상과 표준화 이후의 형상으로 이원화하여 표준화 병행

k) 사전 표준화: 컬럼을 단어로 분할하여 단어 의미의 분석을 통한 사전 표준화

l) 코드 표준화: 코드값 분석을 통해 50% 이상 일치할 때 통합을 유도하는 코드 통합화와 코드 정제

3) ERD 관리부(300)

ERD 관리부(300)는 데이터베이스에 데이터를 저장하는 장소를 설계한다. 여기서, ERD는 데이터를 저장하는 장소를 설계한 도면을 의미하며, ERD를 작성하는 도구를 케이스(Computer-Aided Software Engineering) 툴(tool)이라고 한다.

또한, 데이터 구조를 설계하는 것을 데이터 모델링이라고 하며, 이렇게 설계된 결과물을 데이터 모델이라고 한다. ERD는 설계도이기 때문에 어떠한 시스템이라도 반드시 있어야만 하는 필수적 요소이며, 데이터 아키텍쳐(data architecture)의 가장 중요한 요소이다. 데이터를 설계할 수 있는 ERD 관리부(300)를 기반으로 데이터 아키텍쳐 환경이 제대로 구축될 수 있으며, 이는 데이터 품질을 높이기 위해서도 반드시 필요하다.

ERD 관리부(300)는 업무 데이터베이스에 데이터를 저장하는 장소를 설계하고, 현행 데이터 딕셔너리를 이용하여 ERD(Entity-Relationship Diagram) 모델의 구조를 생성하며 SQL(Structured Query Language) 분석을 통해 엔터티 관계(Entity-Relationship)를 생성한다.

또한, ERD 관리부(300)는 현행 데이터 딕셔너리(dictionary)를 이용하여 ERD 모델의 구조를 생성하며 SQL(Structured Query Language) 분석을 통해 엔터티 관계(Entity-Relationship)를 생성한다(리버스 ERD 생성).

또한, ERD 관리부(300)는 케이스(Computer-Aided Software Engineering) 툴을 이용하여 ERD 모델을 설계하고, ERD 모델을 설계할 때 업무 식별자, 중복 속성, 추출 속성, 배타 속성 및 배타 관계 등을 관리하며 개인정보 보호대상 속성을 관리하여 해당 개인정보 보호대상 속성이 속한 엔터티를 다른 데이터베이스로 이관한다.

또한, ERD 관리부(300)는 케이스 툴을 사용하여 모델 설계를 할 때, 속성을 단어 별로 띄어쓰기하여 등록하면 표준 단어에 대한 검증을 하여 비표준일 경우 바로 표준 단어로 등록하며, 나아가 표준 용어로 신청되도록 한다.

또한, ERD 관리부(300)는 에즈 이즈 데이터나 운영계 정보를 투비 데이터이나 정보계 정보로 매핑하여 데이터 이동에 따른 추적이 가능하도록 하며, 이를 바탕으로 이행 SQL을 생성한다.

또한, ERD 관리부(300)는 데이터 주제영역과는 별도로 데이터 성격이나 데이터 묶음에 따라 데이터 맵(data map)을 관리하여 데이터 외부 공개 시 참조한다.

또한, ERD 관리부(300)는 ERD 모델에 대한 엔터티나 속성, 코드를 선택하여 데이터베이스에 저장된 데이터를 조회하여 데이터 값을 확인한다.

또한, ERD 관리부(300)는 운영 중인 데이터베이스에서 SQL을 추출하여 조인 구문을 분석하여 데이터 테이블 간의 관계를 도출하고, 데이터 테이블 간의 관계에 대한 ERD 모델의 구조를 생성할 때 관계선으로 표현하며, 다른 관계선과의 구분을 위해 점선으로 관리한다.

이와 같은 ERD 관리부(300)는 아래와 같은 서비스를 제공할 수 있다.

a) 모델 설계: 데이터가 저장되는 건축구조인 모델(ERD)을 설계하는 도구

b) 모델 저장소(repository)(데이터 저장부(100)): 개념, 논리, 물리 모델 등의 모델 구조를 데이터 저장부(100)에 저장하고 통합 관리하여 메타 데이터 관리부나 DQ 관리부(400)와 연동하여 사용

c) 주제영역: 데이터의 그룹을 묶어 관리하는 영역으로, 데이터를 정확히 찾도록 하는 지도인 데이터 맵(data map)과 연계하여 빅 데이터 활용 등 외부 데이터 제공

d) 표준화 검증: 모델 저장소인 데이터 저장부(100)와 메타 데이터 관리부(200)를 연동하여 비표준 요소 추출

e) 리버스 모델 생성: 현행 데이터 딕셔너리를 사용하여 모델 구조를 생성하고 SQL 분석을 통해 엔터티의 관계 생성

f) 암호화: 암호화하여 관리해야 하는 컬럼을 지정하여 별도로 관리

g) 개인정보: 개인정보로 보호해야 하는 모델 속성을 관리하여 요건 충족시 별도의 데이터베이스에 보관하는 방법

h) 데이터 흐름 관리: 에즈 이즈(AS-IS) 정보를 투비(TO-BE) 모델에 활용하여 데이터 이행을 자동으로 수행하며 DW(Data Warehouse) 등의 데이터 흐름 관리

i) 자동 표준 등록: ERD 작도 시 표준 용어에 부합되면 자동 등록

j) 모델 데이터 조회: ERD 관리부(300)에서 해당 스키마에 저장된 데이터를 볼 수 있도록 ERD 관리부와 데이터 저장부(100)를 연동

4) DQ 관리부(400)

데이터의 설계도인 ERD에 의해 데이터 테이블이 생성되고, 데이터 테이블에 업무를 수행하며 획득한 수많은 데이터가 저장된다. 이렇게 저장된 데이터는 댐에 저장된 것과 같은 상태가 되며, 수질을 관리하지 않으면 마실 수 없는 물이 되듯이 데이터 품질을 관리하지 않으면 사용할 수 없는 데이터가 된다.

특히, 저품질의 데이터를 빅 데이터나 머신러닝, 인공지능 등에서 사용하면 구현의 의미가 없어진다. 원천 데이터 자체가 저품질이면 이를 활용한 데이터 분석이나 빅 데이터 활동은 신뢰할 수 없게 된다.

이러한 문제를 해결하기 위해 DQ 관리부(400)의 기능이 중요하다.

DQ 관리부(400)는 메타 데이터의 품질 위반을 검토하여 메타 데이터의 오류를 찾아내거나, ERD 모델(Entity-Relationship Diagram model)의 품질 위반을 검토하여 ERD 모델의 구조적 오류를 찾아낸다.

또한, DQ 관리부(400)는 데이터 모델에서 구조적으로 잘못 설계된 부분을 검토하는 방법으로, 지침에 따라 ERD 모델의 구조를 검토하여 검증을 유도한다.

또한, DQ 관리부(400)는 이음동의어, 동음이의어, 한 글자 단어 및 복합어를 이용하여 메타 데이터의 품질 위반을 검토하며, ERD 모델에 사용된 메타 데이터의 불일치 위반을 검토한다.

이와 같은 DQ 관리부(400)는 아래와 같은 서비스를 제공할 수 있다.

a) 업무규칙: 품질을 개선시킬 업무적 규칙을 등록하여 그에 해당하는 오류를 찾아 데이터 품질을 높이는 지표로 관리

b) 데이터 구조 품질 진단: ERD 설계 자체의 품질을 개선하는 활동으로 ERD 관리부와 연동하여 설계시에 관리하는 요소를 활용하여 개선사항을 자동으로 추출

c) 메타 데이터 품질: 표준으로 관리되는 메타 데이터 간의 오류나 비표준 요소를 찾아 수행하는 데이터 품질 개선 활동으로 메타 데이터 관리부와 연동

d) 데이터 값 품질: 데이터 값 자체의 품질을 개선하는 활동으로 날짜, 코드 등의 대상에 대해 주기적인 프로파일링을 통해 데이터 클린징

메타 데이터 관리부(200), ERD 관리부(300) 및 DQ 관리부(400)가 온전히 융합된 후에는 ERD 관리부(300)와 메타 데이터 관리부(200)를 응용하여 이행 관리부(500)를 구현할 수 있으며, ERD 관리부(500)를 응용하여 성능 관리부(600)를 구현할 수 있다.

5) 이행 관리부(600)

데이터 아키텍쳐 관리 시스템(1000)을 구축할 때 기존의 데이터를 향후에도 사용해야 한다면 데이터 이행이 필요하다. 이 경우 기존 데이터를 향후에도 사용 가능하도록 설계하는 것이 핵심 기능 중 하나이다.

데이터 이행이 필수적인 대부분의 프로젝트에서 사용될 수 있도록 하기 위해, 이행 관리부(500)는 에즈 이즈 데이터나 운영계 정보를 투비 데이터이나 정보계 정보로 매핑하여 데이터 이동에 따른 추적이 가능하도록 하며, 이를 바탕으로 이행 SQL을 생성하여 데이터 흐름을 관리한다.

이와 같은 이행 관리부(500)는 아래와 같은 서비스를 제공할 수 있다.

a) 엔터티 매핑 정의서 생성: ERD 관리부(300)에서 추출하여 엔터티에 대한 에즈 이즈(AS-IS)와 투비(TO-BE) 매핑 정의서 자동 생성

b) 속성 매핑 정의서 생성: ERD 관리부(300)에서 추출하여 속성에 대한 에즈 이즈(AS-IS)와 투 비(TO-BE) 매핑 정의서 자동 생성

c) 코드 매핑 정의서 생성: 코드 속성의 코드값에 대한 에즈 이즈(AS-IS)와 투 비(TO-BE) 매핑 정의서 자동 생성

d) 이행 SQL 생성: 매핑 정의서를 통해 이행 SQL 자동으로 생성

e) 데이터 흐름: 매핑 정의를 통해 에즈 이즈(AS-IS) 데이터와 투 비(TO-BE) 데이터의 데이터 흐름을 관리하며 업무계 데이터와 정보계 데이터의 데이터 흐름을 관리

6) 성능 관리부(600)

성능 관리부(600)는 상기 SQL 분석을 통해 인덱스를 추천하여 성능을 업그레이드한다. 즉, 성능 관리부(600)는 데이터 아키텍쳐를 구축할 때 항상 논의가 되는 인덱스(index)를 위주로 데이터베이스 튜닝까지 추가하여 실제로 데이터베이스 성능을 관리할 수 있다.

또한, 성능 관리부(600)는 시스템에서 사용 중인 SQL을 추출하여 조인 구문을 분석(parsing)해서 해당 테이블에 적절한 인덱스를 하며, 인덱스 생성 시 예상 플랜을 보여줘 성능 향상을 유도한다.

데이터 성능은 모델 구조와 직접적으로 연관되므로, 인덱스 관리는 ERD 관리부와 연동해야만 제대로 관리될 수 있다.

이와 같은 성능 관리부는 아래와 같은 서비스를 제공할 수 있다.

a) 인덱스 대상 관리: ERD 관리부(300)와 연동하여 데이터 모델에서 인덱스 생성 대상 추출

b) 유니크 인덱스 대상 관리: 데이터 모델의 업무 식별자에 대해 유니크 인덱스 생성 대상을 추출하거나 SQL 분석(parsing)을 통해 인덱스를 추천하여 성능 향상을 지원

c) 파티션 관리: 파티션 대상 테이블을 ERD 관리부(300)에서 관리하여 파티션 키를 추출하며, 정보계 시스템에서 특별히 파티션 관리

d) 성능 개선 대상 모델: 성능 개선이 필요한 SQL을 추출한 후 대상 테이블을 ERD 관리부(300)와 연관하여 추출

e) 인덱스 후보 추천: 활용 중인 SQL을 분석하여 인덱스 생성 대상 인덱스를 추천하며, 사전 반영한 후의 성능 지표를 보여주어 성능을 개선하도록 지원

도 3은 본 발명의 일 실시예에 따른 데이터 아키텍쳐 프레임워크의 개념을 도시한 개략도이다.

도 3을 참조하면, 데이터 아키텍쳐 프레임워크와 관련하여 EA(Enterprise Architecture, 10)에는 BA(Business Architenture), AA(Application Architecture), DA(Data Architecture), TA(Technical Architencture)가 있다. DA는 메타 데이터 관리부, ERD 관리부(300) 및 DQ 관리부(400)로 구현될 수 있으며, 각각 표준, 구조, 품질과 관련된다.

메타 데이터 관리부(200)는 데이터 표준화 지침서를 기반으로 하며, 표준 단어, 표준 도메인, 표준 용어, 표준 코드로 설계되며, 표준 관리(용어 승인)를 한다.

ERD 관리부(300)는 데이터 모델링 지침서를 기반으로 하며, 주제영역, 개념모델, 논리모델, 물리모델로 설계되며, 모델 관리(모델 검토)를 한다.

DQ 관리부(400)는 데이터 품질 지침서를 기반으로 하며, 표준 데이터 검증, 데이터 구조 검증, 데이터 값 검증으로 설계되며, 표준 관리(데이터 검토)를 한다.

이와 같은 DA는 OLAP(On-Line Analytical Processing), 빅 데이터(big data), 데이터 분석, AI(Artificial Intelligence) 등에 활용된다.

도 4는 본 발명의 일 실시예에 따른 데이터 아키텍쳐 솔루션의 구조를 나타낸 블록도이다.

도 4를 참조하면, 데이터 아키텍쳐 관리 시스템(1000)과 관련한 데이터 아키텍쳐 솔루션의 상세한 내용을 알 수 있다.

메타 데이터 데이터베이스(31), 모델 저장소 데이터베이스(32), 데이터 품질 데이터베이스(34) 및 이행 데이터 데이터베이스(37)는 하나의 데이터베이스에 속해 있는 각각의 스키마(schema)를 의미한다. 즉, 스키마에 존재하는 테이블은 도 5에 도시된 바와 같이 다른 스키마의 테이블과 관계선으로 연결될 수 있다.

메타 데이터 관리부(200)는 단어, 도메인, 용어, 코드 값, 모델 스키마를 메타 데이터 데이터베이스(31)에 저장한다.

메타 데이터 데이터베이스(31)와 모델 저장소 데이터베이스(32)에 저장된 데이터는 스키마 검증을 통해 DB(database, 33)에 저장되는 동시에 품질 검증을 통해 데이터 품질 데이터베이스(34)에 저장된다.

데이터 품질 데이터베이스(34)에 저장된 데이터는 ERD 관리부(300)를 통해 DDL(Data Description Language)로 변환된다. DB(33)에서 추출된 데이터도 DDL로 변환된다. DDL로 변환된 데이터는 이행 데이터 데이터베이스(37)에 저장된다.

ASIS DB(36)로부터 추출된 데이터는 ASIS REVERS MODEL(35)에 저장되고, ASIS REVERS MODEL(35)로부터 추출된 데이터는 ERD 관리부(300)와 이행 데이터 데이터베이스(37)에 저장된다.

도 5는 본 발명의 일 실시예에 따른 데이터 아키텍쳐 솔루션의 개념을 나타낸 블록도이다.

도 5를 참조하면, 데이터 아키텍쳐 솔루션의 스키마에 존재하는 테이블이 다른 스키마의 테이블과 관계선으로 연결될 수 있음을 나타내고 있다.

구체적으로, 도메인 유형(41), 주제 영역(42), 데이터 맵(43), 인포 타입(44), 표준 단어(45), TOBE 테이블(46), 테이블 매핑(47), ASIS 테이블(48), 용어단어 구성(49), 표준 용어(50), TOBE 컬럼(51), 컬럼 매핑(52), ASIS 컬럼(53), 업무 용어(54), 코드 인스턴스(55), 컬럼코드 매핑(56), ASIS 코드 인스턴스(57), 표준 단어(58), 메타 데이터 품질위반(59), TOBE 테이블(60), 데이터 구조 품질위반(61), 테이터 값 품질위반(62), TOBE 컬럼(63), 업무 규칙(64)의 테이블이 다른 스키마의 테이블과 관계선으로 연결되었으며, 서로 연결된 관계는 도 5에 도시된 바와 같이 쉽게 파악할 수 있다. 여기서, copy로 표시된 표준 단어(58), TOBE 테이블(60), TOBE 컬럼(63)의 테이블은 중복된 것임을 나타낸다.

전술한 본 발명의 실시예들은 이해를 돕기 위하여 도면에 도시된 실시예들을 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위에 의해 정해져야 할 것이다.

100 : 데이터 저장부 200 : 메타 데이터 관리부
300 : ERD 관리부 400 : DQ 관리부
500: 이행 관리부 600 : 성능 관리부
1000 : 데이터 아키텍쳐 관리 시스템

Claims

현행 데이터 딕셔너리에서 추출한 메타 데이터를 사전 표준화하며, 표준 데이터를 관리하는 메타 데이터(Meta data) 관리부;
업무 데이터베이스에 데이터를 저장하는 장소를 설계하고, 상기 현행 데이터 딕셔너리를 이용하여 ERD(Entity-Relationship Diagram) 모델의 구조를 생성하며 SQL(Structured Query Language) 분석을 통해 엔터티 관계(Entity-Relationship)를 생성하는 ERD 관리부;
상기 메타 데이터의 품질 위반을 검토하여 오류를 찾아내거나, 상기 ERD 모델(Entity-Relationship Diagram model)의 품질 위반을 검토하여 상기 ERD 모델의 구조적 오류를 찾아내는 DQ(Data Quality) 관리부; 및
상기 ERD 모델을 이용하여 에즈 이즈(AS-IS) 데이터를 투비(TO-BE) 데이터로 마이그레이션(migration)하고, 상기 ERD 관리부와 연동하여 반자동으로 매핑 정의서와 이행을 위한 SQL을 생성하는 이행 관리부;
상기 SQL 분석을 통해 인덱스를 추천하여 성능을 업그레이드하는 성능 관리부; 및
설정된 데이터 아키텍쳐 관리 시스템을 융합하기 위한 통합 모델에 상기 메타 데이터 관리부, 상기 ERD 관리부, 상기 DQ 관리부, 상기 이행 관리부 및 상기 성능 관리부로부터 수신한 데이터를 저장하는 데이터 저장부
를 포함하는 것을 특징으로 하는 데이터 아키텍쳐 관리 시스템.
제1항에 있어서,
상기 메타 데이터 관리부는 데이터 관리 원칙이나 지침을 변경하여 적용할 수 있도록 이슈가 되는 주요 특징을 환경 요소로 설정하여 솔루션을 변경 가능하도록 운영하는 것을 특징으로 하는 데이터 아키텍쳐 관리 시스템.
제1항에 있어서,
상기 메타 데이터 관리부는 상기 메타 데이터에 대한 구 표준과 신 표준을 구분하여 관리하고, 상기 ERD 모델이 구 표준인 경우 표준화를 수행하여 신 표준으로 변경하는 것을 특징으로 하는 데이터 아키텍쳐 관리 시스템.
제1항에 있어서,
상기 메타 데이터 관리부는 데이터 코드(data code)를 저장하고, 상기 데이터 코드의 코드 인스턴스(code instance)를 서로 비교하여 코드값의 중복율이 50~100% 발생하는 것을 선정하며, 코드명을 통해 유사성을 판단하여 코드의 통합여부를 판단하는 것을 특징으로 하는 데이터 아키텍쳐 관리 시스템.
제1항에 있어서,
상기 메타 데이터 관리부는 에즈 이즈 데이터의 컬럼을 단어로 분리하여 의미 파악을 하며, 한글명과의 매핑을 통해 사전 표준화를 지원하는 것을 특징으로 하는 데이터 아키텍쳐 관리 시스템.
제1항에 있어서,
상기 메타 데이터 관리부는 업무용어와 애플리케이션 화면 라벨과의 매핑을 통해 애플리케이션 화면에서 사용되는 업무용어에 해당되는 데이터 표준용어를 식별하여 연동 사용하는 것을 특징으로 하는 데이터 아키텍쳐 관리 시스템.
제1항에 있어서,
상기 ERD 관리부는 사용 중인 SQL(Structured Query Language)을 추출하여 조인 구문을 분석한 후 테이블 간의 관계를 도출하고 이를 ERD 리버스 엔지니어링할 때 관계선으로 표현하며, 일반 관계선과의 구분을 위해 점선으로 관리하는 것을 특징으로 하는 데이터 아키텍쳐 관리 시스템
제1항에 있어서,
상기 ERD 관리부는 케이스(Computer-Aided Software Engineering) 툴을 이용하여 ERD 모델을 설계하고, ERD 모델을 설계할 때 업무 식별자, 중복 속성, 추출 속성, 배타 속성 및 배타 관계 등을 관리하며 개인정보 보호대상 속성을 관리하여 해당 개인정보 보호대상 속성이 속한 엔터티를 다른 데이터 저장부로 이관하는 것을 특징으로 하는 데이터 아키텍쳐 관리 시스템.
제1항에 있어서,
상기 ERD 관리부는 CASE TOOL을 사용하여 모델 설계를 할 때, 속성을 단어 별로 띄어쓰기하여 등록하면 표준 단어에 대한 검증을 하여 비표준일 경우 바로 표준 단어로 등록하며, 나아가 표준 용어로 신청되도록 하는 것을 특징으로 하는 데이터 아키텍쳐 관리 시스템.
제1항에 있어서,
상기 이행 관리부는 에즈 이즈 데이터나 운영계 정보를 투비 데이터이나 정보계 정보로 매핑하여 데이터 이동에 따른 추적이 가능하도록 하며, 이를 바탕으로 이행 SQL을 반자동으로 생성하여 데이터 흐름을 관리하는 것을 특징으로 하는 데이터 아키텍쳐 관리 시스템.
제1항에 있어서,
상기 DQ 관리부는 데이터 모델에서 구조적으로 잘못 설계된 부분을 검토하는 방법으로, 지침에 따라 ERD 모델의 구조를 검토하여 검증을 유도하는 것을 특징으로 하는 데이터 아키텍쳐 관리 시스템.
제1항에 있어서,
상기 DQ 관리부는 단어의 이음동의어와 동음이의어, 한 글자 단어 및 복합어를 이용하여 상기 메타 데이터의 품질 위반을 검토하며, ERD 모델에 사용된 상기 메타 데이터의 불일치 위반을 검토하는 것을 특징으로 하는 데이터 아키텍쳐 관리 시스템.
제1항에 있어서,
상기 ERD 관리부는 데이터 주제영역과는 별도로 데이터 성격이나 데이터 묶음에 따라 데이터 맵(data map)을 관리하여 데이터 외부 공개 시 참조하는 것을 특징으로 하는 데이터 아키텍쳐 관리 시스템.
제1항에 있어서,
상기 ERD 관리부는 상기 ERD 모델에 대한 엔터티나 속성, 코드를 선택하여 데이터베이스에 저장된 데이터를 조회하여 데이터 값을 확인하는 것을 특징으로 하는 데이터 아키텍쳐 관리 시스템.
제1항에 있어서,
상기 성능 관리부는 시스템에서 사용 중인 SQL을 추출하여 조인 구문을 분석(parsing)해서 해당 테이블에 적절한 인덱스를 추천하며, 인덱스 생성 시 예상 플랜을 보여줘 성능 향상을 유도하는 것을 특징으로 하는 데이터 아키텍쳐 관리 시스템.