KR20190023682A

KR20190023682A - 기업 업무 관련 소프트웨어에서의 이기종 시스템 간의 대용량 데이터변환 처리

Info

Publication number: KR20190023682A
Application number: KR1020170109823A
Authority: KR
Inventors: 최명철
Original assignee: 주식회사 영림원소프트랩
Priority date: 2017-08-30
Filing date: 2017-08-30
Publication date: 2019-03-08

Abstract

본 발명은 기업 업무 관련 소프트웨어에서의 이기종 시스템 간의 대용량 데이터변환 처리 방법에 관한다.
본 발명의 방법에 따르면, 전자장치가 이기종 연동 시스템의 데이터베이스에서 데이터 변환의 원천이 되는 소스 데이터를 조회하여 추출한다. 다음으로 데이터 추출 스키마로 데이터 변환에 사용하는 1개 이상의 임시 테이블을 생성하여 이 임시 테이블에 추출한 데이터를 벌크 인서트한다. 그리고 데이터변환 설정 프로그램에 의해 정의된 데이터변환 구문을 실행하여 1개 이상의 임시 테이블에서 타깃 테이블로 일괄 변환해서 미리 설정한 타깃 시스템으로 대용량 데이터를 저장하는 단계를 포함한다.

Description

기업 업무 관련 소프트웨어에서의 이기종 시스템 간의 대용량 데이터변환 처리{BULK DATA CONVERT PROCESSING METHOD BETWEEN HETEROGENEOUS SYSTEM IN ENTERPRISE SOFTWARE}

본 발명은 기업 업무 관련 소프트웨어의 데이터처리 기술에 관한 것이며, 특히 대용량 데이터를 신속하게 변환하여 처리할 수 있는 방법에 관한다.

기업의 업무 시스템이 진화하면서 시스템 간의 연동 업무가 빈번하게 발생한다. 또한 기업의 업무 변화에 따라 소프트웨어적인 요구 사항에 변화가 생기고, 그 결과 대용량 데이터의 변환 작업도 빈번하게 요구된다. 이러한 데이터 변환 작업에는 숙련된 소프트웨어 개발자의 수정개발 이슈에 투자되는 고도의 집중된 노력이 필요하며, 이는 항상 시간이 소요되게 마련이고, 또한 추가적인 비용 발생을 낳는다. 이런 숙련된 개발자의 시간과 비용으로 말미암아 기업의 요구에 따른 신속한 시스템 구축이 지체되고, 비즈니스 환경 대응력이 저하되는 문제점이 초래되었다.

종래의 데이터 변환 기술은 코드 기반으로 행해지기 때문에 기능 구현이 어렵고, 변환구조가 복잡하며 또 그럴수록 처리속도가 저하되는 단점이 있었다. 또한 다양한 원천 소스의 복합 조인 기능 구현, 복잡한 조건문, Sub Query 기능 등의 구현이 어렵고 이로 인해 데이터 처리의 프로세스가 또한 복잡했다. 그렇기 때문에 종래기술에서는 복잡한 데이터 변환 작업이 쉽지 않고, 숙련된 전문 개발자가 프로젝트에 투입돼야 했는데, 그러면 그럴수록 개발자의 프로그래밍 스킬과 수준에 따라 완성된 시스템의 기능 품질에 아주 심각한 편차가 생겼다. 이런 편차를 줄이기 위해서는 다시 악순환으로 개발기간이 오래 걸리고 프로젝트 비용이 증가하고 만다. 또 그런 이유로 기업 관련 소프트웨어 시스템 구축 작업이 비즈니스 환경에 효과적으로 대응하지 못하게 된다.

본 발명의 발명자는 이러한 악순환의 문제점을 해결하기 위해서 연구 노력한 끝에 본 발명을 완성하기에 이르렀다.

한편, 대한민국 공개특허 제2014-0070151호는 구조화 질의어 기반의 동적 비즈니스 서비스 구현 방법을 제안하면서 단위 비즈니스 업무의 기능을 단계별로 SQL(Structure Query Language) 문장으로 작성해서 조합된 일괄처리 SQL 문장을 데이터베이스에서 일괄처리하는 기술을 제안한 바 있다. 이 기술은 기업 업무의 동일한 시스템 내에서 Work Flow 엔진 관점에서 데이터 처리(데이터 입력, 수정, 삭제, 조회 등)를 위한 SQL 구문에 관한 기술인데, 본 발명자가 동일한 시스템에서의 데이터 처리를 고심하는 것이 아니라, 기업 업무 시스템의 변화에 따르는 다른 시스템 간의 연동이며 이러한 타 시스템 연동에 수반되는 데이터 변환에 대해서 고뇌하는 것이다.

본 발명의 목적은 이기종 시스템 간의 데이터변환을 해야 하는 경우, 대용량 데이터변환 처리를 신속하게 수행할 수 있는 소프트웨어 방법을 제공함에 있다. 본 발명은 데이터변환을 위한 설정도구를 제공한다. 이 도구를 사용해서 간단한 설정만으로 타깃 데이터베이스에서 SQL 문장을 패턴 기반으로 재사용함으로써, 개발자들의 부하를 줄여 개발생산성을 높이려는 것인데, 그러려면 재사용성을 획기적으로 높일만한 데이터 연동 방식이 필요하다.

그러므로 이런 필요성에 대응해서 패턴 기반으로 데이터 연동 작업을 수행하는 것이 본 발명의 다른 목적이라 하겠다. 본 발명은 패턴 기반으로 데이터 연동 작업을 함으로써, 기존의 스크립트 방식과 웹 서비스 방식과 비교해서, Readability 를 높이고, 재사용성을 향상시키며 오류 발생률을 최소화한다. 또한 오류가 발생하더라도 유지보수가 용이하고 관리가 쉽도록 의도되어 있다. 최종적으로는 본 발명은 개발자가 아니어도, 컨설턴트나 시스템 관리자 선에서 쉽게 패턴 기반 데이터 연동 작업을 변경할 수 있도록 한다.

한편, 본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 것이다.

위와 같은 목적을 달성하기 위하여 본 발명은 기업 업무 관련 소프트웨어에서의 이기종 시스템 간의 대용량 데이터변환 처리 방법으로서,

전자장치가 이기종 연동 시스템의 데이터베이스에서 데이터 변환의 원천이 되는 소스 데이터를 조회하여 추출한 다음에,

데이터 추출 스키마로 데이터 변환에 사용하는 1개 이상의 임시 테이블을 생성하여 이 임시 테이블에 추출한 데이터를 인서트하고, 데이터변환 설정 프로그램에 의해 정의된 데이터변환 구문을 실행하여 1개 이상의 임시 테이블에서 타깃 테이블로 일괄 변환해서 미리 설정한 타깃 시스템으로 대용량 데이터를 저장하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 바람직한 일 실시예 따른 방법에 있어서, 상기 임시 테이블로 데이터를 인서트하는 프로세스는 대용량 데이터를 동시에 인서트하는 벌크 인서트로 실행되도록 하는 것이 좋다.

또한, 본 발명의 바람직한 일 실시예 따른 방법에 있어서, 상기 데이터변환 구문은 다양한 SQL 구문을 사용한다.

이와 같은 과제해결수단에 따르면 제1 시스템에 저장되어 있는 데이터를 업무 니즈의 변화에 따라 이기종 시스템인 제2 시스템으로 변환하여 시스템 구축을 함에 있어서 개발생산성과 재사용성이 향상되어 시스템 구축의 프로젝트 기간과 비용을 경감할 수 있는 장점이 있다.

한편, 여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급됨을 첨언한다.

도 1은 본 발명의 전체적인 시스템 구성 예를 개념적으로 나타내는 도면이다.
도 2는 본 발명의 바람직한 어느 실시예에 따른 데이터 변환 방법에 관해서 외부의 수주 관련 업무 데이터에 관해서 적용한 데이터변환 시나리오 도면이다.
도 3은 도 2에서 본 발명의 임시 테이블과 타깃 테이블의 관계를 나타내는 도면이다.
※ 첨부된 도면은 본 발명의 기술사상에 대한 이해를 위하여 참조로서 예시된 것임을 밝히며, 그것에 의해 본 발명의 권리범위가 제한되지는 아니한다.

이하, 도면을 참조하여 본 발명의 다양한 실시예가 안내하는 본 발명의 구성과 그 구성으로부터 비롯되는 효과에 대해 살펴본다. 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

도 1은 본 발명의 바람직한 어느 실시예에 따른 컴퓨터 시스템 구성 예를 개념적으로 나타내었다.

전자장치(1)는 서버 측의 컴퓨터 단말로 이해될 수도 있다. 이 전자장치(1)는 프로세서 유닛, 시스템 메모리, 유선 혹은 무선 통신을 지원하는 통신 모듈을 포함할 수 있다. 메모리에는 다수의 프로그램 코드와 데이터를 저장하는 기능을 제공한다. 다수의 프로그램 모듈은 운영 체제, 하나 이상의 애플리케이션 프로그램, 기타 프로그램 모듈 등이 포함되며, 기업 업무 관련 소프트웨어가 설치되어 있다. 본 발명의 방법을 지원하는 기업 업무 관련 소프트웨어는 EIS(Executive Information System), ERP(Enterprise Resource Planning), BI(Business Intelligence) 등의 각종 프로그램으로 이해될 수 있겠지만, 본 발명에서는 특히 이하에서 설명하는 기능을 실행하는 데이터변환 설정 프로그램 코드가 구성되어 있다.

본 발명에서 전자장치(1)의 프로세서 유닛에 의해 실행되어 프로세서 유닛으로 하여금 이기종 시스템 간의 대용량 데이터변환 처리를 실행하는 컴퓨터 실행가능 명령어들을 저장하는 컴퓨터 판독가능 기록매체가 메모리에 포함된다.

본 발명에서 데이터가 상주하는 시스템은 개념적으로 두 개의 시스템으로 분류될 수 있다. 또한 이들 시스템은 소프트웨어 기반의 데이터 관리 시스템으로 이해될 수 있다. 제 1 시스템은 이기종 연동시스템(100)이다. 서로 다른 다양한 시스템으로는 오라클, SQL 서버, Excel, text 등이 있다. 제 2 시스템은 타깃 시스템(200)이다. 제 1 시스템에서 데이터를 조회하여 추출하고, 이것을 일련의 데이터 변환 프로세스를 거친 후에 제 2 시스템으로 저장한다.

이기종 연동 시스템(100)은 데이터를 미리 정한 테이블로 저장하고 있는 데이터베이스(110)가 있다. 이 데이터베이스(110)에서 데이터 변환의 원천이 되는 하나 이상의 소스 데이터를 조회하여 데이터 추출(10)을 실행한다. 그런 다음에 데이터 추출 스키마로부터 1개 이상의 임시 테이블을 생성해서 데이터변환 설정 프로그램에 의해 정의된 데이터변환 구문을 실행해서 타깃 테이블로 일괄 변환하는 데이터변환(20)을 실행한다. 그리고 그 타깃 테이블을 타깃 시스템의 데이터베이스(200)에 저장함으로써 데이터변환 처리를 완료한다.

도 1은 본 발명의 데이터변환 설정 프로그램이 데이터 추출 모듈 및 데이터변환 모듈을 포함함을 나타낸다. 임시 테이블 생성 모듈, 생성된 임시 테이블에 추출한 데이터를 인서트 하는 모듈, 데이터변환 구문을 실행하는 모듈, 타킷 테이블을 생성해서 저장하는 모듈이 또한 포함된다.

예를 들어서 본 발명에 따른 데이터변환 시나리오에 대해서 설명해 보자. 도 2의 예제를 참조한다. 마찬가지로 이기종 연동 시스템(101), 데이터 추출(11), 데이터변환처리(21) 및 타깃 시스템(201) 순서로 데이터 변환 프로세스가 행해진다.

도 2에 나타난 바와 같이, 이기종 연동 시스템(101)에는 기업 업무 관련하여 업무 데이터베이스(110a)가 존재한다. 이 업무 데이터베이스(110a)에는 수주 마스트(111), 수주 디테일(112), 거래 명세서(113) 등의 소스 데이터가 상주해 있다. 실무적으로 데이터변환에 사용되는 테이블은 일반적으로 2개의 테이블을 조인하여 변환하는 경우가 많기 때문에, 예제에서 데이터 추출은 수주 마스트 추출(S10), 수주 디테일 추출(S11)로 행해졌다.

추출된 데이터는 서버의 메모리에 존재하며 이것을 데이터 변환하려면 물리적으로 데이터베이스 테이블에 인서트 되어야 한다. 본 발명에서는 데이터변환을 위하여 수주 마스트 및 수주 디테일에 각각 대응하는 임시 테이블을 생성한다. 각각 아래와 같다.

CREATE TABLE #_TSLOrder(...)

CREATE TABLE #_TSLOrderDetail(...)

위와 같이 수주마스트 임시 테이블을 생성하고(S20), 수주 디테일 임시 테이블을 생성한 다음에(S21), 추출한 데이터를 각각 인서트한다. 여기에서 벌크 인서트를 실행하여 일괄 인서트하는데, 이렇게 함으로써 대량의 데이터를 동시에 인서트해서 빠른 속도로 데이터 변환을 이뤄낼 수 있다.

도 3은 S20 및 S21 단계에서 생성된 임시 테이블(25, 26)의 예를 나타내었다. 수주 마스트 임시 테이블(25)에는 수주 마스트 추출 데이터로서 수주번호(OrderSeq), 수주일자(OrderDate), 거래처(CustSeq), 거래처명(CustName), 사원(EmpSeq), 사원명(EmpName)이 기록되어 있다. 수주 디테일 임시 테이블(6)에는 수주 디테일 추출 데이터로서 수주번호(OrderSeq), 품목(ITemSeq), 품목명(ITemName), 스펙(Spec), 수량(Qty), 단가(Cost), 금액(Amt), 비고(Remark)가 기록되어 있다.

이런 두 개의 임시테이블을 하나로 조인하기 위해서 데이터 변환 설정 프로그램에 의해 정의된 SQL 구문을 실행하여 임시 테이블에서 타깃 테이블로 일괄 데이터 입력을 실행한다(S25). 이러한 데이터변환 SQL 문장 실행의 예제는 아래와 같다.

그러면 도 3의 수주월간집계테이블(205)와 같이 타깃 테이블이 생성되고(S200), 이렇게 변환된 데이터를 타깃 테이블의 형식으로 타깃 시스템(201)에 저장한다.

위와 같이 임시 테이블로의 벌크 인서트 및 임시 테이블에 기록된 데이터에 대한 SQL 문장 일괄 실행을 통해서 빠른 처리 속도를 구현할 수 있다.

본 발명의 데이터변환 프로그램은 다양한 SQL 구문을 사용할 수 있다. Group By, Min, Max, 계산 Column(Qty*Cost), Sub Query 등 다양한 SQL 구문을 사용하도록 지원해서 데이터 변환을 처리한다. 이처럼 본 발명은 SQL 스크립트 조합에 의해 데이터 변환을 처리하여 임시 테이블에서 타깃 테이블로 일괄 데이터 입력을 행함으로써 신속하고 생산적으로 시스템 구현을 할 수 있다.

관리자의 관점에서는 살펴본다면 이러하다. 데이터변환에 필요한 SQL 구문은 패턴화되어 표현되어 있다. 전자장치는 연동 시스템에 접속하여 외부의 데이터에 접근하는 요소, 그런 다음에 외부 시스템의 데이터베이스에서 데이터를 조회해서 선택하는 요소, 1개 이상의 임시 테이블을 생성하여 데이터 입력을 실행하는 요소, 생성된 임시 테이블로 타깃 테이블로 변환하는 요소, 이것을 다른 시스템(타깃 시스템)에 저장하는 요소를 미리 정해진 기업 소프트웨어의 화면 구조에 따라 실행하면, 전자장치의 프로세서 유닛은 데이터변환 설정 프로그램의 패턴화된 SQL 구문을 이용하여 일괄 변환을 실행한다.

참고로, 본 발명의 일 실시예에 따른 기업 업무 관련 소프트웨어에서의 이기종 시스템 간의 대용량 데이터변환 처리 방법은, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독가능매체에 기록될 수 있다. 상기 컴퓨터 판독가능매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독가능매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체, 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급언어코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.

본 발명의 보호범위가 이상에서 명시적으로 설명한 실시예의 기재와 표현에 제한되는 것은 아니다. 또한, 본 발명이 속하는 기술분야에서 자명한 변경이나 치환으로 말미암아 본 발명이 보호범위가 제한될 수도 없음을 다시 한 번 첨언한다.

Claims

기업 업무 관련 소프트웨어에서의 이기종 시스템 간의 대용량 데이터변환 처리 방법으로서,
전자장치가 이기종 연동 시스템의 데이터베이스에서 데이터 변환의 원천이 되는 소스 데이터를 조회하여 추출한 다음에,
데이터 추출 스키마로 데이터 변환에 사용하는 1개 이상의 임시 테이블을 생성하여 이 임시 테이블에 추출한 데이터를 인서트하고, 데이터변환 설정 프로그램에 의해 정의된 데이터변환 구문을 실행하여 1개 이상의 임시 테이블에서 타깃 테이블로 일괄 변환해서 미리 설정한 타깃 시스템으로 대용량 데이터를 저장하는 단계를 포함하는, 기업 업무 관련 소프트웨어에서의 이기종 시스템 간의 대용량 데이터변환 처리 방법.
제1항에 있어서,
상기 임시 테이블로 데이터를 인서트하는 프로세스는 대용량 데이터를 동시에 인서트하는 벌크 인서트로 실행되는 것인, 기업 업무 관련 소프트웨어에서의 이기종 시스템 간의 대용량 데이터변환 처리 방법.
제1항에 있어서,
상기 데이터변환 구문은 다양한 SQL 구문을 사용하는 것인, 기업 업무 관련 소프트웨어에서의 이기종 시스템 간의 대용량 데이터변환 처리 방법.