KR101564639B1

KR101564639B1 - 데이터 처리 방법 및 장치

Info

Publication number: KR101564639B1
Application number: KR1020130050224A
Authority: KR
Inventors: 장진수; 김동경
Original assignee: 주식회사 엘지유플러스
Priority date: 2013-05-03
Filing date: 2013-05-03
Publication date: 2015-10-30
Also published as: KR20140131186A

Abstract

본 발명은 데이터 처리에 관한 것이다. 구체적으로, 본 발명은 서버에서 데이터를 처리하는 방법 및 이를 위한 장치에 있어서, 처리 이력 테이블을 이용하여 입력 데이터가 중복인지 여부를 판별하는 단계; 상기 입력 데이터가 중복이 아닌 경우 상기 입력 데이터를 작업 테이블에 삽입하는 단계를 포함하되, 상기 입력 데이터가 중복인지 여부는 상기 작업 테이블에 대해 프라이머리 키(primary key)를 설정함이 없이 상기 입력 데이터의 이름 및 상기 작업 테이블의 이름이 상기 처리 이력 테이블에 존재하는지 여부와 상기 입력 데이터의 이름 및 상기 작업 테이블의 이름이 상기 처리 이력 테이블에 존재하는 경우 상기 입력 데이터의 처리 상태가 성공인지 여부에 의해 결정되는 방법 및 이를 위한 장치에 관한 것이다.

Description

데이터 처리 방법 및 장치{A method and apparatus for processing data}

본 발명은 데이터 처리에 관한 것으로, 보다 구체적으로는 데이터베이스 관리 시스템에서 데이터 수집 처리의 정확도 향상을 위한 데이터 재처리 방법 및 이를 위한 장치에 관한 것이다.

데이터베이스에 있어서 프라이머리 키는 논리적으로 데이터를 고유하게 식별할 수 있도록 제약조건을 걸어두는 것인데, 제약조건에는 널(Null) 값을 가지지 못하는 것, 중복된 값이 허용되지 않는 것, 하나의 테이블에서는 하나의 프라이머리 키가 허용되는 것 등이 있다. 프라이머리 키는 보통 데이터베이스에서 데이터의 중복 입력을 방지하기 위해 사용된다.

프라이머리 키를 사용하는 경우 입력 데이터가 상기 예시된 제약조건에 부합하는지를 확인하는 절차가 필요할 수 있다. 따라서, 데이터 급격히 증가하는 경우 프라이머리 키 제약조건에 부합하는지 확인하기 위해 데이터 처리 시간이 지연될 수 있고, 입출력 부하가 증가될 수 있다. 또한, 데이터 처리 시간의 지연 및 입출력 부하 증가로 인해 데이터 누락이 발생할 수 있으며 데이터 정확도가 감소될 수 있다.

현재에는 데이터 누락이나 오류가 발생하는 경우 보통 사람이 매뉴얼로 재처리를 수행하므로 매우 비효율적이며 매뉴얼 처리로 인해 인력이 많이 투입될 수 있다. 따라서, 그에 따른 비용도 역시 증가될 수 있다.

따라서, 이러한 문제점들을 해결하기 위한 효율적인 데이터 처리 방법이 요구된다.

본 발명의 목적은 효율적으로 데이터를 처리하는 방법 및 장치를 제공하는 데 있다.

본 발명의 다른 목적은 데이터 처리 이력을 테이블화하여 처리 이력 테이블을 이용하여 데이터 중복을 방지하는 방법 및 장치를 제공하는 데 있다.

본 발명의 또 다른 목적은 데이터 오류 또는 누락 발생시 재처리를 실시간으로 자동화함으로써 정확도를 향상시키고 비용을 절감시키는 방법 및 장치를 제공하는 데 있다.

본 발명에서 이루고자 하는 기술적 과제들은 상기 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 양상으로, 서버에서 데이터를 처리하는 방법이 제공되며, 상기 방법은 처리 이력 테이블을 이용하여 입력 데이터가 중복인지 여부를 판별하는 단계; 상기 입력 데이터가 중복이 아닌 경우 상기 입력 데이터를 작업 테이블에 삽입하는 단계를 포함하되, 상기 입력 데이터가 중복인지 여부는 상기 작업 테이블에 대해 프라이머리 키(primary key)를 설정함이 없이 상기 입력 데이터의 이름 및 상기 작업 테이블의 이름이 상기 처리 이력 테이블에 존재하는지 여부와 상기 입력 데이터의 이름 및 상기 작업 테이블의 이름이 상기 처리 이력 테이블에 존재하는 경우 상기 입력 데이터의 처리 상태가 성공인지 여부에 의해 결정될 수 있다.

바람직하게는, 상기 입력 데이터는 동일한 시간 정보를 가지는 복수의 데이터가 병합되어 구성될 수 있다.

바람직하게는, 상기 방법은 상기 입력 데이터의 처리 결과를 처리 결과 테이블에 삽입하는 단계를 더 포함하며, 상기 처리 결과 테이블은 데이터 처리 시간 정보, 데이터 처리에 사용된 실행 파일 이름 정보, 실행 쿼리(query) 정보, 작업 테이블의 이름 정보, 작업 상태 정보 중 적어도 하나를 포함할 수 있다.

더욱 바람직하게는, 상기 처리 결과 테이블에서 상기 데이터 처리 시간 정보는 프라이머리 키로서 이용될 수 있다.

바람직하게는, 상기 방법은 상기 처리 결과 테이블에서 작업 상태가 실패인 경우가 있는지 주기적으로 검출하는 단계; 및 상기 처리 결과 테이블에서 작업 상태가 실패인 경우가 검출되는 경우 상기 입력 데이터의 재처리를 위해 생성된 재처리 데이터를 상기 작업 테이블에 삽입하는 단계를 더 포함할 수 있다.

더욱 바람직하게는, 상기 재처리 데이터는 재처리를 위한 데이터임을 나타내는 식별자를 포함할 수 있다.

본 발명의 다른 양상으로, 데이터를 처리하는 서버가 제공되며, 상기 서버는 데이터베이스; 및 프로세서를 포함하며, 상기 프로세서는 상기 데이터베이스에서 처리 이력 테이블을 이용하여 입력 데이터가 중복인지 여부를 판별하고, 상기 데이터베이스에서 상기 입력 데이터가 중복이 아닌 경우 상기 입력 데이터를 작업 테이블에 삽입하도록 구성되며, 상기 입력 데이터가 중복인지 여부는 상기 작업 테이블에 대해 프라이머리 키(primary key)를 설정함이 없이 상기 입력 데이터의 이름 및 상기 작업 테이블의 이름이 상기 처리 이력 테이블에 존재하는지 여부와 상기 입력 데이터의 이름 및 상기 작업 테이블의 이름이 상기 처리 이력 테이블에 존재하는 경우 상기 입력 데이터의 처리 상태가 성공인지 여부에 의해 결정될 수 있다.

바람직하게는, 상기 프로세서는 또한 상기 입력 데이터의 처리 결과를 처리 결과 테이블에 삽입하도록 구성되며, 상기 처리 결과 테이블은 데이터 처리 시간 정보, 데이터 처리에 사용된 실행 파일 이름 정보, 실행 쿼리(query) 정보, 작업 테이블의 이름 정보, 작업 상태 정보 중 적어도 하나를 포함할 수 있다.

바람직하게는, 상기 프로세서는 또한 상기 처리 결과 테이블에서 작업 상태가 실패인 경우가 있는지 주기적으로 검출하고, 상기 처리 결과 테이블에서 작업 상태가 실패인 경우가 검출되는 경우 상기 입력 데이터의 재처리를 위해 생성된 재처리 데이터를 상기 작업 테이블에 삽입하도록 구성될 수 있다.

본 발명의 또 다른 양상으로, 데이터 처리를 위한 서버로서 동작하는 컴퓨터에 의해 판독가능하고 실행가능한 프로그램 명령어들을 포함하는 컴퓨터 판독가능한 저장 매체가 제공되며, 상기 프로그램 명령어들은 상기 컴퓨터에 의해 실행될 때 처리 이력 테이블을 이용하여 입력 데이터가 중복인지 여부를 판별하는 것과, 상기 입력 데이터가 중복이 아닌 경우 상기 입력 데이터를 작업 테이블에 삽입하는 것을 포함하되, 상기 입력 데이터가 중복인지 여부는 상기 작업 테이블에 대해 프라이머리 키(primary key)를 설정함이 없이 상기 입력 데이터의 이름 및 상기 작업 테이블의 이름이 상기 처리 이력 테이블에 존재하는지 여부와 상기 입력 데이터의 이름 및 상기 작업 테이블의 이름이 상기 처리 이력 테이블에 존재하는 경우 상기 입력 데이터의 처리 상태가 성공인지 여부에 의해 결정되는 데이터 처리 동작을 상기 컴퓨터가 수행하게 할 수 있다.

바람직하게는, 상기 컴퓨터에 의해 수행되는 데이터 처리 동작은 상기 입력 데이터의 처리 결과를 처리 결과 테이블에 삽입하는 것을 더 포함하며, 상기 처리 결과 테이블은 데이터 처리 시간 정보, 데이터 처리에 사용된 실행 파일 이름 정보, 실행 쿼리(query) 정보, 작업 테이블의 이름 정보, 작업 상태 정보 중 적어도 하나를 포함할 수 있다.

바람직하게는, 상기 컴퓨터에 의해 수행되는 데이터 처리 동작은 상기 처리 결과 테이블에서 작업 상태가 실패인 경우가 있는지 주기적으로 검출하는 것과, 상기 처리 결과 테이블에서 작업 상태가 실패인 경우가 검출되는 경우 상기 입력 데이터의 재처리를 위해 생성된 재처리 데이터를 상기 작업 테이블에 삽입하는 것을 더 포함할 수 있다.

본 발명에 의하면, 효율적으로 데이터를 처리할 수 있다.

또한, 본 발명에 의하면, 작업 테이블에 대해 프라이머리 키를 이용하지 않고 데이터 중복을 방지할 수 있으므로 데이터 수집 속도가 향상되고 입출력 부하가 감소될 수 있다.

또한, 본 발명에 의하면, 데이터 누락 또는 오류 발생시에도 실시간으로 재처리를 자동화할 수 있으므로 데이터베이스 정확도가 향상될 수 있다.

또한, 본 발명에 의하면, 매뉴얼 재처리로 인한 인력 및 비용 낭비를 줄일 수 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

첨부 도면은 본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되며, 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 본 발명의 실시예에 따라 서버에서 데이터를 처리하는 방법을 예시한 것이다.
도 2는 본 발명의 실시예에 따른 데이터 처리 방법을 프로세스 측면에서 예시한 것이다.
도 3은 본 발명에 따라 데이터 삽입하기 전에 데이터 중복을 제거하는 방법의 순서도를 예시한 것이다.
도 4는 본 발명에 따른 데이터 재처리 방법의 순서도를 예시한 것이다.
도 5는 본 발명이 적용될 수 있는 서버를 예시한다.

본 발명은 본 발명은 데이터 처리에 관한 것이다. 보다 구체적으로는 데이터베이스 관리 시스템에서 데이터 수집 처리의 정확도 향상을 위한 데이터 재처리 방법 및 이를 위한 장치에 관한 것이다.

이하의 실시예들은 본 발명의 구성요소들과 특징들을 소정 형태로 결합한 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려될 수 있다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성할 수도 있다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다. 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략될 수 있다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니됨을 유의해야 한다. 본 발명의 사상은 첨부된 도면 외에 모든 변경, 균등물 내지 대체물에 까지도 확장되는 것으로 해석되어야 한다.

도 1은 본 발명의 실시예에 따라 서버에서 데이터를 처리하는 방법을 예시한 것이다. 본 발명에 따른 방법에서는 프라이머리 키(primary key) 제약조건에 따른 비효율성을 제거하기 위해 데이터가 입력될 작업 테이블에 대해 프라이머리 키가 설정되지 않을 수 있다. 만일 프라이머리 키가 이미 설정되어 있는 경우 이미 설정된 프라이머리 키는 본 발명에 따른 방법이 적용되기 전에 설정해제될 수 있다.

도 1을 참조하면, 적어도 하나의 입력 데이터(110, 112)가 적어도 하나의 외부 시스템으로부터 서버로 입력될 수 있다. 입력 데이터(110, 112)는 작업 테이블(120)에 삽입(insert)되기 전에 병합(merge)될 수 있다(S102). 예를 들어, 입력 데이터(110, 112)는 작업 테이블(120)에 삽입되기 전에 동일한 시간 정보를 가지는 데이터들끼리 병합될 수 있다. 복수의 데이터를 병합하여 삽입하는 경우, 데이터를 개별적으로 처리하는 것에 비해 입출력 부하를 줄일 수 있고 속도를 증가시킬 수 있다. 혹은, 도 1의 예에서 입력 데이터(110, 112)는 작업 테이블(120)에 삽입되기 전에 병합되지 않은 상태에서 그대로 작업 테이블(120)에 삽입될 수도 있다. 도 1의 예에서, 입력 데이터(110, 112)는 파일일 수 있지만, 다른 데이터 타입도 가능하다. 또한, 도 1의 예에서, 작업 테이블(120)은 입력 데이터(110, 112)가 삽입되는 데이터 테이블을 지칭할 수 있다.

S104 단계에서, 입력 데이터(110, 112)를 작업 테이블(120)에 삽입하기 전에, 데이터 정합성을 보장하기 위해 입력 데이터(110, 112)가 중복인지 여부를 판별할 수 있다. 앞서 언급된 바와 같이, 작업 테이블(120)에 대해 프라이머리 키가 설정되지 않았거나 설정해제되어 있으므로 프라이머리 키는 이용되지 않는다. 그 대신, 입력 데이터의 중복을 방지하기 위해 처리 이력 테이블(미도시)이 이용될 수 있다. 처리 이력 테이블은 작업 테이블(120)에 대해 데이터를 처리할 때마다 데이터 처리와 관련된 정보를 저장하기 위한 테이블을 지칭할 수 있다. 예를 들어, 처리 이력 테이블은 데이터 이름, 작업 테이블 이름, 작업 상태 등의 정보를 저장할 수 있다.

구체적으로, S104 단계에서, 서버는 입력 데이터의 중복을 방지하기 위해 서버는 입력 데이터의 이름과 작업 테이블의 이름이 처리 이력 테이블에 저장되어 있는지 여부를 확인(check)할 수 있다. 만일 입력 데이터 이름과 작업 테이블 이름이 처리 이력 테이블에 저장되어 있지 않은 경우 입력 데이터는 중복이 아닐 수 있다. 만일 입력 데이터 이름과 작업 테이블 이름이 처리 결과 테이블(130)에 저장되어 있는 경우, 서버는 입력 데이터의 작업 상태가 성공인지 실패인지 여부를 검사할 수 있다. 만일 입력 데이터의 작업 상태가 성공인 경우 입력 데이터가 성공적으로 삽입된 경우이므로 입력 데이터는 중복일 수 있다. 반면, 만일 입력 데이터의 처리 상태가 실패인 경우 입력 데이터는 아직 삽입되지 않은 것이므로 입력 데이터는 중복이 아닐 수 있다.

S104 단계에서, 입력 데이터가 중복이 아니라고 판별되는 경우 입력 데이터는 작업 테이블(120)에 삽입(insert)될 수 있다. 입력 데이터가 중복이라고 판별되는 경우 해당 입력 데이터에 대한 처리 절차는 종료된다.

S104 단계에서, 입력 데이터가 중복인지 여부의 판별은 데이터를 로드(load)하기 전에 수행되는 것이 바람직할 수 있다. 데이터를 로드한 후 중복인 것으로 판별되는 경우 데이터 입출력에 불필요한 부하를 줄 수 있기 때문이다.

S106 단계에서, 입력 데이터의 처리 결과를 처리 결과 테이블(130)에 저장할 수 있다. 처리 결과 테이블(130)은 데이터 처리가 수행된 후 그 처리 결과를 보관하기 위한 테이블을 지칭할 수 있다. 표 1은 처리 결과 테이블(130)의 일 예이다.

표 1에서, WORK_DAY는 데이터가 처리된 일시를 나타내는 정보이다. SEQ는 데이터 처리 일시가 초 단위에서 중복될 수 있으므로 데이터 일시를 나타내는 정보가 중복되는 경우 데이터 처리 시점을 추가로 구별하기 위한 일련번호를 나타내는 정보이다. SYS_NAME은 입력 데이터가 유래한 시스템의 이름을 나타내는 정보이다. BIN_NAME은 데이터 입력에 사용된 실행파일의 이름을 나타내는 정보이다. FUN_NAME은 데이터 입력에 사용된 함수 이름을 나타내는 정보이다. DB_NAME과 DB_CODE는 데이터베이스의 이름과 속성스트림을 나타내는 정보이다. SQL_ERROR는 SQL 오류 스트링을 포함하는 정보이다. SQL_QUERY는 데이터 입력에 사용된 쿼리(query)를 나타내는 정보이다. MDAY와 DDAY는 데이터 생성 시간과 데이터 처리 시간에 대한 요약 정보와 관련된 정보이다. TBL_NAME은 작업 테이블의 이름을 나타내는 정보이다. SUC_CNT와 FAI_CNT는 데이터 입력의 성공 및 실패 횟수에 대한 누적 통계를 나타내는 정보이다. STATUS는 처리 상태를 나타내는 정보로서, 예를 들어 입력 데이터 삽입이 성공인 경우 STATUS는 0(“OK”)의 값을 가지고, 입력 데이터 삽입이 실패인 경우 STATUS는 1(“NOK”)의 값을 가질 수 있다. 이외에도, 처리 결과 테이블(130)은 데이터 처리에 필요한 다른 정보를 포함할 수 있다.

또한, 데이터 타입이 VARCHAR2(..)인 경우 가변 문자형 변수를 나타내고 괄호 안의 숫자는 바이트 개수를 나타낼 수 있다. 데이터 타입 NUMBER(..)인 경우 숫자형 변수를 나타내고 괄호 안의 숫자는 숫자 개수를 나타낼 수 있다.

처리 결과 테이블(130)에서는 데이터 무결성을 보장하기 위해 프라이머리 키가 사용될 수 있다. 예를 들어, 처리 결과 테이블(130)에서 프라이머리 키는 데이터 처리 시간과 관련된 정보로 설정될 수 있다. 표 1의 예에서, WORK_DAY 만으로는 무결성을 보장하기 어려우므로 프라이머리 키는 (WORK_DAY, SEQ)가 결합된 정보로 설정될 수 있다.

S108 단계에서, 서버는 입력 데이터(110, 112) 삽입시 오류가 발생하는 경우 오류가 발생한 데이터에 대한 재처리(re-processing)를 위해 재처리용 데이터(140)를 생성할 수 있다. 재처리 데이터(140)는 원래의 입력 데이터와 구별하기 위해 재처리를 위한 데이터임을 나타내는 식별자를 자신의 이름에 포함할 수 있다. 예를 들어, 입력 데이터가 파일인 경우 서버는 재처리 데이터의 확장자를 “.bad”로 하여 재처리 데이터를 생성할 수 있다. 재처리를 위한 데이터임을 나타내는 식별자는 상기 예로만 제한되는 것은 아니며, 다른 방법들도 가능하다. 또한, 재처리 데이터(140)를 저장하기 위한 특정 저장 위치가 서버 내에서 제공될 수 있다. 이를 통해, 특정 저장 위치에 저장된 재처리 데이터(140)에 대한 일괄적인 재처리가 가능할 수 있다.

S110 단계에서, 서버는 처리 결과 테이블(130)에서 처리 상태가 실패인 경우가 있는지 검출하기 위해 처리 결과 테이블(130)의 상태를 주기적으로 검사할 수 있다. 예를 들어, 서버는 처리 결과 테이블(130)에서 STATUS 값이 1 또는 NOK 값을 가지는 경우가 있는지 여부를 주기적으로 검사할 수 있다. 만일 처리 결과 테이블(130)에서 처리 상태가 실패인 경우가 검출되는 경우 재처리가 필요할 수 있다. 이 경우, 서버는 생성된 재처리 데이터(140)를 이용한 재처리 절차를 요청할 수 있다(S110). 재처리 절차는 입력 데이터를 작업 테이블(120)에 삽입하는 프로세스(process)와 동일한 프로세스에 의해 수행될 수 있다.

S112 단계에서, 재처리 요청이 있는 경우 서버는 재처리 데이터(140)를 작업 테이블(120)에 삽입할 수 있다. 재처리 데이터(140)는 일괄적으로 재처리될 수 있다. 재처리하였지만 다시 오류가 발생하는 경우 이전 단계들을 반복할 수 있다. 일정한 횟수만큼 재처리를 반복하여도 계속 오류가 발생하는 경우 남은 재처리 데이터(140)는 삭제될 수 있다.

도 2는 본 발명의 실시예에 따른 데이터 처리 방법을 프로세스(process) 측면에서 예시한 것이다. 도 2에 예시된 바와 같이, 서버는 중복 제거 프로세스(210), 상태 검사 프로세스(220), 재처리 파일 생성 프로세스(230)를 포함할 수 있다. 도 2에서는 서버가 3개의 프로세스만을 포함하는 것으로 도시되어 있지만, 이들 프로세스 이외에도 다른 프로세스를 더 포함할 수 있다.

중복 제거 프로세스(210)는 입력 데이터(110, 122) 또는 재처리 데이터(140)가 중복인지 여부를 판별하기 위한 프로세스이다. 중복 제거 프로세스(210)는 처리 이력 테이블(미도시)에서 데이터 이름, 작업 테이블 이름, 작업 상태 등을 확인하여 입력 데이터(110, 122) 또는 재처리 데이터(140)가 중복인지 여부를 검사할 수 있다. 입출력 부하를 줄이기 위해 중복 제거 프로세스(210)는 입력 데이터(110, 122) 또는 재처리 데이터(140)가 로드(load)되기 전에 수행되는 것이 바람직하다. 입력 데이터(110, 112) 또는 재처리 데이터(140)가 중복이 아닌 경우 로드(load)되어 작업 테이블(120)에 삽입될 수 있다. 예를 들어, 중복 제거 프로세스(210)는 도 1의 S104 단계 또는 S112 단계에 해당하는 작업을 수행할 수 있다.

상태 검사 프로세스(220)는 처리 결과 테이블(130)에서 처리 상태가 실패인 경우를 검출하기 위해 처리 결과 테이블(130)의 상태를 주기적으로 검사하기 위한 프로세스이다. 예를 들어, 상태 검사 프로세스(220)는 처리 결과 테이블(130)에서 처리 상태가 NOK인 경우(예, STATUS 값이 1인 경우)를 검출하기 위해 주기적으로 처리 결과 테이블(130)의 상태를 검사할 수 있다. 만일 처리 결과 테이블(130)에서 처리 상태가 실패인 경우가 검출되는 경우 재처리를 필요로 하는 것이므로 상태 검사 프로세스(220)는 생성된 재처리 데이터(140)를 이용한 재처리 절차를 요청할 수 있다. 예를 들어, 상태 검사 프로세스(220)는 도 1의 S110 단계에 해당하는 작업을 수행할 수 있다.

재처리 파일 생성 프로세스(230)는 처리 실패한 데이터에 대한 재처리(re-processing)를 위해 재처리용 데이터(140)를 생성하기 위한 프로세스이다. 재처리 데이터(140)는 원래 입력 데이터와 구별하기 위해 재처리를 위한 데이터임을 나타내는 식별자를 자신의 이름에 포함할 수 있다. 예를 들어, 입력 데이터(110, 112)가 파일인 경우 서버는 재처리 데이터의 확장자를 “.bad”로 하여 재처리 데이터를 생성할 수 있다. 재처리를 위한 데이터임을 나타내는 식별자는 상기 예로만 제한되는 것은 아니며, 다른 방법들도 가능하다. 예를 들어, 재처리 파일 생성 프로세스(230)는 도 1의 S108 단계에 해당하는 작업을 수행할 수 있다.

도 3은 본 발명에 따라 데이터 삽입하기 전에 데이터 중복을 제거하는 방법(300)의 순서도를 예시한 것이다. 예를 들어, 사전 데이터 중복 제거 방법(300)은 도 1의 S104 단계에 대응될 수 있고, 중복 제거 프로세스(210)에 의해 수행될 수 있다.

S302 단계에서, 서버는 처리 이력 테이블을 이용하여 입력 데이터의 중복 여부를 판별할 수 있다. 앞서 언급된 바와 같이, 작업 테이블에 대해 프라이머리 키가 설정되지 않았거나 설정해제되어 있으므로 프라이머리 키는 이용되지 않고 처리 이력 테이블이 중복 여부 판별에 이용될 수 있다. 서버는 입력 데이터의 이름 및 작업 테이블의 이름이 처리 이력 테이블에 있는지 여부를 판별할 수 있다. 만일 입력 데이터의 이름 및 작업 테이블의 이름이 처리 결과 테이블에 저장되어 있는 경우 작업 상태가 성공인지 여부를 추가로 판별할 수 있다. 예를 들어, 입력 데이터의 이름 또는 작업 테이블의 이름이 처리 이력 테이블에 없는 경우이거나, 또는 처리 이력 테이블에서 입력 데이터의 처리 상태가 실패인 경우 중복이 아닐 수 있다. 반면, 입력 데이터의 이름 및 작업 테이블의 이름이 처리 이력 테이블에 저장되어 있고, 처리 결과 테이블에서 입력 데이터의 처리 상태가 성공인 경우 중복일 수 있다. 작업 테이블에 대해 프라이머리 키를 이용하지 않고 데이터 중복을 방지할 수 있으므로 데이터 수집 속도가 향상되고 입출력 부하가 감소될 수 있다.

S304 단계에서, 서버는 입력 데이터가 중복이 아닌 것으로 판별되는 경우 입력 데이터를 작업 테이블에 삽입할 수 있다.

도 4는 본 발명에 따른 데이터 재처리 방법(400)의 순서도를 예시한 것이다. 데이터 재처리 방법(400)은 도 3의 사전 중복 제거 방법(300)을 포함할 수 있다. 예를 들어, 데이터 재처리 방법(400)은 도 1의 절차에 대응될 수 있고, 중복 제거 프로세스(도 2의 210), 상태 검사 프로세스(도 2의 220), 및 재처리 파일 생성 프로세스(도 2의 230)에 의해 수행될 수 있다.

S302 단계와 S304 단계는 도 3에 대한 설명을 원용한다.

S406 단계에서, 서버는 입력 데이터의 처리 결과를 처리 결과 테이블에 저장할 수 있다. 처리 결과 테이블은 예를 들어 표 1에 예시된 정보들을 저장할 수 있다.

S408 단계에서, 서버는 처리 결과 테이블에서 처리 상태가 실패인 경우가 있는지 검출하기 위해 처리 결과 테이블의 상태를 주기적으로 검사할 수 있다.

S410 단계에서, 서버는 처리 결과 테이블에서 처리 상태가 실패인 경우가 검출되는 경우 이미 생성되어 있는 재처리 데이터를 이용한 재처리 절차를 요청할 수 있다.

S412 단계에서, 서버는 재처리 요청에 따라 재처리 데이터를 작업 테이블에 삽입할 수 있다.

데이터 재처리 방법(400)에 의하면, 데이터 누락 또는 오류 발생시에도 실시간으로 재처리를 자동화할 수 있으므로 데이터베이스 정확도가 향상될 수 있다. 또한, 매뉴얼 재처리로 인한 인력 및 비용 낭비를 줄일 수 있다.

도 5는 본 발명이 적용될 수 있는 서버를 예시한다.

도 5에 도시된 바와 같이, 본 발명이 적용될 수 있는 서버(510)는 프로세서(512), 메모리(514), 송수신 모듈(516), 및 데이터베이스(518)를 포함할 수 있다. 본 발명의 서버는 데이터베이스 서버로 지칭될 수 있다.

메모리(514)는 프로세서(512)와 연결되고 상기 설명된 방법들을 수행하기 위한 소프트웨어 프로그램 또는 명령어들 뿐만 아니라 프로세서(512)의 동작과 관련한 다양한 정보를 저장할 수 있다.

프로세서(512)는 메모리(514), 송수신 모듈(516) 및 데이터베이스(518)와 연결되고 이들을 제어한다. 구체적으로 프로세서(512)는 각각 메모리(514)에 저장된 소프트웨어 프로그램 또는 명령어들을 실행함으로써 본 발명의 실시예에 따른 방법들을 실행할 수 있다. 그리고 프로세서(512)는 송수신 모듈(516)을 통해 다른 서버 또는 단말과 신호를 송신 및/또는 수신할 수 있다.

데이터베이스(518)는 본 발명의 실시예에 따른 테이블들을 포함할 수 있다. 도 3에서 데이터베이스(518)가 하나만 도시되어 있지만, 복수의 데이터베이스가 포함될 수 있다.

전술된 실시예들 및 변형예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.

하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.

본 발명의 실시예들을 구현하는 명령어 및/또는 데이터를 포함하는 소프트웨어 모듈은 스크립트(script), 배치(batch), 또는 다른 실행가능한 파일들을 포함할 수 있다. 소프트웨어 모듈들은 디스크 드라이브와 같은 기계 판독가능한 또는 컴퓨터 판독가능한 저장 매체 상에 저장될 수 있다. 본 발명의 실시예에 따른 소프트웨어 모듈들을 저장하는 데 사용되는 저장 매체들은 플로피 디스크(floppy disk), 광학 디스크, DVD, CD-ROM, 마이크로드라이브, 광자기 디스크(magneto-optical disk)를 포함하는 임의의 유형의 디스크, ROM, RAM, EPROM, EEPROM, DRAM, VRAM, 플래쉬 메모리 디바이스, 자기적 또는 광학적 카드, 나노시스템(nanosystem)(분자 메모리 IC를 포함), 또는 명령어 및/또는 데이터를 저장하는 데 적합한 임의의 유형의 매체 등일 수 있다. 본 발명의 실시예에 따른 펌웨어나 하드웨어 모듈들을 저장하는 데 사용되는 저장 디바이스는 또한 반도체 기반의 메모리를 포함할 수 있으며, 이는 영구적으로, 탈착가능하게, 또는 원격으로 마이크로프로세서/메모리 시스템에 연결될 수 있다. 따라서, 상기 모듈들은 모듈의 기능들을 수행하는 컴퓨터 시스템을 구성하기 위해 컴퓨터 시스템 메모리 내에 저장될 수 있다. 다른 새롭고 다양한 유형의 컴퓨터 판독가능한 저장매체가 본 명세서에서 논의된 모듈들을 저장하는 데 사용될 수 있다. 게다가, 당해 기술분야의 통상의 기술자들은 기능들을 모듈들로 분리하는 것이 예시를 위한 목적이라는 것을 인식할 것이다. 대체가능한 실시예들은 다중 모듈들의 기능들을 단일 모듈로 병합할 수 있고, 또는 모듈들의 기능들을 대체가능하게 성분 분리할 수 있다. 예를 들어, 서브-모듈들을 호출하기 위한 소프트웨어 모듈들은 각 서브-모듈이 그것의 기능을 수행하고 제어를 직접적으로 다른 서브-모듈로 넘겨주도록 성분 분리될 수 있다.

본 발명의 실시예들을 구현하는 소프트웨어 모듈이 컴퓨터 판독가능한 저장 매체에 저장되는 경우, 프로세서(예를 들어, 마이크로 프로세서)에 의해 실행될 때 서버 또는 컴퓨터가 본 발명에 따른 방법들을 수행할 수 있게 하는 코드들 또는 명령어들로 구현될 수 있다.

이상에서 설명된 실시예들은 본 발명의 구성들과 특징들이 소정 형태로 결합된 것들이다. 각 구성 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성 또는 특징은 다른 구성이나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성하는 것도 가능하다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 안되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims

서버에서 데이터를 처리하는 방법에 있어서,
처리 결과 테이블을 이용하여 입력 데이터가 중복인지 여부를 판별하는 단계;
상기 입력 데이터가 중복이 아닌 경우 상기 입력 데이터를 작업 테이블에 삽입하는 단계를 포함하되,
상기 입력 데이터가 중복인지 여부는 상기 작업 테이블에 대해 프라이머리 키(primary key)를 설정함이 없이 상기 입력 데이터의 이름 및 상기 작업 테이블의 이름이 상기 처리 결과 테이블에 존재하는지 여부와 상기 입력 데이터의 이름 및 상기 작업 테이블의 이름이 상기 처리 결과 테이블에 존재하는 경우 상기 처리 결과 테이블에 저장된 상기 입력 데이터의 처리 상태가 성공인지 여부에 의해 결정되는, 데이터 처리 방법.
제1항에 있어서,
상기 입력 데이터는 동일한 시간 정보를 가지는 복수의 데이터가 병합되어 구성되는, 데이터 처리 방법.
제1항에 있어서,
상기 입력 데이터의 처리 결과를 상기 처리 결과 테이블에 삽입하는 단계를 더 포함하며,
상기 처리 결과 테이블은 데이터 처리 시간 정보, 데이터 처리에 사용된 실행 파일 이름 정보, 실행 쿼리(query) 정보, 작업 테이블의 이름 정보, 데이터 처리 상태 정보 중 적어도 하나를 포함하는, 데이터 처리 방법.
제3항에 있어서,
상기 처리 결과 테이블에서 상기 데이터 처리 시간 정보는 프라이머리 키로서 이용되는, 데이터 처리 방법.
제1항에 있어서,
상기 처리 결과 테이블에서 데이터 처리 상태가 실패인 경우가 있는지 주기적으로 검출하는 단계; 및
상기 처리 결과 테이블에서 데이터 처리 상태가 실패인 경우가 검출되는 경우 상기 입력 데이터의 재처리를 위해 생성된 재처리 데이터를 상기 작업 테이블에 삽입하는 단계를 더 포함하는, 데이터 처리 방법.
제5항에 있어서,
상기 재처리 데이터는 재처리를 위한 데이터임을 나타내는 식별자를 포함하는, 데이터 처리 방법.
데이터를 처리하는 서버에 있어서, 상기 서버는
데이터베이스; 및 프로세서를 포함하며, 상기 프로세서는
상기 데이터베이스에서 처리 결과 테이블을 이용하여 입력 데이터가 중복인지 여부를 판별하고,
상기 데이터베이스에서 상기 입력 데이터가 중복이 아닌 경우 상기 입력 데이터를 작업 테이블에 삽입하도록 구성되며,
상기 입력 데이터가 중복인지 여부는 상기 작업 테이블에 대해 프라이머리 키(primary key)를 설정함이 없이 상기 입력 데이터의 이름 및 상기 작업 테이블의 이름이 상기 처리 결과 테이블에 존재하는지 여부와 상기 입력 데이터의 이름 및 상기 작업 테이블의 이름이 상기 처리 결과 테이블에 존재하는 경우 상기 처리 결과 테이블에 저장된 상기 입력 데이터의 처리 상태가 성공인지 여부에 의해 결정되는, 서버.
제7항에 있어서,
상기 입력 데이터는 동일한 시간 정보를 가지는 복수의 데이터가 병합되어 구성되는, 서버.
제7항에 있어서,
상기 프로세서는 또한 상기 입력 데이터의 처리 결과를 상기 처리 결과 테이블에 삽입하도록 구성되며,
상기 처리 결과 테이블은 데이터 처리 시간 정보, 데이터 처리에 사용된 실행 파일 이름 정보, 실행 쿼리(query) 정보, 작업 테이블의 이름 정보, 데이터 처리 상태 정보 중 적어도 하나를 포함하는, 서버.
제9항에 있어서,
상기 처리 결과 테이블에서 상기 데이터 처리 시간 정보는 프라이머리 키로서 이용되는, 서버.
제7항에 있어서,
상기 프로세서는 또한 상기 처리 결과 테이블에서 데이터 처리 상태가 실패인 경우가 있는지 주기적으로 검출하고, 상기 처리 결과 테이블에서 데이터 처리 상태가 실패인 경우가 검출되는 경우 상기 입력 데이터의 재처리를 위해 생성된 재처리 데이터를 상기 작업 테이블에 삽입하도록 구성되는, 서버.
제11항에 있어서,
상기 재처리 데이터는 재처리를 위한 데이터임을 나타내는 식별자를 포함하는, 서버.
데이터 처리를 위한 서버로서 동작하는 컴퓨터에 의해 판독가능하고 실행가능한 프로그램 명령어들을 포함하는 컴퓨터 판독가능한 저장 매체로서, 상기 프로그램 명령어들은 상기 컴퓨터에 의해 실행될 때
처리 결과 테이블을 이용하여 입력 데이터가 중복인지 여부를 판별하는 것과,
상기 입력 데이터가 중복이 아닌 경우 상기 입력 데이터를 작업 테이블에 삽입하는 것을 포함하되,
상기 입력 데이터가 중복인지 여부는 상기 작업 테이블에 대해 프라이머리 키(primary key)를 설정함이 없이 상기 입력 데이터의 이름 및 상기 작업 테이블의 이름이 상기 처리 결과 테이블에 존재하는지 여부와 상기 입력 데이터의 이름 및 상기 작업 테이블의 이름이 상기 처리 결과 테이블에 존재하는 경우 상기 처리 결과 테이블에 저장된 상기 입력 데이터의 처리 상태가 성공인지 여부에 의해 결정되는 데이터 처리 동작을 상기 컴퓨터가 수행하게 하는, 컴퓨터 판독가능한 저장 매체.
제13항에 있어서,
상기 입력 데이터는 동일한 시간 정보를 가지는 복수의 데이터가 병합되어 구성되는, 컴퓨터 판독가능한 저장 매체.
제13항에 있어서,
상기 컴퓨터에 의해 수행되는 데이터 처리 동작은 상기 입력 데이터의 처리 결과를 상기 처리 결과 테이블에 삽입하는 것을 더 포함하며,
상기 처리 결과 테이블은 데이터 처리 시간 정보, 데이터 처리에 사용된 실행 파일 이름 정보, 실행 쿼리(query) 정보, 작업 테이블의 이름 정보, 데이터 처리 상태 정보 중 적어도 하나를 포함하는, 컴퓨터 판독가능한 저장 매체.
제15항에 있어서,
상기 처리 결과 테이블에서 상기 데이터 처리 시간 정보는 프라이머리 키로서 이용되는, 컴퓨터 판독가능한 저장 매체.
제13항에 있어서,
상기 컴퓨터에 의해 수행되는 데이터 처리 동작은 상기 처리 결과 테이블에서 데이터 처리 상태가 실패인 경우가 있는지 주기적으로 검출하는 것과,
상기 처리 결과 테이블에서 데이터 처리 상태가 실패인 경우가 검출되는 경우 상기 입력 데이터의 재처리를 위해 생성된 재처리 데이터를 상기 작업 테이블에 삽입하는 것을 더 포함하는, 컴퓨터 판독가능한 저장 매체.
제17항에 있어서,
상기 재처리 데이터는 재처리를 위한 데이터임을 나타내는 식별자를 포함하는, 컴퓨터 판독가능한 저장 매체.