KR101595651B1 - 데이터 반영 방법 - Google Patents

Abstract

본 발명의 과제는, 재해시 대책으로서의 백업 시스템에 데이터 전송, 반영의 효율화를 도모하는 것을 목적으로 한다. 본 발명에서는, 전송처 시스템(51)에 있어서 데이터를 저장할 때, 데이터의 저장 처리를 병렬로 행하는 것을 실현한다. 실현 수단으로서, 디재스터 리커버리 (재해대책)를 실현한 시스템을 전제로 하여, 데이터의 저장 처리의 병렬화를 행한다.
보다 상세하게는, 본 발명에서는, 1트랜잭션과 같은 단위 데이터에 대해서, 그것을 구성하는 각 요소의 순서성을 나타내는 병렬 키를 사용하여, 그 순서성을 보증하여 병렬화된 반영 처리를 실행한다. 이 병렬 키란, 칼럼명에 대하여 소정 조건을 만족시키는 것을 동일한 병렬 키를 부여하고, 이것에 따라 제어를 행한다.

Description

데이터 반영 방법{THE METHOD OF REFLECTING DATA}

본 발명은, 송신된 데이터를, 데이터베이스에 반영시키기 위한 기술에 관한 것이다. 그중에서도 특히, 재해시 등에 대비해 백업으로서 관리되는 데이터베이스에의 데이터를 반영하는 기술에 관한 것이다.

현재, 데이터를 용장화해 두고 관리하는 것이 행해지고 있다. 예를 들어, 재해시에 기업이 업무를 속행하기 위해, 사업 계속 계획을 책정하고, 재해시에 사업을 계속 할 수 있도록, 평상시에 업무에서 사용하고 있는 데이터를 다른 장소에 퇴피하여 두고, 재해시에는 퇴피한 데이터를 사용함으로써 사업의 계속을 실현하는 계획이 존재한다. 데이터 전송 기술을 사용함으로써 평상시에 사용하고 있는 시스템의 데이터를, 다른 장소로 퇴피하는 것을 실현하고 있다.

특허문헌 1에서는, 재해시 전용의 백업 시스템의 보유 비용을 삭감하기 위한 기술이 개시되어 있다. 이를 위해서, 특허문헌 1의 백업 시스템은, 복수의 유저 시스템을 백업하기 위해 백업용 데이터베이스를 갖는 공용 서버 리소스 군의 공용 서버를 유저 시스템에 할당하는 우선도를 포함하는 관리 테이블이 저장된 서버 리소스 관리용 데이터베이스와, 관리 테이블에 기초하여, 공용 서버를 유저 시스템에 할당하기 위한 서버 할당용 시스템을 구비하고, 복수의 공용 서버는, 백업 시 이외도 복수의 유저 시스템에 의해 공동으로 이용되고, 백업 시에 있어서, 서버 할당용 시스템은, 관리 테이블의 우선도에 기초하여, 유저 시스템을 선정하여 공용 서버를 할당한다.

일본 특허 공개 제2005-234749호 공보

상기와 같은 백업에 있어서는, 근본이 되는 시스템으로부터 데이터를 송신(전송)하게 된다. 여기서, 현재의 데이터 전송 기술에서는, 전송처의 시스템에서 데이터를 저장할 때, 데이터의 저장 처리를 병렬로 행하고, 저장에 걸리는 처리시간을 효율화하는 수단은 확립되어 있지 않다. 특히, 특허문헌 1에서는, 리소스의 할당에 대해서는 고려되어 있으나, 그 때의 전송에 대해서는 고려되어 있지 않다. 본 발명에서는, 상기의 사정을 감안하여, 데이터 전송, 반영의 효율화를 도모하는 것을 목적으로 한다.

본 발명에서는, 전송처 시스템에 있어서 데이터를 저장할 때, 데이터의 저장 처리를 병렬로 행하는 것을 실현한다. 실현 수단으로서, 디재스터 리커버리(disaster recovery, 재해대책)를 실현한 시스템을 전제로 하여, 데이터의 저장 처리의 병렬화를 행한다.

보다 상세하게는, 본 발명에서는, 1트랜잭션과 같은 단위 데이터에 대해, 그것을 구성하는 각 요소의 순서성을 나타내는 병렬 키를 사용하여, 그 순서성을 보증하여 병렬화된 반영 처리를 실행한다. 이 병렬 키란, 칼럼명에 대하여 소정 조건을 만족하는 것을 동일한 병렬 키를 부여하고, 이것에 따라 제어를 행한다. 이 소정 조건으로서, 칼럼명 등이 동일한 것=그것들의 정보로 처리가 완결되는 것으로 한다.

본 발명에 따르면, 데이터의 반영을 효율화(고속화)하는 것이 가능하게 된다.

도 1은 본 발명의 일 실시 형태에서 사용되는 병렬 키 정의 파일을 나타내는 도면.
도 2는 본 발명의 일 실시 형태에 있어서의 조건 합치 확인 플로우를 나타내는 도면.
도 3은 본 발명의 일 실시 형태에 있어서의 병렬화 가부(可否)의 최종결정 플로우를 나타내는 도면.
도 4는 본 발명의 일 실시 형태에 있어서의 데이터 전송시의 처리 플로우를 나타내는 도면.
도 5는 본 발명의 일 실시 형태를 실행하는 시스템 구성예를 나타내는 도면.

이하, 본 발명의 일 실시 형태를, 금융 업무를 예로 들어 설명한다. 본 실시 형태에서는, 디재스터 리커버리(재해대책)나 데이터 백업, 복수 시스템으로부터 1개의 데이터베이스에의 데이터 집약 등의 관점에 있어서, 종래보다 데이터의 레플리케이션(replication, 복제)을 실현하는 제품이 소프트웨어 벤더로부터 공급되고 있다. 이들의 제품은, 특히 데이터 센터 간에 있어서 데이터의 레플리케이션을 행할 때에 사용된다.

종래 기술에 있어서는, 데이터의 레플리케이션을 행할 때, 전송원(元) 데이터 센터에서 작성된 데이터(갱신 정보)를, 데이터가 작성된 순번대로 축차(逐次)적으로, 전송처 데이터 센터로 전송하고 있었다. 또한, 전송처 데이터 센터에 있어서, 보내져 온 데이터를 영속화(데이터베이스에의 저장 등)할 때, 보내져 온 데이터를 보내져 온 순번대로 하나씩 영속화하고 있었다. 이 방법으로는, 데이터가 전송처 데이터 센터로 대량으로 보내져 왔다고 하더라도, 하나씩 영속화가 행해지기 때문에, 데이터 전송의 완료(모든 전송 데이터를 전송처 데이터 센터에서 영속화)까지에 시간이 걸린다.

따라서, 데이터의 영속화를 병렬로 처리하는 수단을 확립하고, 성능을 향상시키는 처리 방식을 실현한다. 데이터 영속화의 병렬 처리를 실현하기 위해, 「병렬 키」라고 하는 처리 방식에 기초한 데이터 병렬 반영 장치를 고안하였다. 본 장치에서는, 전송되어 온 데이터를 영속화할 때, 그 데이터를 병렬로 영속화해도 되는지를 판단한다. 병렬로 영속화 가능한 데이터는 병렬로 영속화하고, 병렬로 영속화할 수 없는 것은 축차 처리로 순차적으로, 데이터를 영속화한다.

예로서, 이하의 2개의 트랜잭션((1),(2))이 처리되었을 때, 어떻게 병렬 가부가 판정되는지를 나타낸다. 또한, 트랜잭션이란 시스템이 업무 처리를 행할 때의 처리의 단위이며, 1트랜잭션에 복수의 쿼리(데이터베이스 언어)가 포함된다. 또한, 본 장치가 영속화를 행하는 데이터의 단위는, 트랜잭션 단위이다.

이하의 예는, 전송처 시스템에 있어서의 데이터 병렬 반영 장치의 처리의 예이다. 또한, 시스템 구성예로서는, 도 5에 나타내는 것이다.

(1) 히타치 타로(칼럼 ACCOUNT_ID=100)의 계좌로부터 히타치 하나코(칼럼 ACCOUNT_ID=200)의 계좌로 1000엔을 이체한다.

(2) 히타치 타로(칼럼 ACCOUNT_ID=100)의 개인 정보에 있어서 주소를 변경한다.

(1) 히타치 타로의 계좌로부터 히타치 하나코의 계좌로 1000엔을 이체하는 트랜잭션 A

(1)의 트랜잭션 A를 처리할 때, 예로서 2개의 쿼리가 실행되는 것을 상정한다. 실행되는 쿼리는 이하와 같다.

(쿼리 1) 히타치 타로(칼럼 ACCOUNT_ID=100)의 계좌 정보를 갖는 표 ACCOUNT_TABLE에 있어서의 히타치 타로의 계좌 정보의 잔고로부터 1000을 감산한다.

(쿼리 2) 히타치 하나코(칼럼 ACCOUNT_ID=200)의 계좌 정보를 갖는 표 ACCOUNT_TABLE에 있어서의 히타치 하나코의 계좌 정보의 잔고에 1000을 가산한다.

상기의 트랜잭션 A를 도 2 조건 합치 확인 플로우에 적용한다.

도 2에 나타내는 조건 합치 확인 플로우의 202의 처리에 있어서, 도 1 병렬 키 정의 파일의 1014 「테이블명」을 확인하면, 도 1 병렬 키 정의 파일의 No1의 1014 「테이블명」에 있어서, 테이블명 ACCOUNT_TABLE과 합치하는 것을 확인할 수 있다. 그로 인해, 도 2 조건 합치 확인 플로우의 202의 처리 판정 결과는 「예」로 된다.

도 2의 조건 합치 확인 플로우의 203의 처리에 있어서, 도 1 병렬 키 정의 파일의 1013 「항목명」을 확인하면, 도 1 병렬 키 정의 파일의 No1의 1013 「항목명」에 있어서, 칼럼명 ACCOUNT_ID와 합치하는 것을 확인할 수 있다. 그로 인해, 도 2 조건 합치 확인 플로우의 203의 처리 판정 결과는 「예」로 된다.

도 2의 조건 합치 확인 플로우의 204의 처리에 있어서, 트랜잭션 A의 칼럼 ACCOUNT_ID의 값을 확인하면, 쿼리 1에서는 100이고, 쿼리 2에서는 200이기 때문에, 트랜잭션 A 중에서의 칼럼 ACCOUNT_ID의 값이 동일하지 않다. 그로 인해, 도 2 조건 합치 확인 플로우의 204의 처리 판정 결과는 「아니오」로 된다. 따라서, 트랜잭션 A에 도 2 조건 합치 확인 플로우를 적용한 경우, 병렬 키는 「Gr_OTHER」로 판정된다.

(2) 히타치 타로(칼럼 ACCOUNT_ID=100)의 개인 정보에 있어서 주소를 변경하는 트랜잭션 B

(2)의 트랜잭션 B를 처리할 때, 예로서 2개의 쿼리가 실행되는 것을 상정한다. 실행되는 쿼리는 이하와 같다.

(쿼리 1) 히타치 타로(칼럼 ACCOUNT_ID=100)의 개인 정보를 갖는 표 CUSTOMER_TABLE로부터 개인 정보를 취득한다.

(쿼리 2) 히타치 타로(칼럼 ACCOUNT_ID=100)의 개인 정보를 갖는 표 CUSTOMER_TABLE의 주소 정보에 대하여, 히타치 타로의 주소를 변경한다.

상기의 트랜잭션 B를 도 2의 조건 합치 확인 플로우에 적용한다. 도 2의 조건 합치 확인 플로우의 202의 처리에 있어서, 도 1의 병렬 키 정의 파일의 1014 「테이블명」을 확인하면, 도 1 병렬 키 정의 파일의 No2의 1014 「테이블명」에 있어서, 테이블명 CUSTOMER_TABLE과 합치하는 것을 확인할 수 있다. 그로 인해, 도 2의 조건 합치 확인 플로우의 202의 처리 판정 결과는 「예」로 된다.

도 2의 조건 합치 확인 플로우의 203의 처리에 있어서, 도 1 병렬 키 정의 파일의 1013 「항목명」을 확인하면, 도 1 병렬 키 정의 파일의 No2의 1013 「항목명」에 있어서, 칼럼명 ACCOUNT_ID와 합치하는 것을 확인할 수 있다. 그로 인해, 도 2의 조건 합치 확인 플로우의 203의 처리 판정 결과는 「예」로 된다.

도 2의 조건 합치 확인 플로우의 204의 처리에 있어서, 트랜잭션 B의 칼럼 ACCOUNT_ID의 값을 확인하면, 쿼리 1에서는 100이고, 쿼리 2에서도 100이기 때문에, 트랜잭션 B 중에서의 칼럼 ACCOUNT_ID의 값이 동일하다. 그로 인해, 도 2의 조건 합치 확인 플로우의 204의 처리 판정 결과는 「예」로 된다. 따라서, 트랜잭션 B에 도 2 조건 합치 확인 플로우를 적용한 경우, 병렬 키는 도 1의 병렬 키 정의 파일의 1012 「병렬 그룹명」의 No2에 있어서의 「Gr_B」로 된다.

상기의 트랜잭션 A 및 트랜잭션 B에 대한 도 2의 조건 합치 확인 플로우의 적용 결과로부터, 트랜잭션 A는 「병렬화 불가능」으로 되고, 트랜잭션 B는 「병렬화 가능」으로 된다. 그로 인해, 영속화 처리를 행할 때는, 트랜잭션 A와 트랜잭션 B는 병렬로 영속화 처리가 행해지게 된다.

이하, 도 4의 데이터 전송시의 처리 플로우에 따라, 본 실시 형태에서의 처리 전체의 흐름을 설명한다.

(이용자에 의한 병렬화 가부의 조건의 결정(병렬 키 정의 파일의 작성))

도 4의 402에 있어서, 이 처리 방식의 이용자는, 도 1의 병렬 키 정의 파일의 각 항목에 대해서, 병렬화 가능한 데이터의 조건/병렬화 불가능한 데이터의 조건을 정의한다. 병렬화 가부의 판단에 사용하는 확인 항목은, 「테이블명」「칼럼명」「지정한 칼럼의 값」이다.

도 1의 병렬 키 정의 파일의 1012 「병렬화 그룹명」은, 병렬화 가부를 정하는 조건을 일의(一意)로 특정하는 이름을 정의한다. 도 1의 병렬 키 정의 파일의 1013 「항목명」에는, 데이터를 일의로 결정하는 정보(회원 ID, 주식의 종목 ID 등)를 정의한다. 항목명은 1개만 정의하는 것이 가능하다. 도 1의 병렬 키 정의 파일의 1014 「테이블명」에는, 정의하는 조건이 대상으로 하는 데이터에 포함되는 테이블명을 정의한다. 테이블명은 복수 정의하는 것이 가능하다.

도 1의 병렬 키 정의 파일의 1015 「강제 축차 처리」에는, 강제 축차 처리(병렬화 불가능)인지를 지정하는 플래그를 정의한다.

(전송원 시스템(51)에 있어서의 전송처로의 갱신 정보의 전송)

도 4의 403에 있어서, 전송원 시스템(51)은, 전송원 시스템(51)의 데이터 베이스의 갱신 정보를 트랜잭션 단위로 전송처 시스템(52)으로 전송한다. 전송에는, 데이터를 전송하기 위한 장치를 이용하여 전송하는 것으로 된다. 데이터 전송을 위한 장치는, 벤더가 제공하는 것을 이용할 수 있다.

(전송처에 있어서의 전송되어 온 데이터의 판정)

도 4의 404에 있어서, 전송되어 온 데이터는, 도 2의 조건 합치 확인 플로우에 따라, 도 1 병렬 키 정의 파일의 어느 조건에 합치하는지 판단된다. 최종적으로 판단되는 결과는, 그룹명이 「Gr_OTHER」인지, 그 이외의 그룹명으로 되는지가 판단된다. 그룹명이 「Gr_OTHER」로 판단된 데이터는, 병렬화 불가능하게 된다. 「Gr_OTHER」 이외의 그룹명으로 판단된 데이터는, 그 그룹에 지정된 강제 축차 처리 플래그에 따른다. 「Gr_OTHER」는, 도 1 병렬 키 정의 파일에 반드시 존재할 필요가 있다. 또한 「Gr_OTHER」는, 병렬화 불가능을 나타내는 고정값이다.

도 2의 조건 합치 확인 플로우의 202는, 전송되어 온 데이터에 도 1의 병렬 키 정의 파일의 1014 「테이블명」에서 정의한 테이블명이 포함되는지를 판단한다. 도 2 조건 합치 확인 플로우의 203은, 전송되어 온 데이터에 도 1 병렬 키 정의 파일의 1013 「항목명」에서 정의한 칼럼명이 포함되는지를 판단한다. 도 2 조건 합치 확인 플로우 204는, 전송되어 온 데이터에 있어서 도 1의 병렬 키 정의 파일의 1013 「항목명」에서 정의한 칼럼의 값이, 전송되어 온 데이터 중에서 동일값인지를 판단한다. 전송되어 온 데이터에는, 동일한 칼럼명이 복수 존재하는 경우가 있다(쿼리가 복수 포함되는 경우 등). 복수 존재하고, 또한 도 1의 병렬 키 정의 파일의 1013에서 칼럼명이 정의되어 있었을 경우, 각 칼럼에 저장되어 있는 값을 본 처리 방식에서는 확인한다. 본 장치가 확인하는 내용으로서는, 전송되어 온 데이터에 있어서, 동일한 칼럼명의 값이 모두 동일한지 아닌지를 확인한다.

이 판정에 의해, 전송되어 온 데이터가 병렬화 가능인지 아닌지가 판정된다.

(전송처에 있어서의 영속화 처리의 병렬화 가부의 결정)

도 4의 405에 있어서의 처리를 설명한다. 도 4의 404까지에서 전송되어 온 데이터가 어느 조건(그룹명)에 해당하는지가 판단된다. 그룹명이 판단된 후, 그 그룹명에 있어서의 도 1 병렬 키 정의 파일의 1015 「강제 축차 처리」 플래그에서, 영속화 처리의 병렬화 가부의 최종적인 결정이 행해진다. 영속화 처리의 병렬화 가부의 최종적인 결정은, 도 3의 병렬화 가부의 최종 결정 플로우에 따른다.

도 1의 병렬 키 정의 파일의 1015 「강제 축차 처리」가 「예」인 경우, 도 3의 302에 따라, 영속화 처리의 병렬화는 불가능으로 판단된다. 즉, 「예」인 경우, 그 조건에 합치한 데이터는 그룹명 「Gr_OTHER」와 동일한 취급이 된다.

도 1의 병렬 키 정의 파일의 1015 「강제 축차 처리」가 「아니오」인 경우, 영속화 처리의 병렬화가 가능으로 판단된다.

(전송처에 있어서의 병렬화 가부의 결정 후의 처리)

도 4의 406에 있어서, 도 4의 405까지에서 결정된 전송되어 온 데이터의 영속화 처리의 병렬화 가부에 기초하여, 영속화 처리를 행한다.

전송되어 온 데이터가 그룹명 「Gr_OTHER」에 해당하는 경우, 그 데이터는 병렬화되지 않고, 「Gr_OTHER」에 해당하는 모든 데이터를 하나씩 순차 영속화해 간다.

그룹명 「Gr_OTHER」이외에 해당하는 데이터에 대해서는, 「Gr_OTHER」에 해당하는 데이터와 병렬하여 영속화가 행해진다.

51 : 전송원 시스템
52 : 전송처 시스템

Claims (3)

1. 전송원 시스템의 데이터를, 전송처 시스템에 반영시키기 위한 데이터 반영 방법으로서,
   상기 전송원 시스템에 있어서, 반영 대상의 데이터를 구성하는 각 요소에 대하여, 상기 각 요소의 병렬 처리의 가부를 판단하고,
   상기 전송원 시스템으로부터 상기 전송처 시스템에 대하여, 상기 판단 결과와 함께 상기 데이터를 전송하고,
   상기 전송처 시스템에 있어서, 상기 판단 결과에 기초하여, 상기 각 요소 중, 병렬 처리가 가능한 요소를 병렬화하고, 당해 전송처 시스템에 있어서의 데이터베이스에 반영시키는 것을 특징으로 하는, 데이터 반영 방법.
2. 제1항에 있어서,
   상기 데이터는, 금융 업무의 트랜잭션 데이터이고, 상기 요소는 당해 트랜잭션을 구성하는 처리 내용인 것을 특징으로 하는, 데이터 반영 방법.
3. 제1항 또는 제2항에 있어서,
   상기 각 요소의 병렬 처리의 가부는, 상기 데이터를 구성하는 각 요소에 포함되는 칼럼명에 대하여 소정의 조건을 만족시키는지 여부를 판단하는 것을 특징으로 하는, 데이터 반영 방법.

Images