KR100751075B1 - Ｎａｓ 상에서 병렬 전송 기술을 이용한 원격 미러링시스템 - Google Patents

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야

NAS 상에서 병렬 전송 기술을 이용한 원격 미러링 시스템에 관한 것임.

2. 발명이 해결하려고 하는 기술적 과제

병렬 전송 기술을 이용하여 데이터를 전송함으로써 네트워크 자원 활용의 효율성 증대와 시간 등의 비용 소모를 개선한 미러링 시스템을 제공하는데 그 목적이 있음.

3. 발명의 해결방법의 요지

파일 동작이 수행된 파일을 시스템 커널 레벨에서 분할하고 상기 분할된 파일을 대응 개수의 스레드를 통해 복수의 병렬 스트림으로 TCP/IP 전송하는 미러링 서버; 및 상기 미러링 서버로부터 TCP/IP 전송된 상기 분할된 파일을 시스템 커널 레벨에서 대응 개수의 스레드를 통해 수신하여 원래의 파일로 통합하는 미러링 타겟 서버를 포함함.

4. 발명의 중요한 용도

NAS 기반의 원격 미러링 시스템 등에 이용됨.

NAS, 미러링, 스레드, 병렬 전송, 소켓

Description

ＮＡＳ 상에서 병렬 전송 기술을 이용한 원격 미러링 시스템{The Remote Mirroring System using the Parallel Transfer Technique on NAS}

도1은 일반적인 미러링 시스템의 전체 구성도,

도2는 일반적인 원거리 네트워크 환경에서의 데이터 전송 방법을 설명하는 도면,

도3은 기존 데이터 전송 방법과 본 발명에 적용되는 병렬 전송 방법을 비교한 일실시예 도면,

도4는 TCP/IP 계층 구조와 전송 계층의 데이터 전송 과정을 나타낸 일실시예 도면,

도5는 본 발명에 따른 NAS 상에서 병렬 전송 기술을 이용한 원격 미러링 시스템을 나타낸 일실시예 도면,

도6은 도5의 미러링 서버와 미러링 타겟 서버 사이의 데이터 병렬 전송 과정을 개략적으로 나타낸 일실시예 도면,

도7은 도5의 미러링 서버와 미러링 타겟 서버 사이의 데이터 전송 과정을 구체적으로 나타낸 일실시예 도면,

도8은 100MB의 데이터를 병렬 스트림으로 전송한 결과를 나타낸 일실시예 그래프,

도9는 500MB의 데이터를 병렬 스트림으로 전송한 결과를 나타낸 일실시예 그래프이다.

본 발명은 NAS(Network Attached Storage) 상에서의 미러링 시스템에 관한 것으로, 더욱 상세하게는 NAS 상에서 병렬 전송 기술을 이용하는 원격 미러링 시스템에 관한 것이다.

데이터의 대량 생산 및 이기종간의 파일 공유 필요성이 대두되고, 동시에 파일 업로드, 다운로드, 파일 읽기, 쓰기 등의 파일 서비스에 대한 고가용성, 높은 신뢰성 제공, 높은 성능, 확장성이 우수한 저장 장치에 대한 필요성이 대두됨으로써, NAS(Network Attached Storage)와 같은 스토리지 시스템이 등장하게 되었다.

NAS는 파일 서비스를 수행하도록 최적화된 H/W와 S/W를 사용함으로써 플랫폼에 독립적이며 높은 성능을 가진 저장 장치를 말한다. 여러 기종의 서버가 접속된 네트워크에 NAS를 바로 연결하여 여러 서버들이 제공하는 여러 형태의 데이터 파일 등을 하나의 시스템(NAS)에 저장하고 이곳에서 관리할 수 있다. 이러한 NAS 기술은 TCP/IP를 기반으로 하는 미러링 시스템에서 이용된다.

한편, 미러링(Mirring)은 현재 두 가지 의미로 사용되고 있다.

첫째, 장비가 고장나는 사고가 발생하였을 때 데이터가 손실되는 것을 막기 위하여, 데이터를 하나 이상의 장치에 중복 저장하는 것을 의미한다. 이러한 기법은 하드웨어 또는 소프트웨어에 의해 구현될 수 있다.

둘째, 특정 지역의 사용자들이 더욱 빠르게 액세스할 수 있고, 원래 사이트에 집중하는 부하를 분산시키기 위해, 특정 사이트에 있는 파일의 일부 또는 전부를 복사하여 다른 웹 사이트에 저장·운영하는 것을 의미한다. 예를 들면, 주요 소프트웨어 개발사들은 대체로 사용자들의 다운로드 편의를 제공하기 위해 전 세계적으로 여러 개의 미러 사이트들을 운영한다.

도1은 일반적인 미러링 시스템의 전체 구성도이다.

도1의 클라이언트(110)는 SMB(Server Message Block) 또는 NFS(Network File System)를 통하여 미러링 서버(120, Mirroring Server)와 연결하며, 쓰기, 속성 변경, 삭제와 같은 파일 동작을 수행한다.

여기서, SMB는 도스나 윈도우즈에서 파일이나 디렉토리 및 주변장치들을 공유하는데 사용되는 메시지 형식으로, 서로 다른 운영 체계 플랫폼 사이에 파일을 공유할 수 있도록 사용되기도 한다. 예를 들어, 유닉스 운영체계의 시스템과 윈도우즈 운영체계 시스템간에 디렉토리, 파일 등의 공유가 가능하다.

그리고, NFS는 컴퓨터 사용자가 원격지 컴퓨터에 있는 파일을 마치 자신의 컴퓨터에 있는 것처럼 검색하고, 마음대로 저장하거나 수정하도록 해주는 클라이언트/서버형 응용 프로그램으로, 사용자 시스템에는 NFS 클라이언트가 있어야하며, 원격지 컴퓨터에는 NFS 서버가 설치되어 있어야 한다. 또한, NFS 서버와 클라이언트는 파일을 전송할 때 TCP/IP를 사용하기 때문에 두 컴퓨터 모두 TCP/IP 프로토콜이 설치되어 있어야 한다.

이와 같은 SMB 또는 NFS를 이용함으로써 클라이언트(110)는 미러링 서버(120)에 저장되어 있는 파일들을 원격에서 마치 내 컴퓨터에 저장되어 있는 것처럼 접근하여 읽고 쓸 수 있다.
그런데, 파일을 수정할 때마다 사용자가 직접 데이터의 안전을 위해 백업과정을 수행해야 한다면 작업 시간도 오래 걸리게 되고 매우 번거롭기 때문에, 도1의 미러링 시스템에서는 클라이언트(110)가 미러링 서버(120)의 파일에 대하여 변경 등의 동작[이하, 파일 동작이라 함]을 한 경우, 미러링 서버(120)는 당해 파일 동작된 파일에 대해 자동으로 미러링 타겟 서버(130)로 데이터를 백업한다. 미러링 서버(120)에서 미러링을 수행하도록 지정되어 있는 경우, 미러링 서버(120)는 파일 동작이 수행된 파일을 네트워크를 통해 지정된 미러링 타겟 서버(130)로 전송한다.
여기서, 데이터 전송이 수행될 때 TCP/IP 프로토콜을 이용하기 때문에 이 미러링 시스템은 TCP/IP의 전송 지연 문제를 그대로 가지고 있다.

삭제

TCP/IP 프로토콜은 한 번에 패킷 묶음(윈도우)을 송신지에서 수신지로 송신하고, 수신지에서는 각 패킷들을 받았다는 응답 메시지를 보내게 된다. 송신지는 응답 메시지를 확인한 후, 다음 윈도우(window)의 패킷을 전송하도록 설계되어 있다.

그러나, 도2에 도시된 바와 같이 고성능의 원거리 네트워크 환경에서 데이터를 전송할 경우, 네트워크가 혼잡한 상황이 아님에도 RTT(Round Trip Time)가 길어지게 되고, 따라서 현 윈도우의 패킷을 다 보낸 후에도 응답 메시지가 돌아오지 않아 다음 윈도우의 패킷들을 전송할 수 없는 상황이 발생하게 된다.

이러한 문제로 인해 네트워크 상태가 비어있더라도 데이터 전송이 이루어지지 않고, 데이터 전송이 지연되는 현상이 발생된다. 이러한 문제는 네트워크의 성능을 향상시킨다 하더라도 전송 프로토콜 자체가 가지는 문제점이므로 향상된 성능을 충분히 활용할 수 없다는 문제점이 있다.

따라서 종래의 TCP/IP를 기반으로 하는 NAS에서 원격 미러링 시스템을 운영한다는 것은 네트워크 성능이나 장비의 성능이 우수하더라도 이 자원들의 성능을 충분히 활용하지 못한다는 것을 의미한다.

본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 병렬 전송 기술을 이용하여 데이터를 전송함으로써 네트워크 자원 활용의 효율성 증대와 시간 등의 비용 소모를 개선한, NAS 상에서 병렬 전송 기술을 이용하는 원격 미러링 시스템을 제공하는데 그 목적이 있다.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

상기 목적을 달성하기 위한 본 발명은, 파일 동작이 수행된 파일을 시스템 커널 레벨에서 분할하고 상기 분할된 파일을 대응 개수의 스레드를 통해 복수의 병렬 스트림으로 TCP/IP 전송하는 미러링 서버; 및 상기 미러링 서버로부터 TCP/IP 전송된 상기 분할된 파일을 시스템 커널 레벨에서 대응 개수의 스레드를 통해 수신하여 원래의 파일로 통합하는 미러링 타겟 서버를 포함한다.

이 때, 상기 미러링 서버의 동작은 RMC[Resource Management and Control]에서 수행되고, 상기 미러링 타겟 서버의 동작은 RMS[Resource Management Service]에서 수행된다.

또한, 상기 미러링 서버에서 생성되는 스레드는 Socket_Client_Thread이고, 상기 미러링 타겟 서버에서 생성되는 스레드는 Socket_Server_Thread이다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.

도3은 기존 데이터 전송 방법과 본 발명에 적용되는 병렬 전송 방법을 비교한 일실시예 도면으로, 도3(a)는 일반적인 데이터 전송 방법, 도3(b)는 TCP 버퍼 튜닝(buffer tuning) 기술을 이용한 데이터 전송 방법, 도3(c)는 본 발명에 적용되는 병렬 전송 기술을 나타낸다.

도3(a)에서는 송신지에서 데이터를 전송하고 응답 메시지(ack)가 돌아오는 동안 연결된 채널이 비어 있게 되므로 네트워크 성능이 우수하더라도 이를 충분히 활용하지 못한다. 이러한 점을 보완한 기술로서 도3(b)의 TCP 버퍼 튜닝(buffer tuning) 기술이 있다.

도4는 TCP/IP 계층 구조와 전송 계층의 데이터 전송 과정을 나타낸 일실시예 도면으로, 한 컴퓨터에서 TCP/IP 프로토콜을 이용하여 데이터를 전송하기 위해서는 도4와 같은 계층 구조를 거치게 된다. 그 중 전송 계층 부분에 TCP 버퍼(buffer)가 존재하며 이 버퍼에는 전송되기 위한 데이터들이 네트워크로 나가기 전에 잠시 저장된다.
송신지의 TCP 버퍼에서 윈도우(TCP 버퍼에서 네트워크로 데이터를 내보내는 단위) 크기만큼씩의 데이터가 전송되고 수신지로부터 다음 데이터를 전송하라는 응답 메시지(ack)를 받을 때까지 윈도우는 버퍼에 저장되어 있는 다음 데이터로 이동하지 않게 된다. 따라서 다음 데이터는 대기하게 된다.

따라서 도3(b)와 같이 응답 메시지가 송신지로 돌아오는 동안에도 계속하여 데이터를 수신지로 전송할 수 있도록 TCP 버퍼의 크기(size)를 조절함으로써 윈도우 크기를 더 크게 늘릴 수 있게 되고, 이로 인해 한 번에 더 많은 데이터를 네트워크로 내보낼 수 있게 된다. 즉, 윈도우 크기(window size)를 확장 또는 축소하게 되고, 이를 통하여 한 번에 네트워크로 전송되는 패킷의 양을 줄이거나 늘림으로써 네트워크 대역폭을 보다 효율적으로 사용하게 된다.
그러나 이 기술은 커널 레벨의 변수를 수정해야 함과 응답 메시지가 돌아오는 시간동안 데이터를 전송할 수 있도록 TCP 버퍼의 크기를 계산해야 하는 문제점이 발생한다.

이에 반해, 본 발명에 적용되는 병렬 전송 기술은 TCP 버퍼 튜닝의 문제점들을 포함하지 않으면서 데이터 전송 성능을 향상시킨다. 도3(c)에 도시된 바와 같이, 기존의 윈도우 크기를 이용하여 데이터를 전송하더라도 여러 스트림을 이용하여 동시에 데이터를 전송하기 때문에 네트워크 자원의 낭비를 줄일 수 있게 된다. 그러므로 네트워크 대역폭을 효율적으로 활용할 수 있다.

본 발명은 이러한 병렬 전송 기술을 원격 미러링 시스템에 접목시킴으로써 미러링 작업을 보다 빠르게 제공할 수 있도록 한다.

도5는 본 발명에 따른 NAS 상에서 병렬 전송 기술을 이용한 리모트 미러링 시스템을 나타낸 일실시예 도면이다.

일반 사용자들은 클라이언트(510)를 통해서 미러링 서버(Mirroring Server, 520)에 저장되어 있는 파일에 접근하여 수정, 삭제 등의 동작[파일 동작]을 수행할 수 있다.

이 때, 미러링 서버(520) 및 미러링 타겟 서버(530) 각각에 존재하는 RMC[Resource Management and Control] 및 RMS[Resource Management Service]는 미러링 관련 작업을 수행하는 모듈로서, 미러링 시 소켓(SOCKET)을 이용하여 데이터를 전송한다.

또한, 커널 레벨에 존재하는 vnode는 파일을 관리하는 구조체로 파일에 관한 파일 이름 또는 파일 시스템에서 제공하는 하드디스크 상의 위치 등의 정보를 가지고 있다. 따라서 vnode를 이용하게 되면 파일 동작[파일 수정 등]에 의한 변화가 발생했는지를 판단할 수 있고, 또한 파일에 대한 각종 정보(파일 이름 등)를 얻을 수 있다. RMC 및 RMS는 vnode의 파일 정보를 이용하여 미러링 작업을 수행한다.

사용자가 클라이언트(510)를 통해 미러링 서버(520)의 파일 동작을 수행한 경우, 미러링 서버(520)의 RMC는 파일 동작 여부를 vnode를 통하여 감지하고, RMS에 채널 형성을 요청한다.

이후, 미러링 서버(520)의 RMC와 미러링 타겟 서버(530)의 RMS 사이에 채널이 형성되고, 수정된 파일은 미러링 서버(520)에서 미러링 타겟 서버(530)로 전송된다. 전송이 완료된 후에는 형성된 채널은 소멸된다. 여기서 채널이 형성될 때 병렬로 채널이 형성되어 형성된 채널을 통하여 파일의 조각들이 동시에 전송되므로 싱글 채널을 이용할 때보다 향상된 전송률을 얻을 수 있다.

도6은 도5의 미러링 서버와 미러링 타겟 서버 사이의 데이터 병렬 전송 과정을 개략적으로 나타낸 일실시예 도면으로, 미러링 서버(520)의 RMC와 미러링 타겟 서버(530)의 RMS 사이의 데이터 병렬 전송 과정을 나타낸다.

도6에 도시된 바와 같이, 병렬 전송은 여러 개의 소켓 스레드(610)를 생성하고, 각 스레드에서 채널을 형성함으로써 병렬 전송이 실현된다. 병렬 전송 기술에 이용되는 라이브러리의 일예는 다음 [표 1]과 같다.

도7은 도5의 미러링 서버와 미러링 타겟 서버 사이의 데이터 전송 과정을 구체적으로 나타낸 일실시예 도면이다.

일반 사용자들이 클라이언트(510)를 통해서 미러링 서버(520)에 저장되어 있는 파일에 접근하여 파일 동작[수정, 삭제 등]을 수행하면, 즉 미러링 서버(520)의 vnode에서 파일의 변화를 감지하게 되면 미러링 서버(520)의 RMC는 미러링 타겟 서버(530)의 RMS와 채널을 형성하고, 그 채널을 통하여 병렬 전송을 수행하기 위한 필요한 정보를 전송한다.

도7에 도시된 바와 같이, 미러링 서버(520)의 RMC는 Mirroring_Start() 함수를 통해 미러링 타겟 서버(530)의 RMS로 데이터 전송 시작을 알린다. 이 때, 전달되는 파라미터는 파일명이다.

다음으로, 미러링 서버(520)의 RMC는 Split_File() 함수를 통해 각 스레드들이 전송할 수 있도록 하나의 파일을 쪼개어 채널의 개수와 동일한 수의 파일을 생성한다. 이때, 파일명은 고정된다.

다음으로, 미러링 서버(520)의 RMC는 Creat_Thread() 함수를 통해 여러 개의 스레드(Socket_Client_Thread)를 생성한다. 이 때, Creat_Thread()의 파라미터는 스레드 함수명이다. 한편, 미러링 타겟 서버(530)의 RMS는 이미 형성되어 있는 채널을 통하여 미러링 서버(520)로부터 파일을 수신한 후, Creat_Thread() 함수를 통해 여러 개의 스레드(Socket_Server_Thread)를 생성한다.

이어서, 미러링 서버(520)의 RMC는 미러링 타겟 서버(530)의 RMS와 스레드의 연결을 설정한다. 즉, 각 Socket_Client_Thread는 각 Socket_Server_Thread에 채널 생성을 요청하고 채널을 형성한다.

그리고, 미러링 서버(520)의 RMC의 스레드(Socket_Client_Thread)들은 분할된 파일을 각 스레드를 통해 하나씩 미러링 타겟 서버(530)의 RMS의 스레드(Socket_Server_Thread)들로 전송하고, 미러링 타겟 서버(530)의 스레드들은 수신된 데이터를 각각의 파일로 생성한다. 수신이 완료된 후 미러링 타겟 서버(530)의 RMS는 Merge_File() 함수를 통해 파일들을 통합한다.

다음으로, 본 발명에 따른 원격 미러링 시스템에 적용된 병렬 전송 기술의 데이터 전송 속도 실험 결과를 설명한다. 실험은 서울과 수원에 4 대의 Linux server를 설치하고 100MB와 500MB의 데이터를 병렬 스트림을 이용하여 전송한 후 전송 시간을 측정하였다. 본 실험에서 사용된 Linux는 TCP 버퍼 튜닝 기술이 적용된 운영체제이다.

도8은 100MB의 데이터를 병렬 스트림으로 전송한 결과를 나타낸 일실시예 그래프로, 도8(a)는 가용한 대역폭이 7~8Mbits/sec인 경우이고 도8(b)는 가용한 대역폭이 약 70Mbits/sec인 경우이다.

도8에 도시된 바와 같이, 채널의 수가 증가할 수록, 즉 스레드의 수가 증가할 수록 데이터의 전송 속도는 증가한다. 특히 도8(a)에 도시된 바와 같이 네트워크 부하가 많을 경우 데이터 전송 시간이 급격히 줄어든다. 이는 네트워크 부하가 많을 경우 여러 개의 채널이 네트워크 대역폭을 점유할 수 있기 때문이다. 반면, 도8(b)에 도시된 바와 같이 네트워크 부하가 적을 경우, 네트워크 부하가 많을 때와는 달리 채널의 수가 증가되어도 네트워크 성능이 향상되지 않는다. 이는 적은 수의 채널만으로도 네트워크 대역폭을 충분히 점유할 수 있기 때문이다.

도9는 500MB의 데이터를 병렬 스트림으로 전송한 결과를 나타낸 일실시예 그래프로, 도9(a)는 가용한 대역폭이 7~8Mbits/sec인 경우이고 도8(b)는 가용한 대역폭이 약 70Mbits/sec인 경우이다.

도9에 도시된 바와 같이, 도8의 실험 결과와 동일하게 병렬 전송 기술을 이용함으로써 데이터 전송 속도는 증가한다. 특히 네트워크 부하가 많을 경우 병렬 전송 기술은 네트워크 성능을 향상시킨다.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

상기와 같은 본 발명은, 병렬 데이터 전송 기술을 이용함으로써 대량의 데이터를 전송할 경우 네트워크 자원, 시간 등의 소모를 줄일 수 있는 효과가 있다. 따라서, NAS 기반의 미러링 시스템에서 보다 빠른 미러링이 가능하도록 한다.

Claims (3)

1. 파일 동작이 수행된 파일을 시스템 커널 레벨에서 분할하고 상기 분할된 파일을 대응 개수의 스레드를 통해 복수의 병렬 스트림으로 TCP/IP 전송하는 미러링 서버; 및

   상기 미러링 서버로부터 TCP/IP 전송된 상기 분할된 파일을 시스템 커널 레벨에서 대응 개수의 스레드를 통해 수신하여 원래의 파일로 통합하는 미러링 타겟 서버

   를 포함하는 TCP/IP 기반의 NAS 상에서 병렬 전송 기술을 이용한 원격 미러링 시스템.
2. 제1항에 있어서,

   상기 미러링 서버의 동작은 RMC[Resource Management and Control]에서 수행되고,

   상기 미러링 타겟 서버의 동작은 RMS[Resource Management Service]에서 수행되는

   TCP/IP 기반의 NAS 상에서 병렬 전송 기술을 이용한 원격 미러링 시스템.
3. 제3항에 있어서,

   상기 미러링 서버에서 생성되는 스레드는 Socket_Client_Thread이고,

   상기 미러링 타겟 서버에서 생성되는 스레드는 Socket_Server_Thread인

   TCP/IP 기반의 NAS 상에서 병렬 전송 기술을 이용한 원격 미러링 시스템.

Images