KR101351237B1 - 네트워크의 파일 분산 처리 시스템 - Google Patents

네트워크의 파일 분산 처리 시스템 Download PDF

Info

Publication number
KR101351237B1
KR101351237B1 KR1020110098342A KR20110098342A KR101351237B1 KR 101351237 B1 KR101351237 B1 KR 101351237B1 KR 1020110098342 A KR1020110098342 A KR 1020110098342A KR 20110098342 A KR20110098342 A KR 20110098342A KR 101351237 B1 KR101351237 B1 KR 101351237B1
Authority
KR
South Korea
Prior art keywords
file
server
files
network
client
Prior art date
Application number
KR1020110098342A
Other languages
English (en)
Other versions
KR20130034366A (ko
Inventor
권주현
Original Assignee
권주현
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 권주현 filed Critical 권주현
Priority to KR1020110098342A priority Critical patent/KR101351237B1/ko
Publication of KR20130034366A publication Critical patent/KR20130034366A/ko
Application granted granted Critical
Publication of KR101351237B1 publication Critical patent/KR101351237B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Abstract

본 발명은 네트워크를 통하여 파일을 전송하는 서비스를 구현함에 있어서 물리적으로 분산된 저장 장치 별로 파일을 분산 처리하여 저장 장치의 관리의 효율성을 개선하고 파일의 업로드와 다운로드 및 스트리밍을 제공하는 서비스의 비용을 경감할 수 있는 네트워크의 파일 분산 처리 시스템을 개시하며, 본 발명에 따른 네트워크의 파일 분산 처리 시스템은 물리적으로 분산된 저장 장치들과 연동하여 파일을 256k 바이트 단위로 나누어서 저장하는 서비스 시스템 및 상기 서비스 시스템과 네트워크를 통하여 상기 파일의 전송을 위하여 접속하는 클라이언트를 포함하며, 상기 서비스 시스템은 상기 저장 장치들의 성능 분석 결과에 따라 최적의 장소를 찾아서 상기 파일을 256k 바이트 단위로 보관 및 공유함을 특징으로 한다.

Description

네트워크의 파일 분산 처리 시스템{Distiributed file system in network}
본 발명은 네트워크의 파일 분산 처리 시스템에 관한 것으로서, 보다 상세하게는 네트워크를 통하여 파일을 전송하는 서비스를 구현함에 있어서 물리적으로 분산된 저장 장치 별로 파일을 분산 처리하여 저장 장치의 관리의 효율성을 개선하고 파일의 업로드와 다운로드 및 스트리밍을 제공하는 서비스의 비용을 경감할 수 있는 네트워크의 파일 분산 처리 시스템에 관한 것이다.
최근 온라인 시장의 규모가 커지면서 안정적인 온라인 서비스를 지속적으로 제공하기 위한 시스템의 효율적인 관리가 절실히 필요한 실정이다.
온라인 서비스를 안정적이면서 지속적으로 제공하기 위해서는 하드웨어 및 네트워크 트래픽 비용에 대한 부담이 높아지는 것을 피할 수 없다.
개별적인 서버의 특성에 따라 달라지지만, 일반적으로 물리적인 서버는 1000개 내지 3000개 정도의 세션에 따른 커넥션 수를 처리하는데 이러한 환경에서 자원의 한계에 따른 접속 장애가 빈번히 발생하고 있다.
이를 해결하기 위하여 물리적인 채널링 서비스를 이용하는 경우, 스위칭 장비의 비용 부담 때문에 라운드 로빈 기능을 이용하지 못하거나 스토리지 장비의 비용이 고가여서 구매가 원활하지 못한 결과를 초래한다.
이와 같은 환경에 의하여 파일을 업로드하거나 다운로드하는 경우 속도가 현저히 느려지거나 파일 스트리밍 서비스를 이용하는 경우 프로그래시브 다운로드나 스트리밍 재생이 어려운 문제점이 발생한다.
기존의 파일을 업로드 또는 다운로드하거나 스트리밍을 제공하는 시스템으로 피투피(P2P : Pear to pear) 또는 토렌토(Torrent) 방식이 제공되고 있다.
피투피는 파일 공유 시 공유 허락을 해야 하고, 파일 업로드 및 다운로드 시 전체 파일을 받게 되며, 타 유저가 개인 컴퓨터에 침입 가능한 개인 위협 요소가 발생하게 되고, 업로드 및 다운로드의 속도를 배포자가 조정할 수 없으며, 그리고 파일의 배포는 사용자에 의해 배포가 가능한 특성을 갖는다.
그리고, 토렌토는 파일 업로드 및 다운로드 속도가 현저히 느리며, 장소에는 구애되지 않으나 오래된 파일이 많고, 파일의 배포 시 사용자가 배포 가능하며, 그리고 프로그래시브 다운로드나 스트리밍 재생이 어려운 특성을 갖는다.
이와 같은 종래의 시스템은 온라인 상에서 파일의 업로드 및 다운로드와 파일의 스트리밍을 원활히 하기 위해서 저가의 장비 및 스토리지 장비로 파일의 업로드 및 다운로드를 효율적으로 구현하고 네트워크 트래픽을 해소하며 물리적인 서버의 효율성을 향상시킬 방법의 제시가 필요한 실정이다.
본 발명은 파일 단위를 256K 바이트 단위로 나누어서 물리적인 저장 장치에 보관함으로써 네트워크 상의 트래픽을 경감시킬 수 있는 네트워크의 파일 분산 처리 시스템을 제공함을 목적으로 한다.
또한, 본 발명은 파일 병합을 클라이언트의 미들 웨어에서 수행함으로써 서비스 서버에서 발생하는 병합 비용을 경감시킬 수 있는 네트워크의 파일 분산 처리 시스템을 제공함을 다른 목적으로 한다.
또한, 본 발명은 파일의 업로드 및 다운로드 시 물리적인 서버의 성능을 모니터링하여 최적의 물리적인 보관 장소를 찾아서 분산된 단위로 파일을 보관하여 고 가용성을 보장할 수 있는 네트워크의 파일 분산 처리 시스템을 제공함을 또 다른 목적으로 한다.
또한, 본 발명은 파일의 다운로드를 순차, 랜덤 및 희귀한 것 우선(Rarest) 방식으로 처리하여 고 가용성을 보장할 수 있는 네트워크의 파일 분산 처리 시스템을 제공함을 또 다른 목적으로 한다.
본 발명의 상기 목적과 여러 가지 장점은 이 기술분야에 숙련된 사람들에 의해 본 발명의 바람직한 실시예로부터 더욱 명확하게 될 것이다.
본 발명에 따른 네트워크의 파일 분산 처리 시스템은, 물리적으로 분산된 저장 장치들과 연동하여 파일을 256k 바이트 단위로 나누어서 저장하는 서비스 시스템 및 상기 서비스 시스템과 네트워크를 통하여 상기 파일의 전송을 위하여 접속하는 클라이언트를 포함하며, 상기 서비스 시스템은 상기 저장 장치들의 성능 분석 결과에 따라 최적의 장소를 찾아서 상기 파일을 256k 바이트 단위로 보관 및 공유함을 특징으로 한다.
여기에서, 상기 서비스 시스템은 상기 파일의 전송을 위한 스트림을 물리적인 서버 단위, 즉 상기 저장 장치 단위로 분산, 공유 및 저장할 수 있다.
그리고, 상기 서비스 시스템의 상기 공유는 상기 저장 장치 단위로 프로세스, 프로세서, 메모리, 네트워크, 디스크 및 파일 입출력의 수행도 및 리소스 비용을 계산하여 수행될 수 있다.
그리고, 상기 서비스 시스템은 상기 성능 분석 결과에 따른 상기 비용 계산에 기초하여 분산되어진 상기 저장 장치 또는 분산되어진 상기 클라이언트를 대상으로 256K 바이트 단위로 상기 스트림을 수행할 수 있다.
또한, 상기 서비스 시스템은 상기 저장 장치 단위로 자원의 정보를 측정하여 상기 성능 분석 결과를 자신에 연동된 물리적 서버에 측정 파일로 저장하며 상기 측정 파일을 자신에 연동된 논리적인 서버에 다운로드에 대한 인덱스를 설정하여서 테이블로 구성하며, 상기 인덱스는 순차, 램덤 또는 휘귀한 것 우선(Rarest-first) 방식으로 상기 다운로드를 처리하도록 구분될 수 있다.
그리고, 상기 클라이언트는 파일 병합을 위한 미들 웨어를 포함하고, 상기 미들 웨어에 의하여 상기 테이블의 인덱스에 따라서 순차, 램덤 또는 휘귀한 것 우선(Rarest-first) 방식으로 상기 256K 바이트 단위로 꺼내어 파일을 인덱스 별로 병합할 수 있다.
그리고, 상기 파일의 분산 시, 상기 클라이언트에서 지정한 파일들이 수신됨에 따라 파일 전송 현황 정보를 갱신하여 이를 상기 클라이언트에서 지정한 장소로 저장할 수 있다.
그리고, 상기 클라이언트에서 지정한 파일들의 목록을 매 접속 시 상기 클라이언트에서 수신할 수 있다.
또한, 본 발명에 따른 네트워크의 파일 분산 처리 시스템은, 물리적으로 분산된 저장 장치들을 포함하는 스토리지 그룹, 상기 스토리지 그룹에 포함된 상기 저장 장치들에 대한 업로드와 다운로드를 256k 바이트 단위로 분산 처리하는 업다운 분산 서버와 상기 저장 장치들에 대한 스트리밍을 256k 바이트 단위로 분산 처리하는 스트리밍 분산 서버를 포함하는 분산 제어 모듈, 웹과 접속되며 상기 스토리지 그룹과 연동되고 상기 분산 제어 모듈을 통하여 상기 저장 장치들에 대한 파일의 업로드와 다운로드 및 스트리밍을 전달하는 서비스 서버, 상기 서비스 서버를 경유하여 상기 스토리지 그룹의 물리적으로 분산된 저장 장치들에 대한 자원의 정보를 측정하여서 성능 분석 결과를 테이블로 구성하고 상기 테이블에 다운로드 처리를 위하여 순차, 랜덤 또는 희귀한 것 우선(Rarest) 방식으로 구분되는 인덱스를 설정하며 상기 분산 제어 모듈을 제어하여 파일의 업로드와 다운로드 그리고 스트리밍을 분산 처리하도록 제어하는 관리 서버, 및 상기 웹을 통하여 상기 서비스 서버와 접속되며 파일 병합을 위한 미들 웨어를 포함하고, 상기 미들 웨어에 의하여 상기 테이블의 인덱스에 따라서 순차, 램덤 또는 휘귀한 것 우선(Rarest-first) 방식으로 상기 256K 바이트 단위로 꺼내어 파일을 인덱스 별로 병합하는 클라이언트를 포함함을 특징으로 한다.
따라서, 본 발명에 의하면, 파일 단위를 256K 바이트 단위로 나누어서 물리적인 저장 장치에 보관함으로써 네트워크 상의 트래픽을 경감할 수 있는 효과가 있다.
그리고, 본 발명에 의하면, 파일 병합이 클라이언트의 미들 웨어에 의하여 이루어지기 때문에 서비스 서버에서 파일 병합 비용을 부담하는 것이 불필요해진다. 그러므로 서비스 서버 레벨에서 병합에 발생하는 비용을 경감시킬 수 있는 효과가 있다.
또한, 본 발명은 물리적인 서버의 성능을 모니터링하여 최적의 물리적인 보관 장소를 찾아서 256K 바이트 단위로 보관하여서 물리적인 서버의 효율성을 극대화하고 고 가용성을 보장할 수 있는 효과가 있다.
또한, 본 발명은 파일의 다운로드를 순차, 랜덤 및 희귀한 것 우선(Rarest) 방식으로 처리하여 고 가용성을 보장할 수 있는 효과가 있다.
도 1은 본 발명에 따른 네트워크의 파일 분산 처리 시스템의 바람직한 실시예를 나타내는 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세하게 설명하기로 한다. 그러나, 이하의 실시예는 이 기술분야에서 통상적인 지식을 가진 자에게 본 발명이 충분히 이해되도록 제공되는 것으로서 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 기술되는 실시예에 한정되는 것은 아니다.
본 발명에 따른 실시예는 서버 증설에 따른 비용을 해소하고 방대한 네트워크의 트래픽 비용을 해소하며 물리적인 디스크에 대한 입출력(I/O) 포트 점유 비용을 해소하며 데이터의 전송 및 부하를 최소화하기 위한 기술을 개시한다.
이를 위하여, 본 발명에 따른 실시예는 웹 상에서 운영되는 웹 사이트(10), 서비스 서버(20), 관리 서버(30), 분산 제어 모듈(40), 스토리지 그룹(50) 및 클라이언트 그룹(60)을 포함하는 구성을 이룰 수 있다.
여기에서, 스토리지 그룹(50)은 물리적으로 분산된 저장 장치(52)들을 포함하며, 물리적으로 분산된 저장 장치(52)로서 NAS(Network Attached storage)를 이용하는 것이 실시예로 예시되고 있다.
그리고, 스토리지 그룹(50)은 분산 제어 모듈(40)에 의하여 다운로드와 스트리밍이 제어되는 구성을 가지며, 분산 제어 모듈(40)은 스토리지 그룹(50)에 포함된 저장 장치(52)들에 대한 업로드와 다운로드를 256k 바이트 단위로 분산 처리하는 업다운 분산 서버(42)와 저장 장치(52)들에 대한 스트리밍을 256k 바이트(Byte) 단위로 분산 처리하는 스트리밍 분산 서버(44)를 포함하는 구성을 갖는다.
그리고, 클라이언트 그룹(60)은 서비스 서버(20)에 대한 클라이언트 지위를 갖는 호스트(62)들을 포함하는 구성을 가지며, 이들 호스트(62)는 파일 병합을 위한 미들 웨어를 포함한 구성을 가질 수 있다.
그리고, 서비스 서버(20)가 웹과 접속되며 스토리지 그룹(50)과 연동되고 분산 제어 모듈(40)을 통하여 저장 장치들(52)에 대한 파일의 업로드와 다운로드 및 스트리밍을 전달하기 위하여 구성되며, 서비스 서버(20)는 메일 서버(70), 메신저 서버(72), 스트리밍 서버(74), 업다운로드 서버(76), 채널 서버(78) 로그인 서버(80), 스위치 서버(82), 제어 서버(84), 데이터베이스 미들 웨어 서버(86) 및 데이터베이스 서버(88)를 포함하는 구성을 가질 수 있다.
여기에서, 메일 서버(70)는 네트워크 상에서 메일을 제공하며 관리하는 기능을 갖는 서버이며, 메신저 서버(72)는 네트워크를 통하여 메신저를 제공하며 관리하는 서버이고, 스트리밍 서버(74)는 클라이언트인 호스트(62)와 저장 장치(52) 간의 스트리밍을 중계하는 서버이며, 업다운로드 서버(76)는 클라이언트인 호스트(62)와 저장 장치(52) 간의 파일 업로드 또는 다운로드를 중계하는 서버이고, 채널 서버(78)는 웹을 통하여 접속한 클라이언트인 호스트(62)와 서비스 서버(20) 간의 채널 형성을 위한 세션을 관리하는 서버이며, 로그인 서버(80)는 웹 상의 웹 사이트(10)를 통하여 호스트(60)가 접속한 경우 그에 대응한 로그인을 관리하는 서버이고, 스위치 서버(82)는 서비스 서버(20)의 웹 접속을 스위칭하는 기능을 갖는 서버이다.
그리고, 데이터베이스 서버(88)는 웹 상의 웹 사이트를 통하여 클라이언트인 호스트(62)에 데이터를 제공하기 위한 데이터베이스 서비스를 제공하는 서버이고, 데이터베이스 미들 웨어 서버(86)는 데이터베이스 서버(88)에서 운영되는 데이터베이스 서비스를 구현하기 위하여 제어 서버(84)와 그에 종속된 기타 서버들 간의 연동을 위한 미들 웨어를 탑재한 서버이다.
한편, 관리 서버(30)는 물리적 서버와 논리적 서버를 포함하며, 서비스 서버(20)를 경유하여 스토리지 그룹(50)의 물리적으로 분산된 저장 장치(52)들에 대한 자원의 정보를 측정하여서 성능 분석 결과를 측정 파일로 물리적 서버에 저장하고, 측정 파일을 테이블로 구성하고 테이블에 다운로드 처리를 위하여 순차, 랜덤 또는 희귀한 것 우선(Rarest) 방식으로 구분되는 인덱스가 설정되며 측정 파일로 구성된 테이블을 논리적 서버에 저장하며, 분산 제어 모듈(40)을 제어하여 파일의 업로드와 다운로드 그리고 스트리밍을 분산 처리하도록 제어하는 기능을 갖는다.
클라이언트 그룹(60)에 포함되어서 각각 클라이언트의 지위를 갖는 호스트(62)는 웹을 통하여 서비스 서버(20)와 접속되며 파일 병합을 위한 미들 웨어를 포함하고, 미들 웨어에 의하여 관리 서버(30)에 설정된 테이블의 인덱스에 따라서 순차, 램덤 또는 휘귀한 것 우선(Rarest-first) 방식으로 상기 256K 바이트 단위로 꺼내어 파일을 인덱스 별로 병합하는 기능을 가질 수 있다.
상술한 바에서 본 발명에 따른 실시예는 서비스 서버(20), 관리 서버(30), 분산 제어 모듈(40) 및 스토리지 그룹(50)을 서비스 시스템으로 포함할 수 있다.
따라서, 이와 같은 구성을 갖는 서비스 시스템은 물리적으로 분산된 저장 장치들(52)과 연동하여 파일을 256k 바이트 단위로 나누어서 저장할 수 있다.
그리고, 서비스 시스템은 저장 장치(52)들의 성능 분석 결과에 따라 최적의 장소를 찾아서 파일을 256k 바이트 단위로 보관 및 공유할 수 있다.
특히, 서비스 시스템은 파일의 전송을 위한 스트리밍을 물리적인 서버 단위, 즉 저장 장치(52) 단위로 분산, 공유 및 저장할 수 있으며, 여기에서 저장 장치(52)가 NAS인 경우, 저장 장치(52)의 공유는 각 디바이스 별로 프로세스(Processes), 프로세서(Processor), 메모리(Memory), 네트워크(Network), 디스크(Disk) 및 파일(File) 입출력의 수행도 및 리소스 비용을 계산하여 수행될 수 있다.
여기에서, 물리적 서버, 즉 NAS로 구성되는 저장 장치(52)의 성능을 측정하기 위한 디바이스 컨트롤러는 아래 <표 1>과 같은 계층적 구조를 갖도록 구성될 수 있으며, 이 디바이스 컨트롤러는 관리 서버(30)에 구축될 수 있다.
또한, 하드웨어 자원에 대한 비용 계산은 마이크로소프트 윈도우즈(Microsoft Windows) 서버 제품의 경우 마이크로소프트 개발자 네트워크(MicroSoft Developer Network, MSDN)의 퍼포먼스 데이터 헬프(Performance Data Help, PDH)를 이용하여 계산할 수 있다.
그리고, 윈도우즈 운영 체제를 포함한 다른 운영 체제의 경우, 심플 네트워크 매니지먼트 프로토콜(Simple Network Management Protocol, SNMP)을 이용하여 자원의 정보를 측정할 수 있다.
디바이스 라이브러리 기능 Action
프로세서 IFramework MSDN PDH 라이브러리 또는 SNMP 프로토콜 Physical / Logical Performance Control
프로세스
메모리
네트워크 File 분산
256K		 파일 공유
256K		 파일 저장
256K
디스크 I/O
파일 I/O
한편, 상기한 방법으로 측정된 성능 분석 결과는 관리 서버(30)의 물리적 서버에 측정 파일로 <표 2>와 같이 계층적 구조를 갖도록 저장될 수 있다.
영화(Movie) 음악(Music) 웹 캠(Web Cam) 보이스(Voice)
File Download/Upload
Broadcasting(Streaming Real Time / Consecutive Time)
상술한 <표 2>와 같이 저장된 측정 파일을 방송 스트리밍 서비스와 파일 업로드/다운로드 서비스에 이용할 수 있도록 관리 서버(30)의 논리적인 서버 내에 인덱스를 설정하여 테이블을 구성할 수 있다.
이때, 인덱스는 다운로드가 순차, 램덤 또는 희귀한 것 우선(Rarest-first) 방식으로 수행되는 것을 설정하기 위한 값으로 구분될 수 있다.
그에 따라서, 서비스 시스템에 포함된 관리 서버(30)는 저장 장치(52) 단위로 자원의 정보를 측정하여 성능 분석 결과를 자신의 물리적 서버에 측정 파일로 저장하며, 측정 파일을 자신의 논리적인 서버에 다운로드에 대한 인덱스를 설정하여서 테이블로 구성할 수 있다.
그리고, 서비스 시스템에 포함된 분산 제어 모듈(40)은 관리 서버(30)의 성능 분석 결과에 따른 비용 계산에 기초하여 분산된 저장 장치(52) 또는 분산된 클라이언트인 호스트(62)를 대상으로 256K 바이트 단위로 스트림을 제어할 수 있다.
상기한 구성에 의하여, 파일 병합을 위한 미들 웨어를 포함하는 클라이언트인 소프트(62)는 미들 웨어에 의하여 테이블의 인덱스에 따라서 순차, 램덤 또는 휘귀한 것 우선(Rarest-first) 방식으로 256K 바이트 단위로 꺼내어 파일을 인덱스 별로 병합을 수행할 수 있다.
이와 같은 본 발명에 따라서 파일 단위를 256K 바이트 단위로 나누어서 다운로드 및 업로드 그리고 스트림을 제어함에 따라서 네트워크 상의 트래픽을 경감할 수 있고, 물리적인 서버의 효율성을 개선할 수 있는 효과를 기대할 수 있다.
그리고, 파일 병합이 클라이언트의 미들 웨어에 의하여 이루어지기 때문에 서비스 서버에서 파일 병합 비용을 부담하는 것이 불필요해지는 효과를 얻을 수 있다.
또한, 파일의 다운로드를 순차, 랜덤 및 희귀한 것 우선(Rarest) 방식으로 처리하여 고 가용성(High Availability)을 보장할 수 있다.
한편, 본 발명에 따른 실시예는 파일의 분산 시, 상기 클라이언트에서 지정한 파일들이 수신됨에 따라 파일 전송 현황 정보를 갱신하여 이를 클라이언트에서 지정한 장소로 저장하는 기능을 채택할 수 있다.
또한, 본 발명에 따른 실시예는 상기 클라이언트에서 지정한 파일들의 목록을 매 접속 시 클라이언트에서 수신하는 기능을 채택할 수 있다.
이상, 상기 내용은 본 발명의 바람직한 일 실시예를 단지 예시한 것으로 본 발명의 당업자는 본 발명의 요지를 변경시킴이 없이 본 발명에 대한 수정과 변경을 가할 수 있음을 인지해야 한다.
10 : 웹 사이트 20 : 서비스 서버
30 : 관리 서버 40 : 분산 제어 모듈
50 : 스토리지 그룹 52 : 저장 장치
60 : 클라이언트 그룹 62 : 호스트
70 : 메일 서버 72 : 메신저 서버
74 : 스트리밍 서버 76 : 업다운로드 서버
78 : 채널 서버 80 : 로그인 서버
82 : 스위치 서버 84 : 제어 서버
86 : 데이터베이스 미들 웨어 서버 88 : 데이터베이스 서버

Claims (9)

  1. 물리적으로 분산된 저장 장치들과 연동하여 파일을 256k 바이트 단위로 나누어서 저장하는 서비스 시스템; 및
    상기 서비스 시스템과 네트워크를 통하여 상기 파일의 전송을 위하여 접속하는 클라이언트;를 포함하며,
    상기 서비스 시스템은,
    물리적으로 분산된 저장 장치들을 포함하는 스토리지 그룹;
    상기 스토리지 그룹에 포함된 상기 저장 장치들에 대한 업로드와 다운로드를 256k 바이트 단위로 분산 처리하는 업다운 분산 서버와 상기 저장 장치들에 대한 스트리밍을 256k 바이트 단위로 분산 처리하는 스트리밍 분산 서버를 포함하는 분산 제어 모듈;
    웹과 접속되며 상기 스토리지 그룹과 연동되고 상기 분산 제어 모듈을 통하여 상기 저장 장치들에 대한 파일의 업로드와 다운로드 및 스트리밍을 전달하는 서비스 서버;
    상기 서비스 서버를 경유하여 상기 스토리지 그룹의 물리적으로 분산된 저장 장치들에 대한 자원의 정보를 측정하여서 성능 분석 결과를 테이블로 구성하고 상기 테이블에 다운로드 처리를 위하여 순차, 랜덤 또는 희귀한 것 우선(Rarest) 방식으로 구분되는 인덱스를 설정하며 상기 분산 제어 모듈을 제어하여 파일의 업로드와 다운로드 그리고 스트리밍을 분산 처리하도록 제어하는 관리 서버를 포함하고, 상기 저장 장치들의 성능 분석 결과에 따라 최적의 장소를 찾아서 상기 파일을 256k 바이트 단위로 보관 및 공유하고,
    상기 클라이언트는,
    상기 웹을 통하여 상기 서비스 서버와 접속되며 파일 병합을 위한 미들 웨어를 포함하고, 상기 미들 웨어에 의하여 상기 테이블의 인덱스에 따라서 순차, 램덤 또는 휘귀한 것 우선(Rarest-first) 방식으로 상기 256K 바이트 단위로 꺼내어 파일을 인덱스 별로 병합하고, 상기 서비스 시스템과 접속되어 상기 256k 바이트 단위로 나뉘어진 파일을 상기 미들웨어에서 병합하고,
    상기 물리적으로 분산된 저장장치는 NAS(Network Attached Storage)인 것인, 네트워크의 파일 분산 처리 시스템.
  2. 제1 항에 있어서,
    상기 서비스 시스템은 상기 파일의 전송을 위한 스트림을 물리적인 서버 단위, 즉 상기 저장 장치 단위로 분산, 공유 및 저장하는 것을 특징으로 하는 네트워크의 파일 분산 처리 시스템.
  3. 제2 항에 있어서,
    상기 서비스 시스템의 상기 공유는 상기 저장 장치 단위로 프로세스, 프로세서, 메모리, 네트워크, 디스크 및 파일 입출력의 수행도 및 리소스 비용을 계산하여 수행되는 것을 특징으로 하는 네트워크의 파일 분산 처리 시스템.
  4. 제3 항에 있어서,
    상기 서비스 시스템은 상기 성능 분석 결과에 따른 상기 비용 계산에 기초하여 분산되어진 상기 저장 장치 또는 분산되어진 상기 클라이언트를 대상으로 256K 바이트 단위로 상기 스트림을 수행하는 것을 특징으로 하는 네트워크의 파일 분산 처리 시스템.
  5. 제1 항에 있어서,
    상기 서비스 시스템은 상기 저장 장치 단위로 자원의 정보를 측정하여 상기 성능 분석 결과를 자신에 연동된 물리적 서버에 측정 파일로 저장하며 상기 측정 파일을 자신에 연동된 논리적인 서버에 다운로드에 대한 인덱스를 설정하여서 테이블로 구성하며, 상기 인덱스는 순차, 램덤 또는 휘귀한 것 우선(Rarest-first) 방식으로 상기 다운로드를 처리하도록 구분되는 것을 특징으로 하는 네트워크의 파일 분산 처리 시스템.
  6. 제5 항에 있어서,
    상기 클라이언트는 파일 병합을 위한 미들 웨어를 포함하고, 상기 미들 웨어에 의하여 상기 테이블의 인덱스에 따라서 순차, 램덤 또는 휘귀한 것 우선(Rarest-first) 방식으로 상기 256K 바이트 단위로 꺼내어 파일을 인덱스 별로 병합하는 것을 특징으로 하는 네트워크의 파일 분산 처리 시스템.
  7. 제1 항 내지 제6항 중 어느 한 항에 있어서,
    상기 파일의 분산 시, 상기 클라이언트에서 지정한 파일들이 수신됨에 따라 파일 전송 현황 정보를 갱신하여 이를 상기 클라이언트에서 지정한 장소로 저장하는 것을 특징으로 하는 네트워크의 파일 분산 처리 시스템.
  8. 제1 항 내지 제6항 중 어느 한 항에 있어서,
    상기 클라이언트에서 지정한 파일들의 목록을 매 접속 시 상기 클라이언트에서 수신하는 것을 특징으로 하는 네트워크의 파일 분산 처리 시스템.
  9. 삭제
KR1020110098342A 2011-09-28 2011-09-28 네트워크의 파일 분산 처리 시스템 KR101351237B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110098342A KR101351237B1 (ko) 2011-09-28 2011-09-28 네트워크의 파일 분산 처리 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110098342A KR101351237B1 (ko) 2011-09-28 2011-09-28 네트워크의 파일 분산 처리 시스템

Publications (2)

Publication Number Publication Date
KR20130034366A KR20130034366A (ko) 2013-04-05
KR101351237B1 true KR101351237B1 (ko) 2014-01-13

Family

ID=48436499

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110098342A KR101351237B1 (ko) 2011-09-28 2011-09-28 네트워크의 파일 분산 처리 시스템

Country Status (1)

Country Link
KR (1) KR101351237B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114253929B (zh) * 2021-11-15 2024-04-05 北京计算机技术及应用研究所 一种基于分布式文件存储的网盘系统架构

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08194585A (ja) * 1995-01-20 1996-07-30 Matsushita Electric Ind Co Ltd ストレージシステムおよびビデオ・オン・デマンドシステムのサーバ側システム
KR19980063935A (ko) * 1996-12-09 1998-10-07 모리시타요우이치 데이터 전송 시스템
KR20040028594A (ko) * 2002-09-30 2004-04-03 후지쯔 가부시끼가이샤 광역 분산 스토리지 시스템을 이용한 데이터 저장 방법,그 방법을 컴퓨터에 실현시키는 프로그램, 기록 매체 및광역 분산 스토리지 시스템에서의 제어 장치
KR20100048130A (ko) * 2008-10-30 2010-05-11 주식회사 케이티 메타데이터 클러스터 기반의 분산형 스토리지 시스템 및 그동작 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08194585A (ja) * 1995-01-20 1996-07-30 Matsushita Electric Ind Co Ltd ストレージシステムおよびビデオ・オン・デマンドシステムのサーバ側システム
KR19980063935A (ko) * 1996-12-09 1998-10-07 모리시타요우이치 데이터 전송 시스템
KR20040028594A (ko) * 2002-09-30 2004-04-03 후지쯔 가부시끼가이샤 광역 분산 스토리지 시스템을 이용한 데이터 저장 방법,그 방법을 컴퓨터에 실현시키는 프로그램, 기록 매체 및광역 분산 스토리지 시스템에서의 제어 장치
KR20100048130A (ko) * 2008-10-30 2010-05-11 주식회사 케이티 메타데이터 클러스터 기반의 분산형 스토리지 시스템 및 그동작 방법

Also Published As

Publication number Publication date
KR20130034366A (ko) 2013-04-05

Similar Documents

Publication Publication Date Title
CN106993054B (zh) 文件分发方法、节点及系统
US11102290B2 (en) Peer-to-peer network prioritizing propagation of objects through the network
US9432452B2 (en) Systems and methods for dynamic networked peer-to-peer content distribution
CN108023953B (zh) Ftp服务的高可用实现方法和装置
Huang et al. Cloud download: Using cloud utilities to achieve high-quality content distribution for unpopular videos
WO2018076765A1 (zh) 云计算系统的内容分发方法及装置、计算节点及系统
WO2013082595A1 (en) Systems and methods for connection pooling for video streaming in content delivery networks
WO2012142844A1 (zh) 一种基于p2p的文件分发系统及分片方法
US20160381127A1 (en) Systems and methods for dynamic networked peer-to-peer content distribution
WO2017107463A1 (zh) 一种分发cdn地址的方法及装置
CN105162623B (zh) 一种云处理方法及云服务器
KR101120572B1 (ko) 클라우드 컴퓨팅 네트워크 시스템 및 그것의 파일 다운로드 방법
CN113727134A (zh) 一种直播聊天信息分发方法及系统
US9544371B1 (en) Method to discover multiple paths to disk devices cluster wide
KR101379105B1 (ko) 클라우드 컴퓨팅 서비스 제공 시스템 및 방법
KR20110041194A (ko) 클라우드 컴퓨팅 네트워크 시스템 및 그것의 파일 분산 방법
KR101351237B1 (ko) 네트워크의 파일 분산 처리 시스템
CN107645475B (zh) 异质网络中的文件资源分发系统与方法
US8583819B2 (en) System and method for controlling server usage in peer-to-peer (P2P) based streaming service
JP2007272540A (ja) データ配信方法及びデータ配信システム
KR102610846B1 (ko) 고속 분산 저장 장치 및 방법
CN104601707A (zh) 网盘数据处理方法及装置
Strubytskyi Organization of cloud storage data in distributed systems
CN104753873A (zh) 一种提供内容服务的方法、装置和系统
WO2022252083A1 (zh) 一种数据传输方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200108

Year of fee payment: 7