KR101941336B1 - 분산형 시스템용 파일 처리 방법 및 장치 - Google Patents

분산형 시스템용 파일 처리 방법 및 장치 Download PDF

Info

Publication number
KR101941336B1
KR101941336B1 KR1020160104011A KR20160104011A KR101941336B1 KR 101941336 B1 KR101941336 B1 KR 101941336B1 KR 1020160104011 A KR1020160104011 A KR 1020160104011A KR 20160104011 A KR20160104011 A KR 20160104011A KR 101941336 B1 KR101941336 B1 KR 101941336B1
Authority
KR
South Korea
Prior art keywords
file
distributed system
sub
files
processing
Prior art date
Application number
KR1020160104011A
Other languages
English (en)
Other versions
KR20170043998A (ko
Inventor
콴광 젱
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20170043998A publication Critical patent/KR20170043998A/ko
Application granted granted Critical
Publication of KR101941336B1 publication Critical patent/KR101941336B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G06F16/134—Distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/183—Provision of network file services by network file servers, e.g. by using NFS, CIFS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/176—Support for shared access to files; File sharing support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/176—Support for shared access to files; File sharing support
    • G06F16/1767—Concurrency control, e.g. optimistic or pessimistic approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F19/10—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/604—Tools and structures for managing or administering access control systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B99/00—Subject matter not provided for in other groups of this subclass
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1014—Server selection for load balancing based on the content of a request
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Abstract

본 출원은 분산형 시스템용 파일 처리 방법 및 장치를 개시한다. 상기 방법의 일 구체적인 실시예는 기정 식별자를 포함한 파일을 수신하는 단계와, 상기 파일의 크기, 상기 파일의 기정 식별자의 수량 및 상기 분산형 시스템에 포함된 서버의 수량에 따라, 상기 파일을 각기 동일한 수량의 기정 식별자를 포함하는 복수의 서브 파일들로 분할하는 단계와, 상기 분산형 시스템에 포함된 서버들 중 적어도 하나의 서버가 발송한 파일 처리 요청에 응답하여, 상응한 서버에 서브 파일을 발송하여 상기 파일에 대한 병행 처리를 진행하는 단계를 포함한다. 해당 실시예는 유전자 정보 파일의 처리효율을 향상시키고 부하의 균형을 실현하였다.

Description

분산형 시스템용 파일 처리 방법 및 장치{FILE PROCESSING METHOD AND DEVICE FOR DISTRIBUTED SYSTEMS}
본 출원은 컴퓨터 기술 분야에 관한 것으로, 더욱 상세하게는 인터넷 기술 분야, 특히 분산형 시스템용 파일 처리 방법 및 장치에 관한 것이다.
사용자는 통상적으로 유전자 정보 파일을 검측처리하여 처리된 파일을 획득하고, 처리된 파일에 의하여 사람들의 미래에 발병할 리스크를 예측한다. 그러나, 유전자 정보 파일이 큼으로 인하여 유전자 정보 파일에 대한 검측처리에 소요되는 시간이 길고 처리가 번거롭다.
종래 기술에서, 유전자 정보 파일을 처리하는 시스템은 통상적으로 단일 서버만 포함하고, 이에 따라 시스템 중의 단일 서버를 통해 유전자 정보 파일을 처리할 수 밖에 없으므로 처리에 소요되는 시간이 길다. 또한, 유전자 정보 파일이 너무 클 경우, 유전자 정보 파일을 처리하는 시스템의 메모리 용량이 부족함으로 인하여 이러한 유전자 정보 파일을 처리할 수 없게 될 수 있다.
이에 따라, 유전자 정보 파일의 처리 효율을 진일보 향상시키기 위하여, 유전자 정보 파일을 병행 처리하는 방법이 요구되고 있다.
본 발명은 상기 배경 기술 부분에서 언급된 기술적 문제를 해결하기 위해 안출한 것으로, 개량된 분산형 시스템용 파일 처리 방법 및 장치를 제공하고자 한다.
제1 방면에 있어서, 본 출원은 분산형 시스템용 파일 처리 방법을 제공하며, 상기 방법은 기정 식별자를 포함한 파일을 수신하는 단계와, 상기 파일의 크기, 상기 파일의 기정 식별자의 수량 및 상기 분산형 시스템에 포함된 서버의 수량에 따라，상기 파일을 각기 동일한 수량의 기정 식별자를 포함하는 복수의 서브 파일들로 분할하는 단계와, 상기 분산형 시스템에 포함된 서버들 중 적어도 하나의 서버가 발송한 파일 처리 요청에 응답하여, 상응한 서버에 서브 파일들을 발송하여 상기 파일에 대한 병행 처리를 진행하는 단계를 포함한다.
일부 실시예에 있어서, 상기 서브 파일의 수량은 상기 분산형 시스템에 포함된 서버의 수량의 정수배이다.
일부 실시예에 있어서, 상기 상응한 서버에 서브 파일들을 발송하여 상기 파일에 대한 병행 처리를 진행하는 단계 이후, 상기 방법은 상기 상응한 서버가 처리한 서브 파일들을 통합하여, 통합파일을 생성하는 단계와, 상기 통합파일의 액세스 권한을 공유 권한 또는 비공유 권한으로 설정하는 단계를 더 포함한다.
일부 실시예에 있어서, 상기 파일은 유전자 정보 파일이다.
일부 실시예에 있어서, 상기 파일의 크기, 상기 파일의 기정 식별자의 수량 및 상기 분산형 시스템에 포함된 서버의 수량에 따라 상기 파일을 복수의 서브 파일들로 분할하는 단계는, 상기 파일의 크기, 상기 파일의 기정 식별자의 수량 및 상기 분산형 시스템에 포함된 서버의 수량에 따라, 분할하여 생성할 서브 파일의 수량 및 각 서브 파일에 포함된 기정 식별자의 수량을 확정하고, 상기 분할하여 생성할 서브 파일의 수량 및 각 서브 파일에 포함된 기정 식별자의 수량에 따라, 상기 파일을 복수의 서브 파일들로 분할하는 것을 포함한다.
제2 방면에 있어서, 본 출원은 분산형 시스템용 파일 처리 장치를 제공하며, 상기 장치는 기정 식별자를 포함한 파일을 수신하는 수신 유닛과, 상기 파일의 크기, 상기 파일의 기정 식별자의 수량 및 상기 분산형 시스템에 포함된 서버의 수량에 따라，상기 파일을 각기 동일한 수량의 기정 식별자를 포함하는 복수의 서브 파일들로 분할하는 분할 유닛과, 상기 분산형 시스템에 포함된 서버들 중 적어도 하나의 서버가 발송한 파일 처리 요청에 응답하여，상기 상응한 서버에 서브 파일을 발송하여 상기 파일에 대한 병행 처리를 진행하는 병행 유닛을 포함한다.
일부 실시예에 있어서, 상기 서브 파일의 수량은 상기 분산형 시스템에 포함된 서버의 수량의 정수배이다.
일부 실시예에 있어서, 상기 병행 유닛은 나아가 상기 상응한 서버가 처리한 서브 파일들을 통합하여 통합파일을 생성하고, 상기 통합파일의 액세스 권한을 공유 권한 또는 비공유 권한으로 설정하도록 더 구성된다.
일부 실시예에 있어서, 상기 파일은 유전자 정보 파일이다.
일부 실시예에 있어서, 상기 분할 유닛은, 구체적으로 상기 파일의 크기, 상기 파일의 기정 식별자의 수량 및 상기 분산형 시스템에 포함된 서버의 수량에 따라, 분할하여 생성할 서브 파일의 수량 및 각 서브 파일에 포함된 기정 식별자의 수량을 확정하고, 상기 분할하여 생성할 서브 파일의 수량 및 각 서브 파일에 포함된 기정 식별자의 수량에 따라, 상기 파일을 복수의 서브 파일들로 분할하도록 구성된다.
본 출원의 실시예에 제공된 분산형 시스템용 파일 처리 방법 및 장치는 유전자 정보 파일의 처리 효율을 향상시키고 부하의 균형을 실현하였다.
본 출원의 기타 특징, 목적 및 장점은 이하 첨부된 도면을 참조하여 진행한 비한정적 실시예에 대한 상세한 설명으로부터 더욱 명확해 질 것이다.
도 1은 본 출원이 적용될 수 있는 예시적 시스템 체계구조도이다.
도 2는 본 출원에 따른 분산형 시스템용 파일 처리 방법의 일 실시예의 흐름도이다.
도 3은 본 출원에 따른 분산형 시스템용 파일 처리 방법의 일 응용정경의 개략도이다.
도 4는 본 출원에 따른 분산형 시스템용 파일 처리 장치의 일 실시예의 예시적 구성도이다.
도 5는 본 출원의 실시예의 단말 장치 또는 서버를 구현하기에 적합한 컴퓨터 시스템의 예시적 구성도이다.
이하, 첨부된 도면 및 실시예를 결합하여 본 출원에 대한 더욱 상세한 설명을 진행하기로 한다. 여기에 설명된 구체적인 실시예들은 오직 관련된 방명을 해석하기 위한 것일 뿐, 해당 발명을 한정하기 위한 것이 아님을 이해할 수 있을 것이다. 또한, 첨부된 도면에는 설명의 편의를 위하여 오직 관련 발명에 관한 부분만 도시되어 있음을 자명할 것이다.
본 출원의 실시예 및 실시예 중의 특징들은 모순되지 않는 한 서로 조합될 수 있음을 자명할 것이다. 이하, 첨부된 도면을 참조하고 실시예들을 결합하여 본 출원에 대한 상세한 설명을 진행하기로 한다.
도 1은 본 출원의 분산형 시스템용 파일 처리 방법 또는 분산형 시스템용 파일 처리 장치를 적용할 수 있는 실시예의 예시적 시스템 체계구조(100)를 보여준다.
도 1에 도시된 바와 같이, 시스템 체계구조(100)는 단말기 장치(101, 102, 103)，네트워크(104) 및 분산형 시스템(105)（분산형 시스템(105)은 서버(106, 107, 108)를 포함함）을 포함할 수 있다. 네트워크(104)는 단말기 장치(101, 102, 103)와 분산형 시스템(105) 사이에서 통신 링크의 매체를 제공한다. 네트워크(104)는 유선 통신 링크, 무선 통신 링크 또는 광섬유 케이블 등 다양한 연결 유형을 포함할 수 있다.
사용자는 단말기 장치(101, 102, 103)를 사용하여 네트워크(104)를 통해 분산형 시스템(105)과 상호작용하여 메시지를 수신하거나 발송할 수 있다. 단말기 장치(101, 102, 103)에는 예를 들어 파일 처리 어플리케이션, 쇼핑류 어플리케이션, 검색류 어플리케이션, 인스턴트 메시징 툴, 메일 클라이언트, 소셜 플랫폼 소프트웨어 등 다양한 통신 클라이언트 어플리케이션들이 설치될 수 있다.
단말기 장치(101, 102, 103)는 표시 스크린을 구비하고 데이터 처리를 지원하는 다양한 전자 장치일 수 있고, 스마트 폰, 태블릿 컴퓨터, 전자책 단말기, MP3 플레이어(Moving Picture Experts Group Audio Layer III; 엠페그 오디오 계층 3), MP4(Moving Picture Experts Group Audio Layer IV; 엠페그 오디오 계층 4) 플레이어, 랩탑형 컴퓨터 및 데스크 톱 컴퓨터 등을 포함하나 이에 한정되지 않는다.
분산형 시스템(105)은 서버(106, 107, 108)를 포함하고，서버(106, 107, 108)는 다양한 서비스를 제공하는 서버일 수 있으며, 예를 들어 단말기 장치(101, 102, 103)에서 업로드한 파일에 대한 서포트를 제공하는 백앤드 서버(Back-end server)일 수 있다. 백앤드 서버는 수신된 파일 등 데이터에 대해 분석 등 처리를 진행하고, 처리된 파일을 단말기 장치에 반송할 수 있다.
본 출원의 실시예에 제공된 분산형 시스템용 파일 처리 방법은 일반적으로 분산형 시스템(105)에 의해 실행되고, 이에 따라 분산형 시스템용 파일 처리 장치는 일반적으로 분산형 시스템(105)에 설치됨을 설명하고자 한다.
도 1의 단말기 장치, 네트워크 및 서버의 수량은 다만 예시적인 것임을 자명하여야 하며, 구현 수요에 따라 임의의 수량의 단말기 장치, 네트워크 및 서버를 구비할 수 있다.
이어서, 도 2는 본 출원에 따른 분산형 시스템용 파일 처리 방법의 일 실시예의 흐름(200)을 보여준다. 상기 분산형 시스템용 파일 처리 방법은 아래와 같은 단계들을 포함한다.
단계(201)에서, 기정 식별자를 포함한 파일을 수신한다.
본 실시예에 있어서, 분산형 시스템용 파일 처리 방법이 실행되는 전자 장치(예를 들어, 도 1에 도시된 분산형 시스템(105))는 유선 연결 방식 또는 무선 연결 방식을 통해 사용자가 파일을 브라우징시 이용되는 단말기로부터 기정 식별자를 포함한 파일을 수신하고，상기 기정 식별자를 포함한 파일은 사용자가 처리하려는 파일을 포함하고, 파일은 기정 식별자를 포함한다. 상기 무선 연결 방식은 3G/4G 연결, WiFi 연결, 블루투스 연결, WiMAX 연결, Zigbee 연결, UWB（ultra wideband） 연결 및 기타 현재 이미 알려진 또는 미래에 개발하게 될 무선 연결 방식을 포함할 수 있으나 이에 한정되지 않는다.
통상적으로, 사용자는 단말기에 설치된 파일 처리 클라이언트를 이용하여 파일을 발송하고, 이때, 사용자는 파일의 내용을 직접 입력하거나 파일을 업로드함으로써 분산형 시스템(105)에 기정 식별자를 포함한 파일을 발송한다. 본 실시예에 있어서, 상기 파일은 fasta 포맷, fastq 포맷의 파일 또는 기타 미래에 개발하게 될 포맷의 파일을 포함할 수 있으며, 상기 기정 식별자는 ">" 또는 "@"일 수 있다.
본 실시예의 일부 선택적인 구현방식에 있어서, 상기 파일은 유전자 정보 파일이다.
단계(202)에서, 파일의 크기, 파일의 기정 식별자의 수량 및 분산형 시스템에 포함된 서버의 수량에 따라 파일을 각기 동일한 수량의 기정 식별자를 포함하는 복수의 서브 파일들로 분할한다.
본 실시예에 있어서, 단계(201)에서 수신된 기정 식별자를 포함한 파일을 기반으로 상기 전자 장치(예를 들어, 도 1에 도시된 분산형 시스템(105))는 먼저 상기 파일을 획득하고, 다음 다양한 분석 수단을 이용하여 상기 파일 및 파일의 내용에 대해 분석함으로써, 파일의 크기, 파일의 기정 식별자의 수량을 검출할 수 있고, 나아가 분산형 시스템에 포함된 서버의 수량을 검출할 수 있다. 그 다음, 상기 파일의 크기, 상기 파일의 기정 식별자의 수량 및 상기 분산형 시스템에 포함된 서버의 수량에 따라 상기 파일을 복수의 서브 파일들로 분할하고，각 서브 파일의 기정 식별자의 수량은 동일하다.
구체적인 실시예에 있어서, 상기 파일의 크기를 100M, 상기 파일의 기정 식별자의 수량을 200개 "@", 상기 분산형 시스템에 포함된 서버의 수량을 10개로 가정하고, 파일을 10개의 서브 파일들로 분할하여 각 서브 파일이 20개 기정 식별자를 포함하도록 확보한다.
본 실시예의 일부 선택적인 구현방식에 있어서, 상기 서브 파일의 수량은 상기 분산형 시스템에 포함된 서버의 수량의 정수배이다. 앞서 설명한 바와 같이, 상기 분산형 시스템에 포함된 서버의 수량은 10개이므로 서브 파일의 수량을 10, 20, 30 등 10의 정수배로 고려하여야 하고, 서브 파일의 수량을 확정한 다음 파일을 복수의 서브 파일들로 분할한다.
본 실시예의 일부 선택적인 구현방식에 있어서, 파일의 크기, 파일의 기정 식별자의 수량 및 분산형 시스템에 포함된 서버의 수량에 따라, 분할하여 생성할 서브 파일의 수량 및 각 서브 파일에 포함된 기정 식별자의 수량을 확정하고, 분할하여 생성할 서브 파일의 수량 및 각 서브 파일에 포함된 기정 식별자의 수량에 따라, 파일을 복수의 서브 파일들로 분할한다. 상술한 바와 같이, 상기 파일의 크기는 100M, 상기 파일의 기정 식별자의 수량은 200개 "@"，상기 분산형 시스템에 포함된 서버의 수량은 10개로 가정하고，상기 파일을 10의 배수개의 서브 파일들로 분할하여, 분할하여 생성할 서브 파일의 수량은 10개로 확정하고, 각 서브 파일은 20개의 기정 식별자를 포함하는 것을 확정하며, 분할하여 생성할 서브 파일의 수량 및 각 서브 파일에 포함된 기정 식별자의 수량에 따라, 각 서브 파일이 20개 기정 식별자를 포함하는 것을 확보하는 전제하에서, 파일을 10개의 서브 파일들로 분할한다.
단계(203)에서, 상기 분산형 시스템에 포함된 서버들 중 적어도 하나의 서버가 발송한 파일 처리 요청에 응답하여, 상응한 서버에 서브 파일을 발송하여 상기 파일에 대한 병행 처리를 진행한다.
본 실시예에 있어서, 먼저 상기 분산형 시스템에 포함된 서버들 중 적어도 하나의 서버가 파일 처리 요청을 발송하고, 분산형 시스템이 상기 파일 처리 요청을 수신하고, 다음 상응한 서버에 서브 파일을 발송함으로써 상기 파일 처리 요청에 응답하여 상기 분산형 시스템에 포함된 서버들 중 적어도 하나의 서버를 통해 상기 파일 처리를 병행하며, 분산형 시스템의 복수의 서버들을 통해 파일 처리 요청의 부하의 균형을 실현한다.
본 실시예의 일부 선택적인 구현방식에 있어서, 상기 상응한 서버를 통해 처리된 서브 파일들을 통합하여 통합파일을 생성하고, 상기 통합파일의 액세스 권한을 공유 권한 또는 비공유 권한으로 설정한다. 기정 식별자의 파일 및 통합파일은 텍스트 또는 이미지 표시방식을 통해 표시된다. 비공유 권한은 사전 설정된 사용자로 하여금 다운로드, 보기, 수정, 호출 또는 삭제를 진행하도록 하고, 공유 권한은 모든 사용자로 하여금 읽기와 복사를 진행하도록 한다.
이어서, 도 3을 참조하면, 도 3은 본 실시예에 따른 분산형 시스템용 파일 처리 방법의 응용정경의 일 개략도(300)를 보여준다. 도 3의 응용정경에서, 분산형 시스템은 먼저 기정 식별자를 포함한 파일(301)을 수신하고, 다음 상기 파일(301)의 크기, 파일(301)의 기정 식별자의 수량 및 분산형 시스템이 포함된 서버(303)의 수량에 따라, 파일을 각기 동일한 수량의 기정 식별자를 포함하는 복수의 서브 파일들(302)로 분할하고, 분산형 시스템에 포함된 서버(303) 중 적어도 하나의 서버가 발송한 파일 처리 요청에 응답하여, 상응한 서버(303)에 서브 파일을 발송하여 상기 파일에 대한 병행 처리를 진행한다. 상기 상응한 서버(303)를 통해 처리된 서브 파일들을 통합하여 통합파일(304)을 생성한다.
본 출원의 실시예를 통해, 유전자 정보 파일의 처리 효율을 향상시키고 부하의 균형을 실현하였다.
나아가, 도 4를 참조하면, 상기 각 도면에 도시된 방법에 대한 구현으로서, 본 출원은 분산형 시스템용 파일 처리 장치의 일 실시예를 제공하고, 해당 장치 실시예는 도 2에 도시된 방법 실시예에 대응된다.
도 4에 도시된 바와 같이, 본 실시예에 기재된 분산형 시스템용 파일 처리 장치(400)는 수신 유닛(401), 분할 유닛(402), 및 병행 유닛(403)을 포함한다. 수신 유닛(401)은 기정 식별자를 포함한 파일을 수신하고, 분할 유닛(402)은 상기 파일의 크기, 상기 파일의 기정 식별자의 수량 및 상기 분산형 시스템에 포함된 서버의 수량에 따라, 상기 파일을 각기 동일한 수량의 기정 식별자를 포함하는 복수의 서브 파일들로 분할하고, 병행 유닛(403)은 상기 분산형 시스템에 포함된 서버들 중 적어도 하나의 서버가 발송한 파일 처리 요청에 응답하여, 상응한 서버에 서브 파일을 발송하여 상기 파일에 대한 병행 처리를 진행한다.
본 실시예에 있어서, 분산형 시스템용 파일 처리 장치(400)의 수신 유닛(401)은 유선 연결 방식 또는 무선 연결 방식을 통해 사용자가 파일을 브라우징함에 있어서 이용되는 단말기로부터 기정 식별자를 포함한 파일을 수신하고, 상기 기정 식별자를 포함한 파일은 사용자가 처리하려는 파일을 포함하고, 파일은 기정 식별자를 포함한다.
본 실시예에 있어서, 수신 유닛(401)에서 수신된 파일을 기반으로, 상기 분할 유닛(402)은 먼저 상기 파일을 획득하고, 다음 다양한 분석 수단을 이용하여 상기 파일 및 파일의 내용에 대해 분석함으로써 파일의 크기, 파일의 기정 식별자의 수량을 검출할 수 있고, 나아가 분산형 시스템에 포함된 서버의 수량을 검출할 수 있다.
본 실시예에 있어서, 병행 유닛(403)은 상기 분산형 시스템에 포함된 서버들 중 적어도 하나의 서버가 발송한 파일 처리 요청에 응답하여, 상응한 서버에 서브 파일을 발송하여 상기 파일에 대한 병행 처리를 진행한다.
해당 분야에서 통상의 지식을 가진 자는 상기 분산형 시스템용 파일 처리 장치(400)가 예를 들어 프로세서, 메모리 장치 등 기타 일부 공지된 구조를 더 포함한다는 것을 이해할 것이며, 본 개시의 실시예를 불필요하게 흐리지 않도록 도 4에 이러한 공지된 구조들은 도시되지 않는다.
도 5는 본 출원의 실시예의 단말기 장치 또는 서버를 구현하기에 적합한 컴퓨터 시스템(500)의 구조적 개략도를 나타낸다.
도 5에 도시된 바와 같이, 컴퓨터 시스템(500)은 중앙 처리 유닛(501; CPU)을 포함하며, 읽기 전용 메모리 장치(502; ROM)에 저장된 프로그램 또는 저장부(508)로부터 랜덤 액세스 메모리 장치(503; RAM)에 로딩된 프로그램에 의해 각종 적당한 동작과 처리를 실행할 수 있다. RAM(503)에는 시스템(500)을 작동하기에 필요한 각종 프로그램 및 데이터가 더 저장되어 있다. CPU(501), ROM(502) 및 RAM(503)은 버스(504)을 통해 서로 연결된다. 입력/출력(I/O) 인터페이스(505)도 버스(504)에 연결된다.
I/O 인터페이스(505)에 연결되는 부재로서, 키보드, 마우스 등을 포함하는 입력부(506)와, 예를 들어 음극선관(CRT), 액정 표시 장치(LCD) 등 및 스피커 등을 포함하는 출력부(507)와, 하드 드라이버 등을 포함하는 저장부(508)와, 예를 들어 LAN 카드, 모뎀 등의 네트워크 인터페이스 카드를 포함하는 통신부(509)가 포함된다. 통신부(509)는 인터넷과 같은 네트워크를 통해 통신처리를 실행한다. 구동부(510)도 수요에 따라 I/O 인터페이스(505)에 연결된다. 자기 디스크, 광 디스크, 광자기 디스크, 반도체 메모리 장치 등과 같은 착탈 가능한 매체(511)는 이들 매체로부터 판독된 컴퓨터 프로그램을 수요에 따라 저장부(508)에 설치하도록 수요에 따라 구동부(510)에 설치된다.
특히, 본 개시의 실시예에 의하면, 흐름도를 참조하여 설명한 상기 과정들은 컴퓨터 소프트웨어 프로그램으로 구현될 수 있다. 예를 들어, 본 개시의 실시예는 컴퓨터 프로그램 제품을 포함하고, 컴퓨터 판독 가능한 매체에 유형적으로 포함된 컴퓨터 프로그램을 포함하며, 상기 컴퓨터 프로그램은 흐름도에 도시된 방법을 실행하기 위한 컴퓨터 코드를 포함한다. 이러한 실시예에 있어서, 해당 컴퓨터 프로그램은 통신부(509)를 경유하여 네트워크로부터 다운로드되어 설치될 수 있고 및/또는 착탈 가능한 매체(511)로부터 설치될 수 있다.
첨부된 도면 중의 흐름도 및 블록도는 본 출원의 각 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 구현 가능한 체계구조, 기능 및 조작을 도시하였다. 이러한 방면에서, 흐름도 또는 블록도 중의 각각은 하나의 모듈, 프로그램 세그먼트 또는 코드의 일부분을 대표할 수 있고, 상기 모듈, 프로그램 세그먼트 또는 코드의 일부분은 규정된 로직 기능을 구현하기 위한 하나 또는 다수의 실행 가능한 명령을 포함한다. 일부 대체 구현에 있어서, 블록에 표기된 기능들은 첨부된 도면에 표기된 순서와 상이한 순서로 발생할 수도 있음을 유의하여야 한다. 예를 들어, 순차적으로 표시된 두 개의 블록은 실제적으로 기본상 동시에 실행될 수 있고, 경우에 따라 상반된 순서에 따라 실행될 수도 있으며, 이는 관련 기능에 따라 결정된다. 블록도 및/또는 흐름도 중의 각 블록 및 블록도 및/또는 흐름도 중의 블록들의 조합은 규정된 기능 또는 조작을 실행하는 하드웨어 기반의 전용 시스템으로 구현되거나, 전용 하드웨어와 컴퓨터 명령의 조합으로 구현될 수 있음을 유의하여야 한다.
본 출원의 실시예에 기재된 관련 유닛들은 소프트웨어의 방식으로 구현되거나 하드웨어의 방식으로 구현될 수 있다. 기재된 유닛들은 프로세서에 설치될 수도 있으며, 예를 들어, 프로세서는 수신 유닛, 해석 유닛, 정보 선택 유닛 및 생성 유닛을 포함한다고 설명될 수도 있다. 여기서, 이러한 유닛들의 명칭은 일부 경우에 해당 유닛에 대한 한정을 구성하지 않으며, 예를 들어, 수신 유닛은 "사용자의 웹 브라우징 요청을 수신하는 유닛"으로 설명될 수도 있다.
다른 일 방면에 있어서, 본 출원은 비휘발성 컴퓨터 저장 매체를 더 제공하며, 상기 비휘발성 컴퓨터 저장 매체는 상술한 실시예 중의 상기 장치에 포함된 비휘발성 컴퓨터 저장 매체이거나, 독립적으로 존재하며 단말기 장치에 설치되지 않은 비휘발성 컴퓨터 저장 매체일 수도 있다. 상기 비휘발성 컴퓨터 저장 매체는 하나 또는 다수의 프로그램을 저장하고, 상기 하나 또는 다수의 프로그램이 하나의 장치로 실행될 경우, 상기 장치로 하여금 기정 식별자를 포함한 파일을 수신하고, 상기 파일의 크기, 상기 파일의 기정 식별자의 수량 및 상기 분산형 시스템에 포함된 서버의 수량에 따라, 상기 파일을 각기 동일한 수량의 기정 식별자를 포함하는 복수의 서브 파일들로 분할하며, 상기 분산형 시스템에 포함된 서버들 중 적어도 하나의 서버가 발송한 파일 처리 요청에 응답하여, 상응한 서버에 서브 파일을 발송하여 상기 파일에 대한 병행 처리를 진행하도록 한다.
이상의 설명은 오직 본 출원의 비교적 바람직한 실시예 및 운용한 기술적 원리에 대한 설명이다. 해당 기술분야의 당업자는 본 출원에 관련된 발명의 범위가 상기 기술적 특징들의 특정 조합으로 이루어진 기술적 방안들에 한정되는 것이 아니라 본 발명의 주지를 벗어나지 않고서 상기 기술적 특징들 또는 그들의 균등한 특징들의 임의의 조합으로 이루어진 기타 기술적 방안들, 예를 들어, 상기 특징을 본 출원에 개시되어 있으나 이에 한정되지 않는 유사한 기능을 구비한 기술적 특징과 서로 대체하여 이루어진 기술적 방안도 포함하고 있음을 자명할 것이다.

Claims (10)

  1. 분산형 시스템용 파일 처리 방법에 있어서,
    기정 식별자를 포함한 파일을 수신하는 단계;
    상기 파일의 크기, 상기 파일의 기정 식별자의 수량 및 상기 분산형 시스템에 포함된 서버의 수량에 따라, 분할하여 생성할 서브 파일의 수량 및 각 서브 파일에 포함된 기정 식별자의 수량을 확정하고, 상기 서브 파일의 수량 및 상기 기정 식별자의 수량에 따라, 상기 파일을 각기 동일한 수량의 기정 식별자를 포함하는 복수의 서브 파일들로 분할하는 단계; 및
    상기 분산형 시스템에 포함된 서버들 중 적어도 하나의 서버가 발송한 파일 처리 요청에 응답하여, 상응한 서버에 서브 파일을 발송하여 상기 파일에 대한 병행 처리를 진행하는 단계; 를 포함하는 것을 특징으로 하는 분산형 시스템용 파일 처리 방법.
  2. 제1항에 있어서,
    상기 서브 파일의 수량은 상기 분산형 시스템에 포함된 서버의 수량의 정수배인 것을 특징으로 하는 분산형 시스템용 파일 처리 방법.
  3. 제1항에 있어서,
    상기 상응한 서버에 서브 파일을 발송하여 상기 파일에 대한 병행 처리를 진행하는 단계 이후,
    상기 상응한 서버를 통해 처리된 서브 파일들을 통합하여 통합파일을 생성하는 단계; 및
    상기 통합파일의 액세스 권한을 공유 권한 또는 비공유 권한으로 설정하는 것을 더 포함하는 것을 특징으로 하는 분산형 시스템용 파일 처리 방법.
  4. 제1항에 있어서,
    상기 파일이 유전자 정보 파일인 것을 특징으로 하는 분산형 시스템용 파일 처리 방법.
  5. 삭제
  6. 분산형 시스템용 파일 처리 장치에 있어서,
    기정 식별자를 포함한 파일을 수신하는 수신 유닛;
    상기 파일의 크기, 상기 파일의 기정 식별자의 수량 및 상기 분산형 시스템에 포함된 서버의 수량에 따라, 분할하여 생성할 서브 파일의 수량 및 각 서브 파일에 포함된 기정 식별자의 수량을 확정하고, 상기 서브 파일의 수량 및 상기 기정 식별자의 수량에 따라, 상기 파일을 각기 동일한 수량의 기정 식별자를 포함하는 복수의 서브 파일들로 분할하는 분할 유닛;
    상기 분산형 시스템에 포함된 서버들 중 적어도 하나의 서버가 발송한 파일 처리 요청에 응답하여, 상응한 서버에 서브 파일을 발송하여 상기 파일에 대한 병행 처리를 진행하는 병행 유닛; 을 포함하는 것을 특징으로 하는 분산형 시스템용 파일 처리 장치.
  7. 제6항에 있어서,
    상기 서브 파일의 수량은 상기 분산형 시스템에 포함된 서버의 수량의 정수배인 것을 특징으로 하는 분산형 시스템용 파일 처리 장치
  8. 제6항에 있어서,
    상기 병행 유닛은,
    상기 상응한 서버가 처리한 서브 파일들을 통합하여 통합파일을 생성하고,
    상기 통합파일의 액세스 권한을 공유 권한 또는 비공유 권한으로 설정하도록 더 구성되는 것을 특징으로 하는 분산형 시스템용 파일 처리 장치.
  9. 제6항에 있어서, 상기 파일은 유전자 정보 파일인 것을 특징으로 하는 분산형 시스템용 파일 처리 장치.
  10. 삭제
KR1020160104011A 2015-10-14 2016-08-17 분산형 시스템용 파일 처리 방법 및 장치 KR101941336B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510661956.0A CN105205174B (zh) 2015-10-14 2015-10-14 用于分布式系统的文件处理方法和装置
CN201510661956.0 2015-10-14

Publications (2)

Publication Number Publication Date
KR20170043998A KR20170043998A (ko) 2017-04-24
KR101941336B1 true KR101941336B1 (ko) 2019-01-22

Family

ID=54952857

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160104011A KR101941336B1 (ko) 2015-10-14 2016-08-17 분산형 시스템용 파일 처리 방법 및 장치

Country Status (4)

Country Link
US (1) US20170109371A1 (ko)
JP (1) JP6474367B2 (ko)
KR (1) KR101941336B1 (ko)
CN (1) CN105205174B (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869048A (zh) * 2016-03-28 2016-08-17 中国建设银行股份有限公司 一种数据处理方法及系统
CN105912609B (zh) * 2016-04-06 2019-04-02 中国农业银行股份有限公司 一种数据文件处理方法和装置
CN106446254A (zh) * 2016-10-14 2017-02-22 北京百度网讯科技有限公司 文件检测方法和装置
CN111614762B (zh) * 2016-11-14 2023-03-07 北京京东尚科信息技术有限公司 电子数据交换系统和包含电子数据交换系统的装置
CN109088907B (zh) * 2017-06-14 2021-10-01 北京京东尚科信息技术有限公司 文件传递方法及其设备
CN107451427A (zh) * 2017-07-27 2017-12-08 江苏微锐超算科技有限公司 一种可重构基因比对的计算系统及加速平台
CN110858191A (zh) * 2018-08-24 2020-03-03 北京三星通信技术研究有限公司 文件处理方法、装置、电子设备及可读存储介质
CN109254733B (zh) * 2018-09-04 2021-10-01 北京百度网讯科技有限公司 用于存储数据的方法、装置和系统
CN110162991B (zh) * 2019-05-29 2023-01-03 华南师范大学 基于大数据插入和异构类型的信息隐藏方法和机器人系统
CN112463739A (zh) * 2019-09-09 2021-03-09 山东省计算中心（国家超级计算济南中心） 基于海洋模式roms的数据处理方法及系统
CN112463735B (zh) * 2020-11-26 2023-04-07 四三九九网络股份有限公司 一种大体积json文件拆分并按需请求的方法
CN113190511B (zh) * 2021-04-21 2022-09-13 中国海洋大学 基于众核集群的大数据并发调度及加速处理方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140207913A1 (en) * 2011-03-31 2014-07-24 Alcatel-Lucent Usa Inc. System and method for managing distribution of network information

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0950438A (ja) * 1995-08-07 1997-02-18 Hitachi Ltd 生体高分子配列ホモロジ検索方法
KR100717216B1 (ko) * 2005-09-05 2007-05-11 주식회사 태울엔터테인먼트 클러스터 시스템을 제어하는 방법
JP4942142B2 (ja) * 2005-12-06 2012-05-30 キヤノン株式会社 画像処理装置及びその制御方法、プログラム
US9262763B2 (en) * 2006-09-29 2016-02-16 Sap Se Providing attachment-based data input and output
JP2008159015A (ja) * 2006-11-27 2008-07-10 Toshiba Corp 頻出パターン発見装置および頻出パターン発見方法
CN101582064B (zh) * 2008-05-15 2011-12-21 阿里巴巴集团控股有限公司 一种大数据量数据处理方法及系统
CN101510203B (zh) * 2009-02-25 2011-09-21 南京联创科技集团股份有限公司 基于拆分机制并行处理实现大数据量高性能处理的方法
KR101969848B1 (ko) * 2011-06-10 2019-04-17 삼성전자주식회사 유전자 데이터를 압축하는 방법 및 장치
JP5506629B2 (ja) * 2010-10-19 2014-05-28 日本電信電話株式会社 準頻出構造パターンマイニング装置と頻出構造パターンマイニング装置とそれらの方法、及びプログラム
EP2634717A2 (en) * 2012-02-28 2013-09-04 Koninklijke Philips Electronics N.V. Compact next generation sequencing dataset and efficient sequence processing using same
KR101332270B1 (ko) * 2012-04-09 2013-11-22 삼성에스디에스 주식회사 유전 정보 관리 장치 및 방법
CN102685266B (zh) * 2012-05-14 2015-04-15 中国科学院计算机网络信息中心 区文件签名方法及系统
CN102790771B (zh) * 2012-07-25 2016-12-21 山东中创软件商用中间件股份有限公司 一种文件传输方法及系统
CN103095800A (zh) * 2012-12-07 2013-05-08 江苏乐买到网络科技有限公司 一种基于云计算的数据处理系统
US9384239B2 (en) * 2012-12-17 2016-07-05 Microsoft Technology Licensing, Llc Parallel local sequence alignment
CN103237300B (zh) * 2013-04-28 2015-09-09 小米科技有限责任公司 一种文件下载的方法、装置及系统
JP6260359B2 (ja) * 2014-03-07 2018-01-17 富士通株式会社 データ分割処理プログラム，データ分割処理装置及びデータ分割処理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140207913A1 (en) * 2011-03-31 2014-07-24 Alcatel-Lucent Usa Inc. System and method for managing distribution of network information

Also Published As

Publication number Publication date
US20170109371A1 (en) 2017-04-20
KR20170043998A (ko) 2017-04-24
CN105205174A (zh) 2015-12-30
JP2017076370A (ja) 2017-04-20
CN105205174B (zh) 2019-10-11
JP6474367B2 (ja) 2019-02-27

Similar Documents

Publication Publication Date Title
KR101941336B1 (ko) 분산형 시스템용 파일 처리 방법 및 장치
CN105787077B (zh) 数据同步方法和装置
US11012926B2 (en) Methods and apparatus for acquiring wireless access points information
WO2019099140A1 (en) Publication of applications using server-side virtual screen change capture
KR20230070067A (ko) 여러 애플리케이션들을 디스플레이하기 위한 시스템 및 방법
CN107302597B (zh) 消息文案推送方法和装置
US10860280B2 (en) Display method and device
CN108965098B (zh) 基于在线直播的消息推送方法、装置、介质和电子设备
CN107729570B (zh) 用于服务器的数据迁移方法和装置
CN102917061A (zh) 资源同步方法和系统
CN108810047B (zh) 用于确定信息推送准确率的方法、装置及服务器
CN110650209B (zh) 实现负载均衡的方法和装置
CN110909521A (zh) 在线文档信息的同步处理方法、装置及电子设备
CN111478781A (zh) 一种消息广播的方法和装置
CN107330087B (zh) 页面文件生成方法和装置
CN111010453B (zh) 服务请求处理方法、系统、电子设备及计算机可读介质
WO2023185765A1 (zh) 基于云应用的文件处理方法、电子设备和存储介质
CN110647327B (zh) 基于卡片的用户界面动态控制的方法和装置
CN109299223B (zh) 用于查询指令的方法及装置
CN108811036B (zh) 用于显示无线接入点信息的方法和装置
CN113407339A (zh) 资源请求反馈方法、装置、可读存储介质及电子设备
CN110083321B (zh) 内容展示方法及装置、智能投屏终端和可读存储介质
CN112131181A (zh) 存储路径的展示方法、装置以及电子设备
CN109840073B (zh) 业务流程的实现方法和装置
JP6869226B2 (ja) ピクチャによる情報検索方法、装置、デバイス、及びコンピュータ記憶媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant