KR20110111240A - ＰＣ 클라우드 환경에서 고속 서열 분석을 위한 병렬 Ｉｎｔｅｒ-Ｑｕｅｒｙ 라우팅 알고리즘 - Google Patents

Abstract

Inter-Query 작업을 부여할 때 사용자에게 선택사항을 부여할 수 있도록 다양한 알고리즘을 제안하고, 리파지토리를 통하여 처리 결과를 개인화하여 사용할 수 있도록 하기 위한 PC 클라우드 환경에서 고속 서열분석을 위한 병렬 Inter-Query 라우팅 알고리즘이 개시된다. 본 발명은 랜 리눅스 PCI 카드를 장착한 PC 노드들을 서버에 연결하여 NFS 방식으로 약 결합된 클러스터 시스템을 구축하는 시스템 구축단계; 시스템 구축단계에서 구축된 PC노드들을 서버에서 부팅시키고, 부팅된 PC노드들은 서버로부터 운영체제(커널)을 받아 리눅스를 부팅시키는 부팅 단계; 그리고 부팅 단계후에 서버는 미들웨어의 리파지토리에 할당된 작업들을 PC 노드들에게 전달하고 PC 노드들이 처리한 결과는 서버의 공유영역에 저장하는 저장단계를 포함하는 것이다.

Description

ＰＣ 클라우드 환경에서 고속 서열 분석을 위한 병렬 Ｉｎｔｅｒ-Ｑｕｅｒｙ 라우팅 알고리즘{Parallel Inter-Query Routing Algorithms for High Speed Sequence Analysis on a PC Cloud}

본 발명은 PC 클라우드 환경에서 고속 서열 분석을 위한 병렬 Inter-Query 라우팅 알고리즘에 관한 것으로, 특히 Inter-Query 작업을 부여할 때 사용자에게 선택사항을 부여할 수 있도록 다양한 알고리즘을 제안하고, 리파지토리를 통하여 처리 결과를 개인화하여 사용할 수 있도록 하기 위한 PC 클라우드 환경에서 고속 서열분석을 위한 병렬 Inter-Query 라우팅 알고리즘에 관한 것이다.

일반적으로, 라우팅(Routing)은 통신 네트워크상에서 데이터을 보낼 경우를 선택하는 과정으로 전화 통신망, 전자 정보 통신망, 교통망등 여러 종류의 네트워크에서 사용된다. 라우팅은 패킷 전달 및 일반적으로 라우터, 브릿지, 게이트 웨이 , 방화벽 또는 스위치로 불리는 중간 노들를 거쳐 출발지부터 최종 목적지까지 논리적으로 주소가 부여된 패킷의 변환을 총괄한다. 라우팅 과정은 보통 다양한 네트워크 목적지에 대한 라우트 기록을 관리하는 라우팅 테이블을 기초로 하여 수행된다.

라우팅은, 네트워크 주소가 그 구성이 비슷하다면 네트워크 안에서 인접성을 가진 구조라는 가정하에 브릿징과 뚜렷한 차이를 보인다. 구조화된 주소는 하나의 라우팅 테이블 항목이 여러 대의 장비에 대한 경로를 표시하는 것을 가능하게 하기 때문에 좁은 의미의 라우팅은 대규모 네트워크에서 비 구조화된 주소 지정(브릿징)보다 성능이 뛰어나므로, 인터넷 상에서 지배적인 주소 지정 형식이 되었다.

도 1은 서열 분석에 사용되는 Inter-Query 라우팅을 나타낸 개념도이다.

Inter-Query는 서로 다른 대량의 데이터를 대상으로 독립적인 작정을 다른 PC에서 처리하는 연산이다. Inter-Query는 한 번에 최소 수십개에서 수십만개의 작업을 처리하는 생명정보 연산 작업에 적합하다. 즉, Inter-Query는 다중서열 정렬, 단백질 3차원 분석, Phylip 패키지등의 생명정보 데이터 처리에 자주 사용되는 연산이다.

프로세싱에 의한 염기서열의 병렬분산처리 방법은 기준데이터가 N개의 염기서열이고, 검색데이터가 M개의 염기서열인 경우에는 명한다. 기준데이터의 최초 시작점과 검색데이터의 최초 시작점을 동일위치에 놓고, 양 데이터가 일치하는지 검사한다. 검색데이터의 전 길이에 걸쳐 검사를 실시한 이후에, 검색데이터의 최초 시작점을 기준데이터의 두 번째 위치에 일치시키고, 양 데이터가 일치하는지 검사한다.

기준데이터가 인간의 유전체 염기서열이라고 하면, 기준데이터의 개수는 약 32억 개에 해당하고, 검색데이터 역시 비교하려는 인간 유전체의 염기서열이라고 하면, 이 역시 32억 개에 달한다. 따라서, 양자의 비교를 위해서는 32억 개의 데이터 비교를 32억 번 실시하여야 한다.

그러므로, 기준데이터 및 검색데이터가 유전자 염기서열과 같이 그 양이 방대할 경우, 단순한 비교 작업임에도 불구하고, 과도한 시간이 필요하고, 이러한 데이터를 처리하기 위하여 고성능의 프로세싱 능력을 갖춘 클러스터 시스템을 구축하는 것이 일반적이다.

도 2는 종래의 Inter-Query 처리를 위한 FIFO 알고리즘 구성도이다.

고성능 클러스터 장비를 이용하는 경우 Inter-Query는 도 2와 같이 전체 데이터베이스를 노드에 분배하고 FIFO(First-In-First-Out)방식으로 문제를 해결한다. Inter-Query 처리를 위한 FIFO방식은 클러스터 미들웨어에서 일괄적으로 지원하는 방식으로 사용자 만족도, 성능, 효율 및 개인화 관점등 비효율적인 데 자세한 사항은 다음과 같다.

첫째, 사용자의 다양한 요구사항을 만족시킬 수 없다. 즉, 사용자에 따라 전체 작업처리시간에 원할 수도 있고, 중간 결과를 신속히 보고 싶어 할 수도 있지만 데이터베이스 복제방식을 이용하는 Inter-Query 처리방식은 작업을 실행할 때 별도 선택사항 없이 모든 것을 클러스터에 맡겨야 하는 문제점이 있다.

둘째, 시스템의 자원 효율이 떨어진다. 즉, 각 노드에 멀티 코어 프로세서를 사용하고 있음에도 불구하고 하나의 작업을 처리하여 자원 활용을 극대화하지 못하게 되는 문제점이 있다.

셋째, 시스템 자원 활용율이 떨어짐에 따라 성능 향상을 기대할 수 없다. 특히 MPI를 사용하는 경우 노드의 증가에 따라 비레하여 성능 향상을 기대할 수 없다.

넷째, 종래의 클러스터 작업은 개인화 되지 않으며, 데이터 관리를 지원하지 않는 문제점이 있다.

본 발명은 이러한 문제를 해결하기 위하여 발명된 것으로, 본 발명의 목적은 Inter-Query 작업을 부여할 때 사용자들에게 선택사항을 부여할 수 있도록 다양한 알고리즘을 제공하고, 리파지토리를 통해 처리결과를 개인화하여 사용할 수 있도록 함으로써 사용자의 다양한 요구사항을 만족시키고, 시스템의 자원 효율이 증가시켜 성능을 향상시키며 자원을 효율적으로 사용할 수 있도록 하는 것이다.

이와 같은 목적을 수행하기 위한 본 발명은,

랜 리눅스 PCI 카드를 장착한 PC 노드들을 서버에 연결하여 NFS 방식으로 약 결합된 클러스터 시스템을 구축하는 시스템 구축단계;

시스템 구축단계에서 구축된 PC노드들을 서버에서 부팅시키고, 부팅된 PC노드들은 서버로부터 운영체제(커널)을 받아 리눅스를 부팅시키는 부팅 단계; 그리고

부팅 단계후에 서버는 미들웨어의 리파지토리에 할당된 작업들을 PC 노드들에게 전달하고 PC 노드들이 처리한 결과는 서버의 공유영역에 저장하는 저장단계를 포함하는 것이다.

본 발명의 바람직한 실시예에 따르면 저장단계에서 미들웨어는 사용자의 선택사항에 따라 전체 응답시간이 우수한 알고리즘, 중간결과를 신속하게 볼수 있는 알고리즘 및 자원의 효율성을 높일 수 있는 알고리즘방식중 어느 하나의 방식을 선택하여 작업을 PC 노드들로 분배하는 것이다.

본 발명은 Inter-Query 처리에 대한 다양한 라우팅 알고리즘을 제공하여 사용자들에게 다양한 QoS (Quality of Service)부여할 수 있도록 하고, 시스템의 관점에서는 멀티의 컴퓨팅 자원을 효율적으로 활용하여 성능을 증가시키는 효과가 있다.

도 1은 서열 분석에 사용되는 Inter-Query 라우팅을 나타낸 개념도이다.
도 2는 종래의 Inter-Query 처리를 위한 FIFO 알고리즘 구성도이다.
도 3은 본 발명에 따른 PC 클라우드 미들웨어 구성도이다.
도 4는 본 발명에 따른 PC 클라우드 미들웨어 개념도이다.
도 5는 본 발명에 따른 Inter-Query 라우팅 알고리즘 구성도이다.
도 6는 본 발명에 따른 Inter-Query 처리를 위한 리파지토리 개념도이다.
도 7 내지 도 12은 본 발명에 따른 Inter-Query 처리에서 전체 응답시간이 우수한 알고리즘, 중간결과를 신속하게 볼 수 있는 알고리즘 및 자원의 효율성을 높일 수 있는 알고리즘 방식에 대한 개념도이다.
도 12 내지 도 14는 본 발명에 따른 Inter-Query 처리의 효율성을 보여주기 위한 그래프이다.

이하 첨부된 도면을 참조하면 본 발명의 바람직한 실시예를 상세히 설명하면 다음과 같다.

도 3은 본 발명에 따른 PC 클라우드 미들웨어 구성도이다.

본 발명은 Inter-Query 처리 작업을 부여할 때 사용자에게 선택사항을 부여할 수 있도록 다양한 알고리즘을 제안하고, 리파지토리를 통하여 처리 결과를 개인화하여 사용할 수 있도록 한다. 본 발명은 도 3에서 보는 바와 같이 마스터 서버, 클러스터 미들웨어, 랜 리눅스 PCI 카드를 장착한 PC 노드들 및 NFS 방식으로 이루어지는 클라우드 컴퓨팅 환경에서 이루어진다.

이를 위하여 먼저 랜 리눅스 PCI 카드를 장착한 PC 노드들을 서버에 연결하여 NFS 네트워크 방식으로 약 결합된 클러스터 시스템을 구축하는 시스템 구축단계를 수행한다. 시스템 구축단계에서 구축된 PC노드들을 서버에서 부팅시키고, 부팅된 PC노드들은 서버로부터 운영체제(커널)을 받아 리눅스를 부팅시키게 된다.

도 4는 본 발명에 따른 Inter-Query 처리를 위해 노드 관리, 데이터 관리, 라우팅을 담당하는 미들웨어의 개념도이다.

미들웨어는 초고속정보통신망 등 통신망의 구축이 확산됨에 따라 그 중요성이 부각되는 분산 컴퓨팅에 필수적이다. 즉, 미들웨어는 서로 다른 운영체제와 서버 프로그램과의 호환성뿐만 아니라 이종의 통신 프로토콜을 사용하는 네트워크 간의 접속, 네트워크 자원에 대한 접근, 그리고 시스템을 연결해 단일한 사용자 환경으로 만들어 주는 필수적인 요소이다.

즉, 미들웨어는 분산 컴퓨팅 환경을 구현하는데 발생하는 여러 문제점들을 해결한다. 본 발명의 핵심은 PC 클라우드 미들웨어에서 지원하는 병렬 Inter-Query 라우팅 알고리즘과 리파지토리이다.

도 5 및 도 6에서 보는 바와 같이, 부팅 단계후에 서버는 미들웨어의 리파지토리에 할당된 작업들을 PC 노드들에게 전달하고 PC 노드들이 처리한 결과는 서버의 공유영역에 저장하는 저장단계를 수행한다. 이때 미들웨어는 사용자의 선택사항에 따라 도 7내지 도 12에서 보는 바와 같이, 전체 응답시간이 우수한 알고리즘(RB2, RSD2, RSD1), 중간 결과를 신속하게 볼수 있는 알고리즘(RSA1, RSA2) 및 자원의 효율성을 높일 수 있는 알고리즘(RB2, RSA2, RSD2)중 어느 하나의 방식을 선택하여 작업을 PC 노드들로 분배하는 것이다.

이와 더불어 본 발명에 따른 Inter-Query 처리를 위한 리파지토리는 PC 노드에 흩어져 저장되어 있는 데이터 베이스를 모아 놓고, 서로 공유할 수 있게 한다. 따라서, 사용자가 직접 검색하기도, 소프트웨어를 사용하여 검색하기도 한다.

이를 위하여 사용자는 도 7내지 도 12에 도시된 바와 같이 전체 응답시간이 우수한 알고리즘(RB2, RSD2, RSD1), 중간 결과를 신속하게 볼수 있는 알고리즘(RSA1, RSA2) 및 자원의 효율성을 높일 수 있는 알고리즘(RB2, RSA2, RSD2)중 어느 하나의 방식을 선택하여 작업을 PC 노드들로 분배하고 처리 결과를 수집하게 된다.

도 7 내지 도 12에서 작업의 크기는 원의 크기와 비례한다. (Q₁ < 작업Q₃ < Q₄ < Q₅ < Q₂) 사용자가 전체 응답시간이 우수한 알고리즘(RB2, RSD2, RSD1)식을 선택하면 작업간의 응답시간을 최소화 하며, 성능이 우수한 노드가 상대적으로 느린 노드의 작업을 협력하여 처리한다.

또한, 사용자가 중간 결과를 신속하게 볼수 있는 알고리즘(RSA1, RSA2)을 선택하면 작업의 크기에 따라 노드들의 배분하여, 작업이 모든 노드에서 종료하면 그 다음 작업을 처리한다.

도 12 내지 도 14는 본 발명에 따른 Inter-Query 처리의 효율성을 보여주기 위한 그래프이다.

본 발명은 랜 리눅스 PCI 카드를 장착한 PC들을 서버에 연결하여 NFS 방식으로 약 결합된 클러스터 시스템을 구축하고, 구축된 클러스터 시스템에서 분산환경에서 작업 처리 성능이 우수하며 사용자의 다양한 요구사항을 만족시킬 수 있다. 도 12 및 도 14에서 보는 바와 같이 기존의 클러스터 시스템에서의 성능에서의 처리와 본 발명의 처리 방식을 비교한 결과 대용량 생물학 데이터 처리의 성능을 개선하며, 사용자에게 성능, 효율, 데이터 관리 측면에서 다양한 선택사항을 제공하는 것이다.

본 발명은 Intra-Query 처리에 대한 다양한 라우팅 알고리즘을 제공하여 저가의 PC를 활용하여 생명공학 분야에서 가장 널리 사용되는 ClustwalW와 같은 다양한 서열 처리용 고성능 클러스터 컴퓨터 구축할 수 있으며, 저가의 PC를 활용하여 경영학 분야의 대용량 OLAP 분석 처리용 고성능 클러스터 컴퓨터 구축할 수도 있다.

이상에서 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하였으나, 본 발명은 이에 한정되는 것이 아니며 본 발명의 기술적 사상의 범위내에서 당업자에 의해 그 개량이나 변형이 가능하다.

Claims (2)

1. 랜 리눅스 PCI 카드를 장착한 PC 노드들을 서버에 연결하여 NFS 방식으로 약 결합된 클러스터 시스템을 구축하는 시스템 구축단계;
   상기 시스템 구축단계에서 구축된 PC노드들을 서버에서 부팅시키고, 부팅된 PC노드들은 서버로부터 운영체제(커널)을 받아 리눅스를 부팅시키는 부팅 단계; 그리고
   상기 부팅 단계후에 서버는 미들웨어의 리파지토리에 할당된 작업들을 PC 노드들에게 전달하고 PC 노드들이 처리한 결과는 서버의 공유영역에 저장하는 저장단계를 포함하는 PC 클라우드 환경에서 고속 서열 분석을 위한 병렬 Inter-Query 라우팅 알고리즘.
2. 제 1 항에 있어서, 상기 저장단계에서의 미들웨어는 사용자의 선택사항에 따라 전체 응답시간이 우수한 알고리즘, 중간결과를 신속하게 볼수 있는 알고리즘 및 자원의 효율성을 높일 수 있는 알고리즘방식중 어느 하나의 방식을 선택하여 작업을 PC 노드들로 분배하는 것을 특징으로 하는 PC 클라우드 환경에서 고속 서열 분석을 위한 병렬 Inter-Query 라우팅 알고리즘.

Images