KR0150070B1 - 클러스터 기반의 병렬처리 컴퓨터를 위한 계층 크로스바 상호 연결망 - Google Patents

Abstract

본 발명은 클러스터 기반의 병렬처리 컴퓨터를 위한 계층 크로스바 상호연결망에 관한 것이다.

종래의 병렬처리 컴퓨터를 위한 상호연결망은 큰 규모의 시스템 구성시 많은 계층이 필요하고, 비계층 구조로 확장성이 부족하여, 노드간 데이터 지연시간이 길고, 비용 효과면에서 적합하지 않았다. 본 발명은 이를 해결하기 위해 동일한 데이터 경로를 제어하고 데이터 패킷의 전송을 제어하는 n개의 크로스바 스위치와 8개의 노드 연결용 링크와 2개의 상위 클러스터 연결용 링크를 갖는 2개의 크로스바 연결망과 최대8개의 프로세싱 노드를 연결하여 하나의 하위 클러스터를 구성하고, 최대 8개의 하위 클러스터와 상위 크로스바 연결망을 연결하여 하나의 상위 클러스터로 구성 하며, 최대8개의 상위 클러스터와 차상위 크로스바 연결망을 연결하여 하나의 차상위 클러스터를 구성하는 방식의 연결 확장성을 가지므로써 계층 구조의 병렬처리 시스템을 효과적으로 지원할 수가 있다.

또한, 두 개의 하위 클러스터 연결 또는 두 개의 상위 클러스터 연결은 상위 또는 차상위의 크로스바 연결망을 사용하지 않고 링크를 통해 직접 연결하므로써 다른 하위 클러스터내 또는 다른 상위 클러스터내 프로세싱 노드들 간에 적은 지연시간을 가지고 데이터를 송수신할수 있는 것이다.

Description

클러스터 기반의 병렬처리 컴퓨터를 위한 계층 크로스바 상호 연결망(A hierarchical crossbar interconnection network for the cluster-based parallel processing computer)

제1도는 하위 클러스터를 구성한 계층 크로스바 연결망의 개략도.

제2도는 두 개의 하위 클러스터간 연결도.

제3도는 128노드를 연결한 게층 크로스바 연결망의 개략도.

제4도는 전송 패킷의 구조도.

제4B도는 패킷 태그 구조도.

제5도의 (a)~(d)는 다중 태그 구조를 갖는 패킷의 구성도.

* 도면의 주요 부분에 대한 부호의 설명

101,102,103~206,303~310 : 크로스바 연결망

201,202,301a~301h,302a~302h : 하위 클러스터

207~210,318a~318h,319a~319h,320a~320h,321a~321h,322a~322h,323a~323h,324a~324h,,325a~325h : 하위 클러스터 연결용 링크

300a,300b : 상위 클러스터 311~318 : 차상위 클러스터 연결용 링크

401 : 패킷 402 : 헤더부분

403 : 데이타 부분 404a~404d : 태그(tag)

405 : 제어정보 406a~406p : 데이타 플릿(flit)

407 : 패킷의 종류(PC) 408 : 긴급전송종보(E)

409 : 브로드 캐스트 정보(B) 410 : 수신노드의 주소(DTag)

본 발명은 클러스터 기반의 병렬처리 컴퓨터를 위한 상호연결망에 관한 것으로, 특히 데이터를 처리하기 위한 다수의 프로세싱 노드와 이들을 연결하여 데이터 경로를 제공하는 상호연결망으로 구성된 병렬처리 컴퓨터에 있어서, 클러스터를 기반으로 하여 고속의 다수 데이터를 프로세싱 노드들이 신속하게 송수신할 수 있도록 빠른 데이터 전송통로와 효율적인 연결을 하기 위한 클러스터 기반의 병렬처리 컴퓨터를 위한 계층 크로스바 상호 연결망에 관한 것이다.

병렬처리 컴퓨터의 상호연결망은 병렬처리 컴퓨터의 구조와 성능을 결정하는 중요한 구성요소이다.

종래기술에서의 병렬처리 시스템은 응용분야에 따라 그 분야에 적합하도록 각기 독특한 구조적 특성을 지닌다.

이러한 구조적 특성을 규정하는 가장 중요한 요소는 연결구조(Connection architecture),즉 시스템내의 처리기들을 연결하는 상호연결망(Interconnection network)이다.

대부분의 병렬처리 시스템은 계층적 구조(Hierarchical structure)로 구성되며, 보통 2-3개의 계층구조로 이루어진다.

이러한 계층적 구조에서 최하위 단일 프로세서 노드(Uniprocessor node)나 SMP노드(Symmetric MultiProcessing node)로 구성되고, 상기 SMP노드는 하나의 연결구조를 갖으며 시스템에 따라 독립적 수행이 가능한 하나의 부시스템(Subsystem)으로 간주된다.

이와같은 단일 프로세서 노드나 SMP노드들을 연결하여 하나의 계층을 형성하는데, 일반적으로 독립 수행이 가능한 이러한 계층을 클러스터(Cluster)라 한다.

종래기술에서의 상호연결망은 크게 동적(Indirect) 상호연결망과 정적(Direct) 상호연결망으로 구분된다.

전자의 동적 상호연결망은 보통 다단계(Multistage) 연결구조로서 연결망내의 스위치에서 경로를 설정하고, 기본적으로 무교착상태(Deadlock-free)의 특징을 가지고, 모든 경로가 동시에 설정되지 못하는 블록킹(Blocking)연결망 이다.

따라서, 적은 비용으로 높은 성능을 얻기 위한 연결망의 위상구조와 효율족인 경로제어방법, 모든 조합의 경로를 설정할 수 있는 논블럭킹(Non-blocking)능력, 결합 허용방법등이 활발히 연구되고 있다.

그러나 이와같은 모든 동족 상호연결망은 비계층 구조로 확장성이 부족하여 계층구조를 갖는 클러스터 기반의 병렬처리 시스템에는 적합하지 못하였다. 따라서, Howard Thomas Olnowich는 상기 동적 상호연결망에서의 블록킹 문제점을 극복하기 위해 8×8크로스바 스위치를 사용하여 여분의 경로를 제공하는 연결망 위상으로서의 다기능 망(Milti-function network)을 고안 하였다(Howard Thomas Olnowich.et al., Multi-function network, European Patent Application, No.92103761.0, May 3,1992.).

이러한 다기능 망(Multi-function network)은 다단계 상호 영결망으로서 계층 구조를 갖는 클러스터 기반의 병렬처리 시스템에는 적합하지 못하였다.

또한, Jonathan S.Turner에 의해 고안된 Non-blocking Multicast Switching System(Jonathan S.Turner, Non-blocking Multicast Switching System,United States Patent, No.5,179,551, Jan.12, 1993) 과 Napolitano L M 에 의해 고안된 Packet-switched intercommunication network(Napolitan L M, Packet-switched intercommunuication network for distributed memory, patallel processor computers,)은 모두 다단계 상호연망으로 연결망의 위상 연구를 통하여 모든 조합의 경로를 설정할 수 있는 논블록킹(Non-blocking)능력과 적은 데이터 지연시간, 결함 허용등을 특징으로 하고있지만, 역시 비계층 구조의 상호연결망으로 계층 구조를 갖는 클러스터 기반의 병렬처리 시스템에는 적합하지 못하다.

한편, 후자의 정적(Direct)상호연결망은 각 노드사이에 점대점 연결을 가지며, 경제제어는 각 노드(처리기)의 경로 제어 스위치에서 수행한다. 이러한 정적 상호연결망은 기본적으로 교착상태(Deadlock)연결망으로서 경로제어 알고리즘은 무교착상태(Deadlock-free)를 보장하여야 하고, 또한 상기 동적 상호연결망과는 다르게 확장성이 뛰어나므로 대부분의 상용 병렬처리 시스템에 사용되어 왔다.

그러나, 정적 상호연결망은 상기 동적 상호연결망에 비해서 노드간 데이터 지연시간이 상대적이고 길고, 노드당 링크의 수가 상대적으로 많은 단점을 가지고 있다.

따라서, 이러한 정적 상호연결망은 노드당 적은 링크 수와 짧은 노드간 거리, 최소의 구성 링크를 가지고 많은 노드들을 연결할 수 있는 구조로 연구 되어있다.

이에따라 Stephen R Colley등이 고안한 High Performanace Computer System은 하이퍼-큐브(Hyper-cube)연결 구조를 이용하여 다른 정적 상호연결망에 비해 적은 데이터 지연시간과 연결 확장성을 갖는 시스템이다.(R. Colley, et, al., High Performance Computer System, United States Patent, No. 5,113,523,May.12,1992.).

그러나 Stephen R.Colley 등이 고안한 High Performance Computer System은 시스템의 노두 수가 증가함에 따라 노드랑 링크 수가 증가하기 때문에 시스템의 확장이 유연하지 못한 문제점이 있다.

즉, 시스템이 업 그레이드(upgrade)될 때 마다 노드를 다시 설계하고 구현해야 하는 문제점을 가지고 있다.

이에 따라, birrell A D 는 시스템의 유연한 확장성을 위하여 High-speed mesh connected local area network을 고안하였다.

이 고안은 각 노드가 동일한 수의 링크를 가지고 추가의 비용없이 시스템을 유연하게 확장할 수 있는 특징을 가지고 있다. (Birrell A D, High-speed mesh connected Iocal area network, United States Patent, No.5,088,091.).

이러한 메쉬(Mesh) 연결구조를 기반으로 우연한 확장성을 가지는 것을 특징으로 하는 병렬처리 시스템들이 최근 상용화되어 왔다.

그러나 이러한 메쉬 연결구조는 뛰어난 연결 확장성을 제공하지만 큰 규모의 시스템 구성시 노드와 노드간의 데이터 전송지연시간이 긴 단점이 있다.

이와같이 긴 데이터 전송 지연시간은 시스템 전체의 성능을 저하시키기 때문에 지연시간을 줄이기 위해 토러스-메쉬(Torus-mesh), 3-D 메쉬 연결 구조등에 대해 많은 노력을 기울여 왔다.

이와같이 토러스-메쉬, 3-D 메쉬 연결 구조는 기존 메쉬 연결구조에 비해 상당한 지연시간의 단축을 가지고 왔지만 기본적인 연결 구조의 특징으로 인해 한계점을 가지고 있다.

이상에서 설명한 동적 상호연결망의 특성과 정적 상호연결망의 특성을 상호 보안하기 위해 중간 형태의 상호연결망이 Robert C.Zak등에 의해 고안되었다. (Robert C.Zak, et al., Parallel Computer System including arrangement for transferring from a source procssor to selected ones of a piurality of destination processors and combining responses, United States Patent, No.5,265,207, Nov.23, 1993.).

Robert C.Zak 등에 의해 고안된 Parallel Computer System의 데이터 상호연결망은 팻-트리(Fat-tree)연결 구조를 기반으로 뛰어난 연결 확장성을 제공한다. 4개의 노드를 기본 단위로 하여 계층구조를 갖는 각 클러스터는 4개의 노드와 8 ×8 크로스바 스위치 소자로 구성된다.

또한, 이중 링크를 제공하여 단일 결함을 허용할 수 있는 특징과 계층 구조 내 모든 링크의 전송 대역폭이 동일한 팻-트리 연결구조의 특징을 가지고 있다.

그러나 상기 상호연결망은 큰 규모의 시스템 구성시 많은 계층이 필요하기 때문에 데이터 전송시 경유하는 크로스바 스위치 수 만큼 지연시간이 증가 하며, 기본 데이터 전송 폭이 작아 한 패킷단위의 데이터를 전송하기 위해서는 많은 시간이 소요된다.

이러한 지연시간은 송신측에서 데이터를 전송하여 수신측에 데이터가 전송될 때까지의 시간을 의미한다.

따라서, 송신측에서 전송되는 데이터는 적은 수의 크로스바 스위치를 통과해야 적은 지연시간이 소요된다.

그러므로, 지연시간이 적을수록 시스템의 성능은 향상되는데, 이때 지연시간을 적게 하는 결정 요소들은 동작주파수, 전송 프로트콜, 연결망 구조등이 있다.

그 예로서, 종래의 계층 상호연결망은 두 개의 하위 클러스터 구성시 3단계의 연결망을 경유함으로써 지연시간이 많은 소요되었다.

본 발명에서는 상기 결정 요소들중에 연결망 구조 관점에서 상술할 것이다.

또한, 모든 링크의 전송 대역폭이 동일한 팻-트리 연결구조는 클러스터 단위로 많은 데이터를 처리하는 대부분의 병렬처리 시스템에 비해 효과( Cost-performance)면에서 적합하지 않은 문제점이 있다.

따라서, 본 발명은 상기 문제점을 해결하기 위해 뛰어난 연결확장성(Scalibility)과 적은 지연시간, 단일 결함 허용(Single fault-tolerance), 그리고 적은 설계비용(Cost)을 갖기 위해 계층 크로스바 연결망으로 구성된 클로스터 기반의 병렬처리 컴퓨터를 위한 계층 크로스바 상호연결망을 제공하는데 목적이 있다.

상기 목적에 따른 본 발명의 기술적인 특징은, 다수의 데이터를 고속으로 처리하는 클로스터 기반의 병렬처리 컴퓨터를 위한 상호연결망에 있어서, 동일한 경로제어를 수행하는 n개의 크로스바 스위치, 8개의 노드 연결용 링크, 그리고 2개의 상위 클로스터 연결용 링크를 포함하는 2개의 크로스바 연결망과 최대 8개의 프로세싱 노드를 연결하여 하나의 하위 클러스터를 구성하고, 최대 8개의 하위 클러스터와 상위 크로스바 연결망을 연결하여 하나의 상위 클러스터를 구성하며, 최대 8개의 상위 클러스터와 상기 차상위 크로스바 연결망을 연결하여 하나의 차상위 클러스터를 구성하는 방식의 연결 확장성을 가지므로써 계층구조의 병렬처리 시스템을 효과적으로 지원 할 수 있고, 두 개의 하위 클러스터 연결시 또는 두 개의 상위 클러스터 연결시 상위 또는 차상위의 크로스바 연결망을 사용하지 않고 링크를 직접 연결 하므로써 다른 하위 클러스터내 또는 다른 상위 클러스터내 프로세싱 노드들간에 적은 지연시간을 가지고 데이터를 송수신할 수 있는 계층 크로스바 연결망의 특징이 있다.

이와같이 계층 크로스바 연결망으로 구성된 본 발명의 클러스터 기반의 병렬처리 컴퓨터에서 하나의 단일 클러스터는 8개의 프로세싱 노드와 단일 결함 허용을 위해 이중화된 크로스바 연결망, 이중화된 8쌍의 노드 연결용 링크, 그리고 이중화된 2쌍의 상위 클러스터 연결용 링크로 구성된다.

단일 클러스터내 8개 프로세싱 노드는 이중화된 크로스바 연결망을 통하여 직접 데이터를 송수신한다.

크로스바 연결망은 단단계(Single stage)로 구성되어 단일 클러스터내 프로세싱 노드들은 최소의 지연시간을 가지고 데이터를 송수신한다.

이러한 하나의 크로스바 연결망은 바이트 슬라이스(Byte-slce)된 n개의 크로스바 소자, 8개의 노드 연결용 링크, 및 2개의 상위 클러스터 연결용 링크로 구성된다.

상기 바이트 슬라이스된 n개의 크로스바 소자는 동일한 경로제어를 수행하고, 동일한 데이터 패킷의 전송을 담당한다.

즉, 바이트 슬라이스된 n개의 크로스바 소자(예:크로스바 스위치)는 동일한 수신노드에 데이터가 전송될 수 있도록 경로제어를 동일하게 수행하고, 바이트 슬라이스된 각 크로스바 소자는 동일한 데이터 패킷의 n 등분된 데이터를 전송한다.

참고로, 본 발명에서 사용되는 하위. 상위, 차상위의 표현은 계층 0(Level 0), 계층 1(Level 1), 계층 2(Level 2)등에 해당한다.

한편, 계층 클러스터 구조의 병렬처리 컴퓨터에서 하나의 단일 클러스터는 하나의 클러스터로 정의되며, 2개의 이상의 하위 클러스터를 연결하여 하나의 상위 클러스터를 형성한다.

따라서, 2개의 하위 클러스터 연결은 상위의 크로스바 연결망을 사용하지 않고 직접 이중화된 링크를 통해 연결하여 다른 하위 클러스터내 프로세싱 노드들간에 2 단계(여기서, 단계는 크로스바 스위치의 수를 의미)크로스바 연결망을 경유하므로서 적은 지연시간을 가지고 데이터를 송수신할 수 있다.

최대 64개의 프로세싱 노드들을 갖는 하나의 상위 클로스터는 8개의 이내의 하위 클러스터 연결시 상위의 크로스바 연결망을 사용하여 형성한다.

클러스터내의 모든 프로세싱 노드들은 이중화된 연결링크를 가지고 계층 크로스바 연결망에 발생한 단일 링크 결함이나 단일 소자 결함을 허용할 수 있다.

또한, 본 발명의 계층 크로스바 연결망은 2개의 상위 클러스터 연결시 차상위 크로스바 연결망을 사용하지 않고 직접 2개의 상위 클러스터를 연결망을 경유하므서 적은 지연시간을 가지고 데이터를 송수신할 수 있다.

그리고 차상위 클러스터내의 모든 프로세싱 노드들은 이중화된 연결링크를 가지고 계층 크로스바 연결망에 발생한 단일 링크 결함이나 단일 소자 결함을 허용할 수 있다.

본 발명의 계층 크로스바 연결망은 노드와 연결망간 또는 연결망과 연결망간에 적은 지연시간을 갖는 효율적인 데이터 패킷 전송을 위하여 'Virtual Cut-through Routing' 기법을 사용한다.

상기 ' Virtual Cut-through Routing' 기법은 연결망내에 데이터를 저장하는 버퍼를 두어 전송하고자 하는 목적지 경로가 사용중이면 데이터를 버퍼에 임시 저장하며, 반면에 전체 연결망내에 사용중인 경로가 없다면 데이터는 전체 연결망에 걸쳐 목적지까지 전송되는 것을 의미한다.

또한, 본 발명의 계층 크로스바 연결망은 하위 클러스터내 2개의 상위 클러스터 연결용 링크와 상위 클러스터내 2개의 차상위 클러스터 연결용 링크를 적용 경로방식을 사용하여 2개의 링크중 하나의 링크가 사용중이면 다른 링크로 데이터를 전송하여 동일한 목적지 노드에 데이터가 전송될 수 있도록 보장한다.

상기에서 적응경로 방식은 노드에 연결되지 않은 하위 클러스터 연결용 링크나 상위 클러스터 연결용 링크를 통하여 송신기능을 수행할 때 하나의 링크에 장애가 발생하면, 이를 크로스바 연결망내에서 감지하여 장애가 발생하지 않는 다른 링크로 데이터를 송신하는 방식이다.

본 발명의 계층 크로스바 연결망내 데이터의 전송 및 경로제어를 위해 패킷 구조를 정의한다.

상기 패킷(Packet)은 헤더 부분과 데이터 부분으로 구성되고, 헤더 부분은 태그와 제어정보(Control information)로 세분된다.

상기에서 태그는 8비트 크기의 태그 정보를 갖으며, 바이트 슬라이스된 상호연결망을 위한 동일한 n개의 태크로 구성되고, 제어정보는 n 바이트 크기의 한 플릿(Flit)으로 구성된다.

상기 플릿(Flit)은 패킷을 구성하는 단위로서, 물리적으로 한번에(또는 동시에) 전송상가능한 데이터 단위이다.

플릿의 크기가 32비트 단위이면 전송라인이 실제 32개(비트)가 존재한다는 의미이다.

그리고 상기 데이터 부분도 n 바이트 크기를 갖는 한 플릿을 단위로 하여 다수개의 데이터 플릿으로 구성된다.

이와같은 상기 패킷은 클러스터내의 송신노드에서 생성하여 전송하고 계층 크로스바 연결망을 경유하여 수신노드로 전송된다.

여기서, 상기 노드는 송신노드도 될 수 있고, 수신노드도 될 수 있는 것으로, 데이터를 송신 및 수신할 수 있는 기능을 가지고 있다.

이때, 송신노드는 태그에 패킷의 종류와 긴급 정송 정보, 브로드 캐스트 정보, 그리고 수신노드의 주소를 지정하여 계층 크로스바 연결망에 전송한다.

이에따라, 계층 크로스바 연결망내의 상기 크로스바 연결망은 패킷의 태그를 해석하여 패킷 태그의 수신노드 주소로 데이터를 전송한다.

본 발명의 계층 크로스바 연결망내 하나의 크로스바 연결망은 패킷의 태그를 해석하여 출력으로 패킷의 태그를 제외한 패킷의 나머지 부분만을 전송한다.

따라서, 수신노드는 항상 패킷의 태그를 제외한 제어정보와 데이터 부분을 수신한다.

본 발명의 계층 크로스바 연결망에서는 다중 태그 구조의 패킷을 사용하고, 이러한 다중 태그 구조는 클러스터 구조에 따라 필요한 수의 태그를 생성하여 연결망에 전송하기 위한 구조이다.

또한 상기 다중 태그의 수는 수신노드까지 경유하는 크로스바 연결망의 단계 수와 동일하며, 다중 태그의 생성은 크러스바 연결망의 송신노드에서 담당한다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면에 의거하여 상세히 설명하면 다음과 같다.

본 발명은 클러스터 기반의 병렬처리 컴퓨터를 위한 고성는 상호연결망에 관한 것으로서, 먼저, 제1도는 하위 클러스터를 구성한 계층 크로스바 연결망의 개략도를 나타낸다.

제1도에 도시된 바와같이, 하나의 크로스바 연결망(101)은 바이트 슬라이된 n개의 크로스바 스위치(103a-103d)와, 상기 n개의 크로스바 스위치(103a-103d)와 8개의 프로세싱 노드(107a-107h)를 연결하기 위한 8개의 링크(105a-105h)와, 상위 클러스터와 연결을 위한 2개의 링크(105i-105j)로 구성된다.

마찬가지로, 다른 하나의 크로스바 연결망(102)도 바이트 슬라이스된 n개의 크로스바 스위치(104a-104d)와 8개의 노드(107a-107h)를 연결하기 위한 8개의 링크(106a-106h)와 상위 클러스터와 연결을 위한 2개의 링크(106i,106j)로 동일하게 구성된다.

상기한 노드(107a-107h)는 링크(105a-105h,106a-106h)가 각각 양방향으로 연결되었는데, 이는 데이터가 송신 또는 수신될 수 있는 것이다.

따라서, 각 노드는 두 개의 링크를 통하여 모두 송신하거나 또는 모두 수신 하거나 또는 한 링크로 송신하고 다른 한 링크로 수신할 수가 있다.

하나의 하위 클러스터는 최대8개의 노드(107a-107h)와 상기 두 개의 크로스트바 연결망(101,102)으로 구성된다.

상기 각 노드(107a-107h)는 노드당 2개의 링크(105,106)를 가지고 이중 링크를 구성하여 연결망내의 단일 링크 결함이나 단일 스위치 결함을 허용 할 수 있다.

각 클러스트내 크로스트바 연결망(101,102)은 바이트 슬라이스된 n개의 크로스바 스위치로 구성되며, 각 크로스바 스위치(103a-103d,104a-104d)는 동일한 기능을 수행한다.

하나의 크로스바 연결망(101)에서 상위 클러스터 연결용 2개의 링크(105i,105j)는 각각 상위의 다른 크로스바 연결망에 연결되거나 또는 다른 하위 클러스터의 상위 클러스터 연결용 링크에 연결된다.

2개의 링크(105i,105j)중 하나의 링크가 사용중이면 연결망에서 다른 링크로 적응경로 재어를 수향하여 동일한 목적으로 데이터가 정확히 전송될 수 있도록 한다.

다른 크로스바 연결망(102)에서 상위 클러스터 연결용 2개의 링크(106i,106j)도 상기와 동일한 기능을 수행한다.

제2도는 두 개의 하위 클러스터간 연결도를 나타낸다.

제2도에서 두 개의 하위 클러스터(201,202)는 상위 크로스바 연결망을 사용하지 않고 직접 연결한 연결도를 보여준다.

한 클러스터(201)내에 두 개의 크로스바 연결망(203,205)은 각각 2개의 상위 클럴스터 연결용 링크(105i,105j)를 가지고 있기 때문에 다른 클러스터(202)내의 두 크로스바 연결망(204,206)이 가지고 있는 각각 2개의 상위 클러스터 연결용 링크를 연결하여 4개의 하위 클러스터간 연결링크(207-210)를 구성할수 있다.

한 클러스터내의 임의의 노드에서 다른 클러스터내의 임의의 노드로 4개의 연결링크(207-210)가 존재하기 때문에 4개의 연결링크중 임의의 한 링크에 결함에 발생하거나 또는 하위 클러스터 연결망에 발생한 단일 링크 결함이나 단일 스위치 결함이 발생하여도 이를 허용할 수 있다.

제 3 도는 각 8개의 하위 클러스터로 구성된 두 개의 상위 클러스터를 연결하여 최대 128노드를 연결한 계층 크로스바 연결망의 개략도를 나타낸다.

하나의 상위 클러스터(300a)는 8개의 하위 클러스터(301a-301h)와 n개의 크러스바 연결망(303,304,307,308)과 많은 연결링크(318a-318h,319a-319h,322a-322h,323a-323h)로 구성된다.

하나의 상위 클러스터(300a)는 최대 64개의 노드를 연결할 수 있으며, 동일 하위 클러스터내 노드들간에는 2개의 링크를 제공하고 다른 하위 클러스터내 노드들간에는 4개의 연결링크를 제공한다.

하위 클러스터(310a-301h)는 각각 4개의 상위 클러스터 연결용 링크를 가지기 때문에 상위 클러스터를 구성하기 위하여 별도의 4개의 상위 크로스바 연결망(303,304,307,308)을 사용한다.

하단의 상위 크로스바 연결망(303)은 8개의 하위 클러스터 연결용 링크(318a-318h)와 차상위 클러스바 구성을 위한 2개의 연결링크(311,312)를 가진다.

다른 3개의 상위 크로스바 연결망(304,307,308)도 상기 상위 크로스바 연결망(303)과 동일하게 각 8개의 하위 클러스터 연결용 링크(319a-319h,322a-322h,323a-323h)와 차상위 클러스터 구성을 위한 각 2개의 연결 링크(313,314,315,316,317,318)를 가진다.

상기 상위 크로스바 연결망(303)에서 8개의 각 하위 클러스터 연결용 링크(318a-318h)는 각각 8개의 하위 클러스터(301a-301h)의 상위 클러스터 연결용 링크에 연결된다.

그리고 다른 3개의 상위 크로스바 연결망(304,307,308)의 각 하위 클러스터 연결용 링크(319a-319h,322a-322h,323a-323h)도 각각 8개의 하위 클러스터(301a-301h)의 다른 상위 클러스터 연결용 링크에 연결된다.

다른 하나의 상위 클러스터(300b)도 8개의 하위 클러스터(302a-302h)와 n개의 크로스바 연결망(305,306,309,310)과 많은 연결링크(320a-320h,321a-321h,324a-324h,325a-325h) 로 구성되며, 역시 최대 64개의 노드를 연결할 수 있으며, 동일 하위 클로스터내 노드들간에는 2개의 링크를 제공하고 다른 하위 클러스터내 노드들간에는 4개의 연결링크를 제공한다.

하위 클러스터(302a-302h)는 각각 4개의 상위 클러스터 연결용 링크를 가지기 때문에 상위 클러스터를 구성하기 위하여 별도의 4개 상위 크로스바 연결망(305,306,309,310)을 사용한다.

하나의 상위 크로스바 연결망(305)은 8개의 하위 클러스터 연결용 링크(320a-320h)와 차상위 클러스터 구성을 위한 2개의 연결링크(312,314)를 가진다.

또한, 다른 3개의 상위 크로스바 연결망(306,309,310)도 상기 크로스바 연결망(305)과 동일하게 각 8개의 하위 클러스터 연결용 링크(321a-321h, 324a-324h, 325a-325h)와 차상위 클러스터 구성을 위한 각 2개의 연결링크(311,313,315,316,317,318)를 가진다.

상기 상위 크로스바 연결망(305)에서 8개의 각 하위 클러스터 연결용 링크(320a-320h)는 각각 8개의 하위 클러스터(302a-302h)의 상위 클러스터 연결용 링크에 연결된다.

다른 3개의 상위 크로스바 연결망(306,309,310)의 각 하위 클러스터 연결용 링크(321a-321h,324a-324h,325a-325h)도 각각 8개의 하위 클러스터(302a-302h)의 다른 상위 클러스터 연결용 링크에 연결된다.

제 3도는 두 개의 상기 상위 클러스터를 연결하여 최대 128개의 노드를 연결할 수 있는 구조로써 두 개의 상위 클러스터간에는 모두 8개의 연결링크가 형성된다.

각 상위 클러스터(300a,300b)는 각각 8개의 차상위 클러스터 연결용 링크를 가지지 때문에 두 개의 상위 클러스터를 바로 연결할 경우 모두 8개의 연결링크가 형성된다.

두 개의 상위 클러스터간 연결링크의 연결 규칙은 한 상위 클러스터(300a)내 한 크로스바 연결망(303)의 두 개의 차상위 클러스터 연결용 링크(311,312)는 다른 상위 클러스터(300b)내 두 개의 크로스바 연결망(305,306)의 하나의 차상위 클러스터 연결용 링크(311,312)에 연결해야 하고, 한 상위 클러스터(300a)내 다른 크로스바 연결망(304)의 두 개의 차상위 클러스터 연결용 링크(313,314)는 다른 클러스터(300b)내 두 개의 크로스바 연결망(305,306)의 다른 차상위 클러스터 연결용 링크(313,314)에 연결해야 한다.

마찬가지로, 한 상위 클러스터(300a)내 한 크로스바 연결망(307)의 두 개의 차상위 클러스터 연결용 링크(315,316)는 다른 상위 클러스터(300b)내 두 개의 크로스바 연결망(309,310)의 하나의 차상위 클러스터 연결용 링크(315,316)에 연결해야 한다.

또한, 한 상위 클러스터(300a)내 다른 크로스바 연결망(308)의 두개의 차상위 클러스터 연결용 링크(317,318)는 다른 상위 클러스터(300b)내의 두개의 크로스바 연결망(309,310)의 다른 차상위 클러스터 연결용 링크(317,318)에 연결해야 한다.

이에따라, 본 발명은 최대 8개의 상기 상위 클러스터와 8개의 차상위 크로스바 연결망을 연결하여 하나의 차상위 클러스터를 구성하는 방식의 연결 확장성을 가지므로써, 계층 구조의 병렬처리 시스템을 효과적으로 지원할 수가 있다.

그러므로, 본 발명은 최대 8개의 상기 차상위 클러스터와 16개의 차차상위 크로스바 연결망을 연결하여 하나의 차차상위 클러스터를 구성할 수가 있으므로서 필요한 일정 수 만큼의 클러스터를 확장시킬 수가 있는 것이다.

제4A도는 계층 크로스바 연결망에서 목적지 노드로 데이터를 전송하기 위해 필요한 패킷의 구조를 나타낸다.

상기 패킷(401)은 헤더 부분(402)과 데이터 부분(403)으로 구성되며, 헤더부분(402)은 태그(404a-404d)와 제어정보(405)(Control information)로 세분된다.

그리고 태그(404a-404d)는 8비트 크기의 태그 정보를 갖으며, 바이트 슬라이스된 상호연결망을 위한 동일한 n개의 태그를 구성하여 n바이트 크기의 계층 크로스바 연결망에서 사용한다.

이러한 태그정조는 8비트로 구성되고, 4개의 똑같은 태그정보는 32비트로 구성되어 32비트 크기의 태그정보 플릿을 제공한다.

즉, 상기 4개의 태그정보는 동일한 수신노드로 경로제어를 수행하는 바이트 슬라이스된 4개의 크로스바 스위치를 위한 것이다.

상기한 하나의 플릿이 만약 32비트로 구성되고 바이트 슬라이스된 4개의 크로스바 스위치가 있다고 가정하면, 각 하나의 크로스바 스위치는 플릿의 32비트 데이터중 4등분된 8비트씩 경로제어 및 전송을 담당한다.

상기에서 제어정보(405)는 송신노드에서 수신노드로 전송하는 패킷의 제어에 필요한 정보로서, n 바이트 크기의 한 플릿으로 구성한다.

즉, 상기 제어정보는 수신노드에서 패킷의 종류, 크기 및 형태에 따라 적절한 동작을 취할 수 있도록 제공하는 패킷에 대한 정보로서, 송신노드와 수신노드간의 정보전송을 위해 사용된다.

또한, 데이터 부분(403)은 n바이트 크기를 갖는 한 플릿을 단위로 하여 다수개의 데이터 플릿(406a-406p)으로 구성된다.

상기 패킷(401)은 클러스터내의 송신노드에서 생성하여 전송하고 계층 크로스바 연결망을 경유하여 수신노드로 전송한다.

즉, 송신노드는 태그(404a-404d)에 패킷의 종류(PC)(407)와 긴급 전송 정보(E)(408), 브로드 캐스트 정보(B)(409), 그리고 수신노드의 주소(DTag)(401)를 지정하여 계층 크로스바 연결망에 전송한다.

이에따라, 계층 크로스바 연결망은 패킷(401)의 태그(404a-404d)를 해석하여 패킷 태그(404a-404d)에 지정된 기능을 수행하며, 그 결과로써 계층 크로스바 연결망의 출력으로 태크(404a-404d)를 제외한 제어정보(405)와 데이터 부분(403)을 전송한다.

패킷(401)의 데이터 부분 (403)은 n바이트 크기를 갖는 한 플릿을 단위로 하여 다수개의 데이터 플릿(406a-406p)으로 구성되는데, 이때 전송되는 데이터 플릿(406a-406p)의 갯수는 송신노드에서 결정한다.

이는 전송되는 패킷(401)의 데이터 크기를 고정하지 않고 가변적인 데이터 크기를 허용함으로써 전체 시스템의 성능을 향상시킬 수 있다.

제 4B도는 동일한 n개의 패킷 태그(404a-404d)중 하나를 도시한 것으로, 패킷의 종류(PC:Packet Class)(407)와 긴급 전송 정보(E:Emergency)(408),브로드 캐스트 정보(B:Broadcast)(409),그리고 수신노드의 주소(DTag:Destination Tag)(410)를 지정한다.

이와같은 상기 패킷의 종류(407)는 패킷(401)이 목적지인 수신노드로 전송되는 테이타 패킷인지 또는 목저지인 계층 크로스바 연결망으로 전송되는 시스템 패킷인지를 구분한다.

또한, 상기 긴급 전송정보(408)는 패킷(401)을 높은 우선 순위를 가지고 다른 일반 패킷보다 빠르게 수신로드로 전송할 때 사용하고, 상기 브로드 캐스트 전송(409)은 수신노드를 지정하지 않고 계층 크로스바 연결망에 연결된 모든 노드로 동일한 데이터를 전송할 때 사용한다.

그리고 상기 수신노드의 주소 (410)는 클러스터내의 8개의 노드 주소와 2개의 상위 클러스터 연결용 링크의 주소중 하나를 지정한다.

제5도는 제2도 또는 제3도와 같은 계층 구조와 상호연결망에서 사용하는 다중 태그 구조를 갖는 패킷의 구성 예들을 나타낸 것이다.

첫 번째 예로서, 상기 제1도에 도시된 하나의 하위 클러스터에 대한 패킷(501)의 구성은 제5도의 (a)에 도시돤 바와 같이, 하나의 태그(404a-404d)와 하나의 제어정보(405),그리고 데이터 부분(403)으로 구성된다.

두 번째 예로서, 상기 제2도에 도시된 상위 상호연결망이 없는 두 개의 하위 클러스터에 대한 패킷(502)의 구성은 제5도의(b)에 도시돤 바와같이, 두 개의 태그(404a-404d)와 하난의 제어정보(405), 그리고 데아타 부분(403)으로 구성된다.

이러한 패킷(501)은 동일 하위 클러스터내 노드간의 데이터 전송시 사용하고, 또한 상기 패킷(502)은 다른 하위 클러스터 노드들간의 데이터 전송시 사용한다.

세 번째 예로서, 상기 제3도에 도시된 하나의 상위 클러스터에 대한 패킷(503)의 구성은, 제5도의 (c)에 도시된 바와 같이, 세개의 태그(404a-404d)와 하나의 제어정보(405), 그리고 데이터 부분(403)으로 구성된다.

이러한 패킷(503)은 다른 하위 클러스터내 노드들간의 데이터 전송시 사용하고, 상기 패킷(501)은 동일 하위 클러스트내 노드들간의 전송시 사용한다.

네번째 예로서, 상기 제3도에 도시된 두 개의 상위 클러스터에 대한 패킷(504)의 구성은, 제5도의 (d)에 도시된 바와 같이, 네개의 태그(404a-404d)와 하나의 제어정보(405), 그리고 데이터 부분(403)으로 구성 된다.

여기서 상기 패킷(504)은 다른 상위 클러스터내 노드들간위 데이터 전송시 사용하고, 상기 패킷(503)은 동일 상위 클러스터, 다른 하위 클러스터내 노드들간의 데이터 전송시 사용하고, 상기 패킷(501)은 동일 상위 클러스터, 동일 하위 클러스터내 노드들간위 데이터 전송시 사용한다.

즉, 상기 패킷은 계층 크로스바 연결망에서 시스템의 성능 향상을 위해 전송 패킷(401)의 데이터 크기를 고정하지 않고 가변적인 데이터 크기를 허용하며, 하위 클러스터 또는 상위 클러스터 또는 상위 클러스터 연결 상태에 따라 다중 태그를 사용하여 수신노드로 패킷을 전송할 수가 있는 것이다.

이상과 같은 본 발명의 계층 크로스바 연결망 구조는 큰 규모의 병렬처리 시스템 및 계층구조에서 뛰어난 연결 확장성과 최소의 지연시간, 단일 링크 및 스위치 결함 허용, 그리고 적은 설비 비용을 갖을 수 있는 효과가 있다.

Claims (9)

1. 다량의 데이터를 고속으로 처리하는 클러스터 기반의 병렬처리 컴퓨터를 위한 상호연결망에 있어서, 동일한 데이터 송수신 경로를 제어하고 동일한 데이터 패킷의 전송을 제어하는 n개의 크로스바 스위치와 8개의 노드 연결용 링크와 2개의 상위 클러스터 연결용 링크를 각각 포함하여 단일 결함을 허용하기 위한 2개의 크로스바 연결망과, 상기 2개의 크로스바 연결망을 통하여 직접 데이타를 송수신하기 위해 상기 2개의 크로스바 연결망 사이에 최대8개의 프로세싱 노드를 연결하여 구성된 하나의 하위 클러스터와; 최대 8개의 상기 하위 클러스터와 4개의 상위 크로스바 연결망을 연결한 하나의 상위 클러스터로 구성된 것을 특징으로 하는 클러스터 기반의 병렬처리 컴퓨터를 위한 계층 크로스바 상호연결망.
2. 제1항에 있어서, 하나의 차상위 클러스터는 최대 8개의 상기 상위 클러스터와 8개의 차상위 크로스바 연결망을 연결하여 연결 확장시키는 구성으로 된 것을 특징으로 하는 클러스터 기반의 병렬처리 컴퓨터를 위한 계층 크로스바 상호연결망.
3. 제1항에 있어서, 두 개의 상기 하위 클러스터는 다른 하위 클러스터내 프로세싱 노드들간에 최소의 지연시간을 가지고 데이터가 송신되도록 4개의 상위 클러스터 연결용 링크를 통해 직접 연결하는 것을 특징으로 하는 클러스터 기반의 병렬처리 컴퓨터를 위한 계층 크로스바 상호 연결망.
4. 제1항에 있어서, 두 개의 상기 상위 클러스터는 다른 상위 클러스터내 프로세싱 노드들간에 최소의 지연시간을 가지고 데이터가 송수신되도록 8개의 차상위 클러스터 연결용 링크를 통해 직접 연결하는 것을 특징으로 하는 클러스터 기반의 컴퓨터를 위한 계층 크로스바 상호 연결망.
5. 제1항에 있어서, 패킷은 슬라이스된 상호연결망을 위한 동일한 다중 태그와 제어정보로 구성된 패킷 헤더부분과, n바이트 크기를 갖는 한 플릿(flit)을 단위로 하여 다수개의 데이터 플릿으로 구성된 데이터 부분으로 구성되어 클러스터내의 송신노드에서 수신노드로 데이터를 전송하는 것을 특징으로 하는 클럭 스터 기반의 병럴처리 컴퓨터를 위한 계층 크로스바 연결망.
6. 제5항에 있어서, 상기 태그는 크로스바 연결망에서 수신노드로 전송되는 데이터 패킷과 크로스바 연결망으로 전송되는 시스템 패킷을 구분하는 패킷 종류 정보와, 높은 우선순위를 가지고 빠르게 데이터를 수신노드로 전송할 때 사용하는 긴급전송정보와, 수신노드를 지정하지 않고 크로스바 연결망에 연결된 모든 노드로 동일한 데이터를 전송할 때 전송하는 브로드 캐이트(Broadcast)정보와, 특정 수신노드를 지정하여 데이터를 전송할 때 사용하는 수신노드의 주소로 각각 구성된 것을 특징으로 하는 클러스터 기반의 병렬처리 컴퓨터를 위한 계층 크로스바 상호연결망.
7. 제1항 내지 제6항중 어느 하나에 있어서, 상기 크로스바 연결망은 패킷의 태그를 해석하여 상기 패킷의 태그를 제외한 제어정보와 데이터 부분을 수신노드의 주소로 전송하는 것을 특징으로 하는 클러스터 기반의 병렬처리 컴퓨터를 위한 계층 크로스바 상호연결망
8. 제1항에 있어서, 상기 패킷은 시스템의 성능 향상을 위해 전송 패킷의 데이터 크기를 고정하지 않고 가변적인 데이터 크기를 허용하는 것을 특징으로 하는 클러스터 기반의 병렬처리 컴퓨터를 위한 크로스바 상호 연결망.
9. 제1항 또는 제7항에 있어서, 상기 패킷은 하위 클러스터 또는 상위 클러스터 연결 상태에 따라 일정 수의 다중 태그를 사용하여 수신노드로 전송되는 것을 특징으로 하는 클러스터 기반의 병렬처리 컴퓨터를 위한 계층 크로스바 상호연결망.