KR20200124837A - 실리콘 포토닉스 기반 인터커넥션 네트워크에서 (SiPh-HCA) 컴퓨팅 호스트 간 고성능 컴퓨팅을 실현하는 유연한 토폴로지 구성 (FlexibleX) 기법과 패킷 제어 기술 - Google Patents

Abstract

본 발명은 고성능 컴퓨팅을 위해 저비용, 저지연, 확장성을 만족하는 인터커넥션 네트워크 기술에 관한 것으로, 더욱 상세하게는 네트워크 스위치를 유동적으로 구성할 수 있는 확장성 있는 토폴로지 이론 모델에 관한 것이다.
본 발명에 의하면, 다양한 목표(비용 우선, 지연 우선, 경로의 다양성 우선 등)에 맞는 FlexibleX 토폴로지를 적용함에 따라 현존 기술들과 비교해 낮은 비용을 보였으며, 저지연 및 확장성을 보였고, 네트워크 구성이 자유롭다는 장점을 보였다.

Description

실리콘 포토닉스 기반 인터커넥션 네트워크에서 (SiPh-HCA) 컴퓨팅 호스트 간 고성능 컴퓨팅을 실현하는 유연한 토폴로지 구성 (FlexibleX) 기법과 패킷 제어 기술{TECHNOLOGY OF FLEXIBLEX INTERCONNECT TOPOLOGY AND PACKET CONTROLLING METHOD IN HOST NETWORK WITH SILICON-PHOTONICS INTERFACE FOR HIGH-PERFORMANCE COMPUTING}

본 발명은 실리콘 포토닉스 기반 인터커넥션 네트워크에서 고성능 컴퓨팅을 위해 다수의 노드를 연결하는 인터커넥션 관리 기술으로, 더욱 상세하게는, 다수의 노드를 연결하면서 저비용, 저지연, 확장성을 갖추고, 자유로운 구성이 가능한 다계층 구조의 네트워크 구성 형상과 해당 구조에 특화된 저지연 패킷 라우팅 방법을 제안한다.

실리콘 포토닉스 기술은 광전 소자 집적 기술을 통해 저비용, 고속, 저전력 인터커넥션을 실현할 수 있는 인터페이스 기술로, 매체상의 제약과 규모 특성에 맞춘 물리 장치 간 형상 구성을 다루는 토폴로지 기술과 통신 제어 관리 기술은 시스템의 확장성을 통한 계산 자원 집적을 수행하고 통신 전송 규격을 계산 요구 수준에 맞추어 대규모 고성능 컴퓨팅을 가능케 한다.

매니코어 시스템 구조와 실리콘 포토닉스 인터커넥션에서의 토폴로지는 시스템의 확장성, 비용, Delay, Thoughput, Robustness를 결정하는 중요한 설계 요소로 Scalable Fabric의 핵심 기술이다. 이를 실현하기 위한 기술적 요구사항으로 대규모 HPC 클러스터를 연결하기 위해서는 네트워크 장치의 물리적 한계로 인한 확장 제약이 없는 다계층 구조로 설계되어야 한다. 또한 시스템 구성 비용의 1/4 가량을 차지하는 인터커넥션 네트워크의 운영 및 구축 비용의 개선을 위해 토폴로지 모델에 확장에 따른 비용 증가 폭이 낮도록 비용 함수가 설계되어야 하며, Topology 평가 매트릭인 Diameter에 의해 네트워크의 Congestion과 Delay time의 양상이 결정되기에 분산 병렬 처리의 고도화를 통한 성능 최적화를 위해서는 노드간의 효율적인 토폴로지 구조를 정의하여 이를 해결해야 한다.

따라서, 저비용, 저지연을 지원하는 Scalable Fabric 구성을 위해서는 다음과 같은 토폴로지 설계 제약 조건들이 존재하며, 본 연구에서는 해당 조건을 만족하는 토폴로지 구조를 연구한다.

① 구조적 효율성: 인터커넥션 네트워크의 degree를 최소화하여 효율적인 비용을 사용하여 인터커넥션 시스템 구축할 수 있어야 함

② 비용적 측면:　 인터커넥션 네트워크의 diameter를 최소화하여 분산 병렬 처리 시 발생하는 통신 비용과 인터커넥션 구축을 위한 구축 비용을 절감하여야 함

③ 확장성 측면: 수만 개 이상의 대규모 노드로 구성할 수 있도록 확장성 있는 구조를 가져야 함

최근의 Low-diameter 토폴로지들은(Dragonfly, Slimfly, HyperX, ...) High-radix Switch를 통한 계층형 그래프 구조를 통하여, 높은 확장성을 가지는 저비용, 저지연의 제안한 바 있으나, 배선의 간소화로 인한 Path diversity의 저하 문제가 발생한다. 기존 토폴로지들에서의 패킷 관리는 트래픽 패턴(Application 종류와 Job Placement 정책에 종속)에 따른 높은 congestion으로 급격한 성능 저하가 보고되었고, 또한 Deadlock이 발생할 수 있는 취약점이 보고되어, Robustness를 보장하기 위한 Stochastic Routing 등 여러 방법들이 제안되고 있다. 이는 설계한 토폴로지에 특화되어 높은 bisection width와 resiliency를 지원하는 패킷 관리 기술이 요구됨을 의미한다.

[1] Jung-ho Ahn et al., "HyperX: Topology, Routing, and Packaging of Efficient Large-Scale Networks", SC'09 [2] John Kim et al., "Techonology-Driven, Highly-Scalable Dragonfly Topology", International Symposium on Computer Architecture, 2008 [3] Maciej Besta et al., "Slimfly: A Cost Effective Low-Diameter Network Topology", 2014

본 발명은 실리콘 포토닉스 기반 인터커넥션 네트워크에서 실리콘 포토닉스 HCA의 물리적, 비용적, 성능적 특성을 고려한 고성능 컴퓨팅을 위한 계층형 인터커넥션 구성관리 토폴로지 구조(FlexibleX)를 제안하여 수학적 모델링을 수행하고 상용 HPC 토폴로지 구조와 비교하였다.최근의 Low-diameter 토폴로지들은(Dragonfly, Slimfly, HyperX, ...) High-radix Switch를 통한 계층형 그래프 구조를 통하여, 높은 확장성을 가지는 저비용, 저지연의 특징을 가지고 있으나, 배선의 간소화로 인한 Path diversity의 저하가 발생하는 문제점이 있다. 이에 트래픽 패턴(Application 종류와 Job Placement 정책에 종속)에 따라 높은 congestion으로 급격한 성능 저하가 보고되었고 또한 Deadlock이 발생할 수 있는 취약점이 보고되어, Robustness를 보장하기 위한 Stochastic Routing 등 여러 방법들이 제안되고 있다.

이에 본 연구에서는 최근 토폴로지들이 가지는 계층형 Low-diameter의 특징을 가지고 기존의 N-Dimensional Torus와 같이 높은 Configuration Flexibility와 Path diversity의 특징을 Hybrid하여 효과적인 HPC 토폴로지인 FlexibleX를 정의하고 시뮬레이션을 통해 각 성능 지표 별 도입 타당성을 평가한다. 또한 저비용, 저지연 요구사항을 만족하는 Scalable한 HPC Interconnect Fabric을 설계하고 HPC Interconnect Simulator를 통해 성능 평가를 통해 실현 가능성을 검증하였다.

본 토폴로지의 목적은 저비용, 저지연, 확장성을 갖는 토폴로지를 제안하고 구성이 자유로운 구조를 제안해 대규모 컴퓨팅 자원을 효과적으로 활용할 수 있도록 하기 위함이며 이는 본 발명의 목적이 된다.

본 발명에 따른, 컴퓨팅 노드를 연결하는 방법은 HPC 인터커넥션의 설계 요소인 확장성, 저비용, 저지연을 달성하는 것을 기본 조건으로 한다. HPC 구성을 위해 네트워크의 degree와 diameter를 최소화하여 인터커넥션의 통신 비용과 구축 비용을 절감하여야 하며, 대규모 노드를 구성할 수 있는 확장성 있는 구조여야 한다. 최근의 HPC 클러스터가 주로 Dragonfly, HyperX와 같은 High-radix 스위치를 사용하여 인터커넥션 시스템을 구축하며, 따라서 본 발명 역시 High-radix 스위치를 고려한다. 또한 다양한 목표(비용 우선, 지연 우선, 경로의 다양성 우선 등)에 따라서 변형 가능하도록 다양한 종류의 연결망 구조를 제안한다.

본 발명에 의하면, 다시 말해, 제안하는 FlexibleX 구조는 현존 토폴로지들(Dragonfly, HyperX 등)과 비교해 2~3 사이의 diameter를 보여 저지연, 확장성을 가지고 있으며, 1000개 이하의 노드에 대해서 상대적으로 저비용을 갖는 구조이다. 또한, FlexibleX 구조는 스위치 개수에 따라 유동적인 configuration이 가능하여 구조에 제약되어있지 않고 다양한 구성이 가능하다.

도 1은 2개의 레이어로 이루어진 2-Layers FlexibleX 구조를 표현한 도면이다.
도 2은 3개의 레이어로 이루어진 3-Layers FlexibleX 구조를 표현한 도면이다.
도 3은 3개의 레이어로 이루어지면서 연결하는 링크의 개수를 줄인 Modified 3-Layers FlexibleX 구조를 표현한 도면이다.

이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

본 발명의 모든 실시예에 따른 인터커넥션 네트워크는 다수의 프로세스 노드가 채널을 통해 직접적으로 연결된 그래프 형태의 구조이다. 컴퓨터 시스템은 상태 정보를 공유하거나 연산에 필요한 데이터를 공유하기 위해 통신이 필요하다. 인터커넥션 네트워크는 위의 통신이 이루어지는 기본 구조이다. 매니코어 CMP는 프로세싱 코어와 메모리 사이의 낮은 대기시간, 프로세싱 코어 와 메모리 간의 로드, 저장의 대역폭을 위해 온칩 네트워크를 사용한다. 프로세서, 메모리 및 관련 I/O 장치는 프로세스 노드라는 이름으로 묶어져 사용된다. 시스템 레벨에서의 인터커넥션 네트워크는 위의 프로세스 노드를 네트워크 토폴로지 형태에 따라 연결하는 것을 말한다. 터미널 노드는 메시지가 발생하거나 종료되는 노드를 말하며, 스위치 노드는 메시지가 전달되는 과정에 위치하는 노드를 말한다. 현대의 인터커넥션 네트워크는 Point-to-Point 직렬 링크를 통해 고속 시그널링을 활용하여 프로세서와 메모리간에 고 대역폭 연결을 제공한다. 소스 노드(Source node)부터 목표 노드(Destination node)를 연결하는 채널의 시퀀스를 루트(Route) 라고 부르며, 임의의 소스 노드와 목표 노드를 연결하는 루트의 최대값을 네트워크 반경(Network diameter)이라 부른다. 각 라우터의 입출력 포트의 개수를 radix라 부른다. 본 발명은 편의를 위해 2차원으로 차원을 고정한다.

본 발명은 다수의 노드 간의 채널을 구성하기 위해 3가지 방법을 제안한다.

첫 번째 방법은 [도 1]과 같이 2개의 레이어로 구성된 FlexibleX 구조이다. 이는 Maximum diameter 3인 토폴로지로써, 각각의 layer는 각각

개의 인터커넥트 노드로 2차원 논리 평면에

의 배열로 구성되어, 총

개의 인터커넥트 노드로 구성되어 있다. 각 X축의 배열은 Rack 내부에서 구성되며 상호 통신을 수행 않는 동일 레이어의 X축 간의 배열은 1열로 구성하여, 2-Layer의 경우 2열의 Rack이 상호 연결을 수행하는 구조를 가진다.

a번째 2차원 Layer의

좌표에 있는 인터커넥트 노드를

라고 표현하자. 이때

의 관계가 성립한다. 이 때, 스위치의 포트 수 (Radix)가

이고 다음 노드로의 X축 연결의 개수를

, Y축 연결의 개수를

이라고 하고,

개의 terminal과 연결될 때 다음의 조건이 성립한다:

또한 각 노드가 h개의 terminal과 연결되어 있으므로, N과 M의 값이 정해졌을 때 네트워크의 크기(총 계산 노드의 수)를 산출하여 이론 성능치를 도출 가능하다. A↔B를 노드 A와 노드 B가 양방향으로 연결되었다는 것으로 정의하자.

일 때, 다음과 같이 노드 간 양방향 연결을 구성한다:

두 번째 방법은 [도 2]과 같이 3개의 레이어로 구성된 FlexibleX 구조이다. 이는 Maximum diameter 2인 토폴로지로 적은 diameter와 2개의 레이어로 구성된 FlexibleX 구조에 비하여 긴 Layer간 배선을 특징으로 한다. 각각의 layer는 각각

개의 인터커넥트 노드로 2차원 논리 평면에

의 배열로 구성되어, 총

개의 인터커넥트 노드로 구성되어 있음.

각 X축의 배열은 Rack 내부에서 구성되며 상호 통신을 수행 않는 동일 레이어의 X축 간의 배열은 1열로 구성하여, 3-Layer의 경우 3열의 Rack이 상호 연결을 수행하는 구조를 가짐. 3개의 레이어가 Ring의 형태로 연결되기에 Layer간 배선의 길이를 최소화 하기 위한 삼각형의 배열을 고려할 수 있다.

a번째 2차원 Layer의

좌표에 있는 인터커넥트 노드를

라고 표현하자. 이때

의 관계가 성립한다. 이 때, 스위치의 포트 수 (Radix)가

이고 다음 노드로의 X축 연결의 개수를

, Y축 연결의 개수를

이라고 하고,

개의 terminal과 연결될 때 각 레이어는 2개의 레이어와 연결되기 위하여 노드별로

개의 연결이 되어야 하므로 다음의 조건을 만족해야 한다:

또한, 2 레이어 FlexibleX 구조와 동일한 배선규칙을 따른다.

세 번째 방법은 [도 3]과 같이 3개의 레이어로 구성된 간소화된 FlexibleX 구조이다. 3-Layer 형식의 Maximum diameter 2인 토폴로지로 적은 Connection 수를 통해 적은 구축비용을 특징으로 한다. FlexibleX Type 3은 총 세 개의 Layer로 이루어져 있으며, 각각의 layer는 각각

인

개의 인터커넥트 노드로 2차원 논리 평면에

의 배열로 구성되어, 총

개의 인터커넥트 노드로 구성되어 있다.

a번째 2차원 Layer의

좌표에 있는 인터커넥트 노드를

라고 표현하자. 이때

의 관계가 성립한다. 이 때, 스위치의 포트 수 (Radix)가

이고 다음 노드로의 X축 연결의 개수를

, Y축 연결의 개수를

이라고 하고,

개의 terminal과 연결될 때 각 레이어는 2개의 레이어와 연결되기 위하여 노드별로

개의 연결이 되어야 하므로 다음의 조건을 만족해야 한다:

또한 각 노드가

개의 terminal과 연결되어 있으므로,

의 값이 정해졌을 때 네트워크의 크기(총 계산 노드의 수)를 산출하여 이론 성능치를 도출 가능하다. A↔B를 노드 A와 노드 B가 양방향으로 연결되었다는 것으로 정의하자.

일 때, 다음과 같이 노드 간 양방향 연결을 구성한다:

3-layer FlexibleX 구조의 최소 라우팅 기법은 주요하게 다음 과정 1-3 으로 구성되며, 출발 노드

에서 목적지 노드

의 라우팅 과정을 기준으로 설명한다,

과정 1.

이고

인 경우, 목적지의 x축 또는 y축 상의 다른 값에 맞추어

이외의 이웃 레이어의 노드

또는

로 라우팅 한다.

(

,

)

과정 2.

이고

인 경우, 목적지의 y축 값에 맞추어

이외의 이웃 레이어의 노드

로 라우팅 한다.

과정 3.

또는

하나만 만족하는 경우,

이면 바로 목적지 노드로 라우팅하고,

이면 x축 또는 y축 중 출발지와 목적지 노드의 좌표 값이 다른 축 상의 다른 이외의 값에 ??추어

이외의 이웃 레이어의 라우터로 라우팅 한다.

상술한 FlexibleX 구조의 구성 비용을 정량적으로 계산하여 비교 분석하고, 성능을 시뮬레이션을 통해 검증하였다.

시뮬레이션은 Booksim 시뮬레이터를 통해서 기성 Topology 인 Dragonfly와 최소 Hop 라우팅 및 UGAL-G 라우팅 상황에서의 성능 비교 형식으로 시행되었다. 시뮬레이션 설정 및 결과는 하기 1-3의 설명과 같다. 하기 무작위 균등 트래픽(Random Uniform Traffic)이란, 각 터미널에서 생성하는 패킷의 목표 터미널을 전체 터미널 집합에서 균등한 확률로써 하나 지정하는 트래픽 생성 패턴을 의미한다. 하기 계층간 트래픽(Inter-group/layer traffic) 이란, 각 터미널에서 생성하는 패킷의 목표 터미널을 동일 계층(Dragonfly에서 Group, FlexibleX에서 Layer)에 속하는 터미널을 제외한 터미널 집합에서 균등한 확률로써 하나 지정하는 트래픽 생성 패턴을 의미한다. 하기 실험설정에서의 케이블 및 스위치 비용 모델은 Mellanox InfiniBand EDR 100Gbps 모델을 기준으로 시장가격을 기반으로 선형 회귀 분석으로 모델링한 결과인 수식 [수학식 7]을 기반으로 상정하였다.

이때, 스위치와 터미널은 같은 랙에 그룹핑 되어 있음을 가정하며, 스위치와 터미널간 연결은 모두 1m로 설정하고, 서로 다른 랙 간의 거리는 Manhattan 거리를 적용하여 구하고 2m의 오버헤드를 추가하여 총 토폴로지 구성 비용을 계산하였다.

같은 터미널 규모를 가지면서 FlexibleX의 다양한 구성에 대한 성능을 Dragonfly와 비교하였으며, 비교에 사용된 토폴로지 별 설정은 아래 표와 같다. 총 터미널 규모가 1000개일 때와 10000개일 때 모두 FlexibleX가 high-radix이지만 더 적은 스위치를 사용함에 따라 총 구성 비용이 Dragonfly보다 낮게 소요됨을 확인할 수 있다. 각 비교군 별 시뮬레이션을 통한 성능 평가 결과는 다음과 같다.

	Dragonfly1	FlexibleX1	FlexibleX2	Dragonfly2	FlexibleX3
총 터미널 규모	1056	1029	972	9702	10140
총 스위치 개수	264	147	108	1386	507
Radix	15	31	29	27	68
총 link 개수	1452	1764	1080	13860	12168
총 구성 비용 [$]	6.88×106	4.14×106	2.99×106	3.23×107	2.30×106

1. 말단 terminal 개수가 약 1,000 개이고, FlexibleX의 구성 비용이 Dragonfly 대비 약 39.83% 적은 경우 (Dragonfly1와 FlexibleX1 구성 설정에서의 성능 비교)1-1. 무작위 균등 트래픽(Random Uniform Traffic)의 경우

Flit 주입률 대비 네트워크 지연 성능면에서 Dragonfly 토폴로지는 flit 주입률이 0.8 초과일 경우 timeout 상황이 발생하고, 주입률 0.8 인 상황에서 높은 지연을 보이는 반면, 상기 제안한 FlexibleX는 주입률 1까지 안정적인 동작과 낮은 지연을 보이는 결과를 도출하였다.

상기 Flit의 주입률과 수신률의 대한 그래프 상에서 볼 수 있듯이 FlexibleX 가 높은 주입률에도 변함없이 안정적인 throughput 성능을 보인다.

1-2. 계층간 트래픽(Inter-group/layer Traffic)의 경우

계층간 트래픽 생성 환경의 경우 Dragonfly 는 매우 낮은 성능 지표를 보이는 반면, FlexibleX 는 uniform traffic 상황과 큰 차이 없이 안정적인 성능을 보여줌을 확인할 수 있다.

2. 말단 terminal 개수가 약 1,000 개이고, FlexibleX의 구성 비용이 Dragonfly 대비 약 56.54% 적은 경우 (Dragonfly1와 FlexibleX2 구성 설정에서의 성능 비교)

1-1. 무작위 균등 트래픽(Random Uniform Traffic)의 경우

상기 1과 동일한 Dragonfly 구성에 대하여 더 낮은 구성비용을 가지는 FlexibleX 구조가 일정 주입률까지 더 높은 성능을 보이고, UGAL-G 라우팅 기법을 활용할 경우 높은 주입률을 견디면서 동시에 낮은 latency를 달성하는 것을 확인할 수 있다.

상기 Flit의 주입률과 수신률의 대한 그래프 상에서 볼 수 있듯이 UGAL 라우팅 기법을 사용하는 FlexibleX 가 높은 주입률에도 변함없이 안정적인 throughput 성능을 보인다.

3. 말단 terminal 개수가 약 10,000 개이고, FlexibleX의 구성 비용이 Dragonfly 대비 약 28.79% 적은 경우 (Dragonfly2와 FlexibleX3 구성 설정에서의 성능 비교)

1-1. 무작위 균등 트래픽(Random Uniform Traffic)의 경우

UGAL 라우팅 기법을 사용하는 FlexibleX 토폴로지 구성이 Dragonfly 구성보다 더 나은 성능을 보이는 것을 확인할 수 있다.

Claims (3)

1. 2차원 구조에서 도면 1 형태로 컴퓨트 노드를 연결하는 2 Layers FlexibleX 구조
2. 2차원 구조에서 도면 2 형태로 컴퓨트 노드를 연결하는 3 Layers FlexibleX 구조
3. 2차원 구조에서 도면 3 형태로 컴퓨트 노드를 연결하는 Modified 3 Layers FlexibleX 구조

Images