KR102309907B1

KR102309907B1 - 컴퓨터 네트워크에서 직접 상호 연결 스위치 배선과 증가를 관리하는 방법 및 장치

Info

Publication number: KR102309907B1
Application number: KR1020167007954A
Authority: KR
Inventors: 단 오프레아
Original assignee: 단 오프레아
Priority date: 2013-08-29
Filing date: 2014-08-29
Publication date: 2021-10-06
Also published as: AU2014311217A8; AU2014311217A1; CN110109854A; CA2951698C; IL244270A0; CA2951684A1; JP2016532209A; US10303640B2; US20160210261A1; DK3022879T3; AU2018200158B2; CA2951698A1; JP7212647B2; CA2951786A1; CA2951677C; US9965429B2; CA2951680C; AU2018200158A1; HK1226207A1; KR20160048886A

Abstract

본 발명은 네트워크 인터페이스 카드(NIC)를 서버에 장착된 PCIe 스위칭 카드로 대체되는 구조에 기초한 토러스 또는 더 상위 기수의 상호연결 구조에서 실행되는 직접 상호연결 네트워크의 배선과 증가를 관리하는 방법을 제공한다. 또한, 상호연결에서 실행에 사용되기 위한 수동 패치 패널을 제공하며 이는 다음과 같이 구성된다: 상호 연결을 위한 노드에서 노드까지의 연결이 장착된 수동 뒤판 및; 다중 커넥터로 구성된 수동 뒤판으로 플러그 된 적어도 하나 이상의 커넥터 보드; 다중 커넥터는 완전히 활성되지 않았을 때 토러스 또는 상위 기수의 토폴로지의 연속성을 유지하기 위해 플러그를 상호 연결하는 것을 수신하는 것이 가능하다. 상호연결 실행에 사용되는 PCIe 카드는 다음으로 구성된다: 상호연결을 위한 최소 4개의 전기 또는 광학 포트; 로컬 스위치; RAM 그리고 ROM 메모리를 가진 프로세서 및; PCI 인터페이스.

Description

컴퓨터 네트워크에서 직접 상호 연결 스위치 배선과 증가를 관리하는 방법 및 장치 {METHOD AND APPARATUS TO MANAGE THE DIRECT INTERCONNECT SWITCH WIRING AND GROWTH IN COMPUTER NETWORKS}

본 발명은 컴퓨터 네트워크 토폴로지(topology) 및 아키텍처(architecture)에 관한 것으로서, 특히 예를 들면 원환체 이상 기수 배선 구조에서 구현된 직접 상호 연결 스위치의 배선과 증가를 관리하기 위한 방법 및 장치에 관한 것이다.

용어 데이터 센터(DC; Data Centers)는 일반적으로 대형 컴퓨터 시스템을 수용하는데 사용된 시설(종종 장비를 수용하는 랙(racks)에 포함) 및 관련 부품, 구조화된 케이블링의 엄청난 양에 의해 연결된 모든 것을 의미하고, 클라우드 데이터 센터(CDC; Cloud Data Centers)는 일반적으로 기업의 데이터를 유사하게 저장하는 대형 오프 - 프레미스(off-premise) 시설을 참조하는 데 사용되는 용어이다.

네트워크 스위치는 통신/프로세싱 목적을 위해 네트워크 장치에 연결되는 컴퓨터 네트워킹 장치이다. 다른 말로 하면, 스위치에 연결된 어떤 장치로부터 메시지를 수신하고, 메시지를 전달할 특정 장치에 메시지를 전송할 수 있는 통신장치이며, 또한, 네트워크 스위치는 일반적으로 데이터를 처리하고 특정 루트를 따라 전송하는 다중 포트 네트워크 브리지로 지칭된다. 여기서 포트에 의해 스위치와 컴퓨터/서버/CPU 사이(케이블이나 플러그에 대한 콘센트) 인터페이스를 언급한다.

오늘날, 데이터 센터(DCs; Data Centers)들과 클라우드 데이터 센터(CDCs; Cloud Data Centers)들은 일반적으로 계층 2 스위치들의 세트를 사용하여 데이터 센터 네트워킹을 구현하고, 계층 2 스위치들은 광역 네트워크에서 동일한 로컬 영역 네트워크상의 노드들(예컨대 서버)과 또는 인접 노드들 간의 데이터를 전송하는 프로토콜 계층인 데이터 링크 계층 즉, 계층 2에 데이터를 처리하고 특정 루트를 따라 전송한다. 하지만 주요 문제는 대용량의 컴퓨터 네트워크를 구축하는 방법이 매우 많은 수의 포트(천)를 포함하는 매우 큰 총 대역폭(TB의 백)을 수행할 수 있고, 최소 구조 및 공간(즉 카드의 랙과 수많은 캐비닛 집의 큰 방에 대한 필요성)을 필요로 하며, 즉, 용이하게 확장하고, 그 전력 소비를 최소화하는 데 도움이 된다. 도 1에 도시된 바와 같이, 기존의 네트워크 토폴로지 구현은 계층적 트리 구조로 구성한 완전히 독립된 스위치를 기반으로 하고, 코어 스위치(2)가 매우 높은 속도와 매우 큰 스위칭 용량 갖는 낮은 카운트 포트이다. 두 번째 층은 집합 스위치(4)와 수많은 포트를 갖는 중용량 스위치를 사용하여 구현되는 반면에 세 번째 층은 낮은 속도, 큰 포트 카운트(마흔/마흔여덟) 소용량 에지 스위치(6)를 사용하여 구현된다. 일반적으로 에지 스위치는 2 계층이고, 집계 포트 2 계층 및/또는 3 계층이며, 코어 스위치는 일반적으로 3 계층이며, 이러한 구현은 제공된 예에서 6 홉 링크의 최대 서버 연결에 어떤 서버(8)를 제공하고(코어 스위치(2)에 최대 3 홉 이상 및 대상 서버(8)에 3 홉 이하), 이러한 계층 구조는 또한 일반적으로 가용성-신뢰성을 위해 복제된다. 예컨대 도 1을 참조하면, 가장 오른쪽 가장자리 스위치(6)가 중복 없음에 실패할 경우 가장 오른쪽 서버(8)에 아무런 연결이 없다. 이상에서 코어 스위치(2)의 실패가 모든 데이터 센터 연결 실패를 야기하기 때문에 코어 스위치(2)는 중복되고, 명백한 이유로 이러한 방법은 미래 데이터 센터(DC) 또는 클라우드 데이터 센터(CDC)의 과제 해결에 상당한 제한이 따른다. 예를 들면, 각각의 스위치가 완전히 독립적이기 때문에 이러한 복잡성, 중요한 바닥 공간 활용도, 복잡한 케이블링과 인간의 오류, 에너지 비용이 증가하는 경향이 있는 수동 스위치 구성/프로비져닝(provisioning)을 추가한다.

하지만, 데이터 센터에서 스위칭 확장성, 안정성, 용량 및 대기 시간을 향상시키기 위해 많은 시도가 이루어지고 있다. 예들 들면, 이러한 노력으로 통합된 제어 평면(예컨대, 주니퍼 네트웍스로부터의 QFabric 시스템 스위치; 예를 들면, ht tp://www.juniper.net/us/en/products-services/switching/qfabric-system/)을 이용함으로써 더욱 복잡한 스위칭 솔루션을 구현하게 되었지만, 그러한 시스템은 여전히 사용하고 기존의 계층 구조를 유지한다. 게다가 시스템 사용자에 있어서 주어지는 기하 급수적 증가와 데이터의 저장, 액세스 및 처리, 처리 능력은 컴퓨터 네트워크 시스템의 성능 요건을 결정할 때 가장 중요한 요소가 되고 있고, 서버 성능은 지속적으로 개선되었지만, 하나의 서버가 요구를 충족하기에 충분하지 않다. 이것이 병렬 프로세싱의 사용이 가장 중요하게 된 이유이다. 그 결과, 어떤 것은 주로 남북 트래픽 흐름이 지금은 주로 동서 트래픽 흐름이 80%까지 많게 되었으며, 이러한 트래픽 흐름의 변화에도 불구하고, 네트워크 아키텍처는 이 모델에 대해 최적으로 진화하지 않았고, 따라서 그것은 아직 병렬 처리 통신 중에 CPU들 간 상호 작용의 속도를 결정하는 통신 네트워크(컴퓨팅 노드(서버)를 상호 연결)의 토폴로지이다.

상기 증가된 동서 트래픽 통신의 필요성은 새로운 창조, 플래터(flatter) 네트워크 아키텍처 예를 들면 환상(toroidal)/토러스(torus) 네트워크를 이루게 되었고, 토러스(torus) 상호 연결시스템은 병렬 컴퓨터 시스템에서 메쉬와 같은 형상으로 네트워크 노드(서버)에 접속하기 위한 네트워크 토폴로지이며, 토러스 토폴로지는 프로세서/서버가 가장 가까운 이웃 프로세서/서버에 연결되는 배열로 가시화될 수 있는 2, 3, 또는 그 이상의 (N) 크기에 배치된 노드를 구비하여 배열의 반대 가장자리 상의 프로세서/서버는 연결되어 있고, 이러한 방식으로 각각의 노드는 N 차원 토러스 구성에서 2N 연결(도 2는 3-D 토러스 상호 연결의 일례를 제공한다)을 가지며, 토러스 토폴로지의 각 노드가 짧은 케이블을 통해 인접한 하나에 접속되어 있기 때문에 병렬 처리 동안 낮은 네트워크 지연이 있게 되고, 실제로, 토러스 토폴로지는 홉(hops)의 최소 수와 어떤 노드(서버)에 대한 액세스를 제공한다. 예를 들면, 3 × 3 × 3 × 4 구성(108 노드들)을 구현하는 4차원 토러스는 어떤 연결을 제공하기 위해 평균 2.5 홉(hops)을 요구한다. 불행하게도 큰 구현 설립에 몇 년이 걸리고 케이블링이 복잡하기(각 노드에 대한 2N 연결) 때문에 큰 토러스 네트워크 구현은 데이터 센터(DCs) 또는 클라우드 데이터 센터(CDCs)에서 상업 발전을 위해 실용적이지 못하고, 확장이 필요한 경우 수정 비용이 많이 들고 복잡할 수 있다. 그러나, 처리 능력에 대한 요구가 상업 단점을 능가한 경우에 슈퍼컴퓨터에서 토러스 토폴로지의 구현은 매우 성공적이다. 이러한 점에서 후지쯔(Fujitsu)의 상용 슈퍼컴퓨터(PRIMEHPC FX10) 시스템이 98,304 노드가 장착되어 1,024 랙(racks)이 탑재된 6-D 토러스 상호연결의 사례인 반면에, IBM의 청색 유전자(Blue Gene) 슈퍼컴퓨터는 페타플롭스(petaFLOPs) 프로세싱 파워를 제공하기 위해(도 3 참조) 64개의 캐비넷에 65,356 노드(131,072 CPUs)를 탑재하는 3-D 토러스 상호연결 네트워크의 사례를 보여준다. 상기 사례들이 토러스 토폴로지를 다루고 있지만, 그 사례들은 다른 평면망(flat network) 토폴로지에도 동일하게 적용할 수 있다.

본 발명의 목적은 토러스 또는 상위 기수의(radix) 상호연결 구조에서 실행된 직접 상호연결 네트워크의 배선과 증가를 관리하는 방법을 제공함에 있다.

본 발명의 다른 목적은 토러스 또는 상위 기수의 상호연결의 실행에서 사용되는 수동 패치 패널을 제공하는 데 있다.

본 발명의 또 다른 목적은 토러스 또는 상위 기수의 상호연결의 실행에 있어서 PCIe 카드의 사용을 제공하는 데 있다.

상기한 목적을 달성하기 위한 본 발명 컴퓨터 네트워크에서 직접 상호 연결 스위치 배선과 증가를 관리하는 방법은 각 커넥터마다 상호연결 플러그가 있는 다중 커넥터가 장착된 적어도 하나의 커넥터 보드로 구성된 수동(passive) 패치 패널이 장착되어 커넥터로부터 상호연결 플러그를 제거하고; 상기 플러그를 특정 서버의 상호연결 구조에 추가하기 위해 상기 서버에 탑재된 PCIe 카드에 연결된 연결 케이블로 대체하며; 상기 서버가 상호연결 구조에 연결되었는지 여부를 발견하고; 상호연결 구조에 추가된 서버에 기반된 상호연결 구조의 토폴로지를 발견함으로써 달성된다.

본 발명 컴퓨터 네트워크에서 직접 상호 연결 스위치 배선과 증가를 관리하는 장치의 하나는 토러스 또는 상위 기수의 상호연결의 노드와 노드 연결을 탑재한 패시브 뒤판(passive backplane) 및; 다수의 커넥터로 구성된 패시브 뒤판에 플러그되어 있는 적도도 하나의 커넥터 보드로 구성되고; 수동 패치 패널은 전기, 광학 또는 전기와 광학의 하이브리드(hybrid)이고; 광학 수동 패치 패널은 동일한 광섬유(fiber)에 다수의 광 파장을 합할 수 있는 것이며; 적어도 하나의 커넥터 보드에 있는 다수의 커넥터는 각각 토러스 또는 상위 기수의 토폴로지의 연속성을 유지하기 위해 상호연결 플러그를 수신할 수 있는 것이고; 상기 상호연결 플러그는 적절하게 전기 또는 광학이다.

본 발명에 따른 토러스 또는 상위 기수(radix)의 상호연결의 실행에 사용되는 PCIe 카드는 토러스 또는 상위 기수의 상호연결을 위해 최소 4개의 전기 또는 광학 포트와; 로컬 스위치와; RAM 또는 ROM 메모리를 가진 프로세서 및; PCI 인터페이스로 구성되고; 상기 로컬 스위치는 전기 또는 광학이고; PCIe 카드는 포트를 PCI 트래픽, 헤어 피닝(hair pinning) 트래픽, 상기 트래픽을 증가 또는 감소하는 트렌짓(trasit)하도록 지원하는 것이며, 또한, 상기 PCIe 카드는 동일 섬유에 다수의 광파장을 합한 것이다.

본 발명은 데이터 센터 어플리케이션을 위한 직접 상호연결 스위칭(switchi ng)을 실행하기 위해 토러스 메쉬 또는 상위 기수(higher radix) 배선을 사용함으로써 한개의 스위칭 도메인에 수만개의 서버를 상호연결할 수 있는 고성능 플랫 레이어(flat layer) 2/3 네트워크를 제공할 수 있는 각별한 장점이 있다.

도 1은 종래 데이터 센터 네트워크 실행의 고차원 관점(high level view) 을 나타낸 블록도,
도 2는 종래 8개 노드를 가진 3차원 토러스 상호연결을 나타낸 도면,
도 3은 종래 토러스 구조로 구축된 IBM 블루 진(Blue Gene) 프로세싱 유닛의 계층구조를 나타낸 도면,
도 4는 본 별명의 실시예에 따른 3D 또는 4D 토러스 구조의 고차원 관점(high level view) 을 나타낸 도면,
도 5는 쉽게 따라할 수 있는 상호연결 네트워크의 사례로써 본 발명의 실시예에 따른 36노드 2-D 토러스를 나타낸 도면,
도 6은 도 5에 나타낸 2-D 배열을 3배 복제(replicate)하여 3차원으로 상호연결한 3차원 배열을 나타낸 도면,
도 7은 도 5에 나타낸 2-D 토러스를 위한 노드 연결의 배선을 나타낸 도면,
도 8은 도 6에 나타낸 3-D 토러스를 위한 노드 연결의 배선을 나타낸 도면,
도 9는 본 발명의 직접 상호연결 네트워크를 위한 배선을 실행하는 랙 패치 패널의 최상부(TPP)의 수동 뒤판(passive backplane)을 나타낸 도면,
도 10은 본 발명의 랙 패치 패널의 최상부(TPP)와 상호연결 플러그를 나타낸 도면,
도 11은 커넥터 ID와 패치 패널 ID를 인식하는데 사용되는 무전력의 통합 회로들이 있는 랙 패치 패널의 최상부(TPP)의 수동 뒤판(passive backplane)의 배면도,
도 12는 랙 패치 패널의 최상부(TPP)의 수동 뒤판(passive backplane)의 대체 실시예를 나타낸 도면,
도 13은 본 발명의 광학 랙 패치 패널의 최상부(TPP) 실행의 고차원 관점(high level view)을 나타낸 도면,
도 14는 본 발명에 대한 랙 패치 패널의 최상부(TPP) 실행이 있는 데이터 센터 서버 랙(rack)의 고차원 관점(high level view)을 나타낸 도면,
도 15는 랙의 상부(Top of the Rack) 스위치에 의해 실행되는 노드와 서버에 탑재된 PCIe 카드가 있는 토러스 토폴로지의 하이브리드 실행의 고차원 관점(high level view)을 나타낸 도면,
도 16은 본 발명에 대한 PCIe 카드 실행의 블록도,
도 17은 도 16에 나타낸 PCIe 카드에 의해 지원되는 패킷 트래픽(packet traffic) 흐름도,
도 18은 본 발명에 대한 광학 다파장(multiwavelengths)을 가진 PCIe 카드의 블록도,
도 19는 본 발명에 대한 수동(passive) 광학 다파장(multiwavelengths)을 갖춘 랙 패치 패널의 최상부(TPP)의 고차원 관점(high level view)을 나타낸 도면,
도 20a 내지 20c는 4D 토러스 구조의 배선을 위한 넷리스트(netlist)를 발생시키기 위한 유사부호를 나타낸 도면,
도 21은 랙 패치 패널의 최상부(TPP)에 설치된 커넥터들을 나타낸 도면,
도 22는 커넥터 ID와 패치 패널 ID를 인식하는데 사용되는 무전력의 통합 회로들이 있는 랙 패치 패널의 최상부(TPP)의 커넥터 보드의 배면도이다.

이하, 첨부된 도면을 참조하여 본 발명 컴퓨터 네트워크에서 직접 상호 연결 스위치 배선과 증가를 관리하는 방법 및 장치를 바람직한 실시예로서 상세하게 설명한다.

도 4를 참조하면, 구조 전반에 걸친 라우팅 패킷(routing packets)의 효율성을 증진시키고자(특정 배열에서는 일차원 토러스가 사용될 수 있음에도 불구하고) 다차원(예를 들어 3D, 4D 등등) 토러스를 사용하였다. 이와 같은 측면에서 어떤 연결을 위해 필요한 홉(hops)의 최소한의 수가 있다(예를 들어, 3 x 3 x 3 x 4 구조(108노드)를 실행하는 4차원의 토러스는 어떤 연결을 제공하기 위해 평균적으로 오직 2.5홉이 필요하다). 각각의 노드(10; 서버)는 링형 연결부(12, 14, 16, 및 18)로 각 차원에 연결될 것으로 형상화될 수 있는데, 이것은 노드(10; 서버)가 구조의 반대쪽 끝에 있는 노드(10; 서버)와 마찬가지로 가장 가까운(nearest neighbor) 노드(10; 서버)에 연결되어 있기 때문이다. 그에 따라 각각의 노드(10)는 N차원의 토러스 배열의 2N 연결을 하고 있고, 링형의 연결은 그 자체로 전기적 상호연결, 광학적 상호연결, 또는 양 전기적 그리고 광학적 상호연결의 혼합으로 실행될 수 있다.

그러나, 이와 같은 토폴로지에서 지적해야하는 하나의 문제점은 네트워크에 새로운 노드를 추가할 때 기존의 실행에 영향을 미치지 아니하고, 배선 단순화와 단순성을 통해 배열의 복잡성을 어떻게 감소시키느냐 하는 것이다. 이것은 본 발명의 한 측면이고, 본 발명은 거대한 토러스 또는 상위 기수(higher radix)의 구조를 실행할 때 배선하는 이슈를 기술한다.

도 5는 설명을 용이하게 하기 위해 6 x 6, 36개 노드 배열을 위한 단순한 2D 토러스 배선도를 나타낸 도면이다. 도면에 나타낸 바와 같이 구조는 각각 링형 연결부(12, 13)의 길이가 전체적으로 동일한 포개어진(folded) 2D 토러스이고, 이 도면에서 각각의 노드(10)는 서버에 탑재된 PCIe 스위치 카드(41; 사례적으로 도 16에 나타낸)를 통해 상호연결되는 서버를 나타낸다.

도 6은 도 5의 2D 배열을 사용하였으나, 세번 복제되고 삼차원에 상호연결된 삼차원의 배열 빌드(build)를 나타낸다.

도 7은 도 5에서 나타낸 이차원의 토러스 구조를 위한 배선도로서, 보여진 실행 속에서 각각의 36노드(10)는 네 개의 연결(북(N), 남(S), 동(E), 서(W)를 가진 커넥터(21)를 구비하고 있는데(이 커넥터는 예를 들어, 몰렉스(Molex) 또는 내셔날인스트루먼트(tional Instruments) 등등에서 공급하는 극고밀도 케이블 상호 연결 VHDCI 커넥터일 수 있다), 이는 PCIe 카드(41)로부터의 케이블이 플러그 되어 있을 때 스위치 배선을 제공하고, 배선을 단순화하기 위해 커넥터(21)는 도 10과 도 14에 나타낸 바와 같이 랙 패치 패널의 최상부(31; TPP)에 탑재된 수동 뒤판(200; passive backplane)에 도 9에 나타낸 바와 같이 상호연결되어 있다. 도 9에서 보여지는 수동 뒤판(200; passive backplane)은 세가지 필드에 나타나 있다: 즉, 2D 7 x 6 토러스 배열을 실행하는 42 커넥터(21)로 이루어진 주 필드(main field; 다이어그램 중앙에 점선으로 표시), 삼차원으로의 확장을 위한 2 그룹의 6개 커넥터(21로 이루어진 왼쪽 필드(점선 표시), 그리고 사차원으로의 확장을 가능하게 하는 2 그룹의 6개 커넥터를 가진 오른쪽 필드(점선 표시)이다. 3D 확장은 6개 케이블(PCIe 카드(41)를 랙 패치 패널의 최상부(TPP) 커넥터(21)로 연결하는 케이블과 같은 종류임)을 랙 패치 패널의 최상부(TPP)에서 서버의 다른 랙(33; rack)으로 연결함으로써 실행된다. 필요한 경우 랙 패치 패널의 최상부(TPP) 패치 패널 뒤판 수행은 수정될 수 있고, 간단히 출력된 서킷 보드를 교체[(뒤판(200)] 함으로써 기술에 숙련된 자는 다른 토러스 구조(예를 들어 5D, 6D 등등)를 실행하기 위해 필요한 대로 배선을 변경할 수 있으며, 제한 없이 구조를 확장할 능력이나 랙( 33; rack)에 새로운 서버를 추가하기 위해 따라야 하는 규칙을 제공하기 위해 작은 상호연결 플러그(25)가 활용될 수 있고, 이 플러그(25)는 모든 커넥터(21)를 위해 랙 패치 패널의 최상부(TPP) 제품에 위치할 수 있다. 이러한 방식으로 모든 링형 연결이 처음에는 닫혀있고 서버로부터의 PCIe 케이블에 필요한 바와 같이 플러그(25)를 교체함으로써 토러스 상호연결이 구축된다.

도 8은 삼차원의 토러스 구조를 위한 배선도를 나타낸다. 한 예로 3D 구조로 PCIe 케이블을 부착하기 위한 도면 왼쪽 최상부의 노드에서 보여지는 6개의 연결을 주시하라: +X, -X, +Y, -Y, +Z 그리고 -Z. 3D 토러스 케이블링(cabling)을 수용하기 위한 랙 패치 패널의 최상부(TPP) 실행은 도 8에 나타낸 배선도에 따라 어떤 커넥터(21)를 다른 모든 커넥터(21)에 연결하기 위해 고안되었다.

랙 패치 패널의 최상부(TPP) 연결의 넷리스트(netlist)를 발생시키는 새로운 방식은 4D 토러스 배선 실행(이 실행은 3D, 5D등등으로 용이하게 수정되어질 수 있음)을 위한 도 20a 내지 20c에 나타낸 바와 같이 유사부호를 붙여 설명한다. 3D 토러스(Z, Y, X)를 위해 각각의 노드(10)는 세 개의 링(rings)-링(ring)Z, 링(rin g)Y, 링(ring)X의 교차점에 있을 것이다. 만약 네트워크 구축 분양의 기술이 숙련된 자가 랙(33; rack)에 한번에 모든 서버를 상호 연결하고자 하는 경우(42개의 서버까지; 상기와 같이 기술된 것을 위해 도 9의 중간 부분 참조), 아무런 제한사항이 없다 - 서버들은 무작위한 형태로 배선되어질 수 있고, 이러한 접근은 배열을 상당히 단순화시킨다 - 서버를 추가한 후 어떤 특별한 연결규칙 없이 케이블을 랙 패치 패널의 최상부(TPP)에 연결하여 토러스 구조의 통합성(integrity)은 유지되며, 해당 기술에 숙련된 자라면 실행하는 법을 아는 네트워크 관리시스템은 랙 패치 패널의 최상부(TPP)와 모든 상호연결된 서버들을 포함한 데이터 센터 네트워크의 완전한 이미지를 유지할 것이고, 이는 각 노드에 필요한 모든 정보와 연결 상태를 제공하게 된다.

도 11에서 나타낸 바와 같이, 각 PCIe 카드는(노드 서버에 탑재된) 케이블 (36)에 의해 랙 패치 패널의 최상부(TPP)에 연결되고, PCIe 카드(41)를 랙 패치 패널의 최상부(TPP)에 연결하는 케이블(36)은 8개의 포트(40)에 연결성(connectivit y)을 제공하며(도 16 참조), 또한 관리 목적으로 랙 패치 패널의 최상부(TPP)에 연결성(connectivity)를 제공하고, 뒤판(200)은 모든 커넥터에 부착된 무전력의 전기 장치/집적회로(230; IC)를 포함하며, 상기 전기 장치/집적회로(230)는 연결되었을 때 커넥터 아이디를 얻기 위해 PCIe 카드에서 실행되는 소프트웨어로부터 정보를 얻고, 커넥터에 부착된 모든 상기 전기 장치/집적회로(230)는 모든 커넥터를 특유의 형태로 인식하는 수동 저항기 조합을 사용한다.

랙 패치 패널의 최상부(TPP) 인식 시스템(패치패널 ID)은 또한 설치시 프로그램될 수 있는 전자장치(240)를 사용하여 실행되고, 상기 전자장치(240)의 로컬 지속(persistent) 메모리 제조일자, 버젼, 배열, 그리고 ID와 같은 다른 정보를 수용할 수 있으며, 전자장치(240의 PCIe카드에 대한 연결은 소프트웨어 요청시 이러한 정보를 전달할 수 있게 한다.

카드 초기화 시 소프트웨어는 전기 장치/집적회로(230)에 전력을 적용하고 커넥터(21)의 ID를 독출하며, 실용적인 실행은 배선 연결을 필요로 한다 - 전력과 지상을 위한 두 개와 "1-Wire"기술을 사용하여 커넥터(21) ID를 독출하는 세번째 연결.

유사한 방식으로 관리 소프트웨어로 설치시 프로그램된 패치패널 ID는 전기 장치/집적회로(230)에서 사용된 배선과 동일한 배선을 사용하여 읽을 수 있고, 전자장치(240)는 소프트웨어 콘트롤(control)에 의해 거래를 읽고/쓰는 것을 지원할 수 있는 변동성이 없는(non-volatile) 메모리를 갖고 있어 전자장치(240)는 제조 정보, 랙 패치 패널의 최상부(TPP) 버젼, 그리고 랙 패치 패널의 최상부(TPP) ID를 수용할 수 있다.

도 12는 별도의 출력된 회로 보드를 뒤판(backplane)으로 사용하는 다른 수동 패치 패널 실행 옵션을 나타낸다. 이 실행은 랙(rack)에 있는 서버의 갯수를 상당히 증가시킬 수 있으며 또한 커넥터/배선 선택에 유연성을 부여할 수 있다.

상기 커넥터(21)을 지원하는 출력된 회로 보드(23)는 고성능 커넥터(22)를 통해 뒤판에 플러그 되어 있고, 출력된 회로 보드(24)는 또한 고성능 커넥터(22)를 갖고 있으며 회로 보드(23)에 연결되기 위해 뒤판(26; back plane)에 플러그 되어 있다.

상기 회로 보드(24)에 있는 고성능 상기 커넥터(21)는 TPPs 랙(33; rack)과 랙(33; rack)을 상호연결하는데 사용될 수 있다.

직접 상호연결 배선은 뒤판(26; back plane)에서 실행되고, 언제든 배선이 변경되는 경우(다양한 이유에 의해) 유일하게 변경해야 하는 장치는 뒤판(26; back plane)이다. 예를 들어, 매우 큰 토러스 실행이 변경될 필요가 있을 때(한 사례로 10,000 서버 배열을 위해 가장 효율적인 4D 토러스는 6 x 7 x 16 x 15를 사용하려고 하는 것이 아닌 10 x 10 x 10 x 10 배열이다; 그리고 160,000 서버 배치를 위해 가장 효율적인 배열은 20 x 20 x 20 x 20이다), 상기 회로 보드(23, 24)를 동일하게 유지하는 반면에 뒤판(26; back plane)을 단순히 변경함으로써 이러한 배열을 수용할 수 있다.

도 13은 광학적 패치 패널 실행을 나타낸다. 이러한 실행은 포트와 광섬유 상호 연결을 도 5 또는 도 6(2D 또는 3D 토러스)에 제시된 배선도로 상정한다. 회로 보드(28)와 회로 보드(29)에 있는 광학적 커넥터는 광섬유(27; 예컨대 PCBs 또는 뒤판에 고밀도 광학적 라우팅(routing)을 제공하는 고밀도 몰렉스(Molex)의 플렉스플레인(Flexplane) 광학적 전기회로망)를 사용하여 상호 연결되고, 광학적 랙 패치 패널의 최상부(TPP)는 제조될 때 섬유화되는 것이 선호되며, 광학 플러그 (250)는 제조될 때 랙 패치 패널의 최상부(TPP)에 장착되어야 하고, 커넥터와 광학 플러그(250)는 저손실인 것이 선호되며, 커넥터의 광학적 손실은 커넥터 타입과(예를 들어, 콜리메이션(collimation)를 위해 마이크로 광학 렌즈를 사용하는지 여부), 파장(예컨대 C밴드의 싱글 모드 섬유는 1340nm의 멀티모드 섬유보다 낮은 광학적 손실을 제공함)에 의해 결정된다.

광학 랙 패치 패널의 최상부(TPP)를 위한 다른 실행 옵션은 도 19에서 제시되고 있다. 이 실행은 광학 다중(multiplex) 파장을 이용하여 물리적 연결(광섬유)의 수를 현저히 축소시키고, 광학 직접 상호연결 토러스 구조를 실행하기 위해 랙 패치 패널의 최상부(TPP)에 추가된 새로운 요소는 동일 광섬유에 다중 광학 파장을 결합시킨 수동 광학 멀티플렉서-디멀티플렉서(220; mux-demux)이며, 상기 광섬유(27)는 광 직접 상호 토러스 구조를 구현하기 위해 멀티플렉서-디멀티플렉서(220; mux-demux)의 출력을 상호 연결하고, 두 개의 다른 랙 패치 패널의 최상부(TPP)에서 랙 패치 패널의 최상부(TPP) 까지를 연결하기 위해, 커넥터(222)가 이용되고, 이러한 실행은 도 18에서 보여주는 PCIe 카드(41)의 변형된 버전을 필요로 하며, 상기 PCIe 카드(41)는 광학 멀티플렉서-디멀티플렉서(220; mux-demux), 다른 파장의 광학 트랜스미터(225), 및 광학 리시버(224)를 포함한다.

또한, 랙 패치 패널의 최상부(TPP)는 전기/광학 하이브리드 실행으로 사용될 수도 있다. 이 경우 토러스 노드들은 광학 포트와 전기 포트를 가지며, 하이브리드 실행은 일반적으로 매우 큰 데이터 센터의 연결을 부여하기 위해 사용되고, 랙(rack) 레벨에서 전기 연결을 사용하며, 모든 랙(rack)에서 랙(rack)으로 또는 지리적으로 분포된 데이터센터의 상호연결에서 광학적 연결을 사용할 수 있고, 저비율 연결(low rate connectivity; 예를 들어 1Gps 또는 10/100Mbps보다 낮은 비율)에서 전기 케이블이 빈번하게 사용되며, 더 높은 비율의 연결(예를 들어 10Gps)에서는 특별한 전기 케이블이 사용될 수 있고, 고비율 상호연결 네트워크에서는 더 긴 거리에 도달하게 할 수 있어 매우 높은 비율(예컨대, 100Gps 또는 400 Gps)을 지원할 수 있으므로 광학적 트랜스미션을 사용할 수 있다.

도 15는 토러스 구조에서 랙의 최상부(Top of the Rack; 이하, "ToR"이라 함.) 스위치(38)와 PCIe 카드(41)에 기초한 서버 상호 연결을 사용한 통합 배치를 나타내며, 이는 하이브리드 계산 서버와 저장서버 배열을 실행하기에 적합하고, PCIe에 기초한 실행은 서버의 PCI 포트가 고정 스위치 포트의 파장(예를 들어, 1 Gps 또는 10 Gps)보다 현저히 높은 파장을 수용할 수 있으므로 증가된 추가/감소 파장을 갖는다는 장점이 있으며, 4D 토러스 실행을 지원하는 PCIe 카드(41)는 토러스 링크의 상호연결 파장의 8배까지 수용할 수 있다.

상기 ToR 스위치(38)는 일반적인 계층(2) 이터넷(Ethernet) 스위치이고, 이 스위치(38)는 서버들에 연결성을 부여하며, 상기 ToR 스위치(38)가 토러스 노드인 토러스 배열에서 다른 ToR 스위치(38)에도 연결성을 제공하고, 본 발명의 이러한 실시예에 의하면 ToR 스위치(38)와 PCIe 카드(41)은 랙 패치 패널의 최상부(31; TPP)의 변형된 버젼을 사용하여 더욱 상호연결 되어진다.

도 16은 본 발명의 PCIe 카드 실행의 블록도를 나타낸다. 이 카드는 다중포트 네트워크 인터페이스 카드(NIC)로 볼 수 있고, 이 PCIe 카드(41)는 램(47; RAM) 과 롬(48; ROM) 메모리가 있는 프로세서(46), 패킷 스위치(44) 및, 이터넷(Ethern et) PHY 인터페이스 장치(45)를 갖고 있으며, 도 16에 나타낸 바와 같이 상기 PCIe 카드(41)는 포트(42)와 8개의 인터페이스 포트(40)를 구비하고, 이는 제시된 카드가 4차원 토러스 직접 상호연결 네트워크까지 실행을 제공할 수 있다는 것을 의미한다.

도 17은 상기 PCIe 카드(41)에 의해 지원되는 패킷 트래픽 흐름을 나타낸다. 각 포트(40)는 PCI 포트로의 액세스(access)를 갖고 있어 포트에서 PCI까지의 트래픽(도면부호 400으로 나타낸 바와 같이)의 경우, 총 포트(40)의 갯수가 8일 때 총 파장은 포트 용량의 8배이고, 포트의 숫자는 토러스 메쉬(mesh) 연결을 결정하며, 8개의 PCIe 카드(41) 실행은 4차원 토러스(x+, x-, y+, y-, z+, z- 및 w+, w-)까지 가능하게 한다.

상기 PCIe 카드(41)에 의해 지원되는 두 번째 종류의 트랙은 헤어 피닝(hair pinning) 트래픽(도면부호 410으로 나타낸)이다. 이것은 트래픽이 한 포트로부터 다른 포트로 스위치되는 경우 발생하고; 트래픽은 단순히 노드를 전환시키는 것이며, 상기 PCIe 카드(41)에에 의해 지원되는 세 번째 종류는 추가/감소 트래픽(도면부호 420으로 나타낸)을 갖는 트랜짓(transit)이고, 이는 한 포트로부터의 입력 트래픽이 부분적으로 PCI포트로 떨어져서 부분적으로 다른 포트로 전용되거나, 입력 트래픽이 PCI 포트로부터의 트래픽과 합쳐져서 다른 포트로 전용되는 경우에 발생한다.

트랜짓과 추가/감소 트래픽하는 능력은 각 노드가 트래픽 추가/감소 노드가 될 수 있는 직접 상호연결 네트워크를 실행한다.

10 : 노드(서버) 12, 13, 14, 16, 18 : 링형 연결부
21, 22 : 커넥터 23, 24, 28, 29 : 회로 보드
25 : 플러그 26 : 뒤판
27 : 광섬유 31 : 랙 패치 패널의 최상부(TPP)
33 : 랙(rack) 36 : 케이블
38 : ToR 스위치 40, 42 : 포트
41 : PCIe 카드 44 : 패킷 스위치
45 : PHY 인터페이스 장치 46 : 프로세서
47 : 램 48 : 롬
200 : 뒤판 220 : 멀티플렉서-디멀티플렉서
222 : 커넥터 224 : 광학 리시버
225 : 광학 트랜스미터 230 : 전기 장치/집적회로(IC)
240 : 전자장치 250 : 광학 플러그
400, 410, 420 : 트래픽

Claims

삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
다중 커넥터를 갖는 적어도 하나의 커넥터 보드를 포함하는 수동 패치 패널을 제공하며, 다수의 커넥터의 필드, 즉 하나 이상의 차원에서 직접 상호 연결 네트워크의 노드에 연결 가능한 커넥터의 메인 필드와 하나 이상의 추가 차원에서 직접 상호 연결 네트워크의 확장을 위해 적어도 하나의 다른 패시브 패치 패널에 연결 가능한 커넥터의 적어도 하나의 제 2 필드를 갖는 상기 다중 커넥터는 직접 상호 연결 네트워크를위한 배선을 구현하기 위해 수동 백플레인에서 상호 연결하는 단계와;
토러스 또는 기수 상호 접속 구조의 연속성을 유지하기 위해 접속을 폐쇄하기 위해 상호 접속 플러그로 상기 메인 필드 및 커넥터의 적어도 하나의 2 차 필드 각각을 초기에 채우는 단계와;
커넥터의 메인 필드에 있는 커넥터로부터 상호 접속 플러그를 제거하고 상기 플러그를 노드에 대한 접속으로 교체하여 상기 노드를 직접 상호 접속 네트워크에 추가하는 단계와;
적어도 하나의 2 차 커넥터 필드의 커넥터로부터 상호 접속 플러그를 제거하고 상기 플러그를 적어도 하나의 다른 수동 패치 패널에 대한 연결로 교체하여 상호 접속 네트워크를 하나 이상의 추가 치수로 확장하는 단계 및;
직접 상호 연결 네트워크에 추가된 노드에 기초하여 직접 상호 연결 네트워크에 추가된 노드의 연결 및 직접 상호 연결 네트워크의 토폴로지를 발견하는 단계를 포함하는 토러스 또는 기수 상호 연결 구조에 구현된 직접 상호 연결 네트워크의 배선 및 성장을 관리하는 방법.
삭제
수동 패치 패널은 다중 커넥터를 갖는 적어도 하나의 커넥터 보드를 포함하며, 상기 다중 커넥터는 직접 상호 연결 네트워크를 위한 배선을 구현하도록 수동 백플레인에서 상호 연결되고,
상기 다중 커넥터는 다중 커넥터의 필드, 즉 하나 이상의 차원에서 직접 상호 연결 네트워크의 노드에 연결 가능한 커넥터의 메인 필드와 하나 이상의 추가 차원에서 직접 상호 연결 네트워크의 확장을 위해 하나 이상의 다른 패시브 패치 패널에 연결할 수 있는 하나 이상의 커넥터의 2차 필드이며,
커넥터의 메인 필드에 있는 각 커넥터는 초기에 상호 연결 플러그에 의해 채워져 초기에 연결을 닫아서 토러스 또는 기수 구조의 연속성을 유지하고,상기 플러그 각각은 상기 노드를 직접 상호 접속 네트워크에 추가하기 위해 노드에 대한 연결로 대체될 수 있으며,
커넥터의 적어도 하나의 2 차 필드의 각 커넥터는 초기에 상호 연결 플러그에 의해 채워져 초기에 연결을 폐쇄하여 토러스 또는 기수 상호 연결 구조의 연속성을 유지하고, 상기 플러그 각각은 하나 이상의 추가 치수로 상호 접속 네트워크를 확장하기 위해 적어도 하나의 다른 수동 패치 패널에 대한 연결에 의해 대 될 수 있는 토러스 또는 기수 상호 연결 구조에 구현된 직접 상호 연결 네트워크의 구현에 사용하기 위한 수동 패치 패널.
PCI(Peripheral Component Interconnect) 인터페이스와, RAM(Random Access Memory)과 ROM(Read Only Memory )이 있는 프로세서와, 스위치와, 적어도 하나의 PHY 인터페이스 장치와, 최소 2 차원 토러스 또는 기수 직접 상호 연결 네트워크의 구현을 제공하기 위한 최소 4 개의 인터페이스 포트로 이루어져 포트를 PCI 트래픽, 헤어핀 트래픽 및 상기 토러스 또는 기수 직접 상호 연결 네트워크 내에서 트래픽 추가/삭제를 통한 전송을 지원할 수 있는 토러스 또는 기수 직접 상호 연결의 구현에 사용하기 위해 제 45항에 따른 패시브 패치 패널의 커넥터 메인 필드에 있는 커넥터에 케이블로 연결되는 서버에 장착 된 PCIe(Peripheral Component Interconnect Express) 카드.