KR101546734B1 - 데이터 센터 상호접속 및 트래픽 엔지니어링 - Google Patents

Abstract

데이터 센터 네트워킹을 상품화하기 위한 시스템이 개시된다. 이 시스템은 복수의 서버, 및 데이터 패킷들이 라우팅될 수 있는 데이터 센터 내의 네트워크의 복수의 노드를 구비하는 데이터 센터에 대한 상호접속 토폴로지를 포함한다. 이 시스템은 라우팅이 네트워크 내의 노드들 사이의 트래픽 패턴을 인식하지 못하는 라우팅 스킴을 이용하며, 상호접속 토폴로지는 하나 이상의 서버 사이에 복수의 경로를 포함한다. 다중 경로 라우팅은 VLB일 수 있다. 이 시스템은 부하 균형화 기능을 표준 서버들의 그룹으로 분산시키며, 결과적으로 부하 균형화 서버 하드웨어는 데이터 센터 내의 랙들 사이에 분산되어, 더욱 민첩해지고 단편화를 줄일 수 있다. 그러한 아키텍처는 거대하고 유연한 스위칭 도메인을 생성하여, 임의의 서버/임의의 서비스, 풀 메쉬 민첩성 및 제한되지 않는 서버 용량을 낮은 비용으로 지원한다.

Description

데이터 센터 상호접속 및 트래픽 엔지니어링{DATA CENTER INTERCONNECT AND TRAFFIC ENGINEERING}

관련 출원의 상호 참조

본 출원은 그 전체가 본 명세서에 참고 문헌으로 포함되는, 2008년 6월 9일자로 "DATA CENTER INTERCONNECT AND TRAFFIC ENGINEERING"라는 제목으로 출원된 Maltz 등의 특허 가출원 제61/060,040호에 대한 우선권을 주장한다.

오늘날의 데이터 센터들에서 호스트되는 애플리케이션들은 데이터 센터의 서버들을 접속하는 네트워크의 아키텍처에 의해 부과되는 자원들의 내적 단편화, 경직 및 대역폭 제한들을 겪는다. 현재의 통상적인 아키텍처는 웹 서비스들을 이더넷 VLAN들로 정적으로 맵핑하며, 이러한 VLAN들 각각은 제어 평면 오버헤드로 인해 크기가 수백 개의 서버로 제한된다. 트래픽을 VLAN들 전체에 도달하게 하는 데 사용되는 IP 라우터들 및 VLAN 내의 요청들을 서버들 전체에 배포하는 데 사용되는 부하 균형화기들은 고가의 맞춤형 하드웨어 및 독점 소프트웨어를 통해 구현된다. 따라서, 고가의 IP 라우터 포트들은 임의 랙 대 임의 랙(any-rack-to-any-rack) 서버 접속에 대한 병목이 되며, 따라서 많은 데이터 집약 애플리케이션(예컨대, 데이터 마이닝(data mining), 맵/축소 연산들(map/reduce computations), 분산 파일 시스템들, 블로브 스토어들(blob stores))에 대해 트래픽을 제한한다. 더욱이, 통상의 아키텍처는 수요에 부응하기 위해 자주 갱신되고 교체되어야 하는 수개의 하드웨어에 트래픽을 집중시키는데, 이는 (소수의 고가 컴포넌트에 더 많은 능력 및 복잡성을 추가하는) 스케일 업(scale up)하는 것이 아니라 (더 싼 컴포넌트들을 추가하는) 스케일 아웃(scale out)하는 것인 데이터 센터의 나머지에서의 주요 원리에 정면으로 모순되는 접근 방식이다. 또한, 이러한 소수의 네트워크 라우터 및 스위치로의 트래픽의 집중은 네트워크에 고장 및 정지의 위험을 부과하는데, 이는 그러한 소수의 컴포넌트들의 고장이 시스템 내에 구축된 리던던시를 압도하여 정지를 유발하기 때문이다. 현재, 매우 낮은 포트 비용에서 매우 높은 포트 속도를 갖는 소비재 스위칭 하드웨어가 이용 가능하며, 이는 지금이 데이터 센터 네트워킹 기반구조를 재설계하기 위한 적절한 시기가 되게 한다.

데이터 센터는 서버 및 네트워킹 컴포넌트들 양자를 포함하며, 통상적으로 컴포넌트들 사이의 거리는 광 전파 속도의 시간으로 밀리초 이하이다(즉, 1 Gbps 또는 그 이상의 속도로 소수의 스위치를 가로지른다). 기반구조의 서버 부분은 현재 상품화되기 어려우며, 고성능 기업급 서버들은 다수의 저가 PC들로 교체되어 왔다. 분산 컴퓨팅 및 시스템 관리 소프트웨어에서의 기술 혁신은 개별 서버들에 대한 불신을 시스템 전체의 집합적인 신뢰성으로 차단하는 것을 가능하게 하였다. 현재의 화제는 PC 상품화의 경제학에 기초하는 "스케일링 업이 아닌 스케일링 아웃"이다. 소비재 부품들은 광범위한 가용성, 표준화, 및 향상된 성능들(예컨대, 이미 이용 가능한 1Gbps, 10Gbps 기술, 현재 나오고 있는 100Gbps 기술)을 위한 드라이버들에 의해 특성화된다.

데이터 센터 기반구조의 네트워크 부분은 상품화를 위한 그 다음 미개척 영역을 제공한다. 상호접속되는 것이 필요한 서버들의 수의 증가는 기업 네트워킹 솔루션들의 한계들을 더 확대시켰으며, 따라서 현재의 아키텍처들은 본래 더 작은 크기의 기업 네트워크 급에서 동작하도록 의도하였던 프로토콜들에 대한 패치들 및 워크어라운드들(workarounds)의 스펙트럼과 유사하다.

이제, 통상의 데이터 센터들의 일부 과제들 및 요건들이 도 1을 참조하여 설명되며, 도 1은 추천된 소스로부터 취해진 데이터 센터에 대한 통상의 아키텍처(100)를 도시한다. 본 명세서에 그 전체가 참고 문헌으로 포함되는 "Cisco systems: Data center: Load balancing data center services, 2004"를 참고한다. 다수의 애플리케이션이 데이터 센터 내에서 실행되지만, 통상적으로 각각의 애플리케이션은 데이터 센터 내에서의 활동을 지배하고 제어하는 단일 조직을 갖는 그 자신의 (잠재적으로 가상적인) 서버 머신들(102)의 세트 상에서 호스트된다. 인터넷(104)으로부터의 요청들은 통상적으로 공개적으로 볼 수 있고 라우팅 가능한 가상 IP 어드레스(VIP)로 전송되며, 데이터 센터에서 실행되는 각각의 애플리케이션과 관련된 하나 이상의 VIP가 존재한다.

인터넷으로부터 도달하는 요청들은 목적지 VIP 어드레스에 기초하여 경계 라우터들(BR) 및 액세스 라우터들(AR)을 통해 계층 2 도메인으로 IP(계층 3) 라우팅된다. VIP는 톱 스위치들(S)에 접속되는 2개의 부하 균형화기(LB) 상으로 설정되며, 하나의 부하 균형화기가 고장인 경우에 다른 부하 균형화기가 트래픽을 픽업하는 것을 보장하기 위하여 복잡한 메커니즘들이 사용된다. 본 명세서에 그 전체가 참고 문헌으로 포함되는 E.R. Hinden의 "Virtual router redundancy protocol (VRRP)"을 참고한다. 각각의 VIP에 대해, 부하 균형화기들은 부하 균형화기들 아래의 랙들(racks) 내의 물리적 서버들(102)의 비공개 및 내부 어드레스들인 직접 IP 어드레스들(DIPs)의 리스트를 갖도록 구성된다. 이러한 DIP들의 리스트는 해당 VIP에 대한 요청들을 처리할 수 있는 서버들의 풀(pool)을 정의하며, 부하 균형화기는 풀 내의 DIP들 전체에 요청들을 분산시킨다.

데이터 센터 내에 필요한 서버들의 수가 증가함에 따라, 도면에 도시된 바와 같이, 스위치들 및 관련 랙들의 추가적인 쌍들이 계층 2 도메인에 추가된다. 계층 2 서브네트들은 방송 및 제어 평면 트래픽의 오버헤드들로 인해 크기가 수백 개의 서버들로 제한되며, 따라서 VLAN들은 도메인을 VLAN당 하나의 서브네트씩 다수의 계층 2 서브네트로 분할하기 위하여 계층 2 스위치들 상에 구성된다. 계층 2 도메인들이 결국에 약 4000개의 서버의 크기의 대형 이더넷 도메인들과 관련된 한계들(예를 들어, VLAN 고갈, 방송/제어 트래픽)에 부딪힐 때, 추가적인 계층 2 도메인들이 생성되고 액세스 라우터들의 다른 쌍들에 접속된다.

전통적인 접근 방식은 다음과 같은 문제들을 갖는다.

자원들의 단편화: 목적지 NAT(또는 하프-NAT) 및 직접 서버 리턴과 같은 대중적인 부하 균형화 기술들은 VIP의 풀 내의 모든 DIP들이 동일한 계층 2 도메인 내에 있을 것을 요구한다. 본 명세서에 그 전체가 참고 문헌으로 포함되는 C. Kopparapu의 "Load Balancing Servers, Firewalls, and Cashes"를 참고한다. 이러한 제한은, 애플리케이션이 커지고 더 많은 서버를 필요로 하는 경우에 다른 계층 2 도메인들 내의 이용 가능 서버들을 이용할 수 없어서, 결국에는 자원들이 단편화되고 충분히 이용되지 못한다는 것을 의미한다. 소스 NAT(또는 풀-NAT)를 통한 부하 균형화는 서버들이 계층 2 도메인들 전체에 분산되는 것을 허가하지만, 그러면 서버들은 클라이언트 IP를 볼 수 없게 되며, 이것은 종종 수용 가능하지 않은데, 그 이유는 서버들이 규제 준수 및 데이터 마이닝을 위해 클라이언트 IP를 로깅(logging)해야 하기 때문이다.

열악한 서버 대 서버 접속: 네트워크의 계층적인 성질은, 상이한 계층 2 도메인들 내의 서버들이 통신하기 위해서는 트래픽이 네트워크의 계층 3 부분을 통과해야 한다는 것을 의미한다. 계층 3 포트들은 계층 2 포트들보다 훨씬 비싸므로, 이러한 링크들은 통상적으로 초과 신청된다(예를 들어, 액세스 라우터들과 경계 라우터들 사이의 링크들의 용량은 액세스 라우터들에 접속된 서버들의 출력 용량의 합보다 작다). 결과적으로, 데이터 센터의 상이한 부분들 내의 서버들 사이에 이용 가능한 대역폭은 아주 제한될 수 있다. 이것은 심각한 전역적인 최적화 문제를 유발하는데, 그 이유는 모든 애플리케이션들과 관련된 모든 서버들의 트래픽의 합이 어떠한 네트워크 링크도 포화시키지 않을 것을 보장하도록 그 모든 서버들이 매우 주의 깊게 배치되어야 하고, 애플리케이션들 사이에 이러한 레벨의 조정을 달성하는 것은 사실상 어렵기 때문이다. 서버들 사이의 충분한 용량의 부족도 서버들의 풀을 단편화한다. 예를 들어, 데이터 센터에서 실행되는 애플리케이션이 그의 작업 부하를 처리하기 위해 더 많은 서버를 필요로 할 때, 데이터 센터 내의 다른 곳에 위치하는 미사용 서버들은 그들과 기존 애플리케이션 서버들 사이에 용량이 충분하지 못한 경우에는 서비스를 제공할 수 없게 된다.

스케일 아웃이 아니라 스케일 업되는 독점 하드웨어: 통상의 아키텍처에서의 부하 균형화기들은 1+1 탄성 구조에서 쌍으로 사용된다. 부하가 부하 균형화기들에 대해 너무 커지는 경우, 오퍼레이터들은 기존의 부하 균형화기들을 용량이 더 큰 새로운 쌍으로 교체하며, 단일 부하 균형화기를 추가하여 더 큰 용량을 얻는 것은 불가능하다.

본 시스템은 데이터 센터 네트워킹을 스케일링 아웃하기 위한 간단한 설계와 관련된다. 본 시스템 설계는 간단한 메쉬(mesh) 형태와 같은 아키텍처, 소비재 스위치들, 제어 평면의 변경들을 이용하여, 다중 경로 라우팅을 통해 프로토콜 오버헤드들을 제어하고 유연한 트래픽 엔지니어링을 지원한다. 본 시스템 설계는 부하 균형화 기능을 표준 서버들의 그룹으로 분산시키며, 결과적으로 부하 균형화 서버 하드웨어는 데이터 센터 내의 랙들 사이에 분산되어, 더욱 민첩해지고 단편화를 줄일 수 있다. 그러한 아키텍처는 거대하고 유연한 스위칭 도메인을 생성하여, 임의의 서버/임의의 서비스, 풀 메쉬 민첩성(full mesh agility), 및 제한되지 않는 서버 용량을 낮은 비용으로 지원한다.

실시예들에서, 본 시스템은 데이터 센터에 대한 상호접속 토폴로지를 포함하며, 데이터 센터는 복수의 서버, 및 데이터 패킷들을 라우팅할 수 있는 데이터 센터 내의 네트워크의 복수의 노드를 구비한다. 본 시스템은 라우팅이 네트워크 내의 노드들 사이의 트래픽 패턴을 인식하지 못하는 라우팅 스킴을 이용하며, 전술한 상호접속 토폴로지는 하나 이상의 서버들 사이의 복수의 경로를 포함한다.

전통적인 아키텍처에 비해, 본 아키텍처는 다음의 과제들을 충족시킨다.

임의 장소의 배치: 본 아키텍처는 데이터 센터 내의 임의 장소의 임의 서버가 임의의 VIP를 지원하는 서버들의 풀의 일부인 것을 허가하며, 따라서 서버 풀들은 동적으로 축소 또는 확장될 수 있다. 즉, 각각의 VIP를 지원하는 서버들 및 DIP들은 데이터 센터 내의 임의 장소에 배치될 수 있다.

서버 대 서버 대역폭: 많은 애플리케이션은 데이터 센터 내의 광범위한 연산을 필요로 하며, 따라서 본 아키텍처는 데이터 센터 내의 모든 쌍의 서버들 사이의 대역폭을 이들이 어느 곳에 위치하는지에 관계없이 최적화한다.

스케일 아웃되는 소비재 하드웨어: 더 많은 용량이 필요함에 따라, 본 시스템은 기존의 컴포넌트들을 더 새로운, 더 큰 용량의 모델들로 교체하는 것이 아니라 더 많은 개별 컴포넌트들을 추가하는 것을 더 쉽게 한다. 이것은 본 아키텍처가 탄성 모델, 즉 모든 컴포넌트들이 능동적이고, n개의 컴포넌트 중 하나의 컴포넌트의 고장이 단지 전체 용량의 1/n번째만을 제거하는 모델을 지원할 것을 요구한다.

동일 아키텍처를 갖는 임의 수의 서버들의 지원: 미래의 데이터 센터들은 대략 100,000개의 서버 사이의 집중적인 내부 통신들을 제공할 것이다. 본 시스템은 이러한 볼륨의 서버들 사이의 효율적인 부하 균형화 및 통신을 허가한다. 스위칭 및 부하 균형화를 위한 정보 저장 및 메시징은 서버들의 수에 따라 선형으로 스케일링된다. 네트워크 하드웨어 및 메시징은 네트워크 요소들의 수에 따라 n log n으로서 스케일링된다.

후술하는 바와 같이, 본 시스템은 서버들의 프로그래밍 능력, 표준 라우팅 및 인캡슐레이팅 능력을 갖춘 스위치들, 및 스위치 하드웨어에서 구현되는 소정의 유용한 데이터 평면 프리미티브들을 이용함으로써 그러한 과제들을 충족시킨다.

도 1은 데이터 센터들에 대한 통상의 네트워크 아키텍처의 개략도이다.
도 2는 링크들이 초과 신청되지 않는 네트워크에 의해 접속된 모든 서버를 나타내는 본 시스템의 아키텍처의 개요의 개략도이다.
도 3은 호스트의 네트워킹 스택의 개략도이다.
도 4는 패킷들이 동일 데이터 센터 내의 하나의 서버에서 다른 서버로 갈 때의 패킷 처리의 예시적인 개략도이다.
도 5는 인터넷을 통한 접속들에 대한 네트워크 경로의 개략도이다.
도 6은 103,680개의 서버를 접속하는 스위치들에 대한 예시적인 토폴로지의 개략도이다.
도 7은 예시적인 상호접속 토폴로지의 개략도이다.
도 8은 예시적인 상호접속 토폴로지의 개략도이다.
도 9는 144-포트 스위치들을 이용하는 상호접속 토폴로지의 이중 스케일링의 개략도이다.

이하, 도 2-9를 참조하여 본 시스템을 설명한다. 100달러 내지 10달러의 1 Gbps 포트들, 1000달러 내지 100달러의 10Gbps 포트들 및 표준화 직전의 40Gbps 및 100Gbps를 갖는 소비재 스위칭 하드웨어가 이용 가능한 경우, 데이터 센터 네트워킹 기반구조를 재설계할 적절한 시기이다. 다음은 많은 수의 서버들이 거대한 작업 부하들(예컨대, 웹 검색)을 협력하여 처리하는 "클라우드(cloud)" 서비스들에 사용되는 데이터 센터들의 네트워크들을 상품화하기 위한 시스템을 제공한다. 본 시스템의 특징들은 다음을 포함한다.

메쉬 상의 트래픽 엔지니어링: 비인식 방식으로 임의의 트래픽 패턴들을 지원하는(즉, 서버 인터페이스 카드들에 의해 허가되는 임의의 트래픽 매트릭스를 수용하는) 핫스팟 프리 코어 패브릭을 구현하기 위해 소비재 스위치들의 메쉬 상에서 VLB(valiant load balancing)가 이용된다. 스위치들의 역할은 고속 전송을 단순화하며, 스케일링 및 제어에 있어서의 많은 복잡성을 서버들로 이동시킨다.

거대한 계층 2 도메인에 대한 스케일링: 평면적 어드레스들을 이용하여 서버들 사이에 패킷들이 전송되며, 따라서 임의의 서버는 그가 데이터 센터 내의 어느 곳에 물리적으로 접속되는지에 관계없이 임의의 어드레스를 이용할 수 있다. 본 명세서에서 사용될 때, 평면적 어드레스는 서버 또는 목적지가 네트워크에 접속되는 위치가 아니라 서버 또는 목적지의 식별만을 지시하는 어드레스이다. 평면적 어드레스들은 토폴로지 면에서 중요한 다른 어드레스들과 구별되는데, 토폴로지 면에서 중요하다는 것은 어드레스가 서버 또는 목적지를 식별할 뿐만 아니라, 서버 또는 목적지가 네트워크에 접속되는 장소도 지시한다는 것을 의미한다. 네트워크는 서버들에게 단일의 거대한 계층 2 도메인으로 보이지만, 그러한 도메인이 100,000개 이상의 서버로 스케일 업될 수 있게 하는 기술들이 이용된다.

부하 균형화 기능의 분산: 부하 균형화가 패킷 전송의 통합 부분으로서 구현되며, 따라서 임의의 IP 어드레스로의 트래픽은 일관된 해싱을 이용하여 다수의 서버에 걸쳐 분산될 수 있다.

아래의 설명에서, "데이터 패킷" 및 "패킷"이라는 용어들은 서버에 의해 전송되는, 헤더로 시작되는 데이터의 시퀀스를 지칭하는 데 사용된다. 헤더는 계층 2 또는 계층 3일 수 있으며, 이어지는 데이터는 추가 헤더들을 포함할 수 있다. 아래의 설명에서, "라우터" 및 "스위치"라는 용어들은 적어도 하나의 포트에서 패킷들을 수신하고, 그에 응답하여 하나 이상의 포트로부터 패킷들을 전송하는 컴포넌트를 지칭하기 위해 교환 가능하게 사용된다.

아키텍처

도 2는 본 시스템에 따른 아키텍처(200)의 개요를 제공한다. 2개의 특징은 단일 계층 2 도메인 내의 데이터 센터 내의 100,000개의 서버 모두를 함께 접속하는 네트워크, 및 요청들이 서버들의 풀들에 걸쳐 분산될 수 있는 유연한 방법들이다. 이러한 아키텍처가 아래에 설명되며, 이어지는 서브섹션들은 각각의 포인트에 대한 더 많은 상세를 제공한다.

네트워크(207)는 링크들의 초과 신청 없이 충분한 도달 능력을 갖도록 설계되는데, 이는 임의의 서버가 서버들의 네트워크 인터페이스들의 1Gbps의 풀 레이트로 임의의 다른 서버와 통신할 수 있음을 의미한다. 평면적 어드레스 공간에 대한 지원은 데이터 센터들에서 보여지는 이동성의 형태, 예를 들어 새로운 위치의 등록을 통한 이미지들 또는 가상 머신들의 하나의 물리적 머신에서 다른 물리적 머신으로의 이동을 효율적으로 지원한다. 그 결과는 부하 균형화기들 상의 VIP/DIP 맵핑들 및 애플리케이션 서버들 상의 보안 정책들에 투명하며, 이들은 계층들 3-7에서 동작한다.

본 시스템의 네트워크의 계층 3 부분은 동일 비용 다중 경로(ECMP)를 이용하여, 인터넷(202)으로부터 수신된 요청들을 경계 라우터들(BR) 및 액세스 라우터들(AR)에 걸쳐 균일하게 분산시킨다. 요청들이 계층 2 도메인에 들어갈 때, 액세스 라우터들은 요청들을 일관된 해싱을 이용하여 목적지 VIP에 대한 부하 균형화기들로서 작용하는 서버들(206)의 세트에 걸쳐 균일하게 분산시킨다. 구성 또는 스위치 프로그래밍 능력을 통해, 동일 비용 다중 경로가 아니라 가중된 다중 경로가 이용될 수 있다. 마지막으로, 부하 균형화기들은 요청들을 애플리케이션에 고유한 부하 분산 기능을 이용하여, 애플리케이션 기능을 구현하는, 자신들의 DIP들에 의해 식별되는 서버들(210)의 풀에 걸쳐 분산시킨다.

IP 어드레스로 향하는 패킷들을 서버들(206)의 세트에 걸쳐 분산시키는 본 시스템의 능력은 부하 균형화기들이 분산될 수 있음을, 즉 특수화된 많은 처리량의 하드웨어 대신에 소비재 서버들로부터 구축될 수 있음을 의미한다. 제공되는 부하가 기존의 부하 균형화기들을 압도하기 시작함에 따라, 부하를 희석하기 위해 추가적인 서버들(206)이 부하 균형화기들로서 제공될 수 있다. 또한, 소비재 서버들을 부하 균형화기들로서 사용하는 것은, 판매자들이 펌웨어에서 제공하는 알고리즘들로 변통하는 것이 아니라, 서버들을 충분히 프로그래밍 가능하게 하여, 그들의 알고리즘들을 특정 데이터 센터 애플리케이션들에 맞출 수 있게 해준다.

도 2에 지시되는 바와 같이, 임의의 액세스 라우터, 부하 균형화기 또는 서버의 고장은 데이터 센터의 기능에 대해 장기간의 손상을 유발하지 않는다. 건강 서비스가 각각의 서버의 활동성(liveness)을 계속 모니터링하며, 문제가 검출되는 경우, 해당 서버는 로테이션 풀(rotation pool)로부터 제외되고, 새로운 요청들은 더 이상 그 서버로 전송되지 않는다. (제어 및 관리 평면 구현들 모두가 가능하다. 예를 들어, 본 명세서에 그 전체가 참고 문헌으로 포함되는 M. Isard의 "Autopilot: Automatic data center management"를 참고한다.)

이용 가능한 컴포넌트들

본 시스템의 데이터 센터 네트워크를 설계함에 있어서는, 두 가지 이유로 저가의 스위치들을 사용하는 것이 바람직하다. 첫 번째 이유는 경제성이다. 저가의 스위치들은 네트워크의 총 비용을 줄인다. 두 번째 이유는 리던던시 모델이다. 다수의 저가 스위치의 사용은 고장 시에 적절한 저하를 갖는 n+m 리던던시 모델을 가능하게 한다. 저가의 스위치들은 고가의 스위치들 또는 라우터들의 패킷 처리 특징들의 다수가 부족하지만, 본 아키텍처는 하드웨어로 구현된 전송 평면을 갖지만, 프로그래밍 가능한 제어 평면 소프트웨어를 갖는 스위치들이 어떻게 정밀하고 성능 좋은 설계를 충분히 구현하는지를 보여준다. 저가의 스위치들은 데이터 센터 네트워크의 설계에 영향을 미치는 다음의 특징들을 갖는다.

인캡슐레이션/디캡슐레이션 메커니즘들: 인캡슐레이션은 스위치가 일 타입의 패킷을 다른 타입의 패킷 내에 싣는 것을 가능하게 하며, 전체 패킷의 전송은 최외측의 헤더들에 의해 결정된다. 디캡슐레이션은 자신에게 어드레스된 인캡슐레이팅된 패킷을 수신하는 스위치가 최외측 헤더를 제거한 후에 다음 최외측 헤더에 적용되는 그의 통상의 전송 규칙들을 이용하여 패킷을 전송하는 것을 가능하게 한다. 아래의 섹션들에 설명되는 바와 같이, 이러한 프리미티브를 구현하는 스위치들을 갖는 것은 그만한 가치가 있는데, 그 이유는 이것이 엔드 서버들 상의 소프트웨어가 복잡한 네트워크 거동을 조화시키는 것을 가능하게 하고, 서버 소프트웨어가 스위치들 상의 소프트웨어보다 쉽게 작성되고, 변경되고, 전개될 수 있기 때문이다. 저가의 스위치들은 종종 복수의 인캡슐레이션/디캡슐레이션 메커니즘을 구현한다. 첫 번째 예는 IP 패킷이 다른 IP 헤더 내에 인캡슐레이팅되는 (본 명세서에 그 전체가 참고 문헌으로 포함되는 Request For Comments 2003에 의해 정의되는) IP 내 IP 인캡슐레이션이다. 두 번째 예는 패킷이 VLAN 태그를 포함하는 802.1 헤더 내에 인캡슐레이팅되는 VLAN 인캡슐레이션이다. 세 번째 예는 IP 내 IP 인캡슐레이션과 유사한 계층 2를 정의하는 (본 명세서에 그 전체가 참고 문헌으로 포함되는 IEEE 802.1ah에 설명된) MAC-in-MAC 터널링이다. 스위치가 그 자신의 MAC 어드레스로 전송된 패킷을 수신할 때, 스위치는 최외측 MAC 헤더를 제거하고, 다른 MAC 헤더가 내부에 존재하는 경우, 내부 헤더 내의 MAC 목적지 어드레스를 향해 패킷을 전송한다. 현재, 802.1ah는 "캐리어 이더넷" 스위치들에서 구현되지만, 광범위하게 이용 가능하게 될 것으로 예상된다.

제한된 전송 테이블 크기: 대형 온칩 메모리들의 가격으로 인해, 저가 스위치들은 종종 작은 전송 테이블들을 구비한다. 예를 들어, 소수의 스위치들은 그들의 전송 테이블들에서 100K개가 넘는 MAC 엔트리들을 지원하지만, 대다수의 스위치들은 16,000개의 MAC 엔트리 또는 12,000개의 IP 라우트 엔트리만을 지원한다. 100K개의 서버를 갖는 데이터 센터가 목표인 경우, 모든 스위치가 각각의 서버에 대한 루트를 유지할 수는 없는 것이 명백하다.

노드 등급: 저가의 스위치들은 다양한 노드 등급에서 이용 가능하며, 따라서 다양한 타입의 스위치가 사용될 수 있다. 예를 들어, 각각의 랙 내의 20개의 서버로부터 나오는 20개의 1-Gbps 링크를 2개의 10-Gbps 업링크까지 모으는 랙 상부 (top-of-rack; TOR) 스위치가 사용될 수 있다. 다른 예로서, 10 Gbps의 144개의 포트를 갖는 "코어" 스위치가 사용될 수 있다. 이러한 등급의 스위치들은 Broadcom, Arastra, Woven Systems, Fulcrum Microsystems, Nortel 및 Extreme과 같은 판매자들로부터 입수 가능하다.

서버 대 서버 전송

데이터 센터 내의 서버들 사이에서 패킷들을 전송하는 능력은 본 시스템의 기본 양태이며, 그 위에 다른 기능들이 구축된다. 전송을 제공함에 있어서 해결해야 할 3개의 주요 문제가 존재한다.

전송 스케일링 능력: 본 시스템은 각기 16,000개의 전송 엔트리만을 저장할 수 있는 스위치들로 구성된 네트워크를 이용하여 100,000개의 서버를 접속해야 한다. 본 시스템은 스위치들이 모든 서버의 목적지 어드레스를 알게 할 수는 없다.

본 시스템의 해결책은 송신 서버로 하여금 목적지의 랙 상부 스위치에 대한 그의 패킷들을 인캡슐레이팅하게 하여 스위치들이 다른 스위치들 및 그들 자신의 직접 접속 서버들에 대한 전송 엔트리들만을 저장할 필요가 있게 하는 것이다. 다양한 실시예가 가능하다. 일 실시예에서, 서버에 의해 전송되는 L2 패킷은 MAC 내 MAC 패킷에 인캡슐레이팅된다. 다른 실시예에서, 서버에 의해 전송되는 L3 패킷은 IP 내 IP 패킷에 인캡슐레이팅된다. 또 다른 실시예들에서, 패킷은 VLAN 또는 Q 내 Q(VLAN 내 VLAN)에 인캡슐레이팅될 수 있다. "랙 상부 스위치"는 서버가 접속되는 스위치를 기술하는 데 사용된다는 것을 이해해야 한다. 이러한 스위치는 종종 서버와 동일한 랙 내에 위치하는 것이 발견되지만, 스위치의 위치는 중요하지 않으며, 원할 경우에는 데이터 센터 내의 다른 곳에 위치하거나, (패키지가 스위치에 의해 접속되는 복수의 서버 또는 중앙 처리 유닛으로 구성되는 블레이드 서버 구조에서와 같이) 서버(들)와 함께 패키지 내에 통합될 수 있다.

ARP 스케일링 능력: 목표는 평면적 어드레스들을 지원하고 모든 서버들을 접속하는 단일의 대형 계층 2 도메인을 생성하는 것이다. 전술한 바와 같이, 통상적인 설계의 실패는 각각의 서버가 어드레스 결정 프로토콜(ARP)을 이용하여 그가 통신하기를 원하는 다른 서버들의 어드레스를 결정하는 것이다. ARP 프로토콜에 의해 사용되는 방송 패킷들은 계층 2 도메인의 크기를 원하는 서버들의 수(예를 들어, 100,000개의 서버)보다 훨씬 적은 서버로 제한하는 수용 불가 오버헤드들을 유발한다. 본 시스템의 해결책은 서버에 의해 생성된 ARP 패킷들이 서버를 떠나기 전에 이들을 인터셉트하고, 그 대신에 요청들을 디렉토리 서비스로 전송하는 것이다. 디렉토리 서비스는 송신 서버가 사용해야 하는 어드레스들(예를 들어, 목적지 서버의 MAC 또는 IP 어드레스, 및/또는 목적지 서버가 접속되는 랙 상부 스위치 및/또는 중간 스위치 또는 스위치들의 MAC 또는 IP 어드레스)을 반환한다.

트래픽 엔지니어링: 본 시스템은 그 시스템을 통해 실행될 애플리케이션들의 트래픽 패턴들을 모르고서, 어떠한 서버도 그의 네트워크 인터페이스가 허용하는 1Gbps보다 많은 트래픽을 송신 또는 수신하도록 요청되지 않는 임의의 트래픽 매트릭스를 지원해야 한다(이것은 호스(hose) 트래픽 모델로서 알려져 있으며, 본 명세서에 그 전체가 참고 문헌으로 포함되는 N.G. Duffield, P. Goyal, A.G. Greenberg, P.P. Mishra, K.K. Ramakrishnan 및 J. E. van der Merwe의 "A flexible model for resource management in virtual private network"를 참고한다).

본 시스템의 해결책은 호스 모델을 따르는 임의의 트래픽 변화들을 처리하기 위해 공지된 VLB 및 비인식 라우팅(oblivious routing) 전략을 이용하는 것이다. 본 명세서에 그 전체가 참고 문헌으로 포함되는 M. Kodialam, T.V. Lakshman, J.B. Orlin 및 S. Sengupta의 "A Versatile Scheme for Routing Highly Variable Traffic in Service Overlays and IP Backbones" 및 R. Zhang-Shen 및 N. McKeown의 "Designing a Predictable Internet Backbone Network"를 참고한다. VLB는 네트워크를 통해 전송되는 모든 패킷이 그의 목적지로 전송되기 전에 임의로 선택된 중간 스위치로부터 먼저 "바운스"될 것을 요구한다. 본 시스템은 패킷들을 임의로 선택된 스위치로 지향시키는 추가적인 인캡슐레이팅 헤더를 패킷들에 추가함으로써 VLB를 구현한다. 혼잡 제어 메커니즘(예를 들어, IP 네트워크들에서의 TCP 또는 이더넷 네트워크들에서의 QCN)의 사용은 임의의 제공되는 트래픽 요구들을 호스 모델에서 허용 가능한 부하들에 가까운 트래픽 매트릭스 부하들로 변환하며, 전송되는 또는 네트워크 에지의 포트로부터의 트래픽은 포트 속도를 초과하지 않는다. 더불어, 혼잡 제어, VLB 및 적절한 스위치 토폴로지는 균일한 높은 처리량을 보장한다.

부하 분산: 빌딩 데이터 센터 애플리케이션들에서는, 서버들의 세트에 걸쳐 요청들을 분산시킬 수 있는 것이 종종 유용하다.

본 시스템의 해결책은 기본 전송의 일부로서 부하 분산을 지원하는 것이다. 본 시스템은 IP 어드레스 I로 전송할 패킷을 가질 때마다, 그 IP I 어드레스를 MAC 또는 IP 어드레스들의 리스트로 분해할 준비를 하며, 그러한 어드레스들은 각자가 애플리케이션에 의해 IP 어드레스 I로 최초 전송되는 패킷들을 처리하기에 적합한 다른 서버들과 연관된다. 이 경우, 송신자는 일관된 해싱을 이용하여, 패킷이 전송될 어드레스를 선택할 수 있다.

함께 취해질 때, 이러한 해결책들은 예를 들어 작은 전송 테이블들을 갖는 스위치들을 이용하면서 대형 계층 2 도메인이 VLB의 트래픽을 인식 못하는 특성들을 갖게 할 수 있다. 단일 IP 어드레스를 복수의 어드레스로 분해하는 능력에 의해 생성되는 네트워크의 부하 분산 능력은 특수화된 부하 균형화 하드웨어에 대한 필요 없이 서버들 자체를 이용하여 부하 균형화가 구현될 수 있음을 의미한다.

디렉토리로부터의 경로 정보 취득

서버(210) 상에서 실행되는 애플리케이션이 그의 네트워크 스택에 IP 어드레스로 전송할 패킷을 제공할 때, 서버는 패킷을 생성하고 전송할 수 있기 전에 2개의 정보를 필요로 한다. 전술한 바와 같이, 서버는 그 IP 어드레스의 처리를 담당할 서버들에 대한 어드레스들의 리스트, 및 그러한 서버들 각각이 접속되는 랙 상부 스위치의 어드레스를 가져야 한다. 서버는 패킷을 "바운스"할 스위치를 임의로 선택할 스위치 어드레스들의 리스트도 필요로 한다.

서버들은 본 시스템에 의해 유지되는 디렉토리 서비스로부터 그러한 정보를 취득한다. 디렉토리 서비스가 데이터로 채워지는 방법이 아래에 설명된다.

도 3은 본 시스템 내의 서버(210)의 네트워킹 스택(300)을 나타낸다. 전통적인 ARP 구현은 디스에이블되었고, 에이전트(302)로서 지칭되는, 사용자 또는 커널 모드에서 실행될 수 있는 프로세스로 대체되었으며, 발신 패킷들을 인캡슐레이팅하기 위해 인캡슐레이터(306)라고 하는 새로운 가상 인터페이스가 추가되었다. 이러한 변화들은 애플리케이션들에 완전히 투명하다. 인캡슐레이터(306)가 IP 네트워크 스택으로부터 패킷을 수신할 때, 인캡슐레이터는 패킷에 대한 흐름 ID를 계산하고, 매칭 엔트리를 찾기 위해 그의 활성 흐름들의 캐시를 검사한다. 엔트리가 존재하지 않는 경우, 인캡슐레이터는 패킷을 큐에 넣고, 디렉토리 서비스를 이용하여 원격 IP를 탐색하기 위한 요청을 에이전트(302)로 전송한다.

디렉토리 서비스가 IP 어드레스가 분해된 어드레스(들), 그러한 서버(들)가 접속되는 랙 상부 스위치들, 및 사용할 VLB 중간 스위치들의 세트의 어드레스(들)를 반환하면, 인캡슐레이터(306)는 목적지 어드레스(및 그에 대응하는 랙 상부 스위치 어드레스) 및 흐름을 위한 VLB 중간 노드를 선택하고 이러한 맵핑을 캐싱한다. 서버는 흐름마다 상이한 중간 노드를 선택할 수 있으며, 따라서 TCP 패킷 재배열을 유발하지 않으면서 모든 VLB 중간 노드들 사이에 그의 부하를 분산시킬 수 있다. 디렉토리 서비스가 원격 IP 어드레스를 어드레스들의 리스트로 맵핑하는 경우, 서버들은 원격 IP로의 각각의 흐름에 대해 상이한 어드레스를 선택하여, 부하 분산을 구현할 것이다.

흐름 캐시 내의 엔트리로부터의 정보를 이용하면, 패킷의 인캡슐레이션 및 전송이 간단해진다. 도 4는 3개의 헤더를 갖는 IP 패킷들(400)이 어떻게 전송되는지를 보여준다. 최외측 헤더(402)는 선택된 중간 노드(N)를 목적지로서 갖고, 중간 헤더(404)는 목표물의 랙 상부 스위치(TD)를 목적지로서 가지며, 최내측 헤더(406)는 궁극적인 목적지(D)의 어드레스를 갖는다. MAC, VLAN 또는 IP를 포함하는 다양한 헤더 인캡슐레이션 프로토콜이 이용될 수 있음을 이해한다. 송신 서버의 랙 상부 스위치(TS)는 패킷을 VLB 중간 노드를 향해 전송하며, 이 중간 노드는 패킷 수신시에 외측 헤더를 제거하고, 패킷을 목적지의 랙 상부 스위치로 전송한다. 이 프로세스가 반복되고, 랙 상부 스위치는 단일 헤더를 갖는 통상의 이더넷 패킷을 목적지 서버를 향해 전송한다.

SEIZE(본 명세서에 그 전체가 참고 문헌으로 포함되는 C. Kim, M. Caesar 및 J. Rexford의 "Building scalable self-configuring networks with SEIZE" 참조) 등의 종래의 작업도 중간 스위치를 이용하여 트래픽을 "바운스"한다. 그러나, 본 시스템과 SEIZE의 중요한 차이는 SEIZE가 모든 트래픽을 동일한 중간 노드를 통해 주어진 목적지로 라우팅하는 반면에 본 시스템은 트래픽을 모든 이용 가능한 중간 노드들에 걸쳐 분산시켜 VLB의 이익들을 얻는다는 것이다.

외부 정정

도 5는 데이터 센터 밖에서 시작되거나 종료되는 정정들에 대한 네트워크 경로를 나타낸다. 외부 트래픽은 경계 라우터들(BR)을 통해 데이터 센터에 들어가고 나온다. 경계 라우터들은 계층 3 동일 비용 다중 경로(ECMP) 라우팅 구조를 통해 한 세트의 액세스 라우터들(AR)에 접속된다.

전술한 바와 같이, 트래픽은 본 시스템의 디렉토리 서비스를 통한 어드레스 분해 및 소스에서의 이더넷 패킷들의 인캡슐레이션에 의해 데이터 센터 내로 라우팅된다. 액세스 라우터들은 소스 라우팅을 행하기 위해 변경되지 않을 수 있으므로, 모든 외부 트래픽은 데이터 센터에 대한 게이트웨이들로서 작용하는 진입 서버들이라고 하는 특수 서버들(502)을 통해 라우팅될 수 있다.

각각의 진입 서버는 2개의 네트워크 인터페이스를 구비하며, 그 중 하나는 액세스 라우터에 직접 접속되고, 다른 하나는 랙 상부 스위치를 통해 데이터 센터 네트워크에 접속된다. 인터넷으로부터의 패킷들에 대해, 진입 서버(502)는 액세스 라우터로부터 패킷들을 취하고, 본 시스템의 디렉토리 서비스를 이용하여 내부 IP들을 분해하고, 전술한 동일한 서버 대 서버 전송 메커니즘들을 이용하여 트래픽을 데이터 센터 내로 전송한다. 디렉토리 서비스는 계층 2 도메인의 디폴트 게이트웨이의 IP 어드레스를 진입 서버들의 MAC 어드레스로 맵핑하며, 따라서 인터넷을 향하는 패킷들은 그들을 통해 액세스 라우터들로 흐른다.

대안 실시예에서, 진입 서버는 랙 상부 스위치에 접속되는 하나의 네트워크 인터페이스를 구비할 수 있다.

부하 균형화

많은 데이터 센터 애플리케이션들은 작업을 서버들의 풀 전체에 분산시키는 능력을 필요로 한다. 일부 예들에서 작업은 인터넷 내의 클라이언트들로부터 발생하며, 다른 예들에서는 데이터 센터 내의 서버들로부터 발생한다. 본 시스템은 가장 일반적인 타입들의 작업 분산을 지원하는 메커니즘들을 제공한다.

부하 분산: 요청들을 서버들의 풀 전체에 균일하게 분산시키는 것이 목적이고, 서버들이 요청의 소스 어드레스로서 클라이언트의 IP 어드레스를 알아야 할 때, 본 시스템에 따른 서버 대 서버 전송에 의해 제공되는 부하 분산 프리미티브로서 충분하다. 풀 내의 모든 서버들은 풀과 관련된 VIP는 물론, 그들 자신의 IP 어드레스를 갖도록 구성될 것이다. 또한, 디렉토리 서비스는 VIP와 관련된 풀 내의 모든 서버들의 어드레스들을 유지할 것이다. VIP에 대한 주어진 요청에 응답하여, 각각의 요청에 대한 서버를 선택하기 위해 일관된 해싱이 이용될 것이다.

부하 균형화: 미들 박스들을 실제 서버들의 정면에 배치하는 것이 목적일 때, 본 시스템은 도 2에 도시된 접근 방법을 이용할 수 있다. VIP는 모든 미들 박스들 상으로 설정되어, 진입 서버들이 일관된 해싱 및 전술한 부하 분산 방법을 이용하여 요청들을 미들 박스들 전체에 균일하게 분산시키게 한다. 이와 같이 부하를 다수의 미들 박스 전체에 분산시킴으로써, 본 시스템은 통상의 아키텍처에 의해 사용되는 1+1 장애 극복(failover) 구성과 달리 N+1 장애 극복 구성을 지원한다.

미들 박스들은 애플리케이션이 요구하는 임의의 기능을 자유롭게 구현한다. 예를 들어, 미들 박스는 소정의 작업 부하 또는 요청 감지 로직을 이용하여 요청들을 서버들의 제2 풀 전체에 분산시키기 위한 소스 및 목적지 IP 어드레스들을 재작성하는 부하 균형화기를 구현할 수 있거나, 요청을 애플리케이션 서버로 전송하기 전에 요청을 검증하기 위한 섬도 있는 패킷 검사를 행할 수 있다.

다른 예로서, 미들 박스는 수신 TCP 접속들을 종료하고, 그들 안에 포함된 SSL 접속들을 해독하여, 애플리케이션 서버들로부터 작업 부하를 덜 수 있다. 이 예는 또한 부하 분산이 일관된 해싱을 이용해야 하는 이유도 설명하며, ECMP는 동일 TCP 접속의 일부인 패킷들을 여러 상이한 액세스 라우터들 및 진입 서버들로 지향시킬 수 있다. 그러나, 그러한 모든 패킷이 동일 미들 박스로 전송되는 것이 종료되고, 일관된 해싱이 이루어지는 것을 보장하는 것이 중요하다. 일관된 해싱의 대안은 노드들 간의 퍼-플로우 상태(per-flow state) 동기화이다.

스위치 토폴로지

계층 2 도메인을 구성하는 스위치들을 접속할 수 있는 많은 물리적 토폴로지들이 존재하지만, 본 섹션은 약 100,000개의 서버를 상호접속하고, 특히 VLB에 적합한 토폴로지의 하나의 구체적인 예를 제공한다.

도 6에 도시된 바와 같이, 각각의 랙 상부 스위치(602)는 고장 방지를 위한 2개의 상이한 코어 진입-진출 스위치(604)에 접속되는 네트워크 측 상의 2개의 10-Gbps 포트를 구비한다. 일 실시예에서는, n₁=144개의 그러한 진입-진출 스위치(604)가 존재한다. 이러한 진입-진출 스위치들은 그들 사이에 링크를 갖지 않지만, 그들의 각각은 10-Gbps 포트를 통해 n₂=72개인 모든 중간 스위치(602)에 접속된다. 이러한 토폴로지는 클로스(Clos) 네트워크의 개조물이며, 특히 VLB에서 사용하기에 적합한데, 그 이유는 이 토폴로지가 흐름들에 의해 취해지는 경로들에 최소의 스트레치(여분의 홉들)를 더하기 때문이다. 또한, 모든 흐름은 스위치들(602)의 동일 세트 중에서 바운스할 그의 중간 스위치(602)를 선택할 수 있다.

제어 평면

본 시스템의 제어 평면은 적어도 두 가지 책임, 즉 첫째는 스위치들 내에 전송 테이블들을 유지하는 책임, 및 둘째는 모든 서버가 네트워크에 접속되는 포트는 물론, 서버의 IP 및 MAC 어드레스들을 추적하는 디렉토리 서비스를 운영하는 책임을 갖는다.

랙 상부 스위치들은 그들에 직접 접속되는 서버들의 IP 및 MAC 어드레스들을 추적하고, 이러한 정보를 링크 상태 광고(LSA) 내에서 공시하도록 프로그래밍될 수 있다. 대안으로, 서버들을 데이터 센터 애플리케이션에 할당하는 프로비저닝 시스템은 서버들을 할당할 때 각각의 서버의 MAC 어드레스, IP 어드레스 및 TOR을 기록할 수 있다.

전송 테이블의 유지: 전술한 바와 같이, 본 시스템은 모든 스위치가 모든 다른 스위치에 대한 엔트리를 갖는 전송 테이블을 가질 것을 요구한다. 데이터 센터 내의 약 5K개의 스위치들 사이의 루트들을 계산할 수 있는 임의의 기술이 이용될 수 있다. 하나의 가능한 실시예에서, 스위치들은 그들 사이에 링크 상태 라우팅 프로토콜을 실행한다. 대안 실시예에서는, 스위치들에 대한 전송 테이블들을 계산하고, 실패들에 응답하여 요구되는 바와 같은 테이블들을 재계산하기 위해, 4D 아키텍처에 기초하여, 논리적으로 집중된 라우팅이 이용될 수 있다. 4차원 입방체(tesseract)(본 명세서에 그 전체가 참고 문헌으로 포함되는 H. Yan, D.A. Maltz, T.S.E. Ng, H. Gogineni, H. Zhang 및 Z. Cai의 Tesseract: A 4D network control plane 참조)는 결정 요소들을 이용하여 구현되는 집중 제어가 1000개의 스위치를 관리하도록 쉽게 스케일링되며, 따라서 100,000 서버 데이터 센터 내의 약 5,000개의 스위치에 대한 루트들의 계산이 달성될 수 있음을 보여준다.

방송 트래픽에 의해 유발되는 스케일링 문제들을 제거하기 위하여, 스위치들은 그들이 전송 엔트리를 갖지 않는 임의 패킷을 결정 요소들로 전송하도록 프로그래밍될 수 있다. 이것은 서버가 전송할 수 있는 임의의 방송 패킷(예를 들어, DHCP 요청들)을 트랩핑하며, 결정 요소가 이 패킷을 어떻게 처리할지를 결정할 수 있게 한다. 투명한 학습 알고리즘들이 결정 요소에 의해 생성된 전송 테이블들을 변경하는 것을 방지하기 위하여, 스위치들 상의 학습이 디스에이블될 수 있다. 대안 실시예에서는, 스위치들 상의 다른 에이전트들을 이용하여 방송 트래픽을 인터셉트하고 전송할 수 있다. 예를 들어, 스위치들 상의 DHCP 릴레이 에이전트들을 이용하여, DHCP 요청들을 DHCP 서버들로 전송할 수 있다. 또 다른 실시예에서, 각각의 서버 상의 에이전트는 서버가 전송하려고 시도하는 방송 또는 멀티캐스트 패킷들을 인터셉트하고, 처리를 위해 이들을 결정 요소 또는 디렉토리 서버로 재지향시킬 수 있다.

디렉토리 서비스의 유지: 본 시스템에 의해 요구되는 디렉토리 서비스를 구현하기 위한 다양한 방법이 존재하지만, 그러한 하나의 방법은 제어 평면을 실행하는 결정 요소들이 서버의 IP 어드레스를 (서버 어드레스, 랙 상부 스위치 어드레스) 튜플들(tuples)의 리스트 및 중간 노드 어드레스들의 리스트로 맵핑하는 디렉토리 서비스를 제공하는 것이다. 이러한 설계는 구현이 간단한데, 그 이유는 디렉토리 서비스를 채우는 데 필요한 많은 정보가 랙 상부 스위치들로부터 얻어지는 LSA들로부터 나오고, 이미 결정 요소들에 의해 이용될 수 있기 때문이다.

그러나, 서버가 고장날 때, LSA를 갱신하고, 디렉토리 서비스로부터 서버를 제거하기까지 소정의 시간이 걸릴 수 있다. 대부분의 데이터 센터 애플리케이션들은 서버들을 모니터링하는 건강 서비스(예를 들어, 오토파일럿, 본 명세서에 그 전체가 참고 문헌으로 포함되는 M. Isard의 "Autopilot: Automatic data center management" 참조)를 이미 제공하고 있으며, 본 시스템은 이러한 건강 서비스를 이용하여, 요청들이 부하 균형화되는 서버들의 풀들로부터 고장 서버들을 빠르게 제거한다.

대안 실시예에서, 디렉토리 서비스는 네트워크 제어 평면의 동작과 직접 관련되지 않는 서버들에 의해 구현된다. 이러한 실시예에서, 서버들은 프로비저닝 프로세스 및 구성 프로세스의 일부로서 또는 DHCP 시스템에 대한 서버들의 등록을 통해 IP 어드레스들, 랙 상부 어드레스들 및 중간 스위치 어드레스들 사이의 맵핑들을 통지받는다.

디렉토리 서비스는 소정의 서버들에 의한 소정의 IP 어드레스들의 분해를 허가하지 않음으로써 (예를 들어, 애플리케이션들을 서로 격리하기 위한) 보안 정책들을 구현하는 데에도 사용될 수 있다.

새로운 클라우드 서비스 데이터 센터들의 스케일, 비용 및 중요성이 주어질 때, 그들의 네트워크들의 컴포넌트들 및 전체 아키텍처를 재고하는 것은 네트워킹 공동체에 의존한다. 이러한 데이터 센터들의 컴포넌트들은 현저히 낮은 가격의 기가비트 속도 네트워크 포트들을 구비하는 강력한 멀티코어 서버들; 수십만 개의 서버들 및 스위치들의 구성 및 관리를 자동화하는 분산 시스템들; 및 단일 조직의 제어하의 이것 모두를 포함한다. 또한, 이러한 팩터들은 외부 IP 인터페이스를 계속 유지하면서 데이터 센터 내부의 서버들 및 스위치들에 대한 기본적인 변경을 위한 기회를 제공한다. 불행하게도, 일반적인 데이터 센터 네트워크 아키텍처(도 1)는 이러한 컴포넌트들의 충분한 이익들을 구현할 수 없다. 특히, 현재의 클라우드 서비스 데이터 센터들에서, 네트워크 및 서버 용량은 단편화되며, 분할된 대역폭은 결합된 서버 대역폭보다 1 내지 2 차수 정도 낮은 크기를 갖는다.

본 시스템에서는, 새로운 데이터 센터 컴포넌트들의 능력을 이용하는 네트워크 설계가 제공된다. 네트워킹 기능을 호스트들 내에 배치하는 능력을 이용하여, 소비재 서버들 상의 분산된 스케일링 가능 부하 균형화는 물론, 부수적인 네트워크 건강 모니터링 및 디렉토리 서비스들을 구현한다. 이렇게 리팩터링된 기능을 이용하여, 제어 평면 및 데이터 평면은 데이터 센터 내의 모든 서버들 사이에 충분한 대역폭을 제공하는 거대한 계층 2 스위칭 도메인을 지원하도록 스케일링될 수 있다.

데이터 센터 상호접속 및 트래픽 엔지니어링에 대한 중요한 설계 목표는 (현재 1Gbps인) 서버 라인 카드 진입/진출 제한들에 종속하는 데이터 센터 내의 모든 서버들 사이에서 임의의 트래픽 패턴들을 지원하는 것이다. 이것은 서버에 들어가거나 나오는 전체 트래픽이 기껏해야 1Gbps인 한은 임의의 주어진 시간에 임의 쌍의 서버들 사이에 동시 흐름들이 존재할 수 있다는 것을 의미한다. 호스 트래픽 모델(본 명세서에 그 전체가 참고 문헌으로 포함되는 N.G. Duffield, P. Goyal, A.G. Greenberg, P.P. Mishra, K.K. Ramakrishnan 및 J. E. van der Merwe의 "A flexible model for resource management in virtual private networks"를 참고한다)이라고도 하는 이러한 트래픽 변화 모델은 (예를 들어, 가상 비공개 네트워크(VPN)의 트래픽 요구들을 지정하는) ISP 백본 설계와 관련하여 그 문헌에서 고려되었다. 호스 모델에서 트래픽을 라우팅하기 위해, 실시간으로 트래픽을 측정하거나 그에 응답하여 네트워크를 재구성할 필요없이, 호스 트래픽에 대한 처리량을 보증하는 비인식 라우팅 전략들과 더불어 스위치 포트 카운트들을 고려하는 일부 구체적 상호접속 기술들이 본 명세서에 설명된다.

본 설계는 간단한 메쉬 형태의 아키텍처, 소비재 스위치들, 제어 평면의 변경들을 이용하여, 다중 경로 라우팅을 통해 (예를 들어, ARP로부터의) 프로토콜 오버헤드들을 제어하고 유연한 트래픽 엔지니어링을 지원한다(본 명세서에 그 전체가 참고 문헌으로 포함되는 L.G. Valiant의 "A scheme for fast parallel communication", SIAM Journal on Computing"을 참고한다). 본 시스템 설계는 부하 균형화 기능을 표준 서버들의 그룹으로 분산시키며, 결과적으로 부하 균형화 서버 하드웨어는 데이터 센터 내의 랙들 사이에 분산되어, 더욱 민첩해지고 단편화를 줄일 수 있다. 그러한 아키텍처는 거대하고 유연한 계층 2 스위칭 도메인을 생성하여, 임의의 서버/임의의 서비스, 풀 메쉬 민첩성, 및 단편화되지 않는 서버 용량을 낮은 비용으로 지원한다.

상호접속 토폴로지 구성

아래의 구성들은 더 적은 스위칭 노드들의 상호접속을 통해 매우 높은 처리량 네트워크를 생성한다. 패브릭은 매우 높은 민첩성 및 매우 높은 효율을 제공하며, 이는 패브릭이 노드 위치에 관계없이 임의 노드에서 임의의 다른 노드로의 고속 전송들을 가능하게 한다는 것을 의미한다. 더욱이, 임의의 서비스가 임의의 노드 상에서 지원될 수 있으며, 그 서비스는 다른 노드들로 동적으로 이전될 수 있다. 이러한 구성들의 이로운 특성들은 다음을 포함한다.

ㆍ 임의의 트래픽 믹스들 및 매트릭스들을 풀 레이트로 지원한다. 구체적으로, n 노드 패브릭을 이용하여, ∑_jT_i,_j<c_i 및 ∑_iT_i,_j<d_j를 갖는 임의의 트래픽 매트릭스(T)를 지원할 수 있으며, 여기서 T_i,_j는 복수의 노드 중 노드 i에서 노드 j로의 요구이고, c_i는 노드 i가 트래픽을 성공적으로 전송할 수 있는 최대 레이트이며, d_j는 노드 j가 트래픽을 성공적으로 수신할 수 있는 최대 레이트이다.

ㆍ 라우팅 스킴의 적응적 조정을 통해 또는 목적지 서버들, 랙 상부 스위치들 또는 중간 스위치들에 대한 어드레스들의 선택을 (다시) 무작위화하는 액션을 통해, 생존 패브릭에 대한 적은 충격 및 서비스 대역폭의 적절한 저하로서, 광범위한 세트의 노드 및 링크 고장들을 지원한다.

ㆍ 랜덤 또는 해시 기반 부하 분산 메커니즘들을 통해 또는 트래픽 엔지니어링 메커니즘들을 통해 다중 경로 라우팅을 지원한다.

ㆍ TCP 우호적 거동을 지원하는데, 이는 패킷 재배열 이벤트들이 드물다는 것을 의미한다.

ㆍ 스위칭 패브릭 안팎으로의 진입/진출 트래픽을 지원한다.

ㆍ 노드들의 임의 그룹들에 걸린 트래픽의 부하 균형화를 지원한다.

ㆍ 자동화된 네트워크 및 시스템 관리를 통합한다.

빌딩 블록들은 아래의 적어도 두 가지 타입의 노드들이다.

ㆍ 타입 1: 등급 d1, 속도 s1(즉, d1 양방향 포트들로서, 각각의 포트는 각각의 방향에서 속도 s1로 동작함).

ㆍ 타입 2: 등급 d2, 속도 s2(즉, d2 양방향 포트들로서, 각각의 포트는 각각의 방향에서 속도 s2로 동작함).

ㆍ 일반적으로, 타입 i: 등급 di, 속도 si(즉, di 양방향 포트들로서, 각각의 포트는 각각의 방향에서 속도 si로 동작함).

타입 1 노드들은 액세스를 제공하는 것으로, 즉 소싱(sourcing)하고, 트래픽을 싱크(sink)하는 것으로 가정되며, 이들은 액세스 속도들로 동작하는 액세스측 상의 소정 수(p)의 포트들을 갖는다. 타입 2(또는 더 높은) 노드들은 타입 1 노드들 사이의 전송로(transit)로서 작용하는 것으로 가정된다.

타입 1 및 타입 2 노드들에 의해 형성된 네트워크에서, 임의의 복수의 라우팅 알고리즘이 이용될 수 있다. 이용될 수 있는 세 가지 타입의 라우팅 알고리즘은 다음과 같다.

ㆍ 최단 경로 전송(SPF): 노드 i와 노드 j 사이의 루트는 링크들과 관련된 주어진 메트릭 하에서 i에서 j로의 최단 경로를 따른다.

ㆍ VLB(valiant load balancing): 노드 i와 노드 j 사이의 루트는 중간 노드 k를 먼저 결정한 후에 i에서 k로, 이어서 k에서 j로 라우팅함으로써 선택된다. 높은 처리량을 확실히 얻기 위해, 많은 수의 경로를 통해 i에서 j로 트래픽을 분산시키는 것이 유리하다. 따라서, k는 트래픽 흐름 ID(TCP/IP 헤더의 비휘발성 컴포넌트들)의 의사 랜덤 해시를 통해 선택될 수 있다. SPF는 i에서 k로 그리고 k에서 j로 라우팅하는 데 이용될 수 있다. 상이한 중간 노드들(k)에 대한 트래픽 분할 비율들은 동일하거나 상이할 수 있다.

ㆍ 트래픽 엔지니어링(TE): 트래픽을 i에서 j로의 경로들을 따라 각각의 노드 쌍(i,j) 사이에 분할하기 위하여, 루트들은 (예를 들어, 측정을 통해) 트래픽 매트릭스와 네트워크 토폴로지 중 하나, 및 최적화 절차의 고려를 통해 선택될 수 있다. 이것은 예를 들어 최단 경로들을 취할 필요가 없는 라우팅을 생성하는 최적화(예컨대, 다중 소비재 흐름 최적화)를 통해, 또는 대안으로서 SPF 가중치들의 조정 및 SPF의 이용을 통해 수행될 수 있다.

타입 1의 n1개의 노드 및 타입 2의 n2개의 노드, 따라서 총 n=n1+n2개의 노드가 존재하는 것으로 가정한다. 파라미터들 사이의 관계들이 아래와 같이 지정될 수 있다.

구성은 다음과 같이 동작한다. 두 가지 노드 타입은 원 주위에 논리적으로 배열된 것으로 간주될 수 있다. (이 원은 물리적 레이아웃과 관계가 없으며, 에지들이 네트워크 내에 어떻게 배치되는지를 설명하기 위한 편리한 장치일 뿐이다. 물리적 레이아웃은 임의적이다.) 다음과 같이 노드들 사이에 링크들을 추가한다.

1. 각각의 노드를 노드들 i-1 및 i+1 mod n에 접속한다.

2. 원 주위에서 떨어진 n/(d1-2)개(mod n)의 위치의 증가에서 각각의 노드를 다른 노드들에 접속한다. 이것은 양 타입의 각각의 노드에서 등급 d1을 이용하고, 타입 1 노드들의 모든 링크들을 소비한다.

3. 단계 2를 반복하며, 타입 2 노드들의 더 작은 내장 링만을 고려하고, 원 (mod n2) 주위에서 떨어진 n2/(d2-d1)개의 위치의 증가에서 각각의 타입 2 노드를 다른 타입 2 노드들에 접속한다. 이것은 타입 2 노드들의 모든 링크들을 소비한다.

단계들 1, 2의 일반화는 제1 계층에서 임의의 d1-정규 (접속된) 그래프 토폴로지를 사용하는 것이다. 다른 구체적인 예들은 (i) 각각의 노드를 원 주위에서 어느 한 방향으로 떨어진 최대 d1/2개의 위치의 노드들에 접속하는 것, (ii) 노드들의 수가 d1 제곱(d1-th power)인 경우에 (d1/2) 차원의 토러스(torus)를 포함한다. 유사하게, 단계 3은 타입 2 노드들 사이의 상호접속에 대해 일반화될 수 있다.

구성의 일 변형은 모든 링크들이 두 갈래(bi-partite), 즉 타입 1과 타입 2 사이에 있는 경우에 사용될 수 있다. 이것은 도 8과 관련하여 후술하는 제2 예에서 VLB 상호접속을 최적화한다. 그 예에서는 타입 1 및 타입 2 스위치들을 위해 144-포트 스위치들을 사용하는 버전도 제공된다. 제2 예의 변형인 도 9의 제3 예는 상호접속을 위한 최대 200,000개의 서버까지의 스케일링을 허가한다.

구성을 고려하는 편리한 방법은 먼저 n개의 노드를 차원 d1의 규칙적인 2차원 격자 내에 (임의로 또는 규칙적으로) 삽입하고, 이어서 타입 2 노드들을 차원 d2-d1의 다른 규칙적인 2차원 격자 내에 (다시 임의로 또는 규칙적으로) 삽입하는 것이다. 타입 2 노드들은 본래의 격자를 통해 "숏컷들"을 제공한다.

격자는 삽입할 구멍들을 남김으로써 그리고 약간 더 큰 등급 d1' 및 d2'(d1<d1' 및 d2<d2')의 노드들을 통한 구현에 의해 성장을 위한 큰 유연성을 갖도록 생성되어, 새로운 노드들의 유기적이고 간단한 수용을 위한 여분의 포트들을 남길 수 있다.

예 1(계산 이용)

도 7을 참고하면, 아래의 예는 40,000개의 서버 데이터 센터 내에 풀 레이트 패브릭을 허가하는 상호접속 토폴로지(700)를 나타낸다. 더 구체적인 용어를 사용하여 다음과 같이 가정한다.

1. (랙 상부 스위치들에 대면하는) 액세스를 위한 p=20 10G 포트들 및 네트워크 측 상의 등급 d1=20 10G 포트들을 갖는 타입 1의 L2 액세스 스위치들. 이들은 n1=48개가 존재한다.

2. (현재 액세스 측 포트들이 없는 것으로 가정하면) 등급 d2=100 10G 포트들을 갖는 타입 2의 L2 전송로 스위치들. 이들은 n2=24개가 존재한다.

이어서, 다음이 존재한다.

총 노드 = n = n1 + n2

평균 노드 등급 d = (n1*d1 + n2*d2)/n

VLB 또는 TE를 가정하면, 타입 1 스위치들의 주어진 쌍 사이의 평균 (양방향) 요구 = (1/n)*(p+p) = 2p/n

스위치 (1) 쌍들의 수 = n1*(n1-1)/2

타입 1 및 타입 2 스위치의 주어진 쌍 사이의 평균 (양방향) 요구 = (1/n)*p (타입 2 스위치들은 액세스를 갖지 않으므로) = p/n

스위치 (1), (2) 쌍들의 수 = n1*n2

위의 스위치 쌍들 사이의 총 요구 = (2p/n)*n1*(n1-1)/2 + (p/n)*n1*n2 = (p/n)*n1*(n1+n2-1)

최단 경로들의 평균 홉 길이는 sqrt(n/d)로 근사화될 수 있다.

따라서, 사용되는 전체 대역폭 홉들(10G 단위) = (p/n)*n1*(n1+n2-1)*sqrt(n/d)

네트워크 내의 10G 링크들의 수 = n*d/2

따라서, 평균 링크 사용 = [(p/n)*n1*(n1+n2-1)*sqrt(n/d)]/(n*d/2)(이는 임의의 트래픽 매트릭스들에 대해 풀 레이트를 지원하기 위해 1보다 작아야 한다)

평균 수들이 존재한다. 정확한 수들을 얻기 위해, VLB 및 TE에 대한 라우팅 및 분할 비율들을 결정하도록 파라미터들이 선택될 수 있다.

10G 포트가 평균 1K 달러가 드는 것으로 가정하면, 총 비용은 약 4.1M 달러이다.

예 2(최적화된 VLB 상호접속)

도 8을 참조하면, 다음과 같이 VLB 분할비들을 최적화함으로써 이러한 특정 시나리오(20 x 10G 호스)에 대해 더 간단한 상호접속 토폴로지(800)를 얻을 수 있다.

1. 각각에 대해 하나의 10G 포트를 이용하여 각각의 타입 1 노드를 n2=20개의 타입 2 노드에 접속한다. (2개의 타입 1 노드 또는 2개의 타입 2 노드 사이에는 링크가 존재하지 않는다.)

2. 1/20의 분할비를 갖는 VLB를 이용한다-각각의 타입 1 노드는 모든 n2=20개의 타입 2 노드로 분할된다.

이어서, 모든 링크들이 완전히 사용된다.

각각의 타입 1 노드 상의 포트들 = 20 + 20 = 40

각각의 (2) 노드 상의 포트들 = 48(각각의 타입 1 노드에 대해 하나씩)

사용되는 총 10G 포트들 = 48*40 + 20*48 = 2880(각각 100% 사용됨)

이것은 약 2.9M 달러를 추가한다(@포트당 1K 달러).

이전의 설계와 비교할 때, 각각의 링크 사용이 (동종 비교시) 0.7로 감소하는 경우, 그 결과는 2880/0.7 = 4115개의 포트이다. 이것은 약 4.1M 달러이다(이전의 설계 비용에 필적한다).

위의 도 6을 다시 참조하면, 타입 1 및 타입 2 양자에 대해 144-포트 스위치들을 사용하여, 다음의 상호접속이 얻어진다. 이것은 최대 144 x 36 x 20 = 103,680개의 서버를 지원할 수 있다.

예 3(최적화된 VLB 상호접속의 더블 스케일링)

이제, 도 9를 참조하면, 도 6에서 전술한 토폴로지를 복제하고, 토폴로지의 상이한 사본들에서 각각의 TOR을 타입 1 스위치들에 접속함으로써, 상호접속 토폴로지(900)는 2 x 144 x 36 x 20 = 207,360개의 서버로 스케일링될 수 있다.

라우팅 및 트래픽 엔지니어링

비인식 라우팅 전략이 도 6과 관련하여 도시되고 위에 설명된 토폴로지에 대한 VLB에 기초하여 설명될 수 있다. TOR-A 및 기존 TOR-B에서 네트워크에 들어가는 2개의 서버 사이의 말단 대 말단 흐름을 고려한다. 이 흐름은 네트워크에서 경로 TOR-A -> 타입 1 스위치(TOR-A에 접속됨) -> 타입 2 스위치 -> 타입 1 스위치(TOR-B에 접속됨) -> TOR-B를 따른다. 개념적으로, 주어진 TOR에서 네트워크에 들어가는 흐름들은 1/n2 = 1/72의 비율로 각각의 중간 노드 타입 2 스위치로 분할된다. 각각의 서버 라인 카드가 1G의 풀 라인 레이트로 트래픽을 진입/진출시킬 때, 그러한 분할비가 네트워크 내의 모든 10G 링크들이 완전히 사용되게 하는 것이 입증될 수 있다.

패킷 재배열(및 TCP 성능에 대한 그의 잠재적 영향)을 방지하기 위하여, 각각의 흐름은 (예를 들어, 5-튜플 흐름 식별자에 기초하여) 중간 노드로 해싱될 수 있다. 코어 네트워크에서 서버 어드레스들을 숨기고, 전술한 바와 같은 2 단계 라우팅을 구현하기 위하여, 두 가지 레벨의 인캡슐레이션/터널링(예를 들어, 본 명세서에 그 전체가 참고 문헌으로 포함되는 RFC 2003 또는 IEEE 802.1ah 표준, http://www.ieee802.org/1/pages/802.1ah.html을 참고한다)이 코어 네트워크에서 패킷들을 전송하는 데 사용된다.

본 발명에 대한 위의 상세한 설명은 예시 및 설명의 목적으로 제공되었다. 이것은 포괄적이거나, 본 발명을 개시된 바로 그 형태로 한정하는 것을 의도하지 않는다. 위의 교시에 비추어 다양한 수정 및 변경들이 가능하다. 설명된 실시예들은 본 발명의 원리들 및 그의 실제 응용을 최상으로 설명하여, 이 분야의 다른 기술자들이 다양한 실시예에서 그리고 고려되는 특정 이용에 적합한 바와 같은 다양한 수정에 의해 본 발명을 최상으로 이용할 수 있게 하기 위해 선택되었다. 본 발명의 범위는 첨부된 청구항들에 의해 정의되어야 함을 의도한다.

Claims (20)

1. 데이터 센터에 대한 상호접속 토폴로지(interconnection topology) 시스템으로서,
   상기 데이터 센터 내의 복수의 서버와,
   상기 데이터 센터 내의 네트워크의 복수의 노드 - 상기 복수의 노드를 통해 데이터 패킷이 라우팅될 수 있음 - 와,
   상기 데이터 센터에서 사용되는 라우팅 스킴(routing scheme) - 상기 라우팅은 상기 네트워크의 노드 사이의 트래픽 패턴을 인식하지 못함 -
   을 포함하고,
   상기 상호접속 토폴로지는 하나 이상의 서버 사이에 복수의 경로를 포함하고,
   노드 i 내지 노드 j 사이의 루트(route)는 중간 노드 k를 먼저 결정한 후에 i에서 k로, 이어서 k에서 j로 라우팅함으로써 선택되고, 상기 중간 노드 k는 무작위적으로 선택되며,
   패킷을 상기 선택된 중간 노드로 지향(directing)시키기 위해 인캡슐레이션(encapsulation)을 이용하여 상기 패킷이 변경되는
   상호접속 토폴로지 시스템.
2. 제1항에 있어서,
   서버 및 노드 중 하나 상의 컴포넌트를 더 포함하고,
   상기 서버 및 노드 중 하나는, 상기 트래픽에 의해 취해지는 경로의 임의의 링크 상의 지속적 과부하(sustained overload)를 방지하기 위해 상기 컴포넌트를 통과하는 트래픽을 제한하는 상기 컴포넌트에 의해 상기 라우팅 스킴에 기여하는(contributes to)
   상호접속 토폴로지 시스템.
3. 제2항에 있어서,
   상기 트래픽을 제한하는 컴포넌트는 TCP인
   상호접속 토폴로지 시스템.
4. 제1항에 있어서,
   디렉토리 서비스를 더 포함하고,
   특정한 라우팅 지시 없이 서버에 의해 전송되는 패킷은 중간 노드 k로 지향되고, 상기 중간 노드 k는 상기 디렉토리 서비스를 참고하여 상기 패킷에 대한 목적지 서버 및 k에서 j로의 라우팅을 결정하는
   상호접속 토폴로지 시스템.
5. 제1항에 있어서,
   k는 상기 데이터 패킷의 TCP/IP 헤더의 비휘발성 컴포넌트의 랜덤 또는 의사 랜덤 해시(random or pseudo-random hash)를 통해 선택되는
   상호접속 토폴로지 시스템.
6. 제1항에 있어서,
   사용되는 상기 라우팅 스킴은 VLB(Valiant load balancing)인
   상호접속 토폴로지 시스템.
7. 제1항에 있어서,
   각각의 중간 노드 k로 전송되는 트래픽의 비율(fraction)은 모든 중간 노드 k에 대해 동일하지 않은
   상호접속 토폴로지 시스템.
8. 제1항에 있어서,
   노드 k가 i와 j 사이의 최단 경로 상에 있지 않은 경우, 패킷이 상기 노드 k를 통과하지 않고 i에서 j로 갈 수 있는
   상호접속 토폴로지 시스템.
9. 데이터 센터에 대한 상호접속 토폴로지 시스템으로서,
   복수의 서버와,
   복수의 노드 - 상기 복수의 노드를 통해 데이터 패킷이 라우팅될 수 있음 - 와,
   상기 복수의 서버 사이에 복수의 경로를 제공하는 스위치의 토폴로지와,
   VLB를 이용하여 임의의 노드에서 임의의 다른 노드로의 데이터 패킷의 전송을 허용하는 라우팅 스킴 - 상기 라우팅 스킴은 상기 복수의 경로 사이에 트래픽을 분할하고, 상기 라우팅 스킴은 중간 노드를 먼저 결정하고 상기 중간 노드를 통해 라우팅함으로써 제1 노드 및 제2 노드 사이의 루트(route)를 선택함 -
   을 포함하는 상호접속 토폴로지 시스템.
10. 제9항에 있어서,
    상기 라우팅 스킴은, 동일하지 않은 비율로 중간 노드 사이에 트래픽을 분할하기 위해, 트래픽 매트릭스, 혼잡 링크, 네트워크 토폴로지 중 적어도 하나와 최적화 절차를 함께 고려하여 루트를 선택하는 적응성 라우팅 스킴인
    상호접속 토폴로지 시스템.
11. 제9항에 있어서,
    노드 또는 링크 고장의 경우에 데이터 패킷이 고장난 스위치 또는 링크를 피하게 함으로써 상기 라우팅 스킴을 적응적으로 조정하는 제어 평면(control plane) 및 디렉토리 서비스 중 적어도 하나를 더 포함하는
    상호접속 토폴로지 시스템.
12. 제9항에 있어서,
    디렉토리 서비스를 더 포함하고,
    상기 패킷의 소스 또는 상기 패킷의 경로 상의 스위치는 상기 디렉토리 서비스를 이용하여 상기 패킷을 수신할 수 있는 서버의 하나 이상의 어드레스를 식별하는
    상호접속 토폴로지 시스템.
13. 제12항에 있어서,
    상기 디렉토리 서비스는 데이터 패킷을 구성하는 데 사용되는 어드레스를 제공하고,
    상기 어드레스는 중간 노드, 목적지 노드, 스위치 및 서버 중 적어도 하나를 지정하는
    상호접속 토폴로지 시스템.
14. 데이터 센터에 대한 상호접속 토폴로지 시스템으로서,
    상기 데이터 센터 내의 복수의 서버와,
    복수의 노드 - 상기 복수의 노드를 통해 데이터 패킷이 라우팅될 수 있음 - 와,
    임의의 노드에서 임의의 다른 노드로의 데이터 패킷의 전송을 허용하는 라우팅 스킴
    을 포함하고,
    상기 라우팅 스킴은,
    목적지 서버에 도달하기 위한 라우팅 정보를 제공하기 위한 디렉토리 서비스와,
    상기 디렉토리 서비스를 이용하여 각각의 데이터 패킷에 대한 목적지 어드레스 및 스위치 어드레스 중 적어도 하나를 탐색(looking for)하기 위한 에이전트와,
    데이터 패킷을 변경하여, 상기 데이터 패킷이 목적지 서버 및 중간 스위치 중 적어도 하나를 통과하게 하는 인캡슐레이터(encapsulator)
    를 포함하는 상호접속 토폴로지 시스템.
15. 제14항에 있어서,
    상기 인캡슐레이터는 패킷 재배열을 일으키지 않고 부하를 분산시키기 위해 상이한 중간 노드를 선택하는
    상호접속 토폴로지 시스템.
16. 제14항에 있어서,
    상기 라우팅 스킴은 VLB를 이용하고,
    상기 VLB는 노드에게 상기 노드의 네트워크 인터페이스가 주어진 시간에 지원할 수 있는 것보다 많은 트래픽을 송신 또는 수신하도록 요구하지 않는
    상호접속 토폴로지 시스템.
17. 제16항에 있어서,
    데이터 패킷이 라우팅되는 중간 노드가 데이터 패킷의 TCP/IP 헤더의 비휘발성 컴포넌트의 랜덤 또는 의사 랜덤 해시를 통해 선택되는
    상호접속 토폴로지 시스템.
18. 제14항에 있어서,
    소스 노드 및 목적지 노드 사이의 상기 라우팅 스킴은 상기 복수의 노드 사이의 링크와 연관된 주어진 메트릭(metric) 하에서 상기 소스 노드 및 상기 목적지 노드 사이의 최단 경로를 따르는
    상호접속 토폴로지 시스템.
19. 삭제
20. 삭제

Images