KR20140090242A

KR20140090242A - 지역적으로 분산된 데이터센터들에서의 레이턴시 감소 및 탄력성 개선을 위한 최적화 메커니즘

Info

Publication number: KR20140090242A
Application number: KR1020147015281A
Authority: KR
Inventors: 인드라 위드자자; 사이몬 보스트; 이라즈 사니
Original assignee: 알까뗄 루슨트
Priority date: 2011-12-07
Filing date: 2012-11-19
Publication date: 2014-07-16
Also published as: CN103988179A; JP2015501991A; WO2013085703A1; EP2788872A1; US20130151688A1

Abstract

데이터센터 사이트의 부하를 클라우드 컴퓨팅 네트워크 내의 다른 데이터센터 사이트들로 재할당하는 방법이 제공된다. 부하는 각각의 데이터센터 사이트에서의 클라우트 컴퓨팅 네트워크의 성능 특성을 정의하는 목적 함수의 도함수에 기초하여 재할당된다. 상기 방법은 다른 데이터센터 사이트들의 세트의 각각에 대한 도함수를 구하고, 구해진 도함수들에 기초하여 데이터센터 사이트들의 세트에서 목적 함수의 최소 증가를 일으키는 데이터센터 사이트를 식별하고, 구해진 도함수들 및 식별된 다른 데이터센터 사이트에 기초하여 부하를 데이터센터 사이트 및 다른 데이터센터 사이트들 사이에 재할당한다.

Description

지역적으로 분산된 데이터센터들에서의 레이턴시 감소 및 탄력성 개선을 위한 최적화 메커니즘{OPTIMIZATION MECHANISMS FOR LATENCY REDUCTION AND ELASTICITY IMPROVEMENT IN GEOGRAPHICALLY DISTRIBUTED DATACENTERS}

본원에서 개시되는 다양한 예시적인 실시예들은 일반적으로 지역적으로 분산된 데이터센터들에서 레이턴시(latency)를 감소하고 탄력성(elasticity)을 개선하기 위한 최적화 메커니즘에 관한 것이다.

클라우드 컴퓨팅(cloud computing)은 비용을 줄이기 위하여 컴퓨팅 기반구조들(서버들, 저장소 및 시스템 소프트웨어와 같은)의 위치를 네트워크 내의 설비로 이동시키는 패러다임이다. 서비스들은 인터넷을 통해 또는 일반적으로 임의의 다른 네트워크를 통해 최종 사용자들에게 전달된다. 컴퓨팅 기반구조를 호스팅(hosting)하는 설비는 통상적으로 데이터센터(datacenter)로 칭해지고, 이 데이터센터는 또한 클라우드(cloud)로 칭해진다. 데이터센터의 장점은 데이터센터가 심지어 예상치 않은 사건들 하에서의 순간적인 트래픽 요구에 효율적으로 응답할 수 있도록 컴퓨팅 자원들이 큰 규모로 풀링(pooling)될 수 있다는 점이다. 탄력성은 클라우드 공급자가 트래픽 부하에 따라 자신의 자원들(예를 들어 서버들의 수)을 소정의 사용자에 대해 확대 또는 축소하는 능력을 기술하는 데 통상적으로 사용되는 용어이다. 최종 사용자에게 동적으로 할당되는 자원들은 사용자가 주로 운용 지출과 관련되지만 자본 지출과는 관련되지 않도록 지불자 사용(payer-use) 모델로 제공될 수 있다.

현재의 클라우드 제공자들에 대한 중요 예들은 Amazon EC2, Microsoft Azure 및 Goople App Engine을 포함한다. 상세 데이터가 공개적으로 이용 가능하지 않을지라도, 이들 클라우드들은 전형적으로 상이한 사이트들에 위치되는 서너 개의 대규모 데이터센터들로 구성된다. 넓은 지역의 면적(국가)에 걸쳐 퍼져 있는 서너 개의 장소들을 가지는 그와 같은 데이터센터들은 중앙집중식 데이터센터(centralized datacenter)들로 칭해질 수 있다. 전형적인 배치에서, 각각의 데이터센터는 수만 개의 서버들 또는 그 이상을 호스팅할 수 있다. 이 중앙집중식 데이터센터들은 통계학적 멀티플렉싱(multiplexing)을 통해 무한 용량의 인식(perception) 및 탄력성을 달성할 수 있다. 단지 서너 개의 큰 규모의 데이터센터들만이 있을 수 있기 때문에, 이 데이터 센터들은 모두 최종 사용자들에게 가까이 위치될 수 없다. 결과적으로, 데이터센터로부터 더 멀리 떨어져 위치되어 있는 사용자들은 용인할 수 없는 레이턴시를 경험할 수 있다. 더 작은 데이터센터들이 더 많이 있다면(사이트 당 수천 서버들 또는 그 이하), 사이트들은 최종 사용자들에게 훨씬 더 가까이 위치될 수 있다. 그러나, 클라우드 공급자에 의해 예상될 수 없는 수요가 급증할 때 더 작은 데이터센터들의 경우 적절하게 제공하는 것은 가능하지 않을 수 있거나 또는 비용이 더 많이 들 수 있다.

따라서, 통신 회사들 및 다른 유사한 서비스 제공자들은 기존 기반구조를 사용하여 클라우드 컴퓨팅을 제공할 수 있기 때문에 전화 회사(통신 회사) 환경들에 적합한 새로운 유형의 클라우드 컴퓨팅 시스템을 구축하는 기술들 및 방법들이 개발될 수 있다. 통신 회사들 및 다른 유사한 서비스 제공자들은 "라스트-마일(last-mile)" 장점을 가질 수 있다. 종래의 클라우드-컴퓨팅 제공자들과는 달리, 통신 회사들은 컴퓨팅 기반구조들을 호스팅하기 위해 수천 개의 중앙국(central office; CO)들의 상당한 부동산 자산을 활용할 수 있다. 통신 회사들의 다른 장점은 이 회사들이 또한 "라스트 마일"을 소유하므로 낮은 레이턴시를 필요로 하는 임무에 필수적인 서비스들을 제공하는 큰 장점을 가지는 것일 수 있다.

더욱이, 통신 회사 기반 클라우드-컴퓨팅은 저비용 구조를 사용하여 구현될 수 있다. CO들에서 상이한 구성요소들의 전기 소비에 대한 연구들이 조사되었다. 이 연구들은 클래스(class)-5 TDM 전화 스위치들이 CO들에서 가장 크게 전력을 소비하는 요인이며, 전체 장비 전력 소비의 약 43%를 차지하는 것을 밝혔다. 이 스위치들은 또한 부피가 크고 큰 면적의 CO를 차지하는 경향이 있다. 전형적인 CO에서의 전화 스위치의 전력 소비는 53KW인 것으로 추정된다. 서버의 전력 소비가 평균 약 100W인 경우에, 이것은 약 500개의 서버들을 호스팅하는 것과 같다. 셀룰러 폰들을 광범위하게 사용하는 것이 지상선 전화들이 쇠퇴에 큰 영향을 미치고 있는 것은 널리 알려져 있다. 2009년 이래의 미국 국립 보건 통계 센터(National Center for Health Statistics) 데이터에 따르면, 매 4명의 미국인들 중 한명이 자신의 지상선 전화를 포기한다. 결과적으로, 전화 스위치들은 결국 퇴역될 것이고 서버들로 대체될 수 있어서, CO를 또한 작은 규모 또는 중간 규모의 데이터센터들로서 기능하도록 변모시킬 가능성이 있다.

그러므로, 분산식 데이터센터들은 매우 매력적인 통신 회사 클라우드 솔루션을 제공하는 것처럼 보이는데 왜냐하면 각각의 데이터센터 사이트는 자신에게 가까운 최종 사용자들을 서비스할 수 있기 때문이다. 불행하게도, 그와 같은 더 작은 수효의 서버들을 가지는 데이터센터들은 더 큰 클라우드 컴퓨팅 시스템들의 탄력성을 가지지 않을 수 있다. 그러므로, 분산된 데이터센터들에 대한 부하 재할당의 필요성이 있다. 소정의 데이터센터는 자신이 국지적으로 프로세싱할 수 있는 것보다 더 많은 요구를 받으면, 시스템은 상기 요구의 프랙션(fraction)을 하나 이상의 원격 데이터센터들로 재할당할 수 있다. 원격 데이터센터들에 의해 프로세싱되는 작업들이 지역 및 원격 데이터센터들 사이의 추가 왕복 시간을 초래할 수 있기 때문에, 시스템은 또한 레이턴시(최종 사용자들에 의해 인지되는 응답 시간)를 최소화하는 원격 데이터센터들의 적절한 위치들 또는 다른 바람직한 성능 특성들을 선택할 수 있다.

다양한 예시적인 실시예들의 간략한 요약이 아래에 제시된다. 이 다양한 예시적인 실시예들의 일부 양태들을 강조 및 도입하지만 본 발명의 범위를 제한하지 않도록 의도되는 다음의 요약에서는 일부가 간소화되고 생략될 수 있다. 당업자가 본 발명의 개념들을 만들고 사용하도록 하는데 적절한 바람직한 다양한 실시예의 상세한 설명은 이후의 섹션들에서 아래와 같이 기술될 것이다.

다양한 예시적인 실시예들은 각각의 데이터센터 사이트에서 클라우드 컴퓨팅 네트워크의 성능 특성을 정의하는 목적 함수(objective function) 및 목적 함수의 도함수를 사용하여 클라우드 컴퓨팅 네트워크 내의 데이터센터 사이트로부터 다른 데이터센터 사이트들로 로딩(loading)을 재할당하는 방법에 관한 것으로, 상기 방법은: 다른 데이터센터 사이트들의 세트의 각각에 대한 도함수를 구하는 단계; 자체의 부하 프랙션(fraction)이 증가될 때 적합한 데이터센터 사이트들의 세트 내에서 구해진 도함수에 기초하여 목적 함수에서 가장 작은 영향을 일으키는 데이터센터 사이트를 식별하는 단계; 구해진 도함수 및 식별된 다른 데이터센터 사이트에 기초하여 데이터센터 사이트와 다른 데이터센터 사이트들 사이에서 로딩을 재할당하는 단계를 포함한다. 적합한 데이터센터 사이트들(소정의 사이트로 부하를 송신하거나 소정의 사이트로부터 부하를 수신하는 것이 가능한 데이터센터 사이트들)은 (1) 사이트들 모두, (2) 이웃들의 세트, (3) 미리 구성된 사이트들의 세트, 또는 (4) 분산 방법에 의해 동적으로 결정되는 세트를 포함할 수 있다.

다양한 예시적인 실시예들은 각각의 데이터센터 사이트에서 클라우드 컴퓨팅 네트워크의 성능 특성을 정의하는 목적 함수 및 목적 함수의 도함수를 사용하여 클라우드 컴퓨팅 네트워크 내의 데이터센터 사이트로부터 다른 데이터센터 사이트들로의 로딩을 재할당하는 방법에 관한 것으로, 상기 방법은: 다른 데이터센터 사이트들의 세트의 각각에 대한 도함수를 구하는 단계; 자체의 부하 프랙션이 감소될 때 적합한 데이터센터 사이트들의 세트 내에서 구해진 도함수에 기초하여 상기 목적 함수의 최대 개선을 일으키는 데이터센터 사이트를 식별하는 단계; 구해진 도함수 및 식별된 다른 데이터센터 사이트에 기초하여 데이터센터 사이트와 상기 다른 데이터센터 사이트들 사이에서 로딩을 재할당하는 단계를 포함한다.

다양한 예시적인 실시예들은 각각의 데이터센터 사이트에서 클라우드 컴퓨팅 네트워크의 성능 특성을 정의하는 목적 함수 및 목적 함수의 도함수를 사용하여 클라우드 컴퓨팅 네트워크 내의 데이터센터 사이트로부터 다른 데이터센터 사이트들로의 로딩을 재할당하는 방법에 관한 것으로, 상기 방법은: 데이터센터 사이트가 오버로딩되는지를 결정하는 단계; 데이터센터 사이트가 오버로딩되면, 다른 데이터센터 사이트들의 세트의 각각에 대한 도함수를 구하는 단계; 자체의 부하 프랙션이 감소될 때 적합한 데이터센터 사이트들의 세트 내에서 구해진 도함수에 기초하여 목적 함수의 최대 개선을 일으키는 데이터센터 사이트를 식별하는 단계; 구해진 도함수 및 식별된 다른 데이터센터 사이트에 기초하여 데이터센터 사이트와 다른 데이터센터 사이트들 사이에서 로딩을 재할당하는 단계를 수행하는 단계; 데이터센터 사이트가 오버로딩되지 않으면, 다른 데이터센터 사이트들의 세트의 각각에 대한 도함수를 구하는 단계; 자체의 부하 프랙션이 증가될 때 적합한 데이터센터 사이트들의 세트 내에서 구해진 도함수에 기초하여 목적 함수 내에 가장 작은 영향을 일으키는 데이터센터 사이트를 식별하는 단계: 구해진 도함수 및 식별된 다른 데이터센터 사이트에 기초하여 데이터센터 사이트와 다른 데이터센터 사이트들 사이에서 로딩을 재할당하는 단계를 수행하는 단계를 포함한다.

다양한 예시적인 실시예들을 더 양호하게 이해하기 위해, 첨부 도면들이 참조된다:
도 1 및 도 2는 5개의 데이터센터들이 있는 크라우드 시스템을 도시하는 도면들이다.
도 3은 다른 예의 데이터센터 토폴로지(topology)를 도시하는 도면이다.
도 4는 세 대안들에 대한 정규화된 지연 대 이용율(utilization)의 플롯을 도시하는 도면이다.
도 5는 세 대안들의 부하 변경 상태에서의 각 시도에서의 지연들을 도시하는 도면이다.
도 6은 상술한 방법의 동작을 도시하는 흐름도이다.
도 7은 식 (1)에 도시된 목적 함수(object function)를 최적화하는 방법의 다른 실시예의 연산을 도시하는 흐름도이다.
이해를 용이하게 하기 위해, 실질적으로 동일하거나 유사한 구조 및/또는 실질적으로 동일하거나 유사한 기능을 가지는 요소들을 지정하는 데 동일한 참조 번호들이 사용될 수 있다.

작업(job)들의 적용예들에 따라 상기 작업들이 데이터센터에 의해 상이하게 프로세싱된다. 일반적으로, 적용예들은 이 작업들의 자원 요건들 측면에서: (1) 프로세싱-집약적(processing intensive), (2) 대역폭-집약적(bandwidth intensive) 또는 (3) 저장-집약적으로 분류될 수 있다. 대역폭 집약 및 저장 집약 이 둘 모두의 예는 컨텐츠 전달이다. 프로세싱 집약 및 저장 집약 이 둘의 예는 인터넷 검색이다. 제어 평면(control plane) 내에서 발견되는 통신 회사 서비스들은 전형적으로 프로세싱 집약이다. 다음의 실시예들은 프로세싱 집약인 적용예들에 집중된다. 각각의 데이터센터 i(i=1,...,N)가 최종 사용자들로부터 단위 시간당 유형-k 작업들을 수신하는 것을 고려하면, 제공된 목적 함수를 최적화하기 위해 지역적으로 그리고 원격으로 프로세싱되어야할 작업의 프랙션이 결정될 수 있다. 상이한 적용예들은 사용자 및 클라우드 제공자 사이의 서비스-레벨-동의(service-level-agreement; SLA)에 따라 상이한 메트릭(metric)들을 포함할 수 있다. 레이턴시는 사용자 경험에 영향을 주며 또한 문헌에서 광범위하게 고려되었던 중요한 메트릭일 수 있다. 각각의 데이터센터 상의 부하는 상대적으로 정적이고 최적화 문제를 해결하는 것을 처리하는 엔티티(entity)에 의해 공지되는 것으로 가정될 수 있다. 특정한 목적 함수가 가중된 평균 지연을 최소화하는 것과 관련되어 후술될지라도, 임의의 원하는 성능 메트릭 또는 메트릭들을 최소화 또는 최대화하기 위해 다른 목적 함수들이 사용될 수 있다.

이 문제는 볼록 목적 함수에 의한 비선형 프로그램으로 제기될 수 있다. 결정 변수 또는 재할당 매트릭스

는 사이트 i로부터 사이트 j까지 재할당될 수 있는 유형-k 작업들의 프랙션을 나타낸다. 작업은 그 전체가 국지의 데이터센터 또는 원격 데이터센터에 의해 프로세싱될 수 있음이 가정된다. 원격 데이터센터에 의해 작업이 프로세싱되면, 이 작업을 제출하고 응답을 획득하기 위하여 τ_i,j로 표시되는 두 사이트들 i 및 j 사이의 추가 왕복 지연이 있을 수 있다. 가중된 평균 지연을 최소화하는 최적화 문제는 다음과 같이 정의될 수 있다:

이의 경우

여기서,

제한 (2)는 할당되는 부하의 프랙션들이 음이 아니어야 한다는 요건을 반영하는 반면에, 제한 (3)은 사이트 i로부터 모든 사이트들(자신을 포함하는)까지의 재할당 프랙션들의 합이 1이어야 하는 자연 조건을 진술한다. 제한 (4)는 작은 ε>0의 경우에, 과부하를 피하기 위해 사이트 j에서의 이용율이 1 - ε를 초과하지 않아야 함을 명기한다.

를 사이트 i에 접속되는 최종 사용자들로부터의 총 외생 유형-k 작업 도달율(또한 부하로 칭해짐)이라 하자. 식 (5)는 사이트 i에서의 대응하는 정규화된 도달율을 총 사이트 i에서의 외생 도달율 대 모든 사이트들에서의 총 외생 도달율로서 정의한다. 식 (6)은 사이트 j에서 프로세싱되는 작업들의 총 도달율을 정의한다. 이 식은 사이트 j에 접속되는 최종 사용자들에 의해 송신되는 작업들 및 다른 사이트들로부터 재할당되는 작업들을 설명한다. 식 (7)은 사이트 j에서의 이용율을 정의하는데, 여기서 β_k는 서버에서의 유형-k 작업의 평균 프로세싱 시간이고 K_j는 사이트 j에서의 서버들의 수이다. 식 (8)은 다수 서버 근사 및 단일 서버 근사에 대하여 사이트 j에서의 유형-k 작업들의 평균 프로세싱 지연을 정의한다. 이 식은 작업 도달 프로세싱이 Poisson 프로세싱인 것으로 가정한다. 일반적으로, 식 (8)이 ρ_j의 임의의 볼록 함수인 것으로 충분하다. 다수 서버 근사의 경우, 도달하는 작업들이 모든 K_j 서버들에 걸쳐 완전하게 부하가 균형을 이룸으로써 각각의 서버가 총 부하의 1/K_j 프랙션을 수신하는 것으로 가정된다. 각각의 서버에서, 프로세서 공유 스케줄러는 상이한 유형들의 작업들에 속하는 것으로 취해진다. 단일 서버 근사는 작업을 서비스하기 위해 K_j의 속도향상 팩터(factor)를 제공한다. 이것은 동일한 업무들로 분리될 수 있고 데이터센터 내의 이용 가능한 서버들 중에서 동시에 프로세싱될 수 있는 작업을 모델링하는 데 사용될 수 있다.

식 (1)을 최적화함으로써 네트워크 운영 시스템은 다수의 사이트들 내의 자원들을 효과적으로 관리할 수 있게 될 수 있다. 시스템의 중요한 업무는 작업 도달율들의 측정치들을 수집하고 이 측정치들의 서비스 요건들을 추정하는 것이다. 이 측정치들은 적절한 지속기간을 가지는 각각의 간격에서 부하 변동들에 따라 갱신된다. 중앙집중식 계산 엔티티에 있어서, 부하들을 동적으로 재할당하기 위하여 측정 정보를 모으고 각각의 간격에서 최적화 방법을 실행하는 중앙 장소가 있을 수 있다. 하나의 대안은 부하 재할당을 위해 분산 방법을 사용하는 것일 수 있다. 여기서, 각각의 사이트는 자신에게 유리한 측정 정보를 수집할 수 있다.

도 1 및 도 2는 5개의 데이터센터들을 가지는 클라우드 시스템을 도시한다. 2개의 유형들의 분산 데이터센터들의 두 예들이 후술된다: 부하 재할당이 없는 경우(도 1) 및 부하 재할당이 있는 경우(도 2). 도 1은 5개의 데이터센터들 및 이들의 상호접속들 및 연관되는 왕복 지연들(단위 시간들로의)을 가지는 클라우드 제공자를 도시한다. 간소화를 위해, 하나의 유형의 작업이 존재하고 각각의 사이트는 단위 시간당 세 개의 작업들의 비율로 작업들을 프로세싱할 수 있는 하나의 서버를 가지는 것으로 가정된다. 더욱이, 각각의 사이트 i(i = 1, 2, 3, 4, 5)에서의 외생 도달율은 단위 시간당 {λ} = (2,1.5,1,1.5,2) 작업들로 제공된다고 가정된다.

부하 할당이 없는 경우에 대해서, 표 1은 각각의 사이트 i에서의 작업 도달율(λ_i) 및 평균 서비스율(μ_i)에 대한 파라미터 값들을 나타낸다. 모든 작업들이 자신들의 각각의 데이터센터들에서 국지적으로 프로세싱되므로, 부하를 할당하는 추가 송신 지연은 존재하지 않아서 τ=0이다. 각각의 사이트에서의 평균 지연(사용자들에 의해 체험되는 응답 시간)은 마지막 열에 제공된다. 이 예에서, 가중된 평균 지연은 0.8125 단위 시간이다.

도 2는 부하 할당이 있는 분산식 데이터센터들의 다른 예를 기술한다. 표 2는 파라미터 값들 및 대응하는 송신 지연(τ) 및 전체 지연을 나타낸다. 사이트들(2, 3 및 4)에 도달하는 작업들이 자신들의 지역 데이터센터들에 의해 프로세싱되는 반면에, 사이트들 1 및 5에 도달하는 작업들이 자신들의 지역 사이트들 및 원격 사이트 3 사이에서 분리되는 점이 주목된다. 구체적으로, 사이트 1로부터의 부하의 일부 θ_1,3 = 0.093이 사이트 3에 재할당되고(재할당된 부하는 λ₁θ_1.3 = 0.186이다) 나머지는 사이트 1에서 국지적으로 프로세싱된다. 이 결과로서 사이트 1에서는 프로세싱 지연이 제 1 예(부하 할당이 없는)로부터 0.8432(부하 할당이 있는)로 감소된다. 사이트 3이 사이트들 1 및 5으로부터의 작업들을 더 많이 처리하므로, 이의 프로세싱 지연은 0.5에서 0.6143로 증가한다. 다른 사이트들 2 및 4는 영향을 받지 않는다. 부하 할당이 있는 가중된 평균 지연은 0.7842 단위 시간이고, 이는 부하 할당이 없는 예보다 개선된 것이다.

아래에서는 상이한 클라우드 대안의 다른 예의 성능이 평가된다. 도 3은 다른 예의 데이터센터 토폴로지를 도시한다. 두 사이트들 사이의 평균 왕복 지연은 임의의 단위 시간으로서 도시된다. 데이터센터 위치는 중앙집중식 클라우드를 위한 CHI에 있다고 가정된다. 이 위치는 송신 지연들이 프로세싱 지연들보다 우세할 때 중앙집중식 클라우드에 가장 낮은 가중 평균 지연을 제공한다. 도 3은 32개의 데이터센터 사이트들 및 44개의 데이터센터 상호 접속들을 포함한다. 각각의 링크 (i, j)는 자체의 τ_i,j와 연관된다.

이 예의 경우, 3개의 대안들이 비교된다: (1) 하나의 사이트에 위치되는 서버들을 구비하는 중앙집중식 데이터센터, (2) 부하 재할당이 없는 분산식 데이터센터들 및 (3) 부하 재할당이 있는 분산식 데이터센터들. 하나의 유형의 작업이 존재하고 평균 작업 서비스 시간이 β = 1 단위 시간이며 다수의 서버들이 모든 j에 대해 K_j = K라고 가정된다. 중앙집중식 데이터센터의 경우, 서버들의 수는 NK이고, 여기서 N = 32이다. 값을 구하는 데 있어서 다수의 서버 근사가 사용된다.

도 4는 3개의 대안들에 대한 정규화된 지연 대 이용율의 플롯을 도시한다. 도 4로부터, 작업 도달율 및 서버들의 수들이 일정할 때 부하 할당이 있고 부하 할당이 없는 분산식 데이터센터들이 동일한 성능을 가질 것임이 용이하게 추론된다; 즉, 모든 i에 대해 λ_i = λ, K_i = K이다. 더 실제적인 비균일한 부하 패턴들로 실험하기 위해서, 사이트들의 절반에서의 도달율들이 감소되고 나머지 절반에서는 동일한 양만큼 증가되는 단순한 부하 패턴이 채택될 수 있다. 유인은 총 도달율이 동일한 상태로 유지되는 것을 보장하는 것이다(사이트들의 수가 우수라고 가정한다). 예를 들어, i가 기수이면 λ_i = (1 + δ)λ이고, i가 우수이면 λ_i = (1 - δ)λ이다.

부하 재할당이 없는 분산식 데이터센터들의 경우, 사이트 j에서의 이용율은 K_j = K 및 β = 1에 대해서 ρ_j = λ_jβ/K_j = λ_j/K이다. 그러므로, 상이한 사이트들에서의 이용율들은 부하들이 균일하지 않을 때 변할 수 있다. 부하 재할당에 있어서, 사이트 j에서의 이용율은 식 (7)에 의해 제공된다. 부하 재할당이 가중된 지연을 최소화하려고 시도할 수 있을지라도, 상이한 사이트들에서의 이용율들은 일반적으로 상당히 균형을 이룰 수 있다. 중앙집중식 데이터센터의 경우, 총 도달율은

이고 총 서비스율은 K_j = K 및 β = 1에 대해

이다. 중앙집중식 데이터센터에서의 이용율은 λ/K이다. 즉, 상이한 사이트들에서의 부하들의 변화는 총 부하가 동일하다면 중앙집중식 서버에서의 이용율에 영향을 미치지 않을 것이다.

도 4는 부하들이 균일하지 않을 때(δ = 0.5) λ가 3개의 대안들에 대해 변함에 따라 가중되는 평균 지연들을 비교한다. 더 양호하게 도시하기 위해, 중앙집중식 데이터센터의 이용율 ρ = λ/K는 무차원이 되고 K에 독립적이도록 x축에 대하여 사용될 수 있다. 흔히 생각되는 바와 같이, 분산식 데이터센터들은 일반적으로 자신들이 최종 사용자들에더 가까이 근접하므로 중앙집중식 데이터센터보다 더 낮은 지연을 달성한다. 중압집중식 데이터센터는 단지 이용율이 매우 높고 프로세싱 지연이 사이트들 사이의 송신 지연보다 더 우세할 때 더 양호해질 뿐이다. 흥미롭게도, 부하 재할당이 있은 분산식 데이터센터들은 매우 높은 이용율에 있는 중앙집중식 데이터센터보다 더 낮은 지연을 달성할 수 있음이 관찰된다. 반면에, 부하 재할당이 없는 분산식 데이터센터들은 지연이 매우 빠르게 무한해 지므로 매우 불량하게 실행된다.

클라우드 컴퓨팅의 매우 매력적인 이점들 중 하나는 자원들을 동적으로 확대 및 축소하고 사용자들로 하여금 클라우드 자원들이 비제한적이라고 생각하게 하는 능력이다. 명백하게, 데이터센터 내에 배에 배치되는 서버들이 더 많으면 탄력성이 개선된다. 중앙집중식 데이터센터 내에 더 많은 수의 서버들을 배치하는 것이 일반적일 수 있겠지만, 이는 더 많은 수의 사이트들을 위한 분산식 데이터센터들로 인하여 비경제적이 될 것이다. 더욱이 전형적인 CO 내에 위치되는 통신 회사 데이터 센터의 경우, 전력 및 부동산 제약으로 더 많은 수의 서버들이 배치되지 못할 것이다.

세 대안들의 탄력성을 평가하기 위해, 다음의 실험을 수행한다. 각각의 시도에서, 부하(λ_i)는 [λ_min, λ_max]에 걸쳐 일정하게 분산됨에 따라 각각의 사이트 i에 대해 독립적으로 생성될 수 있다. 각 사이트에 대한 부하가 생성된 후에, 제공된 이용율에 대한 부하들이 크기 재조정될 수 있다.

도 5는 부하 변동에 대한 각각의 시도에서의 세 대안들의 지연들을 도시한다(λ_min= 0, λ_max=1.5). 부하 재할당이 있는 분산식 데이터센터들이 지연들에 관하여 일관된 사용자 경험을 유지할 수 있을지라도, 다른 대안들은 지연들의 광범위한 변동을 경험하는 점이 유의된다. 중앙집중식 데이터센터는 큰 변동을 경험할 수 있는데 왜냐하면 데이터센터로부터 멀리 떨어진 사이트에서의 많은 요구가 전체 지연에 현저한 원인일 수 있기 때문이다. 부하 재할당이 없는 분산형 데이터센터들은 탄력성을 제공하지 않을 수 있는데 왜냐하면 작업 도달율이 사이트의 서비스 용량을 초과할 때 가끔씩의 과부하로 인해 탄력성이 손상될 수 있기 때문이다.

임의의 전형적인 네트워크 내에서의 부하 재할당을 최적화하기 위하여 중앙집중식 방법을 사용하는 것은 네트워크를 다량의 데이터센터들에 대하여 최적화하는 데 많은 양의 프로세싱을 요구하고 데이터센터들 각각으로부터 정보를 수집해서 최적화를 수행할 필요가 있으므로 어려운 것으로 판명될 수 있다. 그러므로, 하나의 데이터센터에서 다른 데이터센터들로부터 최소량의 정보를 사용하여 구현되는 분산식 방법이 유익할 것이다.

식 (1) 내지 식 (8)에서 약술된 바와 같은 최적화 문제를 해결하는, 즉 최적의 부하 재할당 프랙션들

을 찾는 분산식 방법이 이제 설명될 것이다. 편의를 위해 단지 단일 작업 유형만이 있는 시나리오가 기술되며 위 첨자 k가 감춰지지만, 이 방법은 여러 작업 유형들의 경우로 용이하게 확장된다. 실현 가능한 해법이 존재하는 것을 보장하기 위해

가 가정될 수 있다.

일반적으로, 상기 방법은 각각의 데이터센터에 의해 수행되는 분산식 방법을 사용하여 목적 함수를 최대화 또는 최소화하는 것을 구한다. 현재의 예에서 최소화되는 목적 함수는 가중된 평균 지연이다. 다양한 파라미터들에 기초하는 다른 목적 함수들 또한 사용될 수 있다.

하나의 실시예에서, 상기 방법의 고레벨 동작은 다음과 같이 기술될 수 있다. 각각의 반복에서, 각각의 사이트 i는 자신이 추가 미소 프랙션의 부하를 임의의 사이트 j(사이트 i 자체를 포함하고, 이는 사이트 i 자체에서 더 많은 부하를 유지하게 할 것이다)로 송신한다면 전역 목적 함수(가중된 평균 지연)의 증가(δ_ij)가 얼마인지를 계산할 수 있다. 그 후에 각각의 사이트 i는 어떤 사이트 j에 대해 전역 목적 함수의 증가가 최소인지를 결정할 수 있고 이를 jmin(i)라 하자. 다음으로, 사이트 i는 jmin(i) 외의 모든 사이트들에 재할당되는 부하의 프랙션을 δ_ij에 비례할 수 있는 "작은" 양으로 감소시킬 수 있고, 동시에 모든 다른 사이트들에 재할당되는 부하의 총 감소분과 동일한 양으로 사이트 jmin(i)에 재할당되는 부하의 프랙션을 증가시킬 수 있다. 결과적으로, 단계 크기(step size)가 "아주 작지 않으면", 전역 목적 함수는 결국 이 최적화에 도달하고 단계 크기가 0으로 감소될 때까지 각각의 반복에서 감소될 수 있다. 이 방법은 "최소-규칙(min-rule)" 방법을 사용하는 것으로 기술될 수 있다.

상기 방법의 동작의 더 자세한 사양은 다음과 같이 기술될 수 있다. 임의의 (실현 가능한) 초기 해법(θ(0))으로부터 시작해서, 상기 방법은 일련의 해법들, θ(1), θ(2),...을 산출하고, 여기서 t -> ∞임에 따라 θ(t) -> θ^*가 된다. θ^*는 고유하지 않을 수 있음이 주목될 수 있다.

구체적으로, θ(t)로부터 θ(t+1)을 획득하기 위해, 상기 방법은 우선 식 (1)에 기술된 목적 함수의 도함수를 θ_ij에 관하여 계산할 수 있다:

여기서 다중 서버 근사에서

이고 단일 서버 근사에서

이며, 그 후에 jmin(i) = argmin_jα_ij가 결정될 수 있고 각각의 i에 대해

이 계산될 수 있으며, 여기서 표기를 간소화하기 위해 갱신 시간 "t"을 억제한다. 게다가, 상기 방법은 j = 1,...,N인 각각의 j에 대해

이고, 여기서

이다.

그리고 나서, 상기 방법은

을 계산할 수 있고, 여기서 모든

에 대해

,

및

이다.

η은 하나의 사이트에서 다른 사이트로 로딩하는 이동을 반영하는 재할당 조정 매트릭스이다. 전체 방법은 도 6에 기술되고 대안의 "최대-규칙(max-rule)" 방법은 도 7에 기술된다.

각각의 사이트 j가 ρ_j(θ)의 값을 알리는 데 충분하므로 각각의 사이트 i가 이후에 이들 값들에 기초하여 α_ij(t), jmin(i) 및 η_ij(t)의 값들을 τ_ij 값과 함께 결정할 수 있기 때문에 상기 방법은 크게 분산되는 방식으로 동작할 수 있음에 유의한다.

추가 관찰에 따르면 일반적으로

인, 즉, 일반적으로 사이트 i가 트래픽을 최소 지연을 제공하는 사이트에 송신하는 것이 최상이 아닌데, 왜냐하면 이것 또한 상기 편도 함수에 대한 식에서의 마지막 항에 의해 포착되는 바와 같이, 다른 노드들에 대해 영향을 미칠 것이기 때문이다. 저 부하, 즉 ρ_j << 1, j = 1,...,N에서, 링크 레이턴시들이 우세할 수 있고, jmin(i) = argmin_jτ_ij = i이므로, 즉 트래픽은 지역적으로 서비스될 수 있다. 고 부하, 즉

에서, 프로세싱 지연이 우세할 수 있고 jmin(i) = argmin_jρ_j (θ(t))이므로, 즉 트래픽은 상대적으로 최소의 부하가 있는 사이트로 라우팅될 수 있다.

초기 해법은 다양한 방식들로 생성될 수 있는, 예를 들어,

여기서,

는 시스템 전체의 평균 정규화된 부하를 나타내고,

이고, 여기서

는 자체의 총 부하의 상당한 몫을 반송할 때, 자체의 국지적인 트래픽이 있으면 이 트래픽을 초과하는 노드 j에서의 잔여 용량을 나타낸다.

도 6은 상술한 방법의 동작을 도시하는 흐름도이다. 구체적으로, 흐름도 내에 도시되는 방법은 "최소-규칙" 방법을 사용하여 컴퓨팅 부하를 재할당한다. "최소-규칙"은 데이터센터(i)에서 각각의 j에 대한 도함수(α_ij)를 계산하는 시도를 행한다(610). j에 걸친 최소 α_ij가 결정된다. 그리고 나서 각각의 j에 대해

이 계산된다(610). 그리고 나서 vj가 계산된다(610). 이 계산들은 부하 프랙션의 증가가 목적 함수의 전체 값에 최소로 영향을 미치는 사이트 j를 식별한다. 일단, 이 사이트가 식별되면, 다른 사이트들에서 로딩한 것 중 "작은" 양이 사이트 j로 이동될 수 있다. 이것은 단계들 620 및 630에 의해 달성될 수 있다. 620에서 η_ij가 계산될 수 있다. 이 값(η_ij)은 그 후에 사이트들 중에서 부하들을 이동시키는 효과를 가지는 θ_i,j를 갱신(630)하는데 사용된다. 이 프로세스는 상기 방법이 θ_i,j에 대한 해법에 수렴(640)할 때까지 반복될 수 있다. 상기 해법이 수렴하면, 상기 방법은 추가 재할당을 요구하는 지연 및 이용율의 변화들이 발생한 때를 결정한다(650). 상기 해법이 수렴하지 않았으면, 새 측정치들이 수집될 수 있고 다음 사이트에 대해 상기 계산이 계속된다(660). 이상적으로, 상기 해법은 η_ij의 계산이 적합한 세트에서의 각각의 j에 대해 0이 될 때 수렴할 것이다. 수렴은 전형적으로 잡음 측정으로 인해 너무 많은 반복횟수들을 가진다. 따라서, η_ij가 매우 작은 임계 값에 도달하면, 상기 방법은 η_ij이 어떤 해법에 대해 수렴했다고 결정할 수 있다. 데이터센터(i)에서 수집될 필요가 있는 새로 갱신된 측정치들은 i에 대한 적합합 사이트들의 이용율 ρ_j 값들 및 지역 작업 도달율(λ_i)임을 주목할 가치가 있다. β, K_j, Γ_j 및 τ_i,j와 같은 다른 값들은 일반적으로 한번 또는 값의 변화가 극도로 드물게 발생해야 할 때 수집된다.

도 7은 식 (1)에 도시된 목적 함수를 최적화하는 방법의 다른 실시예의 동작을 도시하는 흐름도이다. 구체적으로, 흐름도에 도시된 방법은 "최대-규칙" 방법을 사용하여 컴퓨팅 부하를 재할당한다. "최대 규칙"은 데이터센터(i)에서 각각의 j에 대해 도함수(α_i,j)를 계산하는 시도를 행한다(710). 최대 α_i,j는 j에 걸쳐 θ_ij > 0이 되도록 결정된다. 그리고 나서 각각의 j에 대해

이 계산된다(710). 그리고 나서 vj가 계산될 수 있다(710). 이 계산들은 부하 프랙션의 감소가 목적 함수의 전체 값을 최대로 개선하는 사이트 j를 식별한다. 일단, 이 사이트가 식별되면, 사이트 j로부터 로딩한 것 중 "작은" 양이 다른 사이트들로 이동될 수 있다. 이것은 단계들 720 및 730에 의해 달성될 수 있다. 720에서 n_ij가 계산될 수 있다. 이 값(η_i,j)은 이후에 사이트들 중에서 부하들을 이동하는 효과를 가지는 θ_i,j를 갱신한다(730). 이 프로세스는 상기 방법이 최적의 θ_i,j에 대한 해법에 수렴할 때까지 반복될 수 있다(740). 상기 해법이 수렴하면, 상기 방법은 추가 재할당을 요구하는 지연 및 이용율의 변화들이 발생한 때를 결정한다(750). 상기 해법이 수렴하지 않았으면, 새 측정치들이 수집될 수 있고 다음 사이트에 대하여 상기 계산이 계속된다(760). 이상적으로, 상기 해법은 η_ij의 계산이 0이 될 때 수렴할 것이지만, 실제로 이는 성취를 위해 많이 반복할 수 있다. 따라서, η_ij가 매우 작은 임계 값에 도달하면, 상기 방법은 η_ij이 어떤 해법에 대해 수렴했다고 결정할 수 있다.

상술한 방법들에서, 사이트 i는 다른 사이트들 j로의 또는 다른 사이트들 j로부터의 로딩을 재할당하는 것으로 보일 수 있다. 상술한 바와 같은 방법들은 모든 다른 사이트들 j을 부하 재할당에 적합한 것으로 간주할 수 있다. 다른 실시예에서, 다른 사이트들 j의 하위세트만이 부하 재할당에 적합한 것으로 간주될 수 있다. 예를 들어, 로딩을 재할당하는 시도를 행하는 데 있어서 사이트 i에서 이웃하는 데이터센터들, 특정한 거리 내의 데이터센터들 또는 네트워크 정책들에 의해 정의되는 데이터센터들이 사용될 수 있다. 이것은 사이트 i가 수집할 것을 요구받을 수 있는 정보의 양을 감소시키고 재할당 프로세싱의 양을 감소하는 이점을 가질 수 있다. 더욱이, 멀리 있는 사이트들이 이동 시간으로 인해 긴 지연을 가질 수 있기 때문에 트래픽은 멀리 있는 사이트들로 재할당될 가능성이 없고, 그러므로 이는 불필요한 계산을 방지할 수 있다. 다수의 작업 유형들은 상기 방법들에서 용이하게 통합될 수 있다.

본 발명의 다양한 예시적인 실시예들은 하드웨어 및/또는 펌웨어에서 구현될 수 있음이 상술한 설명으로부터 명백할 것이다. 게다가, 다양한 예시적인 실시예들은 본원에서 상세하게 설명된 동작들을 수행하기 위해 적어도 하나의 프로세서에 의해 판독되고 실행될 수 있는 머신 판독 가능 저장 매체 상에 저장되는 명령들로서 구현될 수 있다. 머신 판독 가능 저장 매체는 개인용 또는 랩탑 컴퓨터, 서버, 또는 다른 컴퓨팅 디바이스와 같은 머신에 의해 판독 가능한 형태로 정보를 저장하는 임의의 메커니즘을 포함할 수 있다. 그러므로, 유형적 그리고 비-일시적 머신 판독 가능 매체는 판독 전용 메모리(read only memory: ROM), 임의 액세스 메모리(random access memory: RAM), 자기 디스크 저장 매체, 광 저장 매체, 플래시 메모리 디바이스들 및 유사한 저장 매체를 포함할 수 있다.

본원에서의 어떠한 블록도들도 본 발명의 원리들을 구현하는 예시적인 회로소자의 개념도들을 표현하는 것임이 당업자에 의해 인정될 것이다. 유사하게, 임의의 흐름도들, 플로우 다이어그램들, 상태 전이도들, 의사코드(pseudocode) 등은 머신 판독 가능 매체에서 실질적으로 표현될 수 있으므로 컴퓨터 또는 프로세서가 명시적으로 도시되거나 도시되지 않더라도 그와 같은 컴퓨터 또는 프로세서에 의해 수행될 수 있는 다양한 프로세스들을 표현하는 것임이 인정될 것이다.

다양한 예시적인 실시예들이 특히 자체의 특정한 예시적인 양태들을 참조하여 상세하게 기술되었을지라도, 본 발명은 다른 실시예들이 가능하며 이의 세부사항들은 다양한 분명한 점들에서 수정들이 가능하다는 것이 이해되어야 한다. 당업자에게 바로 분명한 바와 같이, 본 발명의 사상 및 범위 내에서 유지되면서 변형들 및 수정들이 달성될 수 있다. 따라서, 상술한 개시, 설명 및 도면들은 단지 설명을 위한 것으로서 임의로 본 발명을 제한하지 않으며, 본 발명은 청구항들에 의해서만 규정된다.

Claims

각각의 데이터센터 사이트(datacenter site)에서 클라우드 컴퓨팅 네트워크의 성능 특성을 정의하는 목적 함수 및 상기 목적 함수의 도함수를 사용하여 상기 클라우드 컴퓨팅 네트워크 내의 데이터센터 사이트로부터 다른 데이터센터 사이트들로 로딩(loading)을 재할당하는 방법으로서,
다른 데이터센터 사이트들의 세트의 각각에 대한 도함수를 구하는 단계와,
자체의 부하 프랙션(fraction)이 증가될 때 적합한 데이터센터 사이트들의 세트 내에서 상기 구해진 도함수에 기초하여 상기 목적 함수에서 가장 작은 영향을 일으키는 데이터센터 사이트를 식별하는 단계와,
상기 구해진 도함수 및 식별된 다른 데이터센터 사이트에 기초하여 상기 데이터센터 사이트와 상기 다른 데이터센터 사이트들 사이에서 로딩을 재할당하는 단계를 포함하는
로딩 재할당 방법.
각각의 데이터센터 사이트에서 클라우드 컴퓨팅 네트워크의 성능 특성을 정의하는 목적 함수 및 상기 목적 함수의 도함수를 사용하여 상기 클라우드 컴퓨팅 네트워크 내의 데이터센터 사이트로부터 다른 데이터센터 사이트들로 로딩을 재할당하는 방법으로서,
다른 데이터센터 사이트들의 세트의 각각에 대한 도함수를 구하는 단계와,
자체의 부하 프랙션이 감소될 때 적합한 데이터센터 사이트들의 세트 내에서 상기 구해진 도함수에 기초하여 상기 목적 함수의 최대 개선을 일으키는 데이터센터 사이트를 식별하는 단계와,
상기 구해진 도함수 및 식별된 다른 데이터센터 사이트에 기초하여 상기 데이터센터 사이트와 상기 다른 데이터센터 사이트들 사이에서 로딩을 재할당하는 단계를 포함하는
로딩 재할당 방법.
제 1 항 또는 제 2 항에 있어서,
로딩을 재할당한 후에, 상기 재할당이 재할당 해법에 수렴했는지를 결정하는 단계를 더 포함하는
로딩 재할당 방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 재할당이 재할당 해법에 수렴하지 않았으면, 상기 도함수를 구하는 단계, 데이터센터 사이트를 식별하는 단계, 로딩을 재할당하는 단계 및 상기 재할당이 수렴했는지를 결정하는 단계를 반복하는
로딩 재할당 방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 재할당이 재할당 해법에 수렴했는지를 결정하는 단계는,
상기 식별된 데이터센터 사이트에 대한 도함수 및 상기 다른 데이터센터 사이트들의 각각에 대한 도함수 사이의 복수의 차를 계산하고,
상기 복수의 차의 각각이 임계값 아래에 있는지를 결정하는 것을 포함하는
로딩 재할당 방법.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 데이터센터 사이트가 지연 또는 이용율의 변화를 검출하면, 상기 도함수를 구하는 단계, 데이터센터 사이트를 식별하는 단계, 로딩을 재할당하는 단계 및 상기 재할당이 수렴했는지를 결정하는 단계를 반복하는
로딩 재할당 방법.
제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
재할당 매트릭스(matrix)는 상기 데이터센터 사이트 및 상기 다른 데이터센터 사이트들 사이의 로딩의 재할당을 정의하고,
로딩을 재할당하는 단계는 재할당 조정 매트릭스를 계산하고 상기 재할당 매트릭스 및 상기 재할당 조정 매트릭스를 합산하는 것을 포함하는
로딩 재할당 방법.
제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
상기 도함수를 구하는 단계는,
상기 다른 데이터센터 사이트들의 세트의 각각으로부터 부하 파라미터를 수신하는 것과,
상기 다른 데이터센터 사이트들의 세트의 각각으로부터 서비스 레이트(rate) 파라미터를 수신하는 것과,
상기 데이터센터 사이트와 상기 다른 데이터센터 사이트들의 각각의 데이터센터 사이트 사이의 지연을 정의하는 지연 파라미터를 상기 다른 데이터센터 사이트들의 각각에 대해 수신하는 것을 포함하고,
상기 구해진 도함수는 상기 부하 파라미터, 상기 서비스 레이트 파라미터 및 상기 지연 파라미터에 기초하는
로딩 재할당 방법.
제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
상기 데이터센터 사이트와 상기 다른 데이터센터 사이트 사이에서의 로딩의 재할당을 정의하는 초기 재할당 매트릭스를 계산하는 단계를 더 포함하는
로딩 재할당 방법.
제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
상기 다른 데이터센터 사이트들의 세트는,
상기 데이터센터 사이트의 특정 거리 내의 다른 모든 데이터센터 사이트들,
상기 데이터센터 사이트의 이웃들인 다른 모든 데이터센터 사이트들,
네트워크 정책에 의해 식별되는 다른 모든 데이터센터 사이트들 및
다른 모든 데이터센터 사이트들 중 하나인
로딩 재할당 방법.
각각의 데이터센터 사이트에서 클라우드 컴퓨팅 네트워크의 성능 특성을 정의하는 목적 함수 및 상기 목적 함수의 도함수를 사용하여 상기 클라우드 컴퓨팅 네트워크 내의 데이터센터 사이트로부터 다른 데이터센터 사이트들로 로딩을 재할당하는 방법으로서,
상기 데이터센터 사이트가 오버로딩되는지를 결정하는 단계와,
상기 데이터센터 사이트가 오버로딩되면,
다른 데이터센터 사이트들의 세트의 각각에 대한 도함수를 구하는 것과,
자체의 부하 프랙션이 감소될 때 적합한 데이터센터 사이트들의 세트 내에서 상기 구해진 도함수에 기초하여 상기 목적 함수의 최대 개선을 일으키는 데이터센터 사이트를 식별하는 것과,
상기 구해진 도함수 및 식별된 다른 데이터센터 사이트에 기초하여 상기 데이터센터 사이트와 상기 다른 데이터센터 사이트들 사이에서 로딩을 재할당하는 것을 수행하는 단계와,
상기 데이터센터 사이트가 오버로딩되지 않으면,
다른 데이터센터 사이트들의 세트의 각각에 대한 도함수를 구하는 것과,
자체의 부하 프랙션이 증가될 때 적합한 데이터센터 사이트들의 세트 내에서 상기 구해진 도함수에 기초하여 상기 목적 함수 내에 가장 작은 영향을 일으키는 데이터센터 사이트를 식별하는 것과,
상기 구해진 도함수 및 식별된 다른 데이터센터 사이트에 기초하여 상기 데이터센터 사이트와 상기 다른 데이터센터 사이트들 사이에서 로딩을 재할당하는 것을 수행하는 단계를 포함하는
로딩 재할당 방법.
제 11 항에 있어서,
상기 데이터센터 사이트가 오버로딩되지 않으면 수행하는 단계 이전에 상기 데이터센터 사이트가 오버로딩되는지를 다시 결정하는 단계를 더 포함하는
로딩 재할당 방법.