KR100866833B1 - 디스크 배열 기반의 비디오 서버를 위한 에너지 인지인터벌 캐슁 방법 - Google Patents

Abstract

본 발명은 클러스터 기반 비디오 서버에서의 에너지 인지 캐슁 방법에 관한 것으로서, 보다 구체적으로는 (1) 클러스터별로 인터벌 큐를 별도로 할당하는 단계; (2) 메모리 캐쉬에 캐슁되는 인터벌 크기에 따라서 각 클러스터에서 소모되는 디스크 이용률과 전력의 상관관계를 분석하는 단계; 및 (3) 상기 상관관계에 기초하여, 각 클러스터에서 읽혀진 인터벌 데이터 중 메모리 캐쉬에 캐슁될 인터벌을 결정하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.

본 발명의 에너지 인지 인터벌 캐슁 방법에 따르면, 각 클러스터별로 별도의 큐를 할당하고, 각 클러스터의 전력 상태를 고려하여 각 클러스터별로 할당된 인터벌 큐에서 실제 메모리 캐쉬에 저장하게 될 인터벌 크기를 결정함으로써, 디스크에서 소모되는 전력을 크게 감소시킬 수 있다.

캐쉬, 인터벌, 인터벌 캐슁 방법, 에너지 인지, 별도의 큐, 인터벌 크기, 디스크 이용률, 전력, 상관관계

Description

디스크 배열 기반의 비디오 서버를 위한 에너지 인지 인터벌 캐슁 방법{A METHOD FOR ENERGY-AWARE INTERVAL CACHING FOR DISK-ARRAY-BASED VIDEO SERVER}

본 발명은 클러스터 기반 비디오 서버에서의 에너지 인지 캐슁 방법으로서, 보다 구체적으로는 클러스터별로 인터벌 큐를 별도로 할당하며, 캐슁되는 인터벌 크기에 따라서 각 클러스터에서 소모되는 디스크 이용률과 전력의 상관관계를 분석하고, 각 클러스터에서 캐슁되게 될 인터벌의 상한값을 결정함으로써 디스크의 전력 소모를 줄일 수 있는 에너지 인지 캐슁 방법에 관한 것이다.

최근 멀티미디어 및 네트워크 기술의 발달로 인해, 디지털 도서관, 주문형 교육, 원격 교육 및 주문형 비디오와 같은 다양한 응용에서 비디오 서비스를 제공하는 것이 중요하게 되었다. 비디오 데이터는 높은 대역폭 및 큰 저장 공간을 요구하기 때문에, 비디오 서버는 일반적으로 수백 개의 디스크 배열 (disk array) 로 구성된 디스크 클러스터링 기법을 사용한다.

최근 서버에서의 전력 소모 감소에 관한 이슈가 큰 관심을 끌기 시작하였다. 최근 Energy User News에서, 일반적인 서비스 공급자들은 현재 150-200 W/ft²의 전 력을 필요로 하고 있으며, 가까운 미래에는 200-300 W/ft²까지 필요로 하게 될 것이라고 보고하고 있다. 이와 같이 증가하고 있는 전력 수요는, 서비스 공급자들에게 있어서 심각한 경제적 문제를 초래한다. 예를 들어, 중간 크기인 30,000 ft² 데이터 센터는 15MW를 필요로 하는데, 이는 연간 $13,000,000의 비용에 해당한다. 소비전력 증가와 관련된 또 다른 문제는 열(heat)의 발생이다. 예를 들면, 주위 온도가 15℃ 높게 동작시킬 경우, 디스크 드라이브 고장율(failure rate)이 2배로 높아질 수 있는 것으로 알려져 있다. 디스크의 열 문제를 해결하기 위해 필요한 냉각 시스템은 엄청나게 고가이며, 냉각 시스템 사용으로 인한 소비전력 증가는 불가피하다. 최근 인터넷에서 비디오 트래픽의 양이 기하급수적으로 증가하고 있고, 특히 YouTube, mega TV 와 같은 대용량 VOD 시스템의 증가로 인해서 비디오 서버를 위한 전력 감소가 중요하게 대두되었다.

서버에 있어서, 저장장치(storage)는 가장 에너지 소모가 큰 구성요소들 중 하나이다. 최근의 보고에 따르면, 저장장치들은 전체 전력의 약 27%를 소비한다. 또한, 디스크 어레이에 의해 소비되는 에너지는, 어레이의 크기에 따라서 시스템의 나머지 부분들에서 소비되는 에너지를 웃도는 것으로 나타났다. 이와 같은 문제는 더 많은 전력을 필요로 하는 보다 고속의 디스크들의 사용 가능성에 의해 악화될 수 있다. 전력 소비를 줄이기 위해, 최근의 디스크들은 디스크의 상태에 따라 여러 가지 전력 소비 모드를 포함하는 다중 전력 모드(multiple power modes)를 가진다. 활성 모드에서는, 플래터들(platters)이 회전하고 있으며 헤드는 데이터를 판 독하거나 기록하고 있다. 검색 모드에서는, 헤드가 검색하고 있다. 아이들 모드에서는, 디스크가 전속력으로 회전하지만, 디스크 요구는 처리하지 않는다. 저전력 또는 대기 모드에서는, 디스크가 회전을 완전히 정지하고 다른 어떤 모드들에서보다 훨씬 적은 에너지를 소비한다. 최근 출시된 다중 속도 디스크의 경우에서는 디스크 회전 속도를 줄임으로써, 저전력 모드로 바꿀 수 있다.

비디오 서버는 Q개의 클러스터들로 구성된 디스크 배열로 이루어져 있으며, 각 클러스터는 1개 이상의 디스크를 가지고 있는 비디오 서버에서, 디스크 대역폭 이용률은 일정 주기마다, 주기에서 실제 디스크가 I/O를 수행하는 시간의 비율로서 보통 계산이 된다. 디스크 대역폭 이용률은 클러스터의 디스크 전력 소모와 밀접한 연관을 갖는다. 예를 들면, 다중 속도 디스크의 경우, 디스크 대역폭 이용률에 따라서 디스크 회전 속도를 바꿈으로써, 전력 소모를 달리할 수 있다. 즉, 디스크 대역폭 이용률이 높아지면, 연결된 고객의 영화 제공 서비스를 보장하기 위해서, 디스크 회전 속도를 높여야 하며, 전력 소모가 증가되게 된다. 이에 비해서, 디스크 대역폭 이용률이 낮아지면, 디스크의 회전 속도를 낮추어도 영화 제공 서비스가 가능하므로, 전력 소모를 줄일 수 있다. 또한 미러링(mirroring)과 같은 복제된 데이터가 존재하는 경우, 디스크 대역폭 이용률이 낮아지면, 특정 디스크로 데이터 요청을 집중시킬 수 있으므로, 나머지 디스크를 저전력 모드로 전환할 수 있으므로, 전력을 감소시킬 수 있다.

비디오 서버는 일반적으로 버퍼 관리자(Buffer manager), 입/출력 관리자(I/O manager), 네트워크 관리자(network manager)의 3가지 기능적 요소로 구성 되어 있다. 버퍼 관리자는 메모리 버퍼를 선반입 버퍼 (read-ahead buffer)와 캐쉬로 나눈다. 선반입 버퍼는 재사용할 가능성이 큰 오브젝트를 캐쉬에 저장하는 동안에 디스크로부터 읽혀진 데이터와 클라이언트에게 즉시 전송될 데이터를 저장한다. 클라이언트가 비디오를 요청하면, 서버는 일단 캐쉬를 체크한다. 만약 요청된 데이터가 캐쉬에 있다면, 데이터는 네트워크 관리자에 의해서 클라이언트에게 직접 전송된다. 그렇지 않으면, 입/출력 관리자는 디스크로부터 데이터를 읽어서 데이터가 네트워크로 전송될 때까지 버퍼에 데이터를 임시 저장한다. 따라서 효과적으로 데이터를 캐쉬에 저장해서 디스크 I/O 횟수를 줄이는 것이 중요하다.

비디오 서버에서의 캐슁 기법은 서버 시스템의 성능 향상과 사용자의 서비스 대기 시간을 줄이는 효과적인 방법이다. 멀티미디어 객체는 크기가 크고 순차적으로 참조되므로 LRU(Lease Recently Used) 알고리즘과 같은 전통적인 버퍼 캐쉬 관리 기법을 비디오 서버에 그대로 적용하는 것은 효율적이지 못하다. 이러한 문제를 해결하기 위해 가장 대표적인 캐슁 기법은 스트리밍 서비스의 요청 간격에 기반한 인터벌 캐슁(IC) 기법이다. 인터벌 캐슁 기법은 같은 비디오 개체에 대한 두 개의 연속적인 요청이 있을 때, 이들 요청 사이의 간격을 인터벌이라 정의하고, 만약 먼저 도착한 요청이 디스크로부터 읽은 데이터를 캐쉬에 저장해두었다면, 나중에 도착한 요청은 디스크 I/O 없이 캐쉬로부터 데이터를 직접 서비스해 주는 방법이다. 인터벌 캐슁 정책은 캐쉬로부터 데이터를 얻는 요청의 개수를 최대화시킨다. 이를 위해 인터벌의 크기로 요청들을 정렬하고, 캐쉬 공간이 존재하는 한 가장 작은 인터벌을 가진 요청부터 캐쉬에 저장한다.

인터벌 캐슁 기법은 짧은 기간 내의 두 연속적인 요청에 대한 시간 지역성(temporal locality)만을 고려하였으며, 디스크에서 소모되는 전력을 고려하지 않았다. 따라서 인터벌 캐슁 기법은 디스크 I/O 횟수를 줄이는 데는 매우 효과적이나, 디스크의 전력을 고려하지 않았다는 단점이 있다.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 클러스터 기반 비디오 서버에서 가능한 많은 디스크를 저전력 모드로 진입하도록, 메모리 캐쉬에 캐슁될 인터벌을 결정하는 것을 그 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른, 디스크 배열 기반의 비디오 서버를 위한 에너지 인지 인터벌 캐슁 방법은,

(1) 클러스터별로 인터벌 큐를 별도로 할당하는 단계;

(2) 메모리 캐쉬에 캐슁되는 인터벌 크기에 따라서 각 클러스터에서 소모되는 디스크 이용률과 전력의 상관관계를 분석하는 단계; 및

(3) 상기 상관관계에 기초하여, 각 클러스터에서 읽혀진 인터벌 데이터 중 메모리 캐쉬에 캐슁될 인터벌을 결정하는 단계

를 포함하는 것을 그 구성상의 특징으로 한다.

바람직하게는, 상기 단계 (1)에서, 상기 인터벌 큐는 오름차순으로 정렬된 것을 특징으로 한다.

바람직하게는, 상기 단계 (2)에서, 전체 클러스터에서 소모되는 전력을 측정하는 단계를 더 포함하는 것을 특징으로 한다.

더욱 바람직하게는, 상기 단계 (3)에서, 상기 상관관계에 더하여 전체 클러 스터에서 소모되는 상기 전력에 기초하여, 각 클러스터에서 읽혀진 인터벌 데이터 중 메모리 캐쉬에 캐슁될 인터벌을 결정하는 것을 특징으로 한다.

바람직하게는, 상기 단계 (3)에서, 각 클러스터별로 할당된 인터벌 큐에서 실제 메모리 캐쉬에 저장하게 될 인터벌 크기의 상한값을 결정함으로써, 인터벌을 결정하는 것을 특징으로 한다.

본 발명의 에너지 인지 인터벌 캐슁 방법에 따르면, 각 클러스터별로 별도의 큐를 할당하고, 각 클러스터의 전력 상태를 고려하여 각 클러스터별로 할당된 인터벌 큐에서 실제 메모리 캐쉬에 저장하게 될 인터벌 크기를 결정함으로써, 디스크에서 소모되는 전력을 크게 감소시킬 수 있다.

이하에서는 첨부된 도면들을 참조하여, 본 발명에 따른 실시예에 대하여 상세하게 설명하기로 한다.

도 1은 본 발명의 기반이 되는 인터벌을 설명하기 위한 도면이다. S_{i ,j}를 영화 i에 대한 j번째 요청이라고 할 때, 인터벌 캐슁의 핵심은 앞선 요청 S_{i ,j}에서 디스크로부터 데이터 블록을 읽어 들이고, 그 데이터 블록을 메모리 캐쉬에 유지한다면, 바로 뒤에 따르는 요청 S_{i ,j+1}은 디스크 I/O 없이 캐쉬로부터 데이터 블록을 직접 읽어서 서비스를 수행할 수 있다는 것이다. 이때, 두 요청 S_i,j와 S_i,j+1 사이의 간격을 인터벌이라고 하며, 인터벌을 메모리 캐쉬에 저장함으로써, 디스크 I/O의 횟수를 줄일 수 있게 된다. 그러나 메모리 캐쉬 크기는 한정되어 있으므로, 모든 인터벌을 다 저장할 수 없다. 따라서 메모리 캐쉬 크기에 맞추어서 일부 인터벌만 메모리 캐쉬에 저장하게 된다. 기존의 인터벌 캐슁 기법은 인터벌 크기가 작은 것에 우선순위를 부여하여 저장한다.

도 2는 기존의 인터벌 캐슁 방법의 정책에 대해서 설명하기 위한 도면이다. 도 2에서 3개의 인터벌이 존재하는데, 만약 캐쉬 크기가 20이고, 인터벌 크기가 ‘인터벌 2 < 인터벌 1 < 인터벌 3’일 경우, 가장 큰 인터벌 크기를 갖는 인터벌 3은 캐쉬에 저장될 수 없으므로, 요청 S_2,2는 디스크 I/O를 요구한다. 도 2에 도시된 바와 같은 기존의 인터벌 캐슁 방법은 디스크 I/O 횟수를 줄이는 데는 효과적이다. 그러나 디스크의 전력 상태를 고려하지 않고, 디스크 I/O 횟수를 줄이는 데만 중점을 두어서, 전력 소모 측면에서는 비효율적이다.

도 3은 기존의 스킴이 클러스터 비디오 서버에서 어떻게 인터벌을 관리하는지 나타내는 도면이다. 도 3에 도시된 바와 같이, 기존 스킴에서는 모든 클러스터에서 형성되는 인터벌을 하나의 큐로서 관리하며, 메모리 캐쉬 크기에 맞도록 인터벌이 작은 것부터 메모리 캐쉬에 저장하도록 한다.

도 4는 본 발명의 일 실시예에 따른 인터벌 캐슁 방법을 나타내는 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따른 인터벌 캐슁 방법에서는, 각 클러스터별로 별도의 인터벌 큐를 할당한다. 각 인터벌 큐는 해당 클러스터로 요청한 인터벌들을 인터벌 크기가 작은 인터벌부터 정렬하고, 각 클러스터의 디스 크 이용률과 전력 소모를 고려하여, 메모리 캐쉬에 캐슁될 인터벌을 결정한다.

현재 영화 V_i에 대한 요청의 개수를 NA_i, 현재 생성된 비디오 V_i에 대한 j번째 인터벌을 IS_i ^j라고 하면(j=1, , NA_i-1), 각 클러스터별로 각각의 인터벌 큐를 가지므로, 클러스터 k의 인터벌들의 집합 SI_k는 다음 수학식 1과 같이 표현될 수 있다.

SI_k = {0, 클러스터 k의 저장된 모든 비디오 i에 대한 IS_i ^j(j = 1, , NA_i-1)}, (k = 1, , Q)

여기서, SI_k가 0인 것은 어떤 인터벌도 캐슁되지 않은 상태를 의미한다. 클라이언트가 영화를 요청 또는 종료하였을 때, SI_k의 원소를 인터벌 크기에 대한 오름차순으로 정렬한다. SI_k의 m번째 원소를 IL_k ^m라고 하고, SZ(IL_k ^m)를 인터벌 IL_k ^m의 크기라고 하자. SI_k의 원소의 개수를 NE_k라고 하자. SI_k의 원소들은 오름차순으로 정렬되었기 때문에, SZ(IL_k ^m)≤SZ(IL_k ^{m +1})의 관계가 항상 성립한다. 이때 본 발명에서는, SI_k의 첫 번째 원소부터 m번째 원소까지 캐슁했을 때(m = 1, , NE_k-1), 클러스터 k(k = 1, , Q)의 디스크 대역폭 이용률 CU_k(m) 및 에너지 소모량 E_k(m)의 집합 을 유지한다.

본 발명에서는 에너지 소비를 최소화시키기 위해 각 클러스터에서 읽혀진 인터벌들 중에 실제 메모리 캐쉬에 캐슁될 인터벌들을 동적으로 결정한다. 그러나 끊김이 없는 영화 재생을 보장하기 위해서, 디스크 대역폭 이용도의 제약 조건인 CU_k(m)≤1을 만족해야 한다. 한 클라이언트가 비디오 스트림을 요청했을 때, 서버는 이 상태를 체크한다. CU_k(m)≤1(m = 1, , NE_k)을 만족하는 m의 가장 작은 값을 SV_k라고 하자. 만약 CU_k(NE_k)>1이면, 이후의 클러스터 k에 대한 요청은 거부될 것이다. 전체 캐쉬 메모리의 크기를 B라고 하자. 만약 라면, 캐쉬 공간이 부족하기 때문에 새로운 클라이언트 역시 거부될 것이다. SP_k를 선택된 변수라면, 집합 SI_k의 두 번째 원소 인터벌로부터 SP_k번째 원소 인터벌을 메모리 캐쉬에 저장한다. 본 발명에서는 CU_k(m), E_k(m)의 상태를 고려하여, 의 조건을 만족시키면서, 전체 디스크에서 소모되는 에너지를 줄이는 SP_k를 적절하게 선택하는 것이다.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

도 1은 본 발명의 기반이 되는 인터벌을 설명하기 위한 도면.

도 2는 기존의 인터벌 캐슁 방법의 정책에 대해서 설명하기 위한 도면.

도 3은 기존의 스킴이 클러스터 비디오 서버에서 어떻게 인터벌을 관리하는지 나타내는 도면.

도 4는 본 발명의 일 실시예에 따른 인터벌 관리 방법을 나타내는 도면.

<도면 중 주요 부분에 대한 부호의 설명>

S_{i ,j}: 영화 i에 대한 j번째 요청

Claims (5)

1. 디스크 배열 기반의 비디오 서버를 위한 에너지 인지 인터벌 캐슁 방법으로서,

   (1) 클러스터별로 인터벌 큐를 별도로 할당하는 단계;

   (2) 메모리 캐쉬에 캐슁되는 인터벌 크기에 따라서 각 클러스터에서 소모되는 디스크 이용률과 전력의 상관관계를 분석하는 단계; 및

   (3) 상기 상관관계에 기초하여, 각 클러스터에서 읽혀진 인터벌 데이터 중 메모리 캐쉬에 캐슁될 인터벌을 결정하는 단계

   를 포함하는 것을 특징으로 하는 에너지 인지 인터벌 캐슁 방법.
2. 제1항에 있어서,

   상기 단계 (1)에서, 상기 인터벌 큐는 오름차순으로 정렬된 것을 특징으로 하는 에너지 인지 인터벌 캐슁 방법.
3. 제1항에 있어서,

   상기 단계 (2)에서, 전체 클러스터에서 소모되는 전력을 측정하는 단계를 더 포함하는 것을 특징으로 하는 에너지 인지 인터벌 캐슁 방법.
4. 제3항에 있어서,

   상기 단계 (3)에서, 상기 상관관계에 더하여 전체 클러스터에서 소모되는 상기 전력에 기초하여, 각 클러스터에서 읽혀진 인터벌 데이터 중 메모리 캐쉬에 캐슁될 인터벌을 결정하는 것을 특징으로 하는 에너지 인지 인터벌 캐슁 방법.
5. 제1항에 있어서,

   상기 단계 (3)에서, 각 클러스터별로 할당된 인터벌 큐에서 실제 메모리 캐쉬에 저장하게 될 인터벌 크기의 상한값을 결정함으로써, 인터벌을 결정하는 것을 특징으로 하는 에너지 인지 인터벌 캐슁 방법.

Images