KR100722314B1 - Ｄｖｓ를 이용한 멀티미디어 신호처리 장치 - Google Patents

Abstract

본 발명은 입력되는 멀티미디어 신호를 프레임 단위로 나누고 각 프레임별로 필요로 하는 연산량을 예측하여 전압과 주파수를 조절하기 위한 제어신호를 발생하는 MSP, 멀티미디어 신호의 처리에 있어서 전력소모가 최소가 되도록 MSP로부터 입력되는 제어신호에 따라 프레임별 연산량에 적합한 전압과 주파수를 MSP에 공급하는 전압 제어부로 구성되어, 멀티미디어 신호의 프레임 단위 처리 특성을 이용하여 유휴 시간을 최대로 활용하여 전력절감 효율을 극대화할 수 있다.

DVS, 저전력, 멀티미디어, 최적화

Description

ＤＶＳ를 이용한 멀티미디어 신호처리 장치{Apparatus for processing multimedia signal using of Dynamic Voltage Scaling}

도 1a 및 도 1b는 종래의 공급 전압, 임계전압에 따른 전력, 지연시간과의 상관관계를 나타낸 도면.

도 2a 및 도 2b는 종래의 DVS 기법을 설명하기 위한 도면.

도 3은 본 발명에 따른 DVS를 이용한 멀티미디어 신호처리 장치의 구성을 개략적으로 나타낸 블럭도.

도 4a 및 도 4b는 본 발명에 따른 엠펙-2 비디오 디코더 알고리즘의 프레임별 연산량과 연산량별 프레임의 히스토그램을 나타낸 예시도.

도 5는 본 발명에 따른 멀티미디어 신호에 대하여 프레임 단위로 DVS 기법을 적용한 경우의 프로세서 작업량을 설명하기 위한 도면.

도 6은 본 발명에 따른 마이크로스코픽(microscopic) DVS 제어 기법을 통한 멀티미디어 신호의 연산량 특성에 따른 전력절감율을 나타낸 도면.

도 7은 본 발명에 따른 이중레벨 DVS 제어를 통한 엠펙-2 비디오 디코더의 전력절감율을 나타낸 도면.

도 8은 본 발명에 따른 프레임별 연산량 분포 특성에 따른 마이크로스코픽 DVS에 의한 전력절감 효율을 설명하기 위한 도면.

삭제

삭제

본 발명은 멀티미디어 신호의 프레임 단위 처리 특성 및 분포 특성을 활용하여 저전력 효과를 극대화할 수 있는 DVS를 이용한 멀티미디어 신호처리 기술에 관한 것이다.

대부분의 이동기기내에 장착되는 프로세서에서의 에너지 소모는 이동 컴퓨팅 작업이 복잡해지고 내장형 시스템의 수요가 증가되면서 전체 시스템의 에너지 소모의 많은 부분을 차지하고 있다.

일반적으로 프로세서의 전력소모는 동작 주파수에 비례하고 구동 전압의 제곱에 비례한다. 따라서, 프로세서의 구동 전압을 낮추는 것이 프로세서의 소비 전력을 줄이는 가장 효율적인 방법이지만 구동 전압을 낮추면 그에 비례하여 프로세서의 동작 주파수를 낮추어야 하므로 시스템 성능이 낮아지는 것을 감수해야한다. 즉, 전압을 낮추는 것은 에너지 소모를 줄이는 효과적인 방법이지만 단순히 전압을 낮추는 것은 시스템 성능의 저하를 가져오므로 시스템 성능의 저하를 최소화하면서 전력소모를 줄이는 방법이 필요하다.

고성능 CPU 및 멀티미디어 단말 등을 대상으로 높은 처리 능력을 가지면서 소비 전력을 최소화하는 연구가 다양한 분야에서 활발히 진행되고 있다. 특히 모바일 환경의 급속한 팽창은 저전력 설계 기술에 대한 중요성을 더욱 부각시키고 있다. 지금까지 연구된 저전력 설계 기술은 회로 설계 레벨에서의 최적화 기술과 시스템 레벨에서 OS의 도움으로 스토리지, 메모리, 디스플레이 등의 소모 전력을 최적화하는 기법들이 주를 이루는 방법이었다.

동적 전압 스케일링(Dynamic Voltage Scaling:이하 DVS로 칭함)은 마이크로프로세서 기반의 시스템에서 가장 주목받는 OS 수준의 저전력 기법이다. 이는 태스크 수행후, 남은 유휴 시간을 활용하여 프로세서의 공급 전압 및 동작 주파수를 낮춤으로서 전체 에너지 소모를 감소시키는 기법이다. 이는 일반적인 VLSI 시스템의 전력소모가 CMOS 회로에서의 동적 전력소모가 대부분이며, 도 1a 및 도 1b와 같이 공급 전압 혹은 임계 전압이 낮을수록 회로의 지연시간이 클수록 동적 전력소모는 작아지는 사실에 기인한다.

일반적으로 VLSI시스템에서의 CMOS 회로의 동적 전력소모(E)는 [수학식 1]과 같이 주어진다.

여기서, C_L 은 CMOS 회로의 부하 커패시턴스; N_cycle 은 프로그램이 실행된 사이클의 수; V_DD 는 공급 전압.

이처럼 전력소모 E는 V_DD 의 제곱에 비례하기 때문에 공급 전압 V_DD 를 낮추는 것은 전력소모를 줄이는데 매우 효과적인 방법이다.

그러나 CMOS 회로의 지연시간 T_d 가 [수학식 2]와 같기 때문에 공급 전압을 감소시키면 회로 내의 지연시간이 증가하여 동작 주파수를 낮추어야 회로가 안정적으로 동작하게 된다.

여기서, V_T 는 임계 전압; α는 속도 포화 계수.

모든 태스크를 주어진 마감시간 이내에 끝낼 수 있는 동작 주파수 이상으로 시스템 동작주파수를 설정한다면 실시간성은 보장된다. 따라서, 각 태스크의 동작 상태를 살펴가며 마감시간이라는 제약 조건을 만족하는 가장 낮은 동작 주파수까지 클럭 속도를 조절해가면서 낮출 수 있고, 동작 주파수에 따른 공급 전압도 함께 낮아져서 전력소모를 크게 줄일 수 있는데, 이것이 동적 전압 스케일링의 기본 개념이다.

동적 전압 스케일링에 대하여 도 2a 및 도 2b를 참조하여 설명하기로 한다.

도 2a 및 도 2b는 종래의 DVS 기법을 설명하기 위한 도면이다.

도 2a와 같이 어떤 태스크가 50 ㎒의 동작 주파수와 5.0V의 공급 전압을 가진 프로세서에서 실행되는데, 태스크 실행에 5*105 사이클이 걸리고 마감시간 조건이 25 ㎳라면 프로세서는 태스크를 10 ㎳만에 끝낼 수 있으므로 태스크의 마감시간까지 15 ㎳의 유휴 시간을 갖는다.

그러나 도 2b처럼 동작 주파수와 공급 전압을 20 ㎒와 2.0V로 낮추면 유휴 시간없이 태스크를 마감시간에 맞추어 끝내고, 전력소모는 16 %가 낮아진다.

이처럼 동적 전압 스케일링 기법은 OS 스케줄링을 통해 시스템이 처리해야 할 태스크의 양과 마감시간을 고려하여 동작 전압과 주파수를 조절함으로써 전력절감 효과를 얻는 기법이다.

DVS를 이용한 저전력 기술은 스토리지, 메모리, 디스플레이, 파일 등과 같은 컴퓨팅 환경에서의 리소스들을 대상으로 하고 있으며, 리소스의 처리 및 제어 과정을 태스크 단위로 구분하여 시스템 레벨에서 OS의 스케줄링에 의해 동작 전압 및 주파수를 변화시켜 전력절감 효과를 얻는다.

즉, DVS 기법에서는 리소스들의 처리 및 연산량에 대해 상대적으로 긴 태스크 단위로 반영되는 매크로스코픽(macroscopic)한 분포 특성에 기반하여 저전력 제어가 이루어진다.

그러나 이와 같은 동적 전압 스케일링 기법은 다양한 연산을 수행하는 멀티미디어 DSP의 경우 OS 스케줄링만을 통한 전압, 주파수 제어만으로는 유휴 시간을 충분히 활용할 수 없다는 문제점이 있다.

본 발명의 목적은 멀티미디어의 프레임 단위 처리 특성을 이용하여 유휴 시간을 최대로 활용하여 전력절감 효율을 극대화할 수 있는 DVS를 이용한 멀티미디어 신호처리 기술을 제공하는데 있다.

본 발명에 따르면, 입력되는 멀티미디어 신호를 프레임 단위로 나누고 각 프레임 별로 필요한 연산량을 예측하여 전압과 주파수를 조절하기 위한 제어신호를 발생하는 MSP(Multimedia Signal Processor); 및 멀티미디어 신호의 처리에 있어서 전력소모가 최소가 되도록 MSP로부터 입력되는 제어신호에 따라 프레임별 연산량에 적합한 전압과 주파수를 MSP에 공급하는 전압 제어부;를 포함하여 구성되는 DVS를 이용한 멀티미디어 신호처리 기술이 제공된다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.

도 3은 본 발명에 따른 DVS를 이용한 멀티미디어 신호처리 장치의 구성을 개략적으로 나타낸 블럭도이고, 도 4a 및 도 4b는 본 발명에 따른 엠펙-2 비디오 디코더 알고리즘의 프레임별 연산량과 연산량별 프레임의 히스토그램을 나타낸 예시도이다.

도시된 바와 같이, DVS를 이용한 멀티미디어 신호처리 장치는 멀티미디어 신호를 처리하는데 있어서 디코딩의 실시간성을 위하여 프로세서의 동작 주파수와 구동전압을 조절하기 위한 제어신호를 발생하는 MSP(100); 및 MSP(100)에서 전송된 제어신호에 따라 공급 전압을 제어하는 전압 제어부(110)를 포함한다.

MSP(100)는 멀티미디어 응용 프로그램에서 요구하는 연산량을 프레임 단위로 예측하여 전압과 주파수를 조절하기 위한 제어신호를 발생한다.

즉, 디지털 멀티미디어 신호는 연산량 예측이 가능한 프레임 단위로 처리할 수 있는 특성을 지닌다. MPEG, WMA/WMV, AC-3 등 현재 널리 사용되고 있는 대부분의 멀티미디어 압축 알고리즘은 일차적으로 DCT, FFT 등의 주파수 변환을 통해 의사 정상(quasi-stationary)한 특성을 갖는 멀티미디어의 리던던시(redundancy)를 제거하는 기법을 포함한다.

DCT와 FFT등의 주파수 변환 기법은 대표적인 블럭 단위 연산 기법으로 이를 채택한 멀티미디어 알고리즘 역시 그 특성을 이어받아 보통 수십 밀리초에 해당하는 프레임 단위 연산이 이루어진다.

프레임간 리던던시를 제거하기 위해 전방향, 후방향, 양방향의 프레임 예측 기법을 이용하여 그에 따른 프레임 단위의 연산 소요량을 예측하기 용이하다. 예를 들어, 엠펙-2 비디오 디코더 알고리즘의 프레임별 연산량과 연산량별 프레임의 히스토그램은 도 4a와 도 4b와 같다.

도 4a 및 도 4b는 엠펙-2 비디오 디코더 알고리즘의 프레임별 연산량과 연산량별 프레임의 히스토그램을 나타낸 예시 도면이다. 도 4a를 참조하면 서로 인접한 프레임 넘버를 갖는 프레임들의 연산량은 서로 비슷할 확률이 높다는 것을 알 수 있으며, 이로부터 디지털 멀티미디어 신호에 대해 프레임별로 연산량을 예측할 수 있다. 따라서, MSP(100)는 프레임 단위로 연산량을 예측하여 동작 전압과 동작 주파수를 제어하기 위한 제어신호를 전압 제어부(110)에 전송한다.

전압 제어부(110)는 MSP(100)로부터 전송된 제어신호에 따라 그 연산량에 맞는 클럭 속도와 동작 전압을 MSP(100)에 공급한다. 즉, 전압 제어부(110)는 매 프레임별 연산량에 적랍한 전압 및 주파수를 MSP(100)에 가하여 멀티미디어 신호처리 과정의 전력소모가 최소화되도록 한다.

멀티미디어 신호에 대하여 프레임 단위로 동적 전압 변동 기법을 이용한 경우의 프로세서의 작업량에 대하여 도 5를 참조하여 설명하기로 한다.

도 5는 본 발명에 따른 멀티미디어 신호에 대하여 프레임 단위로 DVS 기법을 적용한 경우의 프로세서 작업량을 설명하기 위한 도면이다.

도면에서, (a)는 DVS(저전력 기법)를 사용하지 않는 종래 멀티미디어 신호처리의 전력 소비를 나타낸 것으로, 고정된 전압, 주파수를 사용하여 사용되는 전력은 연산량에 비례한다.

(b)는 파일 단위 혹은 레벨, 프로파일등의 알고리즘 단위로 전압 레벨을 조절하는 매크로스코픽 DVS 제어 기법을 사용하는 것으로, 저전력 기법을 전혀 사용하지 않는 (a)의 경우와 비교한다면 전력 레벨을 낮추어 에너지 소비를 절감할 수는 있다.

그러나 멀티미디어 알고리즘이 각기 다른 연산량 특성을 갖는 프레임 단위로 연산을 수행하기 때문에 매크로스코픽 제어기법만으로는 최대의 전력절감 효과를 얻기 어렵다.

따라서, (c)와 같이 멀티미디어 알고리즘의 프레임별 연산 특성을 고려하여 전력절감 효과를 극대화할 수 있는 마이크로스코픽 DVS 제어 기법을 사용한다.

마이크로스코픽 DVS 제어 기법은 전력 소비 최소화를 이루기 위해 MSP(100)에서 멀티미디어 응용 프로그램에서 요구하는 연산량을 프레임 단위로 예측하여 전압, 주파수 조절 알고리즘을 수행하고, 전압 제어부(110)에서 매 프레임별 연산량에 적합한 전압 및 주파수를 MSP(100)에 가하여 멀티미디어 신호처리 과정의 전력소모를 최소화한다.

멀티미디어 신호의 연산량 특성에 따라 DVS 기법이 적용된 MSP에서 얻을수 있는 전력절감의 범위는 도 6과 같다.

도 6은 본 발명에 따른 마이크로스코픽 DVS 제어 기법을 멀티미디어 신호에 적용하였을 때 멀티미디어 신호의 연산량 특성에 따라 전력이 절감되는 비율을 나타내는 도면이고, 도 7은 본 발명에 따른 이중레벨 DVS 제어 기법을 엠펙-2 비디오 디코더에 적용하여 각종 영화 콘텐츠를 재생하였을 때 전력이 절감되는 비율을 나타낸 도면이다.

도 6은 전압 및 주파수의 연속 레벨(continuous level)을 적용한 경우와 이중 레벨(dual-level)인 경우로 나누어서 수행한 결과를 나타낸다.

도 6에 도시된 결과로부터 연산량의 평균(μ)에 비해 분산(σ)이 클수록 전력절감 효율(Power Saving Factor)이 높다는 것을 알 수 있으며, 도 7에 도시된 결과로부터 영화 콘텐츠에 따라 전력절감 효율은 다소 상이하게 나타날 수 있다는 것을 알 수 있다.

이러한 마이크로스코픽 DVS 기반 멀티미디어 알고리즘 최적화 기법은 멀티미디어 프레임별 연산량에 따라 단순히 전압, 주파수를 가변시키는 개념뿐만이 아니라, 마이크로스코픽 DVS에 의한 전력절감 효과를 극대화할 수 있도록 프레임별 연산량의 평균과 분산에 자유도를 확대 허용하는 멀티미디어 알고리즘 자체에 대한 새로운 형태의 최적화 개념까지를 포함하고 있다.

마이크로스코픽 DVS 기법이 타당한 것은 멀티미디어 신호는 의사 정상 특성을 갖고있어 예측 가능성이 크기 때문에 이러한 특성을 활용할 경우 주된 계산 부담을 차지하는 탐색과 반복루프 등에 대해 프레임별 연산량의 평균과 분산의 자유도를 활용한 최적화의 여지가 크다는 사실에 기인한다.

예를 들어, 엠펙 디코딩에 쓰이는 엠펙 스트림은 프레임들의 배열로 이루어져 있다. 프레임은 I프레입, P프레임, B 프레임의 3가지 종류로 되어 있고, 이 프레임들이 일정 규칙으로 반복된다. 이때, 일정 규칙으로 반복되는 최소 단위의 프레임들의 집합을 GOP라 칭한다.

이러한 프레임들의 디코딩 시간은 프레임의 크기에 비례하며 프레임 종류에 따라 상이하게 설정된다. 따라서 프레임의 종류와 크기를 이용하여 임의 시스템의 디코딩 시간을 예측할 수 있다.

일반적으로 멀티미디어 신호는 수십 ㎳내외의 주어진 프레임 단위 내에서의 처리를 원칙으로 한다. 따라서 가장 긴 처리 시간을 요구하는 임계 경로(critical path)에 대해서도 주어진 범위 내에서 데이터를 처리해야 하기 때문에 경우에 따라 긴 처리 시간을 요구하는 연산 알고리즘에 대해서는 루프 횟수에 제한을 두는 방식과 같은 서브-최적(sub-optimum) 알고리즘을 적용한 것이 일반적인 기존의 알고리즘 최적화 방식이었다.

이처럼 멀티미디어 알고리즘의 평균 처리 연산량을 최소화할 수 있음에도 불구하고 임계 경로와 같은 제약 조건은 멀티미디어 알고리즘의 최적화를 통한 평균 소요 연산량의 최소화에 있어 장애 요소가 되어 왔다.

그러나 본 발명의 멀티미디어 알고리즘 최적화 기법은 종래에 수행되어 왔던 알고리즘 최적화 방식과는 큰 차별성을 지니고 있는데, 도 8을 참조하여 설명하기로 한다.

오디오, 비디오 등의 멀티미디어 신호에 의사 정상 특성이 있다는 사실은 이미 잘 알려져 있는 사실이다. 이는 마이크로스코픽 DVS 기반의 멀티미디어 최적화 기법을 가능케하는 중요한 근거가 되는 사항이다. 비디오 화면을 예로 각 프레임은 갑작스러운 화면의 변화가 일어나지 않는 한 비슷한 데이터들이 이어지는 의사 정상한 특성을 갖는다. 따라서, 이러한 특성을 이용한다면 허프만 코드 탐색 루프나 양자화 루프와 같은 멀티미디어 알고리즘 수행과정에 있어 평균 소요 연산량을 최소화시킬 수 있다.

도 8은 본 발명에 따른 프레임별 연산량 분포 특성에 따른 마이크로스코픽 DVS에 의한 전력절감 효율을 설명하기 위한 도면이다.

도시된 바와 같이, (a)와 같은 허프만 코드를 (b)와 같이 재디자인하여 코드 탐색 과정에 있어 이전 프레임에서 찾았던 코드 근처에서부터 탐색을 시작한다면 현재 프레임이 이전 프레임과 비교하여 변화가 많지 않은 프레임일 경우 탐색에 소요되는 루프 횟수를 크게 줄일 수 있다.

하지만 이러한 방식은 프레임간 데이터 변화가 클 경우 긴 처리 시간을 요하는 임계 경로와 같은 제약 조건 때문에 상대적으로 큰 타겟 프로세서를 필요로 하고 이는 오히려 파워 소모면에서 단점으로 작용한다. 때문에 기존의 알고리즘 최적화 방식은 이러한 방식보다는 어느 정도 평균 연산량과 임계 경로 사이에서의 절충된 서브-최적 알고리즘을 선택하였다.

이는 임계 경로로 인하여 동작 전압과 동작 주파수가 높아지는데 전력소모가 동작 전압의 제곱과 동작 주파수에 비례하는 특성에 비추어 볼 때 (a)-1과 (b)-1에 나타낸 것과 같이 임계 경로가 결과적으로 전력소모의 상승 효과를 가져오게 된다.

반면, 본 발명은 임계 경로로 인해 분산이 커지는 제약 요인을 전력절감 효율면에서 오히려 이점으로 활용함으로써 평균 소요 연산량은 최소화시켜면서 전력절감 효과는 최대로 얻을 수 있다,

마이크로스코픽 DVS 기법은 멀티미디어 알고리즘의 수행에 있어 더 낮은 동작 전압을 갖게 하고 이는 마이크로스코픽 저전력 제어 기법인 프레임별로 연산량의 변화가 많은 분산 분포를 가질 때 전력절감 효율이 가장 좋게 나타나는 특성을 반영하고 있는 것이다.

따라서 (b)와 같이 멀티미디어 알고리즘의 최적화를 통해 평균 연산량을 낮추고 그로 인해 발생하는 임계 경로와 같은 파워 절감 효율면에서의 문제점은 전압-주파수 가변 기법을 통해 극복함으로써 전체적으로 알고리즘의 저전력 프로세싱이 가능하게 되고 또 그 효율이 극대화되는 것이다.

여기서, 동작 주파수 즉, 타겟 프로세서는 mean+3σ에 대응되는 MIPS 값에 의해 결정되며, 공급 전압은 동작 주파수에 비례한다.

이상과 같이 본 발명은 멀티미디어 알고리즘이 갖는 처리단위 및 분포 특성을 활용하여 저전력 효과를 극대화할 수 있는 새로운 형태의 마이크로스코픽 DVS 기법을 제시하였고, 엠펙 오디오 및 비디오를 대상으로 저전력을 위한 알고리즘 최적화 기법을 제시하였다.

즉, 상대적으로 긴 태스크 단위로 반영되는 매크로스코픽한 분포 특성에 기반하여 저전력 제어가 이루어지는 기존의 DVS 기법과는 달리 본 발명에서는 수십 밀리초 내외의 짧은 멀티미디어 신호 실시간 처리 단위, 즉 프레임 단위로 DVS 전력 제어를 수행한다.

특히 마이크로스코픽 DVS 기법은 멀티미디어 프레임별 연산량에 따라 단순히 전압-주파수를 가변시켜주는 개념뿐만 아니라 마이크로스코픽 DVS에 의한 전력절감 효과를 극대화시킬 수 있도록 프레임별 연산량의 평균과 분산에 자유도를 확대 허용하는 멀티미디어 알고리즘 자체에 대한 새로운 형태의 최적화 개념까지 포함한다.

본 발명은 이상의 실시예에 한정되지 않으며, 많은 변형이 본 발명의 사상 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 가능함은 물론이다.

상술한 바와 같이 본 발명에 따르면, 멀티미디어 신호의 프레임 단위 처리 특성을 이용하여 유휴 시간을 최대로 활용하여 전력절감 효율을 극대화할 수 있는 DVS를 이용한 멀티미디어 신호처리 기술을 제공할 수 있다.

또한, 본 발명에 따르면, 멀티미디어 신호의 의사 정상한 특성에 기반한 예측 가능성을 활용하면 주된 계산 부담을 차지하는 탐색 및 반복루프 등에 프레임별 연산량의 평균과 분산의 자유도를 활용한 최적화의 여지가 크다는 것에 기인하며 이는 지금까지 이루어지지 않았던 새로운 시각에서의 저전력 기술을 선도하고 관련 IP 개발을 통해 멀티미디어 휴대 단말 시장에 큰 기여를 할수 있는 DVS를 이용한 멀티미디어 신호처리 기술을 제공할 수 있다.

Claims (3)

1. 입력되는 멀티미디어 신호를 프레임 단위로 나누고 상기 멀티미디어 신호의 처리 대상인 해당 프레임에 대해 소요되는 연산량을 이전 프레임별 연산량에 대한 "평균(mean) + 3σ"에 대응되는 값으로 예측하고, 상기 예측된 연산량에 대응되는 전압과 주파수를 조절하기 위한 제어신호를 출력하는 MSP; 및

   상기 MSP로부터 입력되는 제어신호에 따라 프레임 별로 전압과 주파수를 생성하여 상기 MSP로 공급하는 전압 제어부;

   를 포함하여 구성되는 DVS를 이용한 멀티미디어 신호처리 장치.
2. 삭제
3. 삭제

Images