KR101089933B1

KR101089933B1 - 인코딩 가속 기술의 디지털 멀티미디어 인코더

Info

Publication number: KR101089933B1
Application number: KR1020110061170A
Authority: KR
Inventors: 임대용
Original assignee: 주식회사 씨앤드디큐브
Priority date: 2011-06-23
Filing date: 2011-06-23
Publication date: 2011-12-05

Abstract

본 발명은 단일명령 복수 데이터 처리기술을 멀티미디어 데이터 스트리밍분야에 적용하여 인코딩 또는 트랜스코딩 속도를 획기적으로 개선시킨 멀티미디어 데이터 스트리밍방법에 관한 것이다. 이를 위하여, 본 발명은 스칼라 부동소수점 유닛 및 벡터유닛을 포함하는 중앙처리장치를 이용하여 단일명령 복수 데이터 처리를 하는 인코더에 있어서, 상기 인코더에서 벡터덧셈은 비트와이즈 XOR로 실행하고, 스칼라곱셈은 벡터를 로우벡터 및 하이벡터로 분리하여 각각의 곱셈결과를 계산하여 각각 로우곱테이블 및 하이곱테이블을 저장하여 두고, 스칼라 a의 곱셈은 상기 로우곱테이블 또는 하이곱테이블을 로드하여 치환하며, 상기 인코더는 상기 벡터유닛 내에서 복수 개의 8비트 파이프라인을 통하여 병렬적으로 인코딩하는 것을 특징으로 하는 디지털 멀티미디어 인코더를 제공한다.
따라서, 본 발명에 의하면 멀티미디어 데이터의 인코딩 시간을 대폭 줄일 수 있으므로 실시간 멀티미디어 스트리밍에서 고해상도의 화면을 제공하여 화질을 향상시킬 수 있으며, 주문형 방송(VOD ; Video On Demand)에서는 기다리는 시간을 대폭 단축시킬 수 있다.

Description

인코딩 가속 기술의 디지털 멀티미디어 인코더{Encoding acceleration for digital multimedia Encoder}

본 발명은 디지털 멀티미디어 인코더에 관한 것이며, 구체적으로 단일명령 복수 데이터 처리기술을 디지털 멀티미디어 데이터 인코딩분야에 적용하여 인코딩 또는 트랜스코딩 속도를 획기적으로 개선시킨 인코딩 가속 기술의 디지털 멀티미디어 인코더에 관한 것이다.

인터넷 기술의 발달로 어디서든 음악, 동영상, 문자 등의 멀티미디어 데이터를 수신받아 재생하여 보는 광경은 흔한 일상이 되어가고 있다. 이러한 멀티미디어 데이터를 수신받아 볼 수 있는 단말기 비용 및 통신료가 저렴해 지면서 더욱더 많은 사람들이 멀티미디어 데이터를 고해상도로 즐기려는 요구가 강해진다.

디지털 멀티미디어를 스트리밍하려면 기본적으로 송신측에서 멀티미디어 디지털로 인코딩(압축)하여 데이터를 패킷화하여 인터넷으로 전송하고 수신측에서 디코딩(해제)하여 재생하여야 한다. 즉, 보다 더 고해상도의 디지털 멀티미디어를 시청하려면 단위시간당 보다 많은 데이터를 인코딩하여야 한다. 특히, 인터넷을 통하여 실시간 방송 서비스를 하기 위해서는 멀티미디어 데이터를 디지털로 실시간 인코딩하여 스트리밍 해야 하나, 컴퓨터의 처리 능력에는 한계가 있으므로 인터넷 방송이나 IPTV서비스에서 낮은 해상도에 대한 시청자의 불만이 나오고 있으며, 이에 대한 해결을 위하여 고가인 별도의 인코딩 보드를 컴퓨터에 추가로 장착하거나, 초고가의 전용장비를 사용하여야 하므로 비용부담이 가중되고 있는 상황이다.

도 1을 참조하면, 종래의 일반적인 개인용 컴퓨터의 중앙처리장치는 스칼라 플로팅 프로세싱(Scalar Floating Processing) 기능을 가지며, 이는 정수유닛(110)과 부동소수점 스칼라유닛(120)을 가져 한번에 하나의 데이터를 처리한다. 이에 대하여, 도 2를 참조하면, 최근 개발되고 있는 일반적인 개인용 컴퓨터의 중앙처리장치(CPU)는 벡터프로세서로서 벡터유닛(130)을 포함하고 있다. 이러한 벡터유닛을 활용하여 단일 명령 복수 데이터 처리(SIMD;Single Instruction Multiple Data)기술을 인코딩 계산에 적용하면 인코딩속도를 매우 빠르게 할 수 있으나, 디지털 멀티미디어 데이터의 인코딩 처리를 위한 벡터 연산이 포함된 프로그래밍 소스코드를 실행 파일로 컴파일할 수 있는 컴파일러가 존재하지 않아 프로그래밍은 가능하나 실제로 사용할 수 있는 실행파일을 만들 수 없어서 실제로 구현되지 못하고 있는 실정이다.

또한, 인터넷 방송 및 IPTV 서비스에서 주문형 방송을 위하여 멀티미디어를 디지털로 인코딩하여 디지털 멀티미디어 파일로 저장한 후 데이터를 스트리밍하여야 하는데 개인용 컴퓨터 및 워크스테이션의 연산능력의 한계로 인하여 멀티미디어를 모두 디지털 데이터로 처리하지 못함으로써 디지털 멀티미디어의 화질의 저하를 가져올 수 밖에 없는 상황이므로 고해상도(고하질)를 요구하는 시청자들의 요구에 부항하는데 어렴움이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 멀티미디어의 디지털 인코딩에 있어서 단일 명령 복수 데이터 처리기술을 활용하여 인코딩(아날로그 멀티미디어를 디지털 멀티미디어로 압축) 또는 트랜스코딩을 위하여 단위 시간당 더욱더 많은 데이터를 처리할 수 있도록 개선하여 고해상도 디지털 멀티미디어를 스트리밍 하여 실시간 방송의 제공과 주문형 방송을 제공하는데 그 목적이 있다.

상기한 목적을 달성하기 위하여, 본 발명은 스칼라 부동소수점 유닛 및 벡터유닛을 포함하는 중앙처리장치를 이용하여 단일명령 복수 데이터 처리를 하는 인코더에 있어서, 상기 인코더에서 벡터덧셈은 비트와이즈 XOR로 실행하고, 스칼라곱셈은 벡터를 로우벡터 및 하이벡터로 분리하여 각각의 곱셈결과를 계산하여 각각 로우곱테이블 및 하이곱테이블을 저장하여 두고, 스칼라 a의 곱셈은 상기 로우곱테이블 또는 하이곱테이블을 로드하여 치환하며, 상기 인코더는 상기 벡터유닛 내에서 복수 개의 8비트 파이프라인을 통하여 병렬적으로 인코딩하는 것을 특징으로 하는 디지털 멀티미디어 인코더를 제공한다.

상기 인코더에 의하여 인코딩된 데이터를 스트리밍 하는 스트리밍서버는 4:2:0 샘플링 포맷으로 스트리밍 하며, 상위필드 및 하위필드의 Y샘플, Cb샘플 및 Cr샘플 모두의 데이터를 스트리밍하는 것이 바람직하다.

본 발명에 의하면 단위 시간당 더욱더 많은 멀티미디어 데이터를 연산할 수 있으므로, 일반적인 컴퓨터에서 더욱더 고화질의 디지털 멀티미디어로 실시간 인코딩할 수 있으며, 트랜스코딩 시간을 대폭 줄일 수 있으므로 디지털 멀티미디어를 실시간으로 스트리밍하여 인터넷 방송 및 IPTV 서비스에서 고해상도의 화면을 제공하여 시청자의 화질 향상과 방송제공자의 장비도입 비용과 시간을 대폭 절감할 수 있다.

또한, 고해상도의 디지털 멀티미디어 실시간 스트리밍을 위하여 고가의 장비를 필요로 하지 않으므로 일반 PC를 이용하여 개인 사용자들도 고해상도 디지털 멀티미디어의 실시간 스트리밍이 가능해 진다.

도 1은 종래의 프로세서의 구조를 나타내는 구조도;
도 2는 본 발명에서 사용되는 프로세서의 구조를 나타내는 구조도;
도 3은 본 발명의 전체적인 시스템을 나타내는 구성도;
도 4는 단일명령 복수 데이터 처리를 설명하기 위한 비교설명도;
도 5는 단일명령 복수 데이터 처리의 연산과정을 나타내기 위한 설명도;
도 6은 4:2:0 샘플링 패턴(순차주사)를 나타내기 위한 설명도;
도 7은 4:2:0 샘플의 상위필드와 하위필드 분배방법을 나타내기 위한 설명도.

본 발명의 실시예의 구성 및 작용에 대하여 첨부한 도면을 참조하여 상세하게 설명한다.

도 3을 참조하여 본 발명에 따른 멀티미디어 데이터 스트리밍 시스템의 기본적인 구성에 대하여 설명하면 다음과 같다.

본 실시예에 따른 멀티미디어 데이터 스트리밍 시스템은 아날로그 멀티미디어 데이터 입력수단(200), 인코더(300), 스트리밍 서버(100), 클라이언트(400)를 포함하여 구성된다.

상기 아날로그 멀티미디어 데이터 입력수단(200)은 카메라, 테이프 등 영상 및 오디오 입력수단으로서 물리적인 현상에 의한 영상 및 오디오 데이터가 입력되는 장치이다.

상기 아날로그 멀티미디어 데이터 입력수단(200)에 의하여 입력된 영상 및 오디오 데이터는 인코더(300)로 전송된다. 상기 인코더(300)는 아날로그 데이터를 메인 디지털 데이터로 변환하고 상기 메인 디지털 데이터 앞에 RTP헤더를 붙이는 RTP인코딩 과정을 실행하여 RTP패킷을 생성하는 역할을 한다.

상기 인코더(300)는 도 2에 나타난 벡터프로세서에 의하여 연산이 수행된다. 즉, 상기 벡터프로세서는 정수유닛, 스칼라 부동소수점 유닛 및 벡터유닛을 포함하여 단일 명령 복수 데이터 처리(SIMD)기술을 활용할 수 있다. 즉, 본 실시예에서는 상기 벡터유닛 내에서 복수 개의 8비트 파이프라인을 통하여 병렬적으로 동시에 인코딩이 수행된다.

단일 명령 복수 데이터 처리기술은 도 4에 나타나듯이 병렬컴퓨팅의 일종으로 하나의 명령으로 복수 개의 데이터를 처리하는 기술을 말한다. 이러한 단일 명령 복수 데이터 처리에서는 스칼라의 나열이라고 볼 수 있는 벡터를 이용하여 연산을 시행하며, 도 5에서와 같이 VA벡터와 VB벡터의 덧셈연산을 각 요소(엘리먼트)별로 연산하여 결과값을 VT벡터로 저장한다. 이러한 연산은 곱셈에 대해서도 마찬가지로 적용된다.

본 실시예에서 인코더(300)는 8비트의 크기를 가지는 요소를 가지는 벡터를 이용하여 인코딩연산을 시행한다.

한편, 이러한 단일 명령 복수 데이터 처리기술을 활용하려면 스칼라(부동소수점) 연산과 벡터(다중부동소수점) 연산이 포함된 인코딩 소프트웨어로 개발되어야 하지만, 현재 이러한 프로그래밍 소스코드를 직접적으로 실행파일로 만들 수 있는 컴파일러가 존재하지 않는다. 따라서, 본 실시예에서는 TTM(Tame Transformation Method)에 기초하여 이러한 프로그래밍 소스코드를 기존의 컴파일러가 인식할 수 있는 프로그래밍 소스코드로 변환할 수 있는 방안을 강구한다.

TTM이란 Finite field에서 덧셈과 곱셈으로 주어지는 치환의 제한적인 구조의 유리수가 대수의 법칙을 충족시키는 만큼 대수의 법칙을 충족하는 치환이다. 그래서, 이 치환의 두가지 방법은 오히려 복잡한 방법으로 결합되어질 수 있다. 그러나, 그것들의 효과와 분석의 복잡성에 관하여 추론할 수 있으며, TTM은 이 치환들 타입의 결합에 기초를 두고 있다.

필드는 덧셈과 곱셈의 수행을 정의한 객체의 집합이다. 이 실행들은 덧셈과 곱셈의 일반적 성질이 실수를 실행하는 것을 만족시키는 것을 요구한다.

1. 교환법칙(x+y=y+x)과 결합법칙((x+y)+z=x+(y+z)),

2. 항등식(0과 1이 존재, 모든 x에 대하여 x+0=x 그리고 x*1=x)

3. 덧셈의 역수(모든 x에 대하여 x+y=0인 y가 존재)

4. 0이 아닌 수는 곱셈의 역수를 가진다.(모든 x!=0에 대하여 xy=1인 y가 존재)

두 개의 심볼(0,1)을 가지는 변수집합과 다음의 실행에 의해 정의되어 진 것이 필드이다.

0+0=0, 0+1=1, 1+0=0, 1+1=0 그리고, 0*0=0, 0*1=0, 1*0=0, 1*1=1

상기의 필드를 Z₂로 표시하고, 이 실행은 불린(boolean)실행이다.

0=false, 1=true, +=XOR, *=AND. 즉, Z₂는 0과 1을 가지는 필드이다.

2^k를 요소로 가지는 필드도 또한 생성할 수 있는데, k가 8이면 필드안의 각 요소는 8비트값과 결합되어질 수 있다. 2⁸=256이기 때문에 256개의 요소들의 생성은 다음과 같이 진행되어진다.

예를 들어, 8보다 작은 차수를 가지고 Z₂안의 계수를 가지는 다항식에서 다항식 안의 각항의 계수가 0이거나 1이고, X⁷+X³+1을 생각하면,

X⁷+X³+1 = 1*X⁷+0*X⁶+0*X⁵+0*X⁴+1*X³+0*X²+0*X¹+1*X⁰

8개의 가능한 계수가 있으며, 각각은 0과 1이 될 수 있다. 그래서 이 형식의 2⁸=256개의 다른 다항식이 있다. 그것들의 계수를 첨가하는 것에 의해 다항식을 더할 수 있다.

예들 들면, (X⁷+X³+1)+(X⁶+X³+X²+1)=

1*X⁷+0*X⁶+0*X⁵+0*X⁴+1*X³+0*X²+0*X¹+1*X⁰+0*X⁷+1*X⁶+0*X⁵+0*X⁴+1*X³+1*X²+0*X¹+1*X⁰

= 1*X⁷+1*X⁶+0*X⁵+0*X⁴+0*X³+1*X²+0*X¹+0*X⁰ 이다.

바이트안의 비트들은 간단히 다항식의 계수들이다.

따라서, 10001001=1*X⁷+0*X⁶+0*X⁵+0*X⁴+1*X³+0*X²+0*X¹+1*X⁰이므로 다음과 같이 쓸 수 있다.

10001001 + 01001101 = 11000100

덧셈은 단지 두 바이트 사이에 bitwise XOR이라는 것을 감안하면 매우 빠르게 연산될 수 있다.

다른 것과 결합된 1바이트의 XOR은 반대라는 것을 생각하면 "(A XOR B) XOR B = A"에서 고정된 바이트 B를 더하는 것은 8비트의 256의 가능한 값들의 치환이다.

2개의 주요한 선형대수 실행은 벡터덧셈과 스칼라 곱셈이다.

y=αx라고 하면(여기서 a는 스칼라이고 x,y는 같은 필드의 n요소의 벡터이다), 각 요소는 yi=α*xi, (0≤i＜n)인데, x를 비트 표현식으로 쓴다면

α*xi = α*abcdefgh = α*(0000efgh+abcd0000) = α*0000efgh+α*abcd0000이다. *는 유한영역에서의 곱셈이고, +는 같은 필드에서의 덧셈이며, α는 고정된 값이다.

여기서 α*0000efgh를 위해서는 단지 16의 가능한 값들이 있다.

구체적으로, α*00000000=00000000, α*00000001=α, …, α*00001111까지 이다.

마찬가지로 α*abcd0000에서 16의 가능한 값들이 있다. 따라서, α의 256개의 다른 값들의 각각을 위해 16개의 다른 로우곱(low product) α*0000efgh, efgh=0000, 0001, …, 1111rhk 16개의 다른 하이곱 α*abcd0000, abcd=0000,0001,…, 1111의 테이블을 사전에 계산할 수 있다. 즉, 로우곱테이블 및 하이곱테이블을 계산하여 저장해 둘 수 있다.

다시 말하면, 본 실시예에서는 스칼라곱셈함수에서 α의 값을 기록하고 8비트벡터를 0000efgh형태의 로우벡터 및 abcd0000형태의 하이벡터로 분리하며,SIMD vector unsigned char변수에 두 개의 16바이트 테이블을 로드하여 x_i의 로우파트인 α에 의한 곱셈은 간단히 로우곱테이블을 확인한다.

일반적으로 32바이트 테이블로부터 16개의 동시적인 색인을 가질 수 있는데, 16개의 색인은 하나의 vector unsigned char register에 의해서 명시될 수 있다.

그리고, 32바이트 테이블은 두 개의 vector unsigned char register에 의해 명시될 수 있다. 각각의 색인 바이트의 다섯개의 lowest bits는 32바이트테이블의 색인으로 사용되어진다. 32바이트 테이블 대신 16바이트 테이블 안의 색인을 사용하면, 32바이트 테이블 각각의 반을 위해서 같은 16바이트 vector unsigned char resister를 명시한다. 같은 테이블이 32바이트 테이블의 첫번째 16바이트와 두번째 16바이트 둘다 사용할 수 있기 때문에, 각각의 x_i의 로우파트를 α번째의 색인을 위해 미스크 되지 않은 각각의 인덱스 바이트의 5번째 비트를 놓아둘 수 있는 부가적인 장점을 가진다. 하이파트 검색을 위해서는 각 요소 x_i를 4비트에 의해 오른쪽으로 쉬프트 할 필요가 있으며, 완전한 함수는 다음과 같다.

vector unsigned char low_products[256];

vector unsinged char high_products[256];

/* low products와 high products의 테이블을 초기화한다. */

(void)

finite_field_scalar_multiplication(unsigned char alpha,

unsigned char *x,

unsigned char *y,

int n)

{

int i;

vector unsigned char *vec_x = (vector unsigned char *) x;

vector unsigned char *vec_y = (vector unsigned char *) y;

vector unsigned char low = low_products[(int) alpha];

vector unsigned char high = high_products[(int) alpha];

for(i=0;i<n;i+=16,vec_x++,vec_y++)

{

vector unsigned char l,h

l=vec_perm(low,low,*vec_x);

h=vec_perm(high,high,vec_sr(*vec_x,(vector unsigned char)(4)));

*vec_y=vec_xor(l,h);

}

여기서, α는 16의 배수이고, x,y는 16바이트로 할당되었다고 가정한다.

한편, H.264의 비디오 포맷은 4:2:0 순차주사 또는 비월주시 비디오의 인코딩과 디코딩을 지원하며 4:2:0 순차주사 프레임의 기본 샘플링 포맷은 도 6과 같다. 기본 샘플링 포맷에서 색차(Cb 및 Cr)샘플은 수평으로 2번째 휘도 샘플마다 위치하며, 수직으로 2개의 휘도 샘플 사이에 위치한다. 비월주사 프레임은 도 7과 같이 시간적으로 분리되어 있는 두 개의 필드(상위필드와 하위필드)로 구성된다.

하지만, 종래의 IPTV와 같은 스트리밍 서비스에서는 실시간 인코딩 속도의 한계로 인하여 모든 필드의 픽셀 데이터를 송신하지 못하고, 상위필드의 색차(Cb 및 Cr) 데이터만 송신할 수 있었다. 즉, 이러한 한계로 인하여 IPTV를 보는 시청자들은 화질의 저하를 느낄 수 밖에 없어 서비스품질의 문제가 있다.

본 실시예에서는 상기한 인코딩방법에 의하여 인코딩속도를 획기적으로 개선할 수 있으며, 인코더는 실시간으로 상위필드 및 하위필드의 Y샘플, Cb샘플 및 Cr샘플 모두의 데이터를 연산한다.

구체적으로, 본 실시예에 의하면 도 7에서 Y샘플 상,하위필드를 합쳐 8비트×6 = 48비트, Cb샘플 8비트×3 = 24비트, Cr샘플 8비트×3 = 24비트 합계 96비트가 벡터유닛(130)에서 동시에 연산되며, 32비트는 정수유닛 컨트롤에 사용된다.

따라서, 아날로그 멀티미디어가 입력되는 대로 실시간으로 디지털 멀티미디어를 인코딩(압축)하는 방식으로 주로 실시간방송에 사용되는 1pass방식에서는 화질의 향상을 얻을 수 있고, 아날로그 멀티미디어를 캡쳐한 후 멀티미디어의 정보를 1차 수집하고 수집된 정보를 바탕으로 정밀하게 압축하는 방식인 2pass방식의 트랜스코딩에서는 시간을 단축할 수 있다.

100 : 스트리밍서버 200 : 아날로그 멀티미디어데이터 입력수단
300 : 인코더 310 : 정수유닛
320 : 스칼라 부동소수점유닛 330 : 벡터유닛
400 : 클라이언트

Claims

인코더에 의하여 인코딩된 데이터를 스트리밍 하는 스트리밍서버는
4:2:0 샘플링 포맷으로 스트리밍 하며, 상위필드 및 하위필드의 Y샘플, Cb샘플 및 Cr샘플 모두의 데이터를 스트리밍하며,
상기 인코더는 스칼라 부동소수점 연산유닛 및 벡터 연산유닛을 포함하는 중앙처리장치를 이용하여 단일명령 복수 데이터 처리를 하며,
상기 인코더에서 벡터덧셈은 비트와이즈 XOR로 실행하고,
스칼라곱셈은 벡터를 로우벡터 및 하이벡터로 분리하여 각각의 곱셈결과를 계산하여 각각 로우곱테이블 및 하이곱테이블을 저장하여 두고, 스칼라 a의 곱셈은 상기 로우곱테이블 또는 하이곱테이블을 로드하여 치환하며,
상기 인코더는 상기 벡터 연산유닛 내에서 복수 개의 8비트 파이프라인을 통하여 병렬적으로 인코딩하는 것을 특징으로 하는 디지털 멀티미디어 스트리밍 시스템.
삭제