KR20070028404A

KR20070028404A - 픽처를 저장하는 방법, 비디오 복호기, 비디오 부호기,휴대 장치 및 컴퓨터 프로그램 제품

Info

Publication number: KR20070028404A
Application number: KR1020067025876A
Authority: KR
Inventors: 아르나우드 보우르게; 조엘 정
Original assignee: 코닌클리즈케 필립스 일렉트로닉스 엔.브이.
Priority date: 2004-06-11
Filing date: 2005-06-07
Publication date: 2007-03-12
Also published as: JP2008502261A; CN1965585B; EP1759532A1; US20070230919A1; WO2005122587A1; CN1965585A; US8665955B2

Abstract

본 발명은 픽처들을 - 소정 픽처는 데이터 블럭으로 분할됨 - 메모리에 저장하는 방법에 관한 것으로, 변환된 n(n은 정수)개의 요소 집합으로 이루어진 변환된 데이터 블록을 생성하기 위해 입력 데이터 블록의 변환을 계산하는 단계, 부호화된 데이터 블록을 생성하기 위해 상기 변환된 데이터 블록의 최초 변환되는 m(여기서 m은 n보다 작은 정수)개의 요소를 엔트로피 코딩하는 단계, 상기 입력 데이터 블록과 상기 부호화된 데이터 블록 간의 왜곡값 및 상기 기억 장치상에서 상기 부호화된 데이터 블록을 판독하고 기록하기 위해 필요한 전력 소모의 가중치 합산에 기초하여 비용함수를 계산하는 단계, 다양한 m값 산출을 위해 상기 엔트로피 코딩 단계, 및 상기 비용함수 계산 단계를 반복적으로 수행하는 단계 및 상기 비용함수를 최소화하는 m값에 대응하는 상기 부호화된 데이터 블록을 기억 장치에 저장하는 단계를 포함한다.

Description

픽처를 저장하는 방법, 비디오 복호기, 비디오 부호기, 휴대 장치 및 컴퓨터 프로그램 제품{METHOD OF STORING PICTURES IN A MEMORY USING COMPRESSION CODING AND COST FUNCTION INCLUDING POWER CONSUMPTION}

본 발명은, 블록 기반 예측 기법에 따라 처리되는 픽처를 기억 장치에 저장하기 위한 방법 및 장치에 관한 것이다.

본 발명은, 예를 들어 픽처를 복호화하거나 또는 부호화하기에 적합한 비디오 복호기, 비디오 부호기 또는 개인 휴대 정보 단말기(PDA)나 휴대폰과 같은 휴대장치 분야에 이용될 수 있다.

이동장치에 있어서 저전력 소모는 주요 특징이다. 현재, 이동장치는 비디오의 부호화 및 복호화 기능들을 제공하는데, 이는 많은 에너지를 소모하는 것으로 알려져 있다. 따라서, 소위 저전력 비디오 알고리즘이 필요하다.

실제, 비디오장치에서는 SDRAM과 같은 외부 기억 장치로 접근할 때 병목현상이 일어난다. 이러한 현상은, 기억 장치가 시스템에서 가장 많은 전력을 소모하는 부분으로 알려짐에 따른 전력 소모 문제와 중앙처리장치(CPU)와 기억 장치 간을 교 환하는데 사용가능한 대역폭으로 인해 야기되는 속도 제한으로 인하여 발생한다.

종래의 비디오 복호기에서 움직임 보상 유닛은 소위 기준 프레임내의 픽셀 블록을 지속적으로 가리켜야 하기 때문에 상술한 접근이 많이 필요했다. 이러한 문제를 극복하기 위해 소위 임베디드 압축이 제안되었다. 임베디드 압축은, 본래 기준 프레임의 손실 압축(lossy compression)으로 인한 품질의 저하를 희생시켜가며 기억 장치의 크기를 줄이기 위해 개발되어왔다.

H.264 영상 복호기에 적용된 임베디드 압축의 예가 도 1에 도시된다. 비디오 복호기는,

- 부호화된 비트 스트림(BS)을 복호화하여 한쪽 방향으로는 복호화된 데이터 블록을 생성하고 다른쪽 방향으로는 복호화된 움직임 벡터(MV)를 생성하는데 적합한 가변장 복호화 블록(VLD),

- 양자화된 데이터 블록들을 생성하는데 적합한 역양자화 블록(IQ),

- 잔류 오류(residual error) 데이터 블록(e)에 대응하는 역방향으로 변환된 데이터 블록을 생성하기 위한 예컨대 역이산 코사인 변환 블록(Inverse Discrete Cosine Transform; IDCT), 역주파수 변환 블록(IT)을 직렬로 포함한다.

비디오 복호기는 움직임 보상 데이터 블록과 잔류 오류 데이터 블록을 합산하기 위한 가산기를 더 포함한다. 움직임 보상된 데이터 블록은, 부호화된 데이터 블록을 생성하기 위한 임베디드 부호화 유닛(eENC), 부호화된 데이터 블록을 저장하기 위한 영상 기억 장치(MEM), 임베디드 복호화 유닛(eDEC) 및 보간 필터(FIL)를 직렬로 구비하는 수정된 움직임 보상 유닛(MMC)에 의해 생성된다. 가산기의 출력 은, 출력된 복호화 영상(OF)의 복호화 데이터 블록으로, 이후 디스플레이(미도시) 및 임베디드 부호화 유닛(eENC)으로 전송된다.

A. Bourge 및 J. Jung에 의한 Proceedings Of Electronic Imaging, VCIP, January 2004의 A Low-Power H.264 Decoder with Graceful Degradation에서 임베디드 압축 기술은 몇몇 특정 조건하에서 기억 장치 전송을 줄이고 이에 따른 전력 소모를 줄일 수 있다는 것이 증명되었다. 여기서 한가지 조건은, 압축율을 기억 장치 구조에 매핑하는 것이다. 이 조건은 압축된 블록이 기억 장치에서 편리하게 접근할 수 있는 곳에 저장됨을 의미한다. 예를 들어, 부호화된 각 데이터 블록의 시작 주소는, 소정의 길이(예를 들어 16, 32, 또는 64 비트)를 가지는 종래 방식의 워드로 구성된 SDRAM 기억 장치에서 워드 정렬된다. 또한, 일 회 판독 사이클 동안 부호화된 데이터 블록의 크기가 데이터 요구 크기에 맞는 경우라면 그것이 즉, 1, 2, 4, 6 또는 8워드의 버스트가 기억 장치로부터 추출되는 경우 최적화된다.

상술한 조건을 고려한 종래의 방법은 각 블록을 데이터 버스트에 맞추기 위해 고정된 압축율을 설정할 수 있었다. 예를 들어, 기준 프레임은 8비트로 샘플링 되는 8x8 루미넌스 성분 Y와, 4x4 크로미넌스 U 및 V픽셀들의 데이터 블록으로 분할될 수 있다. 따라서, 데이터 블록은 압축되지 않은 768 비트에 해당한다. 만약 압축 요소를 3으로 설정할 경우, 하나의 데이터 블록 하나는 256비트의 비트버짓(bit budget) 할당에 기초하여 부호화되고, 이는 8워드 버스트를 수용하는 32비트의 데이터 버스를 포함하는 기억 장치 플랫폼의 구조와 정확히 정합한다.

그러나 이러한 고정 압축율 방법은, 화질 면에서는 최적이라고 할 수 없다. 실제로, 너무 적은 수의 비트가 복합적인 데이터 블록을 정확하게 부호화하기 위해 사용되어 상당한 정보 손실을 초래할 수 있는 반면에 덜 복합적인 데이터 블록을 256 비트 미만으로 손실 없이 부호화될 수 있어 비트의 낭비를 초래할 수 있다.

본 발명의 목적은, 종래 기술보다 더 나은 화질을 달성하면서 기억 장치의 합리적인 전력 소모를 유지할 수 있는 픽처 저장 방법 및 장치를 제공하는데 있다.

이를 위해, 본 발명에 따른 방법은,

- 변환된 n(n은 정수)개의 요소 집합으로 이루어진 변환된 데이터 블록을 생성하기 위해 입력 데이터 블록의 변환을 계산하는 단계,

- 부호화된 데이터 블록을 생성하기 위해 변환된 데이터 블록의 최초 변환되는 m(여기서 m은 n보다 작은 정수)개의 요소를 엔트로피 코딩하는 단계,

- 입력 데이터 블록과 부호화된 데이터 블록 간의 왜곡값 및 기억 장치상에서 부호화된 데이터 블록을 판독하고 기록하기 위해 필요한 전력 소모의 가중치 합산에 기초하여 비용함수를 계산하는 단계,

- 다양한 m값 산출을 위해 엔트로피 코딩 단계, 및 비용함수 계산 단계를 반복적으로 수행하는 단계 및

- 비용함수를 최소화하는 m값에 대응하는 부호화된 데이터 블록을 기억 장치에 저장하는 단계를 포함하는 것을 특징으로 한다.

전력율 왜곡 기준(즉, 왜곡값과 전력 소모에 의존하는 왜곡 기준)에 기초한 비용 함수의 도입은 전력 소모, 기억 장치 대역폭 및 화질 간의 상충관계를 개선할 수 있다.

바람직하게는, 비용함수는 왜곡값, 전력 소모 및 부호화된 데이터 블록의 비트 수의 가중치 합산에 기초하여 계산된다.

또한, 본 발명은 상술한 저장 방법을 구현하는 저장 장치에 관한 것이다.

본 발명의 실시예에 따르면, 입력 데이터 블록은 처음 단계(first pass)에서 변환되고 엔트로피 부호화되며, 부호화된 데이터 블록은, 비용함수를 최소화되는 m값에 해당하는 비트위치에서 절단된 후 기억 장치에 저장된다.

본 발명의 또 다른 실시예에 따르면, 비용함수의 변동값은, 새로 변환된 요소가 현재 부호화된 데이터 블록에 더해질 때마다 계산되고, 그 현재 부호화된 데이터 블록은 변동값이 양의 값이 되는 순간 기억 장치에 저장된다.

본 발명의 또 다른 실시예에 따르면, 기억 장치는 기설정된 소정의 길이의 가변적인 정수 i워드 버스트에 의해 접근된다. 또한 전력 소모는, 부호화된 데이터 블록의 비트 수, i워드 버스트의 비트당 전력 소모, i의 값, i워드 버스트 수 및 워드의 길이로부터 생겨난다. 이 경우, 비용함수는 이후 특히 기억 장치와 데이터 버스의 구조 및 속성에 의해 적합하게 된다.

또한, 본 발명은 비트스트림을 복호화하기 위한 비디오 복호기에 관한 것으로, 복호기는 오류 데이터 블록들을 제공하기 위한 복호화 유닛, 부호화된 데이터 블록을 저장하기 위한 저장 장치, 기억 장치로부터 적어도 하나 이상의 부호화된 데이터 블록을 추출하고 적어도 하나 이상의 부호화된 데이터 블록을 복호화하여 현재의 움직임 보상 데이터 블록을 제공하는 수단 및 현재 오류 데이터 블록과 현재 움직임 보상 데이터 블록에 더하기 위한 가산기를 포함하며, 가산기의 출력은 저장 장치의 입력으로 제공된다.

또한, 본 발명은 입력 데이터 블록으로 나누어지는 일련의 픽처 시퀀스를 부호화하기 위한 비디오 부호기에 관한 것으로, 부호기는, 부분적으로 부호화된 데이터 블록을 제공하기 위한 부호화 유닛, 부분적으로 부호화된 데이터 블록으로부터 부분적으로 복호화 된 데이터 블록을 제공하기 위한 복호화 유닛, 저장 장치와 적어도 하나 이상의 부호화된 데이터 블록을 기억 장치로부터 추출하고 적어도 하나 이상의 부호화된 데이터 블록을 복호화하여 움직임 보상된 데이터 블록을 제공하기 위한 수단을 직렬로 구비한 예측유닛, 움직임 보상된 데이터 블록을 부분적으로 복호화된 데이터 블록에 합산하기 위한 가산기 및 입력 데이터 블록에서 움직임 보상된 데이터 블록을 빼기 위한 감산기를 포함한다. 여기서 가산기의 출력은 예측장치의 입력으로 제공되며, 감산기의 출력은 부호화 장치의 입력으로 제공된다.

본 발명은 또한 각 저장 장치를 포함하는 휴대장치에 관한 것이다.

마지막으로, 본 발명은 저장 방법을 구현하기 위한 프로그램 명령어들을 포함하는 컴퓨터 프로그램 제품에 관한 것이다.

본 발명의 모든 특징은 후술되는 실시예를 참조하여 명백하고 상세하게 설명될 것이다.

본 발명은 이하 예시로서 도시하는 첨부되는 도면을 참조하여 더욱 상세히 설명한다.

도 1은 복호화 장치의 실시예를 나타낸다.

도 2는 부호화 장치의 실시예를 나타낸다.

본 발명은 비디오 복호기와 부호기에 있어서 임베디드 압축 방식을 위한 전력 소모 제약을 다루는 새로운 방법을 소개한다. 임베디드 압축은 상술한 바와 같이, 예측 비디오 부호화 방식에 있어서 기준 프레임을 압축하는 것으로 이루어진다. 본 발명은 전력율 왜곡 기준에 기초하여 임베디드 압축 방식의 비트 묶음 할당 방법을 제공한다.

본 발명은 시퀀스가 기억 장치상에 저장되어야 하는 모든 비디오 부호화 또는 복호화 장치에 적용될 수 있다. 실제로, 복호화된 프레임은 움직임 보상을 통하여 다음 프레임을 예측하기 위해 나중에 복원이 될 수 있도록 기억 장치에 저장할 필요가 있다. 본 발명은 특히 기준 이미지 기억 장치의 크기를 줄이면서 출력된 복호화 영상의 화질을 충분히 유지하는 것과 관계가 있다. 이를 명백히 하기 위해, 이하에서 종래 비디오 복호기(예를 들어 MPEG-2, MPEG-4, H.264 또는 그와 유사한 시스템)의 경우에 초점을 맞추어 설명한다.

도 1의 비디오 복호기를 재참조 하면, 비디오 복호기는, 부호화된 데이터 블 록으로 나누어지는 부호화된 일련의 픽처 시퀀스로 구성된 비트스트림을 복호화하는데 적합하다. 본 목적을 위해 상기 복호기는,

- 가변장 복호화 블록(VLD), 역양자화 블록(IQ) 및 예를들어, 역 이산 코사인 변환 IDCT 수행에 적합한 역변환 블록(IT)을 직렬 연결하는 것으로 구성된 비트스트림의 오류 데이터 블록(e)과 복호화된 움직임 벡터(MV)를 제공하는데 적합한 복호화유닛,

- 움직임 보상된 데이터 블록을 전송하기 위한 움직임 벡터와 부호화된 데이터 블록에 기초하여 움직임 보상을 수행하기 위한 움직임 보상 유닛(MMC) 및

- 현재 복호화된 오류 데이터 블록을 현재 복호화된 데이터 블록을 전송하기 위한 현재 움직임 보상된 데이터 블록에 합산하기 위한 가산기를 포함한다.

이제 복호화된 데이터 블록의 그룹에 대응하는 복호화된 영상 출력(OF)은 영상 출력 장치로 전송된다(미도시). 복호화 유닛은, 디블로킹 H.264 표준에 제시된 하나를 예로 하는 필터(DF)를 선택적으로 포함한다.

본 발명에 따른 영상 복호기의 재구성 유닛은 임베디드 부호화 유닛(eENC)과, 기억 장치(MEM), 임베디드 복호화 유닛(eDEC) 및 보간 필터(FIL)를 직렬로 연결하는 것으로 구성된다.

본 발명의 실시예에 따르면, 임베디드 부호화 유닛(eENC)은, 8x8 픽셀의 루미넌스 블록의 경우에 있어서 8비트로 샘플링 되는 64개의 변환된 계수(예를 들어, DCT 계수들)의 집합으로 구성된 변환된 데이터 블록을 생성하기 위해 입력 데이터 블록을 주파수 변환하는 변환 블럭을 포함한다(예를 들어, 이산 코사인 변환 DCT 사용).

또한, 임베디드 부호화 유닛(eENC)은, 변환된 데이터 블록의 최초 변환된 m개의 요소를 엔트로피 코딩하여 부호화된 데이터 블록을 생성하기 위한 엔트로피 코딩 블록을 더 포함한다. 여기서 m은 1부터 n사이에서 변환하는 정수이고, n은 변환된 데이터 블록에서 관련된 요소들의 총 수에 해당한다. 본 실시예에서, 엔트로피 코딩 블록은 비트 평면 코딩(bit plane coding)을 기초로 한다. 이 코딩 방식은, 최상위 비트(Most Significant Bits; MSB)로 시작하며 비트 평면으로 DCT 계수를 부호화한다. 이러한 코딩 방식은 R.J. vander Vleuten에 의한 Proceedings of the Data Compression Conference,pp.477,April 2002의, Low-complexity lossless and fine-granularity scalable near-lossless compression of color images에서 예시적으로 설명된 이 코딩 방식에 따르면, DC 계수들은 손실없이 부호화된다. 그리고, AC계수를 위한 압축은 구역 부호화(zonal coding)를 통해 이루어진다. 즉, 각 비트 평면에 대해 이전의 중요하지 않은(insignificant) 계수들의 주요 맵은, 비트가 1에 해당하는 최대열(Rmax)과 최대행(Cmax)으로 표현된다. 여기서 이 구역을 넘는 데이터는 전송될 필요가 없다. 에너지가 통상 저주파수 계수 상태에 있기 때문에, 이 방식은 효율적인 비트율 감소를 내포한다. 이로 인해 매우 세밀한 범위성(scalability)을 제공한다는 장점이 있다. 상술한 임베디드 부호화 방식에서 각 변환된 요소는 DCT 계수 비트이고, n은 많아야 512 비트에 해당한다.

비디오 부호기는, 입력 데이터 블록과 이에 대응하는 부호화된 후 복호화된 데이터 블록 간의 왜곡 값, 부호화된 데이터 블록의 비트수 및/또는 기억 장치상에서 부호화된 데이터 블록을 판독하고 기록하는데 필요한 전력소모의 가중치의 합에 기초하여 비용 함수를 계산하는 계산 수단(미도시) -예를들면, 중앙연산처리장치- 을 포함한다.

비용함수 c(i+1)는 다음과 같이 계산한다.

c(i+1) = λ1*size_in_bits + λ2*distortion + λ3*power_consumption

c(i+1) = c(i) +δc

여기에서,

비트크기(size_in_bits)는, 다음 변환되는 요소 a(i+1)가 현재 부호화된 데이터 블록에 합산되는 다음 부호화된 데이터 블록의 비트수이다.

왜곡값(distortion)은, 입력 데이터 블록과 이에 대응하는 부호화된 데이터 블록의 복호화된 버전 간의 차이(예를 들어, 평균제곱오차(MSE) 절대차의 합산(SAD) 또는 그와 유사한 것)의 계산값이다. 또한, 상기 왜곡값은 부호화된 블록의 복호화 없이도 계산될 수 있다. 예를 들어 종래 부호화 체인 DCT-Q-VLC의 경우 상기 왜곡값은 양자화 전후의 DCT계수 간의 차이, 예를들면 MSE, 로부터 유도되는데, 이는 입력된 데이터 블록과 부호화된 데이터 블록의 복호화된 버전 간의 차이(MSE)에 해당한다.

전력 소모(power_consumption)는, 후속의 움직임 보상 단계 도중 기억 장치의 부호화된 데이터 블록을 판독하고 기록하는데 소모되는 전력의 추정값 또는 계산값이다.

c(i+1)는, 다음 데이터 블록의 변환된 (i+1) 개의 요소 집합이 부호화되었을 때의 비용함수의 값을 나타내고, c(i)는 현재 데이터 블록의 변환된 i개 요소 집합이 부호화되었을 때의 비용함수의 값을 나타내며, δc는 앞선 두 값 간의 비용차이를 나타낸다.

λ1, λ2 및 λ3은, 각 매개변수의 상대적 중요도를 반영한 가중치 인자다.

본 발명의 일실시예에 따르면, 다음 변환되는 요소 a(i+1)는, δc가 오직 음의 값을 가질때 한해 비트 스트림에 실제로 더해진다. 이것은 비트 크기(size_in_bits), 왜곡값(distortion) 및 전력 소모(power_consumption)를 통한 현재 데이터 블록과, λ1, λ2 및 λ3을 통한 부호화 처리방식에 의존한다. 예를 들어, SDRAM의 최종 사이즈와 같이 미리 정해진 소정의 크기를 초과하여서는 안되는 때와 같이 압축된 프레임의 최종 크기에 엄격한 조건이 요구되면 강력한 값의 λ1가 필요하다. 큰 값의 λ2는 화질이 주요 결정 기준이 됨을 의미한다. 마지막으로, λ3의 값이 높은 경우 그것은 전력 소모의 배가 여부가 정보의 소실보다 더 중요하다는 의미를 나타낸다. 이러한 접근 방법을 이용하는 경우 다음과 같은 몇가지 장점이 있다.

첫번째 장점은 화질에 관한 것이다. 비디오 복호기에 있어서 임베디드 압축을 사용함으로써, 일련의 픽처 표준 복호화(소위, 드래프트 효과)와는 분리되어 화질의 저하가 픽처의 그룹을 통해 축적됨을 의미한다. 종래 기술에 기술한 바와 같이, 고정압축율 해결 면에서 비교하자면, 본 발명이 제공하는 방법은 종래의 전송률-왜곡값 접근법(bit-distortion approach)기술에서 설명된 것보다 더 유연한 비 율 할당을 허용하고, 더 많은 복합적인 블록에 대해 더 많은 비트를 제공한다.

상기 접근법을 이용한 또 다른 장점은, 전력 소모와 기억 장치 구조에 관한 것이다. 종래의 전송율-왜곡값 기준과 비교하면 제안된 비용함수를 사용하여 더 많은 비트를 저장함으로써 야기되는 전력의 소비를 고려한다. 실제로, 이러한 전력 소비는, 본 발명의 장치에서 구현되는 기억 장치의 공지의 속성, 예를 들면 구조(즉, 워드 크기), 데이터 버스의 폭, 사용가능한 버스트 모드 및 각 버스트 모드에의 접속시(판독 또는 기록)의 에너지 소모 때문에 계산(또는 측정)된다. 따라서, 비트율 할당 과정은 큰 에너지 손실을 암시하려는 작은 전송율-왜곡값 획득을 선호하지 않는다.

또한 상기 접근법의 또 다른 장점은, 전력 범위성(power scalability)에 관한 것이다. 필요한 경우, 가중치 인자 λ3는 장치 배터리의 레벨에 따라 자동적으로 조정된다. 만충전시(full charge), λ3의 값은 작고, 비용함수는 종래의 전송율-왜곡값 기준에 매우 근접하게되어 화질을 최적화한다. 반면에, 거의 방전시(near-empty charge)에는, 전력 소모 절약이 주요 쟁점이 되므로, 따라서 λ3의 값은 최대값으로 설정된다.

비디오 복호기는, 비용함수가 최소화되는 m값에 대응하는 부호화된 데이터 블록을 기억 장치에 기록할 수 있는 기억 장치 컨트롤러(미도시)를 포함한다. 전술한 실시예에 따르면, 비용함수의 변동값은 새 요소가 비트스트림에 더해질 때마다 계산된다. 상기 수행과정은 비용함수의 변동값이 양의 값이 되는 순간 멈추게 된다. 이러한 방법은 계산 비용이 적게 들지만, 이 과정은 비용함수의 최소화가 국부적으로 이루어질 수 있다. 본 발명의 또 다른 실시예에 따르면, 입력된 데이터 블록이 최초 단계에서 완전히 부호화되고, 비트스트림은 기억 장치상의 임시 위치에 국부적으로 저장된다. 여기서 각각의 m값에 대한 비용함수가 계산된 비트스트림은, 비용함수가 최소인 첫번째 m값에 대응하는 위치에서 절단되며 기억 장치에 기록된다. 본 방법은 철저하기 때문에 전체 최소비용을 포함하는 절단점(truncation point)을 발견할 수 있는 반면에, 그러한 방법은 모든 정보가 마지막 비트까지 부호화 되고, 모든 비용함수 값이 계산되어 저장되어야 하기 때문에 높은 비용이 든다.

현재 복호화된 움직임 벡터(MV)에 기초하여, 기억 장치 컨트롤러는, 기억 장치로부터 적어도 하나 이상의 부호화된 데이터 블록을 읽게 한다. 이후, 상기 적어도 하나 이상의 부호화된 데이터 블록을 복호화하기 위해 임베디드 복호화 유닛(eENC)이 이용된다. 임베디드 부호화 유닛에 따라, 임베디드 복호화 유닛은 엔트로피 복호화 블록 및 역변환 블록(IT)을 직렬 연결로 포함한다. 상기 적어도 하나 이상의 복호화된 데이터 블록은, 본 발명이 속하는 기술 분야의 당업자에게 공지된 바에 따라, 현재 움직임 보상 데이터 블록(mc)을 전송하기 위하여 보간 필터(FIL)에 의해 최종적으로 수행된다.

본 발명의 또 다른 실시예에 따르면, 임베디드 부호화 유닛(eENC)은, 예를 들어, DCT를 사용하는 변환블록, 양자화 블록과 엔트로피 코딩 블록(예를 들어, 가변길이 복호화 블록(VLC))을 직렬 연결하는 종래의 부호화 체인을 구비한다. 이 경우에, 부호화된 데이터 블록은 첫번째 변환된 요소 m DCT계수를 포함하고, 비용 함수를 최소화하는 m값에 대응하는 부호화된 데이터 블록은 기억 장치에 저장된다. 이후 대응하는 임베디드 복호화 유닛은, 가변 길이 복호화 블록(VLD), 역양자화 블록과 및 IDCT 블록을 직렬로 연결하는 종래의 복호화 체인을 포함한다.

전술한 바에서, 다른 압축 기술의 적용이 가능하다는 것은 본 발명이 속하는 기술분야의 당업자에게 명백할 것이다. 예를 들어, 임베디드 부호화 유닛은, VLC 형태의 엔트로피 코딩 블록을 직렬로 연결하는 DPCM(Differential Pulse Code Modulation)에 기초한 변환 블록을 포함할 수도 있다.

이하에서는 비용 함수를 계산하는 단계를 더 상세하게 설명한다. 매개변수 비트크기(size_in_bits)는 구성시 각 단계에서 알려진다. 왜곡값(distorrion)은 절단된 DCT계수를 구성할 때와 본래 값과의 차이를 산출할 때 계산된다(예를들어, 평균제곱오차(MSE) 또는 절대차의 합산(SAD)에 기초한 알고리즘을 사용).

전력 소모(power_consumption)는 다음과 같이 계산된다. 최신 SDRAM 에서 데이터는 i워드 버스트(예를 들어 i = 1, 2, 4, 6 또는 8)에 의해 접근 가능하다. 하나의 워드는 N(N은 일반적으로는 32이고, 16과 64도 보통으로 쓰임) 비트를 포함하는데, N은 또한 데이터 버스의 폭이기도 하다. 부호화된 블록은 8워드 버스트(n₈), 6워드 버스트(n₆) 등을 사용하여 기록되고, 인출(fetch)된다. 각 버스트 모드는 각기 상이한 에너지 소모에 대응한다. 표 1은 1워드와 8워드 버스트를 가지는 32비트 데이터 버스 폭을 포함한 SDRAM의 경우에 있어 접근당 소모량의 예시를 나타낸다. 표에 나타난 숫자는 특정모델을 사용한 산출값이다.

한가지 두드러진 점은 8워드 버스트의 소모량은 1워드 버스트의 단순 8회 접근의 소모량에 비해 훨씬 적음을 알 수 있다. 그러나, 전송 비트당 전력 소모는 각 모드마다 상이하다. 따라서, 주어진 비트 수(size_in-bits)에서, 에너지의 최소 소모를 포함하는 모든 비트의 전송을 허용하는 버스트의 조합을 이하의 방정식에 따라 선택해야 한다.

이고 P는 최소화됨.

여기서 αi는 기억 장치의 속성에 따라 주어지는 버스트 모드 i에서 비트당(또는 워드당) 전력 비용이다.

본 발명의 일실시예에 따르면, {n₈ ,n₆ ,, n₁}의 최적의 구성은 하향식(top/bottom) 방식을 이용한 이하의 반복법에 기초하여 결정된다. 여기서 ai가 실제로 항상 i와 함께 감소한다고 가정한다. 그러면, 각 반복 단계에서 다음의 두 벡터 후보를 고려할 수 있다.

n⁽⁰⁾= {n₈ ⁽⁰⁾ ,n₆ ⁽⁰⁾ ,, n₁ ⁽⁰⁾}와 n⁽¹⁾= {n₈ ⁽¹⁾ ,n₆ ⁽¹⁾ ,, n₁ ⁽¹⁾}

먼저 처음의 두 후보를 아래와 같이 한다.

n⁽⁰⁾= {size_in_bits/(8*word_length),0, , 0}

n⁽¹⁾= {1+ size_in_bits /(8*word_length),0, , 0}

만일, n⁽⁰⁾가 비트크기에 정확하게 들어맞는경우, 그것이 최적의 후보이고 이후의 단계는 멈춘다. 들어맞지 않을 경우, 즉 n⁽⁰⁾가 너무 작아서 방정식 (1)의 초기 조건을 충족할 수 없다면 n⁽¹⁾이 충분히 큰데 비해 대응하는 전력 소모 P⁽¹⁾가 계산된다. n⁽¹⁾과 P⁽¹⁾은 최적의 후보 n_best와 P_best로 저장된다.

반복 단계(s)에서, n⁽⁰⁾과 n⁽¹⁾는, (s-1)반복 단계에서 이전 n⁽⁰⁾로부터 형성된다. 이때 (s-1)값 n₈ ⁽⁰⁾ , n₆ ⁽⁰⁾ ,,n₁ ⁽⁰⁾은 동결되고, 명확하게 선별된다. 두 벡터 후보는 이제 이하의 구조를 가진다.

n⁽⁰⁾= {n₈ ⁽⁰⁾ ,n₆ ⁽⁰⁾ ,, n_i ⁽⁰⁾ , n_i _-1 ⁽⁰⁾, 0, , 0} 및

n⁽¹⁾= {n₈ ⁽¹⁾ ,n₆ ⁽¹⁾ ,, n_i ⁽¹⁾ , n_i _-1 ⁽¹⁾, 0, , 0}

여기서, n_i _-1 ⁽⁰⁾ = δn/((i-1)*N), n_i _-1 ⁽¹⁾ = n_i _-1 ⁽⁰⁾ +1이고, δn은 (s-1)반복 단계에서 이전 벡터 n⁽⁰⁾로 인해 생략되었던 비트수이다. 만일 n⁽⁰⁾가 비트크기에 정확하게 들어맞는다면, 그것은 최적의 후보이고 이후의 단계는 멈춘다. 들어맞지 않는 경우, 즉 n⁽⁰⁾이 너무 작아서 방정식(1)의 초기 조건을 충족할 수 없다면, 첫번째 반복시 n⁽¹⁾이 충분히 큰데 비해 대응하는 전력 소모 P⁽¹⁾가 계산된다. 이때 만일, P⁽¹⁾이 현재 P_best 보다 더 작다면, n⁽¹⁾과 P⁽¹⁾이 n_best와 P_best로 저장된다. 이러한 과정은, 마지막 버스트 모드에 도달하거나 n⁽⁰⁾가 정확하게 비트크기에 들어맞을때까지 계속된다.

최적은 아닐지라도 더 간단한 해결책으로는 미리 구축된 규칙을 통해 버스트 구성을 직접 형성하여 생성하고, 예를 들어 이하의 규칙 :

n={n₈ ,n₆ ,,n₁}, n₈ = size_in_bits /(8*N),

n_i = δn_i /((i*N)고,

δn_i는 비트의 나머지 수

에 따라 부호화된 데이터 블록을 분석하고, 연관된 전력 소(power_consumption)를 계산하는 방법이 있다. 상기의 값은 비용함수에 도입된다. 이와 같은 해결책은 복잡할 때 매우 적은 비용이 드는 장점이 있지만, 선택한 구성이 제시된 부호화된 데이터 블록의 전송(판독/기록)에 대한 전력 소모의 최소화를 보장하지는 않는다.

상술한 두 해결책 간의 상충관계는 모든 비트크기(size_in_bits) 값에 대한 최적의 구성을 먼저 형성하고, 그것을 표에 저장하는 것으로서 이루어질 수 있다 (예를들어, ROM에 저장). 어쨌든 처음 설명한 방법은 사용가능한 버스트 모드의 수가 제한된다면 그렇게 복잡하지는 않다.

전술한 바에 따르면, 어떤 경우든지 양자화 단계는 이미 선택되어진 것으로 가정되고, 이에 따른 비트스트림은 예를 들어 VLC-부호화된-런-레벨(VCL-escoded Run-Level) 결합 이후에 적절한 지점에서 절단함으로써 형성되었다.

본 발명의 다른 실시예에 따르면 이전 설명에 부가하는 비용함수는 양자화 단계(QP)에서 사전 선택되어 사용될 수 있다. 비트크기(size_in_bits)는 QP 사용과 현재 데이터 블록의 활동성(MSE 또는 SAD의 평균값에 기초함)에 의해 산정된다. 왜곡값(distortion)은 동일한 두 매개변수로부터 산출된다. 결국, 전력 소모(power_consumption)는 앞서 설명한 산정된 비트크기(size_in_bits)값을 이용하여 산출되고, 추정비용을 최소화하는 QP값이 선택된다.

도 2는 비디오 부호화 장치의 예시를 나타내고 있다. 부호화 장치는,

- 예를 들어 직접 이산 코사인 변환 DCT와 같은 직접 주파수 변환 블록, 입력 비디오 데이터 IN을 부분적으로 부호화된 데이터 블록으로 변환시키는데 적합한 양자화 블록(Q) 및 부분적으로 부호화된 데이터 블록으로부터 비트스트림 (BS)을 생성하는데 적합한 가변장 코딩 블록(VLC)을 직렬 연결하는 것으로 구성하는 부호화 유니트,

- 역양자화 블록(IQ) 및 예를 들어 부분적으로 부호화된 데이터 블록으로부터 부분적으로 복호화된 데이터 블록을 제공하기 위한 역 이산 코사인 변환 블록(IDCT)과 같은 역 주파수 변환 블록(IT)을 직렬 연결하는 것으로 구성하는 복호화 유니트,

- 임베디드 부호화 유닛(eENC), 기억 장치(MEM), 임베디드 복호화 유닛(eDEC) 및 움직임 보상된 데이터 블록 생성을 위한 움직임 보상 유닛(MC)을 직렬 연결하는 것으로 구비하되, 본 발명에 따른 방법에 따라 부호화된 데이터 블록은 기억 장치상에 저장되는 임베디드 부호화 유닛에 의하여 생성되는 예측유닛,

- 움직임 보상된 데이터 블록을 부분적으로 부호화된 데이터 블록에 합산하여 그 출력을 예측 유닛의 입력으로 제공하는 가산기 및

- 입력 데이터 블록에서 움직임 보상된 데이터 블록을 빼서 그 뺀 출력을, 부호화 유닛의 입력으로 제공하는 감산기를 포함한다.

본 발명은 상술된 바와 같은 여러 실시예들과 관련하여 설명되었지만, 본 발명이 속하는 기술분야의 당업자가 이해할 수 있는 본 발명의 정신 및 범위를 벗어나지 않고 다른 변형예 및 변경예가 구현될 수 있다는 점이 이해되어야 할 것이다. 또한, 첨부된 특허청구범위에서 괄호 사이에 쓰인 어떠한 참조 부호라도 특허청구범위를 제한하는 것으로 해석되지는 않는다. 포함이라는 용어는 특허청구범위에 기재된 요소 또는 단계 이외의 존재를 제외하는 것은 아니다. 단수로(또는 하나의) 표기된 용어는 다수를 제외하는 것은 아니다. 본 발명은 또한 몇가지 분명한 요소로 구성된 하드웨어 수단에 의해, 또는 적절하게 프로그램밍된 컴퓨터 수단에 의해 수행되어질 수 있다. 장치 청구항에서 열거된 몇가지 수단들, 또는 이 수단들 중 몇가지 수단은 하드웨어의 하나의 항목 또는 동일한 데이터 항목에 의해 구현될 수 있다. 단지, 상이한 독립 청구항 상호간에 인용된 수단들은, 이러한 수단들의 조합이 유리하게 적용될 수 없다는 사실을 가리키지는 않는다.

Claims

기억 장치에 데이터 블록으로 나쥐는 픽처를 저장하는 방법으로서,

변환된 n(n은 정수)개의 요소 집합으로 이루어진 변환된 데이터 블록을 생성하기 위해 입력 데이터 블록의 변환을 계산하는 단계,

부호화된 데이터 블록을 생성하기 위해 상기 변환된 데이터 블록의 최초 변환되는 m(여기서 m은 n보다 작은 정수)개의 요소를 엔트로피 코딩하는 단계,

상기 입력 데이터 블록과 상기 부호화된 데이터 블록 간의 왜곡값 및 상기 기억 장치상에서 상기 부호화된 데이터 블록을 판독하고 기록하기 위해 필요한 전력 소모의 가중치 합산에 기초하여 비용함수를 계산하는 단계,

다양한 m값 산출을 위해 상기 엔트로피 코딩 단계, 및 상기 비용함수 계산 단계를 반복적으로 수행하는 단계 및

상기 비용함수를 최소화하는 m값에 대응하는 상기 부호화된 데이터 블록을 기억 장치에 저장하는 단계

를 포함하는 픽처저장방법.
제1항에 있어서,

상기 비용함수는 상기 왜곡값, 상기 전력 소모, 및 상기 부호화된 데이터 블록의 비트수의 가중치 합산을 기초로 계산하는 픽처저장방법.
제 1항에 있어서,

상기 입력 데이터 블록은, 처음 단계에서 변환되고 엔트로피 부호화 되는 단계를 포함하며, 여기서 부호화된 데이터 블록 출력은, 비용함수를 최소화하는 m값에 대응하는 비트 위치에서 절단한 후 이를 상기 기억 장치에 저장하는 단계를 포함하는 픽처저장방법.
제1항에 있어서,

상기 비용함수의 변동값은, 새로 변환되는 요소가 현재 부호화된 데이터 블록에 더해질 때마다 계산되고, 상기 현재 부호화된 데이터 블록은 상기 변이가 양의 값이 되는 순간 기억 장치에 저장되는 단계를 포함하는 것을 특징으로 하는 픽처저장방법.
제1항에 있어서,

상기 기억 장치는, 미리 정해진 소정의 길이의 i개(i는 가변적인 정수) 워드 버스트에 의해 접근되고, 상기 전력 소모는 부호화된 데이터 블록의 비트수, i개 워드 버스트에서 비트당 전력 소모량, i의 값, i개 워드의 버스트 수 및 워드의 길이로부터 유도되는 단계를 포함하는 픽처저장방법.
데이터 블록으로 나뉘는 픽처를 메모리에 저장하는 저장장치로서,

변환된 n(n은 정수)개 요소 집합으로 형성된 변환된 데이터 블록을 생성하기 위해 입력 데이터 블록을 변환시키고, 부호화된 데이터 블록 생성을 위한 상기 변환된 데이터 블록의 최초 변환되는 m(m은 n보다 작은 정수)개의 요소를 엔트로피 코딩하는 임베디드 부호화 유닛(eENC),

상기 입력 데이터 블록 및 상기 부호화된 데이터 블록 간의 왜곡값 및 상기 기억 장치상에서 부호화된 데이터 블록을 판독하고 기록하기 위해 필요한 전력 소모의 가중치 합산에 기초하여 비용함수를 계산하되, 상기 부호화된 데이터 블록 및 상기 비용함수는 m값의 다양화를 위해 계산되는 계산수단, 및

상기 비용함수를 최소화하는 m값에 대응하는 부호화된 데이터 블록을 저장하기 위한 기억 유닛(MEM)

을 포함하는 픽처저장장치.
비트스트림을 복호화하는 비디오복호기로서,

상기 비트스트림으로부터의 오류 데이터 블록을 제공하기 위한 복호화유닛(VLD, IQ, IT),

상기 부호화된 데이터 블록을 저장하기 위해 제 6항에 청구된 저장유닛(eENC-MEM),

움직임 보상된 데이터 블록(mc)을 전송하기 위해 적어도 하나 이상의 상기 부호화된 데이터 블록을 기억 장치로부터 추출하고, 복호화하기 위한 수단(eDEC-INT) 및

현재 오류 데이터 블록(e) 및 현재 움직임 보상된 데이터 블록을 합산하여 그 출력을 저장장치의 입력 데이터로 제공하기 위한 가산기

를 포함하는 비디오복호기.
데이터 블록으로 나뉘는 픽처의 시퀀스를 부호화하는 비디오 부호기로서,

부분적으로 부호화된 데이터 블록을 제공하기 위한 부호화유닛(T-Q),

상기 부분적으로 부호화된 데이터 블록으로부터 부분적으로 복호화된 데이터 블록을 제공하기 위한 복호화유닛(IQ-IT),

제 6항에서 청구된 저장장치 및 적어도 하나 이상의 부호화된 데이터 블록을 기억 장치로부터 추출하고 적어도 하나 이상의 부호화된 데이터 블록을 복호화하여 움직임 보상된 데이터 블록(mc)을 제공하기 위한 수단(eDEC-INT)을 직렬로 연결하는 예측유닛(MEM-MC),

상기 움직임 보상된 데이터 블록을 상기 부분적으로 복호화된 데이터 블록에 합산하여 그 출력을 예측장치의 입력으로 제공하기 위한 가산기 및

상기 입력 데이터 블록에서 상기 움직임 보상된 데이터 블록을 빼서 그 출력을 부호화장치의 입력으로 제공하기 위한 감산기

를 포함하는 비디오부호기.
제 6항에서 청구된 저장장치를 포함하는 휴대장치.
제 1항에서 청구된 방법을 수행하기 위한 프로그램 명령어를 포함하되 상기 프로그램은 프로세서에 의해 실행되는 컴퓨터 프로그램 제품.