KR20040026767A - 역이산여현변환 방법과 이를 이용한 영상복원방법 - Google Patents

Abstract

본 발명은 역이산여현변환 방법과 이를 이용한 영상복원방법에 관한 것으로, 더 상세하게는 영상압축장치나 복원장치의 IDCT 입력으로 들어오는 계수의 특징을 이용하여 실제 계산이 필요한 경우에만 연산을 함으로써 화질의 열화가 전혀 없이 IDCT의 계산량을 줄일 수 있는 방법에 관한 것이다.

본 발명에 따른 역이산여현변환 방법은 휘도와 색차로 표현되는 영상신호에서 공간상의 주파수 영역으로 변환된 영상신호를 역변환시키는 역이산여현변환 방법에 있어서, 8bit로 이루어지고, 한 행(열)의 모든 값이 0이면 그 행(열)에 해당하는 bit는 1로, 한 값이라도 0이 아닌 값을 가지면 그 행(열)에 해당하는 bit는 0으로 하여, 0인 행(열)은 연산에서 제외하고 다음 0이 아닌 행(열)을 연산하여 전체 IDCT 영역중에서 계산이 필요한 부분만을 연산하는 것을 특징으로 한다.

Description

역이산여현변환 방법과 이를 이용한 영상복원방법{Inverse discrete cosine transform method and image restoration method}

본 발명은 역이산여현변환 방법과 이를 이용한 영상복원방법에 관한 것으로, 더 상세하게는 영상압축장치나 복원장치의 IDCT 입력으로 들어오는 계수의 특징을 이용하여 실제 계산이 필요한 경우에만 연산을 함으로써 화질의 열화가 전혀 없이 IDCT의 계산량을 줄일 수 있는 방법에 관한 것이다.

이산여현변환(Discrete cosine transform ; DCT)과 역이산여현변환(Inverse Discrete Cosine Transform ; IDCT)이란 휘도와 색차로 표현되는 영상 신호를 공간상의 주파수 영역으로 변환하고 이를 역변환시키는 방법으로 MPEG, H.263 등의 국제 표준 규격에서 영상 압축, 복원을 위해 채택하고 있는 방법이다.

DCT 연산은 블록(block)이라고 불리 우는 64개의 픽셀(pixel)을 하나의 단위로 해서 이루어진다.

즉 하나의 화면을 여러 개의 블록으로 쪼개고 각각의 블록에 대해 DCT 연산을 반복 수행하여 DCT 계수를 얻게 된다.

복호화기(Decoder)의 IDCT에서는 부호화기(Encorder)로부터 받은 DCT 계수를 원래의 픽셀값으로 복원한다.

영상복원시스템은 도 1에서와 같이 일반적으로 가변장복호화(1, VariableLength Decoding : VLD), 역스캔(2, Inverse Scan), 역DC/AC예측(3, Inverse DC/AC Predicition), 역양자화(4, Inverse Quantization : IQ), IDCT(5), 움직임보상(6, Motion Compensation : MC)의 기능 블록으로 구성된다.

상기 역양자화(4) 기능 블록은 역양자화 계산(4a, Inverse Quantization Arithmetic), 새츄레이션(4b, Saturation), 미스매치 컨트롤(4c, Missmatch control) 기능 블록으로 구성된다.

이중에서 가장 연산량이 많은 부분은 IDCT(5)이다.

그런데, 영상압축 및 복원장치의 성능은 초당 처리(부호화, 복호화)할 수 있는 화면의 수와 관계되며, 초당 처리할 수 있는 화면의 수가 많을수록 더 부드럽고 자연스러운 화질을 얻을 수 있다.

따라서 영상복원시스템의 성능 향상을 위해서는 처리 시간 중 많은 부분을 차지하는 IDCT(5) 연산 시간의 단축이 필수적이며 소비 전력을 줄이기 위해서는 IDCT단의 소모 전력을 줄이는 것이 효과적이다.

입력 픽셀 블록값에 대하여 8*8 역방향 2차원 DCT(2D IDCT)는 수학식 1로 정의된다.

상기 수학식 1을 직접 구현하기 위해서는 8⁴즉, 4096번의 곱셈이 필요하므로실제 구현에 있어서는 도 2와 같이 행-열 분해법(Row-Column Decomposition)을 이용한 2개의 일차원(1D) IDCT(5a,5c)를 사용한다.

즉, 먼저 행(열) 방향으로 8point IDCT를 각 행(열)에 대해 각각 수행하면 첫번째 1차원 IDCT(5a)가 끝나고, 치환 메모리부(5b)에서 행열이 교차(transpose)된 후, 두번째 1차원 IDCT(5c)를 수행함으로써 2차원 IDCT를 끝내게 된다.

실제로는 교차(transpose)를 수행하지 않고, 첫번째 1차원 IDCT(5a) 연산이 행(열)방향으로 수행하였다면 두번째 1차원 IDCT(5c) 연산에서는 열(행)방향으로 연산을 수행함으로써 교차(transpose) 효과를 낸다.

따라서 가장 기본적인 연산식은 일차원 8point IDCT를 계산하는 것으로, 수학식 2와 같다.

종래 첫번째 일차원 IDCT(5a)를 수행하기 위해서는 도 3의 첫번째 행에 해당하는 8개의 계수가 도 1의 역양자화(4)에 입력(Load)되어 수학식 2에 해당하는 로직부를 통해 계산된 후 도 2의 치환 메모리부(5b)에 저장(Store)된다.

이의 타이밍을 나타낸 것이 도 4의 1행이라고 표시된 곳의 Load, IDCT, Store이다.

이와 같은 과정이 8번 반복되면 첫번째 일차원 IDCT(5a)가 끝나게 되며 이어서 두번째 일차원 IDCT(5c)가 시작된다.

두번째 일차원 IDCT(5c)는 도 3의 첫번째 열에 해당하는 8개의 계수가 도 2의 치환 메모리부(5b)에서 입력(Load)되어 수학식 2에 해당하는 로직부를 통해 계산된 후 도 1의 움직임보상(6)에 저장(Store)된다.

이의 타이밍을 나타낸 것이 도 4의 1열이라고 표시된 곳의 Load, IDCT, Store이다.

이와 같은 과정이 8번 반복되면 두번째 일차원 IDCT(5c)가 끝나게 된다.

입력(Load), IDCT, 저장(Store)의 각 스테이지(stage)가 8cycles이 소요된다고 할 때 64픽셀의 한 블록을 처리하기 위해 두개의 일차원 IDCT(5a,5c) 즉, 이차원 IDCT를 하는 데에는 도 4에서 보듯이 160 cycles이 필요하다.

QCIF(픽셀규격 : 176*144) 영상 한 프레임(frame)의 경우 이런 블록이 594개 존재하고, 1초에 이런 영상이 15 프레임 처리된다고 할 때, IDCT(5) 블록이 1초 분량의 영상을 처리하는데 1425600 cycles이 필요하다.

즉 IDCT(5)의 성능이 영상압축 복원장치의 성능 결정에 중요한 요인이 된다.

DCT 변환을 이용한 영상압축장치에서는 DCT 변환에 의해 사람의 눈에 민감한 DC 성분 및 주파수가 낮은 부분만을 보내고 높은 주파수 성분을 보내지 않음으로써 높은 압축율을 실현하고 있다.

따라서 IDCT(5)를 수행해야 하는 블록의 계수는 고주파로 갈수록 0일 확률이 높다.

이렇게 0인 경우는 IDCT 연산을 할 필요가 없기 때문에 생략 가능하고, 이런성질을 이용하여 계산량을 줄이는 방식이 이미 제안되어 있다.

도 5는 종래 기술인 리저널(Regional) IDCT 장치이다.

0이 아닌 계수가 들어있는 범위를 역스캔(2)에서 먼저 결정하여 리전(REGION) 레지스터를 셋팅하고 이 정보는 역DC/AC예측(3)과 역양자화(4)에 구비된 미스매치 컨트롤(4c)에서 수정할 수 있다.

H.263의 경우에는 역DC/AC예측(3)과 미스매치 컨트롤(4c)이 없으므로 리전(REGION) 레지스터의 값을 역스캔(2)에서만 할당할 수 있다.

이렇게 하여 리저널 IDCT 제어부(7)에서 리전(REGION)이라는 레지스터 값을 참조하여 첫번째 일차원 IDCT(5a) 연산을 수행할 때 연산량을 줄일 수 있다.

여기서 REGION의 값은 마지막으로 0이 아닌 값이 들어있는 행 번호가 된다.

예를 들어 첫번째 행과 네번째 행만 0이 아닌 계수가 있을 경우 REGION값은 4가 되고, 이때 첫번째 일차원 IDCT(5a)의 연산 범위를 나타낸 것이 도 6의 왼쪽 그림이다.

여기서 원안이 색칠되어 있는 데이터 영역인 첫번째 행과 네번째 행까지만 연산이 수행된다.

한 행만 이라도 첫번째 일차원 IDCT(5a) 연산이 수행되면 두번째 일차원 IDCT 연산(5c)은 모든 데이터 영역에 대해 수행되어야 하고, 이를 나타낸 것이 도 6의 오른쪽 그림이며. 이의 파이프라인은 도 7에 나타나 있다.

이때 이차원 IDCT 연산을 하기 위해서는 128 cycles이 필요하고 종래의 파이프라인인 도 3과 비교하면 20%의 연산량이 감소 했음을 알 수 있다.

이와 같이 종래기술은 0이 아닌 마지막 행(열)을 정하고 여기까지만 연산을 수행함으로써 계산량을 줄이는 효과가 있지만 최적으로 계산량을 줄인 것은 아니다.

앞의 예에서도 설명한 바와 같이 첫번째 행과 네번째 행이 0이 아닌 행이라면, REGION은 4가 되고 네번째 행까지만 연산이 수행된다.

그러나, 두번째, 세번째 행은 모두 0인데도 불구하고, 불필요한 연산을 수행하여 - 필요치 않은 연산을 수행하여 - 소비 전력과 시간면에서 낭비를 하고 있다.

특히, MPEG모드에서는 역양자화할 때 미스매치 컨트롤을 하게 되는데, 이것은 맨 마지막 항을 변화시켜 준다.

즉 비록 첫번째 행만이 0이 아닐지라도 만약 미스매치 컨트롤이 발생하면, 도 8에서와 같이 맨 마지막 항이 0이 아닌 값으로 되고, 따라서 8번째 행도 0이 아닌 행이 되어 - REGION이 8이 되어 - 모든 연산을 수행하게 된다.

두번째부터 일곱번째까지의 6행은 모든 계수가 0인데도 불구하고 계산을 하게 되어 불필요한 연산을 하게 된다.

도 9는 상기한 리저널 효과가 없음을 보여주는 파이프라인을 보여주는 도면이다.

본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 영상압축장치나 복원장치의 IDCT 입력으로 들어오는 계수의 특징을 이용하여 실제 계산이 필요한 경우에만 연산을 함으로써 화질의 열화가 전혀 없이 IDCT의 계산량을 줄일 수 있고 소비전력과 처리시간을 감소시킬 수 있는 역이산여현변환 방법과 이를 이용한 영상복원방법을 제공하는데 있다.

상술한 목적을 달성하기 위하여 본 발명은, 휘도와 색차로 표현되는 영상신호에서 공간상의 주파수 영역으로 변환된 영상신호를 역변환시키는 역이산여현변환방법에 있어서,

8bit로 이루어지고, 한 행(열)의 모든 값이 0이면 그 행(열)에 해당하는 bit는 1로, 한 값이라도 0이 아닌 값을 가지면 그 행(열)에 해당하는 bit는 0으로 하여, 0인 행(열)은 연산에서 제외하고 다음 0이 아닌 행(열)을 연산하여 전체 IDCT 영역중에서 계산이 필요한 부분만을 연산하는 것을 특징으로 하는 역이산여현변환방법을 제공하고자 한다.

상술한 목적을 달성하기 위하여 본 발명은 가변장복호화, 역스캔, 역DC/AC예측, 역양자화, IDCT, 움직임보상 단계로 압축된 영상신호가 복원되는 영상복원방법에 있어서,

상기 IDCT 단계에서 전체 IDCT영역중 계산이 필요한 부분만을 연산하는 것을 특징으로 하는 영상복원방법을 제공하고자 한다.

도 1은 MPEG4의 경우 일반적인 영상복원장치의 블록도이다.

도 2는 일반적인 행-열 분해법을 이용한 IDCT 연산기의 블록도이다.

도 3은 첫번째 1차원 행방향 IDCT와 두번째 1차원 열방향 IDCT를 수행하는 데이터 영역을 보여주는 도면이다.

도 4는 일반적인 IDCT의 파이프 라인이다.

도 5는 MPEG4의 경우 종래 영상복원장치의 블록도이다.

도 6은 종래 첫번째 1차원 행방향 IDCT를 수행하는 데이터 영역(REGION=4)을 보여주는 도면이다.

도 7은 종래기술이 적용된 IDCT의 파이프라인(REGION=4)이다.

도 8은 미스매치 컨트롤이 발생하여 (7,7) 계수가 0이 아닌 값으로 된 경우 데이터 영역을 보여주는 도면이다.

도 9는 종래 파이프라인의 Regional 효과가 없어짐을 보여주는 도면이다.

도 10은 본 발명에 따른 제로스킵(zero skip) IDCT 제어부의 내부 구조도이다.

도 11은 도 10에 나타낸 제로_벡터의 의미를 나타내기 위한 도면이다.

도 12는 도 10에 나타낸 메모리 제어부의 행 어드레스 발생기 구조도이다.

도 13은 본 발명이 적용된 IDCT에서 수행하는 데이터 영역을 보여주는 도면이다(제로_벡터='01101111').

도 14는 본 발명이 적용된 파이프라인이다(제로_벡터='01101111').

도 15는 미스매치 컨트롤이 발생한 경우 본 발명이 적용된 IDCT에서 수행하는 데이터 영역을 보여주는 도면이다(제로_벡터='01101110').

도 16은 본 발명이 적용된 파이프라인이다(제로_벡터='01101110').

도 17은 본 발명의 일예로 제로_벡터가 01101111인 경우 단계별 값을 나타낸다.

<도면의 주요부분에 대한 부호의 설명>

1 : 가변장복호화2 : 역스캔

3 : 역DC&AC예측4 : 역양자화

4a : 역양자화계산4b : 새츄레이션

4c : 미스매치 컨트롤(missmatch control)

5 : IDCT5a : 첫번째 일차원 IDCT

5b : 치환메모리부5c : 두번째 일차원 IDCT

6 : 움직임보상7 : 리저널(regional) IDCT 제어부

10 : 제로스킵(zero skip) IDCT 제어부

11 : 상태 제어부12 : 메모리 제어부

13 : 제로_벡터(zero_vector)

14 : 리딩 1 카운터(leading 1 counter)

15 : 시프터(shifter)16 : 애더(adder)

이하 본 발명의 실시예에 대하여 첨부된 도면을 참고로 그 구체적인 구성 및 작용을 설명하기로 한다.

종래기술에서는 REGION이라는 맨 마지막으로 0이 아닌 행(열) 번호를 이용하지만 본 발명에서는 도 10에서와 같이 제로스킵(zero skip) IDCT 제어부(10)에 구비된 제로_벡터(13, ZERO_VECTOR)를 이용한다.

상기 제로-벡터(13)는 8bit로 이루어져 있으며, 그 의미는 도 11과 같다.

즉, 한 행(열)의 모든 값이 0이면 그 행(열)에 해당하는 비트(bit)는 1로, 한 값이라도 0이 아닌 값을 가지면 bit는 0으로 된다.

도 11은 행 방향으로 먼저 계산하고, 다음 열 방향으로 계산하는 경우인데, 여기서 보면(색깔이 칠해진 계수는 0이 아니다) 첫번째 행은 모두 0이 아닌 값을 가지므로 제로_벡터(13)의 8번째 bit는 0이 된다.

마찬가지로 네번째 행과 마지막 여덟번째 행도 0이 아닌 값을 가지므로 제로_벡터(13)에서 각 bit는 0이 된다.

나머지 2, 3, 5, 6, 7행은 모두 0인 값을 가지므로 제로_벡터(13)의 해당 bit는 1의 값을 가지게 되어 제로_벡터(13)는 이진수로 01101110이 된다.

이렇게 제로_벡터를 만들어내는 부분은 종래기술과 마찬가지로 MPEG의 경우에 역스캔(2), 역DC/AC예측(3), 미스매치 컨트롤(4c) 블록에서 각 행(열)이 모두 0인지 아닌지를 판별하여 만들어 내고, 이를 본 발명에 따른 도 10의 제로스킵(zero skip) IDCT 제어부(10)에 저장한다.

H.263의 경우에 제로_벡터를 만들어내는 부분은 역스캔에서 각 행(열)이 모두 0인지 아닌지를 판별하여 만들어 낸다.

또한, 영상압축장치(Encoder)인 경우에 양자화기(Quantizer)에서 제로_벡터를 만들어 낸다.

상기 저장된 제로_벡터(13)를 바탕으로 메모리 제어부(12)에서 메모리 제어를 하게 되는데, 행 방향으로 먼저 첫번째 1차원 IDCT(5a)를 하는 경우 메모리 제어부(12)의 행 어드레스(row address) 발생기를 나타낸 것이 도 12이다.

여기서 행 어드레스(row address)는 3bit로 표현되며 각 행의 주소를 의미한다.

정상적인(normal) 행 어드레스는 1씩 증가하게 되지만, 본 발명에서 0인 행은 연산에서 제외되고 다음 0이 아닌 행을 연산한다.

리딩 1 카운터(14, Leading 1 counter)는 제로_벡터(13)에서 처음 1이 몇 개인가를 계산한다.

제로_벡터(13)에서의 1은 0인 행이므로 이 수만큼 행 어드레스가 증가하여야 한다.

애더(16, Adder)는 이전 주소에서 스킵(skip)될 행 수와 1을 더하여 다음 계산될 행의 주소를 구하게 된다.

또한 제로_벡터(13)는 스킵된 행 수 더하기 1 만큼 시프트(shift)되어야 하므로 시프터(15, shifter)가 구비된다.

상기 시프터(15)는 왼쪽 방향으로 시프트하면서 1을 채우는 역할을 한다.

이런 방식으로 계산되다가 제로_벡터(13)가 모두 1이면 첫번째 일차원 IDCT(5a)가 종료된다.

일예로 제로_벡터(13)가 01101111인 경우 단계별 값은 도 17과 같이 된다.

첫번째 단계에서 리딩 1 카운트(leading 1 count)는 0이 되고, 따라서 다음 행 어드레스(row address)는 1이 되어 첫번째 행을 입력(Load)한다.

시프터(15)를 통해서 1만큼 좌측으로 시프트되고 1을 채우면 제로_벡터(13)는 11011111이 된다.

두번째 단계에서 리딩 1 카운트는 2가 되고, 따라서 다음 행 어드레스는 이전 어드레스 1에 3을 더하게 되어 4가 되어 4번째 행을 입력(Load)한다.

상기 시프터(15)를 통해서 3만큼 좌측으로 시프트되고 1을 채우면 제로_벡터(13)는 11111111이 된다.

이제 제로_벡터가 모두 1이므로 더 이상 행을 계산한 필요가 없이 첫번째 1차원 IDCT(5a)가 끝나게 된다.

도 13은 본 발명이 적용되었을 때의 IDCT 수행 데이터 영역을 나타내고 있는 것으로, 0이 아닌 행만을 계산하고 있음을 알 수 있다.

도 14는 파이프 라인으로 했을 때의 타이밍을 나타낸 것이다.

종래기술에서는 첫번째 일차원 IDCT(5a)를 수행하는데 도 7에서 보는 바와 같이 48 cycle이 소요되었으나 본 발명에서는 32 cycle만이 소요되어 33%의 시간이 감소됨을 알 수 있다.

도 15는 MPEG 모드에서 미스매치 컨트롤(4c)이 발생하여 맨 마지막 계수가 0이 아닌 값으로 된 경우의 수행하는 데이터 영역을 나타내고, 도 16은 파이프라인으로 수행했을 때의 타이밍을 나타낸 것이다.

종래기술로 이를 수행할 경우 REGION이 8이 되어 일반적인 연산과 동일하게 되어 첫번째 일차원 IDCT(5a) 연산에 80 cycle이 소요되지만 본 발명에 따르면 단지 40 cycle이 소요되어 50%의 시간이 감소됨을 알 수 있다.

이상에서와 같이 실제 계산이 필요한 부분만을 계산하고 불필요한 계산을 제거하여 수행시간의 감소와 소비 전력을 감소시킬 수 있다.

이상에서와 같이 본 발명에 의하면, 영상압축장치나 복원장치의 IDCT 입력으로 들어오는 계수의 특징을 이용하여 실제 계산이 필요한 경우에만 연산을 함으로써 화질의 열화가 전혀 없이 IDCT의 계산량을 줄일 수 있다.

또한, H.263이나 MPEG4와 같은 DCT 기반의 저전력 이동 영상 통화 단말기에 적용할 수 있고, 화질의 열화없이 영상압축 장치의 계산시간과 전력소모를 줄일 수 있으며, 계산 시간을 단축할 수 있으므로 처리 가능한 프레임율(frame rate)을 높일 수 있다.

Claims (7)

1. 휘도와 색차로 표현되는 영상신호에서 공간상의 주파수 영역으로 변환된 영상신호를 역변환시키는 역이산여현변환 방법에 있어서,

   영상압축장치나 복원장치의 IDCT 입력으로 들어오는 계수의 특징을 이용하여 실제 계산이 필요한 경우에만 연산을 수행함을 특징으로 하는 역이산여현변환 방법.
2. 청구항 1에 있어서, 실제 계산이 필요한 경우에만 연산을 수행하는 방법은,

   8bit로 이루어지고, 한 행(열)의 모든 값이 0이면 그 행(열)에 해당하는 bit는 1로, 한 값이라도 0이 아닌 값을 가지면 그 행(열)에 해당하는 bit는 0으로 하여, 0인 행(열)은 연산에서 제외하고 다음 0이 아닌 행(열)을 연산하는 것임을 특징으로 하는 역이산여현변환 방법.
3. 청구항 1에 있어서, 상기 IDCT 입력으로 들어오는 계수를 영상압축장치인 경우에 양자화기 정보를 이용해 얻음을 특징으로 하는 역이산여현변환 방법.
4. 가변장복호화, 역스캔, 역DC/AC예측, 역양자화, IDCT, 움직임보상 단계로 압축된 영상신호가 복원되는 영상복원방법에 있어서,

   상기 IDCT 단계에서 전체 IDCT영역중 계산이 필요한 부분만을 연산하는 것을특징으로 하는 영상복원방법.
5. 청구항 4에 있어서, 상기 계산이 필요한 부분만 연산하는 방법은,

   8bit로 이루어지고, 한 행(열)의 모든 값이 0이면 그 행(열)에 해당하는 bit는 1로, 한 값이라도 0이 아닌 값을 가지면 그 행(열)에 해당하는 bit는 0으로 되는 제로_벡터를 이용하여, 0인 행(열)은 연산에서 제외하고 다음 0이 아닌 행(열)을 연산하는 것임을 특징으로 하는 영상복원방법.
6. 청구항 5에 있어서, 상기 제로_벡터는,

   역스캔, 역DC/AC예측, 역양자화에서 각 행(열)이 모두 0인지 아닌지를 판별하여 만들어냄을 특징으로 하는 영상복원방법.
7. 청구항 5에 있어서, 상기 제로_벡터는,

   역스캔에서 각 행(열)이 모두 0인지 아닌지를 판별하여 만들어냄을 특징으로 하는 영상복원방법.