KR20040046321A - 동영상 복호화 방법 - Google Patents

Abstract

본 발명은 동영상 부호화 표준에서 인트라 예측 모드에 의하여 복호화를 진행할 때, 복호화 계산의 중복량을 줄여 계산량을 감소시킨 동영상 복호화 방법을 개시한다. 개시된 본 발명은 영상 비트스트림을 디코더에서 수신하는 단계; 상기 수신된 영상 비트스트림에 대하여 4*4 블록 단위로 인트라 예측 모드를 설정하는 단계; 상기 설정된 예측 모드에 각각에 대하여 이용 가능한 화소 값을 미리 예측하는 단계; 및 상기 설정된 예측 모드 각각의 계산식에 따라 상기 미리 예측된 화소 값들 중 계산식에 필요한 화소 값을 대입하여 인트라 예측에 의한 복호화를 진행하는 단계; 를 포함하는 것을 특징으로 한다.

여기서, 상기 인트라 예측 모드는 H.26L 표준에서 사용하는 9가지 인트라 예측 모드이고, 상기 설정된 각각의 예측 모드에 대한 예측 복호화에 필요한 화소 값만을 선별적으로 계산하도록 하는 것을 특징으로 한다.

Description

동영상 복호화 방법{METHOD FOR MOVING PICTURE DECODING}

본 발명은 동영상 복호화 방법에 관한 것으로, 보다 구체적으로는 동영상 부호화 표준에서 인트라 예측에 의한 복호화 구현시, 예측 모드에 따라 선택적으로 예측 복호화를 진행하여 계산의 복잡성을 줄여 계산량을 감소시킨 동영상 복호화 방법에 관한 것이다.

현재, 그리고 미래의 통신 환경은 유선과 무선의 영역 구분이나, 지역 국가의 구분을 초월할 만큼 급변하고 있으며, 특히 IMT-2000 등으로 대별되는 미래 통신환 경은 영상과 음성은 물론 사용자가 필요로 하는 다양한 정보를 실시간으로, 또는 종합적으로 제공하는 환경으로 구축되어 가는 추세이다.

또한, 개인 휴대 통신 시스템의 발달은 현재 셀룰러폰이나 PCS등에서도 단순히 음성 통신만을 수행하던 차원에서 벗어나서 문자 정보의 전송은 물론, 개인 휴대 통신 단말기를 이용해서 무선으로 인터넷에 접속하거나, TV에서나 보던 동영상들을 송신할 수 있도록 개발되어지고 있다.

특히, 동영상을 디지털 데이터로 가공하여 실시간으로 전송하고 또 이 것을 수신하여 디스플레이 하는 디지털 텔레비전 시스템과, 실시간으로 전송되는 동영상을 IMT-2000을 이용한 개인 휴대 단말기 등에서는 필수적인 요소로 자리 잡아 가고 있는 실정이다.

이것은 종래에는 휴대 단말기가 사람의 음성만을 송수신하도록 되어 있었으나, 멀티 미디어의 개발과 디지털 정보처리 기술의 발달로 인하여 음성, 영상 등 다양한 정보들을 송신할 수 있게 되었다.

이와 같은 기술이 상용화될 수 있었던 것은 무엇보다도 아날로그 영상 신호를 양자화, 가변장부호화등 특수한 디지털 처리를 한 다음, 이를 디지털 정보에 포함시켜 송신하고, 수신되는 단말기에서는 이를 반대로 디코딩 함으로써 빠른 전송 속도와 보다 풍부한 정보량을 송수신하도록 한 동영상 압축 기술의 발달에 크게 기여하였다.

최근에는 보다 좋은 압축 효율과 빠른 계산을 위하여 부호화 표준이 개발되고 있다. 특히, H.26L 표준에서는 부호화 및 복호화를 8*8 블록 단위가 아닌 4*4 블록 단위로 9가지의 선택 모드에 의하여 인트라 예측 부호화 및 복호화를 진행하여 보다 향상된 영상 품질을 제공한다.

도 1 은 종래 기술에 따른 영상 신호를 부호화 하는 동영상 부호화기의 구조를 도시한 도면이다.

도 1에 도시된 바와 같이, 실제 물체를 촬영한 비디오 신호가 들어오면 이를 디지털 변환한 후, 압축하기 위하여 부호화 작업이 이루어진다. 디지털로 변환된 비디오 신호는 DCT(Discrete Cosine Transform: 1)에서 이산여현변환이 이루어지고, 주파수 형태로 변환된 영상 신호는 양자화부(3)에서 양자화된 다음 VLC(Variable Length Coding: 10)에서 가변장 부호화(엔트로피화) 과정을 거쳐 외부로 송신된다.

이때, 부호화 되는 영상이 인터 모드(Inter mode)인 경우에는 모션 예측기(Motion Predict: 9)로부터 이전 영상을 예측할 수 있는 모션 벡터를 생성한다. 부호화된 영상 프레임을 다시 역양자화부(5)와, 역DCT(7)에서 복원화하여 영상 메모리(8)에 저장하는데, 상기 영상 메모리에 저장되어 있는 영상은 이후 부호화하는 영상의 움직임 예측을 위한 참조 영상으로 사용한다.

처음 입력되는 영상을 인트라 영상 프레임으로 판단하고, 인트라 모드 부호화를 진행하여 영상 프레임 내에서 영상을 예측하여 부호화하도록 한다.

다음에 입력되는 영상이 인터 모드로서 P 픽쳐라 정의할 때, 각 영상 프레임의 블록에 대하여 움직임 예측 및 보상을 한 후, 그 에러 신호를 부호화한다.

특히, H.26L 국제 표준에서는 영상 신호를 부호화할 때, 공간적 유사성을 이용하여 부호화하는 인트라 부호화하는 방법과 시간적 차이에 따라 영상 프레임의 유사성을 이용하는 인터 부호화하는 방법으로 나뉜다.

동영상 부호화 국제 표준인 MPEG4, H.263+등의 16*16의 화소들로 구성된 매크로 블록단위로 8*8 블록에 대하여 부호화를 진행하지만, H.26L에서는 16*16인 매크로 블록과 4*4 블록들을 인트라, 인터 부호화를 진행한다.

인트라 부호화 방법은 매크로 블록들과 4*4 블록들에 대한 인접 화소들에 의한 방향성에 기인하여 얻게되는 예측 값과의 차이 값을 구하여 부호화를 함으로써 효율을 증가시키는 방법이다.

4*4 블록들에 대해서는 H.26L에서는 9가지의 다른 방법에 의하여 부호화를 진행하고, 또 16*16의 매크로 블록 단위로 4가지 방법에 의하여 부호화를 진행하고, 이중 가장 부호화 효율이 좋은 모드를 선택하여 부호화를 진행한다.

이와 같이 인코더에서 부호화된 영상 비트스트림은 디코더에 전송되어 인코더에서 부호화된 절차와 같은 절차를 통하여 디코딩을 실시한다.

도면에서는 도시하였지만, 설명하지 않은 2a와 2b는 가산기를 나타낸다.

도 2는 종래 기술에 따른 4*4 블록에 대한 9가지 인트라 예측 부호화 방법을 설명하기 위한 도면이다.

도 2에 도시된 바와 같이, 16*16 매크로 블록을 구성하는 4*4 블록들의 화소에 대하여 일정한 방향으로 인트라 예측 부호화를 진행한다.

각각의 화소들에 대하여 인트라 예측 부호화되는 방향이 다를 뿐만 아니라, 부호화를 위한 계산 방식도 모두 상이한 9가지에 의하여 H.26L에서는 부호화를 진행한다.

먼저, 첫째 방법(인트라 예측 모드 0)은 매크로 블록은 16*16 블록으로 구성되고, 이를 4개의 8*8 블록으로 구분하고, 이를 다시 4개의 4*4 블록으로 구분한다. 이때 8*8 블록들에 대한 가장자리에 인접한 주변 화소들의 평균 값을 예측 부호화 값으로 하는 방법이다.

2번째 방법(인트라 예측 모드 1)은 도시된 바와 같이 4*4 블록을 위에서 하래 방향으로 수직한 방향으로 평균 값을 구하여 인트라 예측 부호화 값을 구하는 것이고, 3번째 방법(인트라 예측 모드 2)은 도시된 바와 같이 4*4 블록을 좌에서 우측 방향으로 수평한 방향으로 평균 값을 구하여 인트라 예측 부호화 값을 구하는 것이다.

4번째 방법(인트라 예측 모드 3)은 좌측 상부 모서리에서 우측 하부 모서리 방향으로 인접한 화소들에 대한 일정한 평균 값을 구하여 인트라 예측 부호화 값을 구하는 것이고, 5번째 방법(인트라 예측 모드 4)은 우측 상부 모서리와 좌측 하부 모서리 양측에서 인접한 화소들에 대한 일정한 평균 값을 구하여 진행하는 부호화값을 구하는 것이다.

6번째 방법(인트라 예측 모드 5)은 상기 2번째 방법의 방향과 4번째 방법의 방향 사이에 일정한 기울기를 갖으면서 아래 방향으로 인트라 예측 부호화를 하는 방식이다.

7번째 방법(인트라 예측 모드 6)은 상기 2번째 방법(인트라 예측 모드 1)의 방향과 5번째 방법(인트라 예측 모드 4)의 방향 사이에 일정한 기울기를 갖으면서 아래 방향으로 인트라 예측 부호화를 하는 방식이다.

8번째 방법(인트라 예측 모드 7)은 상기 5번째 방법(인트라 예측모드 4)과 3번째 방법(인트라 예측 모드 2)의 방향 사이에 일정한 기울기를 갖으면서 우측 방향으로 인트라 예측 부호화를 하는 방식이다.

9번째 방법(인트라 예측 모드 8)은 상기 4번째 방법(인트라 예측 모드 3)과 3번째 방법(인트라 예측 모드 2)의 방향 사이에 일정한 기울기를 갖으면서 우측 방향으로 인트라 예측 부호화를 하는 방식이다.

상기와 같은 방향으로 각각 4*4 블록들에 대하여 인트라 예측 부호화를 진행한 다음, 16*16 매크로 블록에 대한 4가지 방법을 진행한 다음 가장 부호화 효율이 좋은 인트라 예측 부호화 모드를 선택한다.

도 3은 종래 기술에 따라 4*4 블록에 대한 디코딩 과정을 설명하기 위한 플로챠트이다.

도 3에 도시된 바와 같이, H.26L 표준에 따라 4*4 블록 단위들로 부호화가 되어 디코더에 전송되어오면, 상기 디코더에서는 부호화기에서 부호화된 방식과 동일한 방식으로 복호화를 진행한다.

즉, 9가지 인트라 예측 부호화를 진행한 경우 이에 따라 9가지 예측 모드에 따라 상기 디코더에서 복호화가 진행된다.

H.26L 표준에서 4*4 블록 단위로 먼저 이용 가능한 예측 모드를 판별하고, 예측 모드들에서 이용 가능한 모든 블록들의 화소 값들에 대하여 미리 결정을 한 다음(S301), 이를 예측 모드의 계산식에 각각 대입하여 인트라 예측 복호화를 진행한다(S302, S303, S304, S305, S306, S307, S308).

즉, 영상 비트스트림을 복호화할 때, 영상 프레임 내의 블록 당 이용 가능한 예측 화소 값들을 계산하고 설정한다.

그리고, 스위치 예측 모드별 인트라 예측 모드를 선택하여 차례로 계산한다(S302). 먼저, 수직 예측 모드에 따라 상기 예측 화소 값들을 대입하여 수직 예측 모드에 대한 인트라 예측을 진행한다(S303).

그런 다음, 수평 예측 모드에 따라 상기 예측 화소 값들을 대입하여 수평 예측 모드에 대한 인트라 예측을 진행하고(S304), DC 예측 모드(S305), 좌측 대각선 예측 모드(S306), 우측 대각선 예측 모드(S307), ...(S308)등 9가지 h.26l의 예측 모드에 따라 인트라 예측 복호화를 진행한다.

그러나, 상기와 같이 종래 기술에 따른 4*4 인트라 예측 복화화 과정에서는 복호화하기 전에 4*4 블록에서 사용되는 모든 복호화 값들에 대하여 계산 및 이용가능 화소를 예측한 다음, 각각의 9가지 인트라 예측 모드를 진행하여 계산의 중복성과 복잡성의 증대로 복호화 효율이 떨어지는 문제가 있었다.

특히, 이와 같이 계산량의 증가는 IMT-2000과 같은 독립된 코덱 장비를 사용하는 시스템에서는 효율 저하가 다른 시스템보다 훨씬 크게 되는 문제가 있었다.

본 발명은, 동영상 부호화 표준에 따라 4*4 블록에 대하여 인트라 예측 복호화를 진행할 때, 계산의 중복성과 복잡성을 줄여 계산량을 감소시킨 동영상 복호화 방법을 제공함에 그 목적이 있다.

도 1 은 종래 기술에 따른 영상 신호를 부호화 하는 동영상 부호화기의 구조를 도시한 도면.

도 2는 종래 기술에 따른 4*4 블록에 대한 9가지 인트라 예측 부호화 방법을 설명하기 위한 도면.

도 3은 종래 기술에 따라 4*4 블록에 대한 디코딩 과정을 설명하기 위한 플로챠트.

도 4는 본 발명에 따라 영상 프레임의 4*4 블록 단위로 디코딩 하는 과정을 설명하기 위한 플로챠트.

*도면의 주요 부분에 대한 부호의 설명*

1: DCT3: 양자화부

5: 역양자화부7: 역DCT

8: 영상 메모리9: 모션 예측기(MP)

10: VLC

상기한 목적을 달성하기 위한, 본 발명에 따른 동영상 복호화 방법은,

영상 비트스트림을 디코더에서 수신하는 단계;

상기 수신된 영상 비트스트림에 대하여 4*4 블록 단위로 인트라 예측 모드를 설정하는 단계;

상기 설정된 예측 모드에 각각에 대하여 이용 가능한 화소 값을 미리 예측하는 단계; 및

상기 설정된 예측 모드 각각의 계산식에 따라 상기 미리 예측된 화소 값들중 계산식에 필요한 화소 값을 대입하여 인트라 예측에 의한 복호화를 진행하는 단계; 를 포함하는 것을 특징으로 한다.

여기서, 상기 인트라 예측 모드는 H.26L 표준에서 사용하는 9가지 인트라 예측 모드이고, 상기 설정된 각각의 예측 모드에 대한 예측 복호화에 필요한 화소 값만을 선별적으로 계산하도록 하는 것을 특징으로 한다.

본 발명에 의하면, H.26L, H.263, MPEG 과 같은 동영상 부호화 표준에서 최적의 인트라 예측 복호화를 진행하기 위하여 미리 결정된 예측 모드에 따라 필요한 화소 값에 대해서만 계산을 하도록 하여 복호화 계산량을 감소시킨 이점이 있다.

이하, 첨부한 도면에 의거하여 본 발명의 바람직한 실시 예를 자세히 설명하도록 한다.

도 4는 본 발명에 따라 영상 프레임의 4*4 블록 단위로 디코딩 하는 과정을 설명하기 위한 플로챠트이다.

도 4에 도시된 바와 같이, H.26L에서는 영상 신호를 인트라 모드로 부호화할 때, 4*4 블록 단위로 예측을 진행한다.

자체내의 영상 프레임의 4*4 블록에 대한 예측 부호화는 이전에 인트라 예측 모드에 의하여 부호화된 매크로 블록들과 인접한 가로, 세로의 4개의 화소들을 이용하여 이루어진다.

즉, 현재 부호화를 진행하는 4*4 블록과 인접한 이전에 인트라 예측 부호화가 이루어진 4*4 블록의 4개의 화소로부터 0~8 예측 모드에 따라 부호화를 진행하고, 이에 따라 디코더에서는 같은 방식으로 복호화를 진행하여 영상을 얻는다.

H. 26L에서 사용하는 9가지 예측 모드에는 첫째 방법(인트라 예측 모드 0)은 4*4 블록들에 대한 가장자리에 인접한 주변 화소들의 평균 값을 예측하여 복호화를 하는 방법, 2번째 방법(인트라 예측 모드 1)은 4*4 블록을 위에서 하래 방향으로 수직한 방향으로 평균 값을 구하여 복호화를 하는 방법, 3번째 방법(인트라 예측 모드 2)은 4*4 블록을 좌에서 우측 방향으로 수평한 방향으로 평균 값을 구하여 복호화를 하는 방법, 4번째 방법(인트라 예측 모드 3)은 영상 프레임의 좌측 상부 모서리에서 우측 하부 모서리 방향으로 인접한 화소들에 대한 일정한 평균 값을 구하여 복호화를 하는 방법, 5번째 방법(인트라 예측 모드 4)은 우측 상부 모서리와 좌측 하부 모서리 양측에서 인접한 화소들에 대한 일정한 평균 값을 구하여 진행하는 복호화 방법, 6번째 방법(인트라 예측 모드 5)은 상기 2번째 방법의 방향과 4번째 방법의 방향 사이에 일정한 기울기를 갖으면서 아래 방향으로 복호화를 하는 방법, 7번째 방법(인트라 예측 모드 6)은 상기 2번째 방법(인트라 예측 모드 1)의 방향과 5번째 방법(인트라 예측 모드 4)의 방향 사이에 일정한 기울기를 갖으면서 아래 방향으로 복호화를 하는 방법, 8번째 방법(인트라 예측 모드 7)은 상기 5번째 방법(인트라 예측모드 4)과 3번째 방법(인트라 예측 모드 2)의 방향 사이에 일정한 기울기를 갖으면서 우측 방향으로 복호화를 하는 방법, 9번째 방법(인트라 예측 모드 8)은 상기 4번째 방법(인트라 예측 모드 3)과 3번째 방법(인트라 예측 모드 2)의 방향 사이에 일정한 기울기를 갖으면서 우측 방향으로 복호화를 하는 방법이다.

본 발명에서는 이와 같은 예측 모드에 따라 복호화를 진행할 때, 4*4 블록에 대한 예측 모드(S401) 적용 가능한 화소 값을 미리 예측하고, 이를 기판으로 필요한 화소 값에 대해서만 계산하는 방식으로 복호화를 진행한다(S402, S403, S405, S406, S407).

예를 들면, 2번째 방법(인트라 예측 모드 1)에 대하여 4*4 블록을 위에서 하래 방향으로 수직한 방향으로 평균 값을 구하여 복호화를 하는 방법을 적용할 경우에는 그에 필요한 화소 값인 상부 4개의 화소만을 계산식에서 사용하고, 좌측 4개의 화소에 대하여는 계산하지 않는다(S402).

마찬가지 방법으로 나머지 8개의 예측 모드에 대하여도 4*4 블록에 대하여 인트라 예측할 때, 예측 모드에 필요한 화소 값 만을 계산하고, 예측에 사용함으로 써 복호화 과정에서의 계산의 중복성을 줄였다(S403, S404, S405, S406, S407).

따라서, 종래에는 예측 모드에 관계없이 사용하지 않는 화소에 대하여도 일괄적으로 화소에 대하여 계산하고, 각각의 예측 모드에서 필요한 화소들을 계산식에 대입하여 많은 중복적 복호화가 이루어졌지만, 본 발명에서는 예측 모드에서 필요한 화소 값에 대해서만 복호화를 진행하므로 계산의 중복성 감소로 복호화 효율이 증대되었다.

이상에서 자세히 설명된 바와 같이, 본 발명은 동영상 부호화 표준에서 인트라 예측 모드에 의하여 복호화를 진행할 때, 예측 모드에 따라 개별적으로 필요한 화소 값만을 계산하여 예측할 수 있도록 하여 복호화 계산의 중복량을 줄여 계산량을 감소시킨 효과가 있다.

본 발명은 상기한 실시 예에 한정되지 않고, 이하 청구 범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능할 것이다.

Claims (3)

1. 영상 비트스트림을 디코더에서 수신하는 단계;

   상기 수신된 영상 비트스트림에 대하여 4*4 블록 단위로 인트라 예측 모드를 설정하는 단계;

   상기 설정된 예측 모드에 각각에 대하여 이용 가능한 화소 값을 미리 예측하는 단계; 및

   상기 설정된 예측 모드 각각의 계산식에 따라 상기 미리 예측된 화소 값들중 계산식에 필요한 화소 값을 대입하여 인트라 예측에 의한 복호화를 진행하는 단계; 를 포함하는 것을 특징으로 하는 동영상 복호화 방법.
2. 제 1 항에 있어서,

   상기 인트라 예측 모드는 H.26L 표준에서 사용하는 9가지 인트라 예측 모드인 것을 특징으로 하는 동영상 복호화 방법.
3. 제 1 항에 있어서,

   상기 설정된 각각의 예측 모드에 대한 예측 복호화에 필요한 화소 값 만을 선별적으로 계산하도록 하는 것을 특징으로 하는 동영상 복호화 방법.