KR100697516B1

KR100697516B1 - 3차원 웨이블릿 변환 기반의 동영상 코딩 방법

Info

Publication number: KR100697516B1
Application number: KR1020040086318A
Authority: KR
Inventors: 이진수
Original assignee: 엘지전자 주식회사
Priority date: 2004-10-27
Filing date: 2004-10-27
Publication date: 2007-03-20
Also published as: US7936824B2; KR20060037149A; WO2006046834A1; US20060088224A1

Abstract

본 발명은 3차원 웨이블릿 변환 기반의 동영상 코딩 방법에 관한 것이다.

본 발명에 따른 3차원 웨이블릿 변환 기반의 동영상 코딩 방법은, 영상이 입력되는 단계; 입력된 영상에 대하여 부호화를 수행함에 있어, 부호화되는 GOP(Group Of Picture)에 포함될 프레임 수를 결정하는 단계; 결정된 GOP에 대해 3차원 웨이블릿(wavelet) 변환을 수행하는 단계; 3차원 웨이블릿 변환이 수행된 결과에 대하여 부호화를 수행하는 단계; 를 포함한다.

또한, 본 발명에 따른 3차원 웨이블릿 변환 기반의 동영상 코딩 방법은, 부호화된 영상이 입력되는 단계; 입력된 영상에 대하여 복호화를 수행하는 단계; 상기 복호화된 결과물에 대해 역양자화를 수행하고, 부호화된 영상의 부호화시에 GOP에 포함된 프레임 수 정보를 추출하는 단계; 추출된 GOP에 포함된 프레임 수 정보를 참조하여, GOP에 포함된 프레임 수 만큼의 역양자화된 결과에 대하여 3차원 웨이블릿 변환을 수행하여 원 영상을 복원하는 단계; 를 포함한다.

이와 같은 본 발명에 의하면, GOP 길이에 따른 압축률과 복원 시 연산량에 따른 트레이드 오프(trade-off)를 최적화 함으로써, 압축률도 개선하고, 아울러 복원시 하나의 프레임을 복원하는 데 필요한 시간을 감소시킬 수 있는 장점이 있다.

Description

3차원 웨이블릿 변환 기반의 동영상 코딩 방법{Moving picture coding method based on 3D wavelet transformation}

도 1a 내지 도 1c는 일반적인 웨이블릿 변환을 설명하기 위한 도면.

도 2는 일반적인 3차원 웨이블릿 변환을 설명하기 위한 도면.

도 3은 종래 3차원 웨이블릿 변환 기반의 동영상 코딩 방법에 의한 동영상 부호화 과정을 설명하기 위한 도면.

도 4는 종래 3차원 웨이블릿 변환 기반의 동영상 코딩 방법에 의한 동영상 복호화 과정을 설명하기 위한 도면.

도 5는 본 발명에 따른 3차원 웨이블릿 변환 기반의 동영상 코딩 방법에 의한 동영상 부호화 과정을 설명하기 위한 도면.

도 6은 본 발명에 따른 3차원 웨이블릿 변환 기반의 동영상 코딩 방법에 의한 동영상 부호화 과정에서 GOP의 프레임수를 결정하는 과정을 설명하기 위한 도면.

도 7은 본 발명에 따른 3차원 웨이블릿 변환 기반의 동영상 코딩 방법에 의한 동영상 복호화 과정을 설명하기 위한 도면.

본 발명은 동영상 코딩 방법에 관한 것이다.

동영상을 압축하는 방법은 그 동안 MPEG1, 2, 4에 이어 H.264(MPEG4 part10, AVC)로 발전해 왔다. MPEG1에 비해 디지털 텔레비전(DTV)에 적용하는 것을 목적으로 하는 고화질 동영상 압축을 위해 MPEG2가 개발된 이후, 통신용으로 제작된 H.263을 기반으로 객체(Object) 별로 압축이 가능한 MPEG4가 개발되었다. MPEG4는 개발된 이후 현재까지 거의 모든 모바일 분야에서 표준 동영상으로 자리잡고 있을 만큼 그 성능과 효율이 뛰어나다는 평을 받고 있다.

한편, 최근 개발된 H.264는 MPEG4에 비해 압축률은 매우 뛰어나지만, 연산량이 MPEG4에 비해 5~50 배 가까울 정도로 커서, 제품에 적용하기에는 어려움이 많은 것이 현실이다. 최근에는 상대적으로 연산량이 적은 디코더만을 탑재하여 모바일 방송용(DMB)으로 H.264를 사용하기도 한다.

최근에는 보다 적은 연산량으로 높은 압축률을 얻기 위한 다양한 연구가 시도 되면서 상기 기술한 표준 이외의 방법을 사용하는 영상 코덱 알고리즘 개발이, 벤쳐를 중심으로 활발하게 이루어지고 있다. 그 중 하나가 웨이블릿(Wavelet) 변환 방식의 동영상 코덱이다. 기존의 MPEG 계열이 이산 코사인 변환(DCT) 방식을 사용한다고 했을 때 웨이블릿(Wavelet) 변환 방식의 동영상 압축 방법은 화질과 확장성(scalability)의 장점 때문에 차세대 영상 코덱으로 많이 연구되고 있다.

웨이블릿(Wavelet) 변환 방식의 동영상 코덱은 기본적으로 한 프레임에서 웨이블릿(Wavelet) 변환을 수행한 다음, 이 값을 부호화(인코딩)하는 방법이 있으나, 시간축으로 압축이 이루어지지 않으므로 MPEG4 등과 비교하여 압축률이 떨어진다. 이러한 단점을 극복하고자 한 프레임뿐 아니라, 시간축으로 여러 장의 프레임을 묶어 웨이블릿(Wavelet) 변환을 수행하는 3차원 웨이블릿(Wavelet) 압축 방식이 등장하였다.

하지만 이 방법은 웨이블릿(Wavelet) 변환이 일어나는 프레임 그룹을 한번에 압축하기 때문에, 프레임 그룹 전체를 복호화(디코딩) 해야만 하나의 프레임이라도 복원 가능한 단점이 있다. 즉 한장의 프레임만을 복원하려해도 전체를 복원해야 하고, 그룹의 첫 프레임을 디스플레이하려면 역시 전체를 복원한 후 가능하므로 첫 프레임을 디스플레이하기까지 시간이 걸릴 수 있다.

이와 같이 3차원 웨이블릿(Wavelet) 변환 기반의 압축 방식을 사용하는 동영상 코덱은 시간축 웨이블릿(Wavelet) 변환을 위한 프레임 그룹이 얼마나 많은 프레임으로 이루어졌느냐에 따라 압축률과 복원시 첫 프레임을 디스플레이하는 시간이 달라지게 된다. 압축률을 높이기 위해 많은 프레임을 그룹에 포함할 경우, 첫 프레임을 디스플레이하기 위한 시간을 더욱 증가하는 문제점이 있다.

본 발명은 GOP(Group Of Picture) 길이에 따른 압축률과 복원 시 연산량에 따른 트레이드 오프(trade-off)를 최적화 함으로써, 압축률도 개선하고, 아울러 복원시 하나의 프레임을 복원하는 데 필요한 시간을 감소시킬 수 있는 3차원 웨이블릿 변환 기반의 동영상 코딩 방법을 제공함에 그 목적이 있다.

상기의 목적을 달성하기 위하여 본 발명에 따른 3차원 웨이블릿 변환 기반의 동영상 코딩 방법은, 영상이 입력되는 단계; 상기 입력된 영상에 대하여 부호화를 수행함에 있어, 부호화되는 GOP(Group Of Picture)에 포함될 프레임 수를 결정하는 단계; 상기 결정된 GOP에 대해 3차원 웨이블릿(wavelet) 변환을 수행하는 단계; 상기 3차원 웨이블릿 변환이 수행된 결과에 대하여 부호화를 수행하는 단계; 를 포함하는 점에 그 특징이 있다.

또한, 상기의 목적을 달성하기 위하여 본 발명에 따른 3차원 웨이블릿 변환 기반의 동영상 코딩 방법은, 부호화된 영상이 입력되는 단계; 상기 입력된 영상에 대하여 복호화를 수행하는 단계; 상기 복호화된 결과물에 대해 역양자화를 수행하고, 상기 부호화된 영상의 부호화시에 GOP(Group Of Picture)에 포함된 프레임 수 정보를 추출하는 단계; 상기 추출된 GOP에 포함된 프레임 수 정보를 참조하여, 상기 GOP에 포함된 프레임 수 만큼의 역양자화된 결과에 대하여 3차원 웨이블릿 변환을 수행하여 원 영상을 복원하는 단계; 를 포함하는 점에 그 특징이 있다.

이와 같은 본 발명에 의하면, GOP(Group Of Picture) 길이에 따른 압축률과 복원 시 연산량에 따른 트레이드 오프(trade-off)를 최적화 함으로써, 압축률도 개선하고, 아울러 복원시 하나의 프레임을 복원하는 데 필요한 시간을 감소시킬 수 있는 장점이 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세히 설명한다.

본 발명은 3차원 웨이블릿(Wavelet) 변환을 수행함에 있어서, 압축률을 최대한 높이면서 불필요하게 많은 프레임을 하나의 그룹에 포함시켜 일어나는 복원 시 간 지연 문제를 해결할 수 있는 방법을 제시하고자 한다.

알려진 바와 같이, 웨이블릿(Wavelet) 변환이란 영상의 주파수(frequency) 특성을 수치로 표현해주는 역할을 한다. 아래 기술된 웨이블릿(wavelet) 필터를 영상에 적용하면, 각각 고주파수(high frequency) 영역과 저주파수(low frequency) 영역으로 영상이 구분되어진다.

Analysis Low-pass filter : -1/8, 1/4, 3/4, 1/4, -1/8

Analysis High-pass filter : -1/2, 1, -1/2

Synthesis Low-pass filter : 1/2, 1, 1/2

Synthesis High-pass filter : -1/8, -1/4 3/4, -1/4, -1/8

이때, 아날리시스 고주파수 필터(Analysis high frequency filter)를 수평 방향으로 적용하면, 수직 에지가 많은 영역에서 큰 값을 나타내고, 수직 방향으로 적용하면 수평 에지가 많은 영역에서 큰 값을 나타낸다. 반대로 저주파수 필터(low frequency filter)를 적용하면 에지가 없는 단조로운 영역에서 큰 값들을 나타낸다.

도 1a 내지 도 1c는 일반적인 웨이블릿 변환을 설명하기 위한 도면이다. 도 1a는 원영상을 나타내며, 도 1b는 웨이블릿(wavelet) 변환을 한 결과를 보여주는데, 도 1b의 HH 영역에서 밝게 나타난 부분이 에지가 많이 나타난 곳을 의미하며, LL 영역은 원 영상의 축소된 모습으로 나타난다. 도 1c에는 웨이블릿 변환된 영상의 의미를 나타낸 것이다. 도 1c에서 HH는 수평 방향, 수직 방향 모두에 대하여 고 주파수 필터가 적용된 경우를 나타낸 것이며, HL은 수평 방향으로는 고주파수 필터가, 수직 방향으로는 저주파수 필터가 적용된 경우를 나타낸 것이며, LH는 수평 방향으로는 저주파수 필터, 수직 방향으로는 고주파수 필터가 적용된 경우를 나타낸 것이며, LL은 수평 방향, 수직 방향 모두 저주파수 필터가 적용된 경우를 나타낸 것이다.

이와 같은 웨이블릿(Wavelet) 변환을 압축에 적용하는 이유는, 대부분 고주파수(High frequency) 영역에는 0 근처의 작은 수치가 몰려서 나타나고, 큰 수치는 LL 영역에 몰리기 때문에, 0과 같이 작은 수치가 몰린 부분에서, 부호화(인코딩)를 수행하면 데이터가 많이 압축되기 때문이다.

그리고, 3차원 웨이블릿(Wavelet) 변환이란, 동영상에 대해서 이와 같은 웨이블릿(Wavelet) 변환을 시간축에도 적용하는 것을 의미한다. 도 2는 일반적인 3차원 웨이블릿 변환을 설명하기 위한 도면이다.

이때 시간축을 의미하는 t축으로 웨이블릿(Wavelet) 변환을 하기 위해 n 개의 프레임으로 구성된 GOP(Group Of Picture)를 구성하게 된다. GOP의 길이, 즉 프레임 수가 너무 작을 경우에는 시간축으로 압축이 작게 되므로 압축률이 낮아지는 반면, 프레임 수가 너무 길면, 하나의 GOP가 모두 디코딩 되어야만 GOP 내 한 프레임이라도 복원이 되므로, 첫 번째 프레임을 복원하기 위한 시간이 길어지는 단점이 있다.

앞서 기술한 바와 같이 3차원 웨이블릿(Wavelet) 변환 기반으로 동영상을 압축하는 방법이 도 3에 도시되어 있다. 도 3은 종래 3차원 웨이블릿 변환 기반의 동 영상 코딩 방법에 의한 동영상 부호화 과정을 설명하기 위한 도면이다.

먼저 입력으로는 YCbCr 색공간에서 표현된 원영상이 입력되면, 각 Y 요소로 구성된 프레임들과 Cb 요소로 구성된 프레임, 그리고 Cr 요소로 구성된 프레임들 별로 3차원 웨이블릿(Wavelet) 변환이 이루어진다. 웨이블릿(Wavelet) 변환 결과를 양자화 파라메터인 QP(Quantization Parameter)로 나눈 후, 그 몫들로 이루어진 계수들을 각 주파수(frequency) 영역 별로 기존 MPEG4 등에서 사용되는 가변장 부호화(VLC:Variable Length Coding) 방법을 사용하여 압축하게 된다. 기존의 MPEG1, 2, 4에서와 같이 QP 값이 커지면 화질이 저하되는 반면 압축률은 증가되고, 반대로 QP 값이 작아지면 화질은 올라가는 반면 압축률이 떨어지게 된다.

그리고, 도 4는 종래 3차원 웨이블릿 변환 기반의 동영상 코딩 방법에 의한 동영상 복호화 과정을 설명하기 위한 도면이다.

3차원 웨이블릿(Wavelet) 변환 기반의 영상 복호화(디코딩)과정은 앞서 기술한 압축과정의 역순이다. 도 4에 도시된 바와 같이, 먼저 가변장 복호화(VLD:Variable Length Decoding) 과정 수행 후 역양자화(Inverse Quantization) 과정을 거치고, 신더시스 웨이블릿 필터(Synthesis Wavelet Filter) 계수를 이용한 3차원 웨이블릿(Wavelet) 변환을 수행하여 원 칼라 값을 복원함으로써 이루어 진다. 이때 한 프레임이라도 디코딩이 완료되려면, 하나의 GOP에 포함된 프레임들의 시간축으로의 웨이블릿(Wavelet) 변환 수행 후 각 프레임 별로 웨이블릿(Wavelet) 변환이 수행되어야 하므로 GOP에 포함된 프레임 수에 따라 디코딩 시간이 매우 달라지게 된다.

일반적으로 시간축으로 압축이 효율적으로 적용될 경우에는 연속된 프레임 간의 영상 차이가 적을 때이다. 영상 간의 차이가 많을 경우에는 시간축으로 압축을 수행하여도 변화가 심한 만큼 고주파수(high frequency) 영역에도 큰 값들이 많이 나타나므로 압축 효율이 떨어진다. 따라서 압축된 영상 사이즈도 크기때문에, 복원 시 가변장 복호화(VLD)를 수행하는 시간도 같은 크기의 GOP라고 해도 더 많이 걸릴 수 있다.

본 발명에서는 이러한 원리를 반영하여 효과적으로 압축을 수행하기 위해, 연속된 영상 간의 차이가 적을 경우에는 GOP 내 포함된 프레임 수를 증가 시키고, 작을 경우에는 반대로 감소시킴으로서, 압축률이 효율적일 경우에만 상대적으로 많은 프레임을 묶어서 압축하는 방법을 제시하고자 한다. 이 경우, GOP 내 포함된 프레임 수가 많은 경우라도, 압축효율로 인해 압축된 영상 사이즈가 작아지므로, 가변장 복호화(VLD)를 수행하는 시간이 줄어서 기존 방법에 비해 한 프레임을 복호화(디코딩)하는데 필요한 시간이 적어지는 효과가 있다.

또한 본 발명에서는, 시간축으로 웨이블릿(Wavelet) 변환을 수행할 때, 앞의 프레임과의 차이 값을 사용하여 웨이블릿(Wavelet) 변환을 수행한다는 것이다. 일반적으로 연속된 프레임은 앞의 프레임과의 차이 값이 작을 확률이 높으므로, 바로 원영상에 대해 시간축으로 웨이블릿(wavelet) 변환을 하는 경우보다 더 고주파수(High frequency) 영역에 작은 값들이 나타나서 압축률이 개선될 수 있다. 게다가 이러한 차이 값들의 합은 바로 앞서 기술한 GOP의 프레임 수를 결정하는데 사용될 수 있다.

이와 같은 특징이 반영된, 본 발명에서 제시하는 3차원 웨이블릿(Wavelet) 변환 기반의 동영상 코딩 방법이 도 5에 도시되어 있다. 도 5는 본 발명에 따른 3차원 웨이블릿 변환 기반의 동영상 코딩 방법에 의한 동영상 부호화 과정을 설명하기 위한 도면이다.

본 발명에 따른 3차원 웨이블릿 변환 기반의 동영상 코딩 방법에 의하면, 도 5에 도시된 바와 같이, 종래의 3차원 웨이블릿(Wavelet) 변환 기반의 동영상 코딩 방법과 달리 앞 프레임과의 차이 값을 구하여 부호화시킬 GOP의 프레임 수를 결정하는 단계가 더 포함되어 있다. 이와 같은 부호화시킬 GOP를 결정하는 단계를 보다 자세히 기술하면 도 6에 도시된 바와 같다. 도 6은 본 발명에 따른 3차원 웨이블릿 변환 기반의 동영상 코딩 방법에 의한 동영상 부호화 과정에서 GOP의 프레임수를 결정하는 과정을 설명하기 위한 도면이다.

먼저 앞의 영상과 현재의 영상과의 차이 값을 구하는 단계(단계 601 내지 603)와, 그 차이 값이 일정 임계치를 넘는지를 판단하는 단계(단계 604)와, 만일 넘으면 현재 프레임 까지를 하나의 GOP로 결정하고 다음 3차원 웨이블릿(Wavelet) 단계로 넘어가지만(단계 605), 넘지 않을 경우 GOP에 포함될 프레임 수를 1만큼 증가시키고(단계 606), 다시 다음 영상과 현재 영상에 대해 같은 과정(단계 602 이후)을 반복하도록 하는 단계를 수행한다.

앞에서도 언급하였듯이 영상은 Y 요소와 Cb 요소, 그리고 Cr 요소 별로 처리된다. 도 6에서 기술된 GOP 길이 결정단계에서 각 요소별로 처리되더라도 Y, Cb, Cr 모두 GOP 길이는 같아야 하는데, 본 발명에서는 가장 압축률에 민감한 Y 값만을 기준으로 임계치와 비교하여 GOP 길이를 결정하도록 하였다.

한편, 도 7은 본 발명에 따른 3차원 웨이블릿 변환 기반의 동영상 코딩 방법에 의한 동영상 복호화 과정을 설명하기 위한 도면이다.

본 발명에 따른 3차원 웨이블릿 변환 기반의 동영상 코딩 방법은, 도 7에 도시된 바와 같이, 부호화된 영상이 입력되면, 상기 입력된 영상에 대하여 복호화를 수행한다. 이때, 복호화를 수행하는 과정에서 가변장 복호화(VLD) 방법이 적용될 수 있다.

그리고, 상기 복호화된 결과물에 대해 양자화 파라메터(QP)를 이용하여 역양자화(Inverse Quantization)를 수행하고, 상기 부호화된 영상의 부호화시에 GOP(Group Of Picture)에 포함된 프레임 수 정보를 추출한다.

이후, 상기 추출된 GOP에 포함된 프레임 수 정보를 참조하여, 상기 GOP에 포함된 프레임 수 만큼의 역양자화된 결과에 대하여 3차원 웨이블릿 변환을 수행하여 원 영상을 복원하게 된다.

이상의 설명에서와 같이 본 발명에 따른 3차원 웨이블릿 변환 기반의 동영상 코딩 방법에 의하면, GOP(Group Of Picture) 길이에 따른 압축률과 복원 시 연산량에 따른 트레이드 오프(trade-off)를 최적화 함으로써, 압축률도 개선하고, 아울러 복원시 하나의 프레임을 복원하는 데 필요한 시간을 감소시킬 수 있는 장점이 있다.

Claims

영상이 입력되는 단계;

상기 입력된 영상에 대하여 부호화를 수행함에 있어, 부호화되는 GOP(Group Of Picture)에 포함될 프레임 수를 결정하는 단계;

상기 결정된 GOP에 대해 3차원 웨이블릿(Wavelet) 변환을 수행하는 단계;

상기 3차원 웨이블릿 변환이 수행된 결과에 대하여 부호화를 수행하는 단계;

를 포함하는 것을 특징으로 하는 3차원 웨이블릿 변환 기반의 동영상 코딩 방법.
제 1항에 있어서,

상기 3차원 웨이블릿 변환된 결과에 대하여 양자화(Quantization)가 수행되는 단계가 더 구비되는 것을 특징으로 하는 3차원 웨이블릿 변환 기반의 동영상 코딩 방법.
제 1항에 있어서,

상기 부호화를 수행함에 있어, 가변장 부호화(VLC) 방법이 적용되는 것을 특징으로 하는 3차원 웨이블릿 변환 기반의 동영상 코딩 방법.
제 1항에 있어서,

상기 GOP에 포함될 프레임 수를 결정하는 과정은 부호화가 수행되는 매 GOP 단위마다 수행되는 것을 특징으로 하는 3차원 웨이블릿 변환 기반의 동영상 코딩 방법.
제 1항에 있어서, 상기 GOP에 포함될 프레임 수는 현재 영상과 이전 영상 간의 차이 값에 따라 결정하되, 현재 영상과 이전 영상 간의 차이 값이 설정된 임계치를 넘는 경우에는 현재 프레임 까지를 끝으로 현재 GOP에 포함되는 프레임 수를 결정하고, 현재 영상과 이전 영상 간의 차이 값이 설정된 임계치를 넘지 않는 경우에는 현재 프레임을 현재 GOP에 포함시키고 다음 프레임에 대해서 상기 GOP에 포함될 프레임 수를 결정하는 단계를 반복하는 것을 특징으로 하는 3차원 웨이블릿 변환 기반의 동영상 코딩 방법.
제 5항에 있어서,

상기 이전 영상과의 차이 값을 구하는 단계에 있어, 이전 영상과의 차이 값은 (Y, Cb, Cr) 요소 중에서 Y 요소에 대해서만 차이 값을 구하는 것을 특징으로 하는 3차원 웨이블릿 변환 기반의 동영상 코딩 방법.
제 1항에 있어서,

상기 3차원 웨이블릿 변환을 수행함에 있어, 연속된 영상에서의 바로 앞 영상과의 차이 값에 대해 3차원 웨이블릿 변환을 수행하는 것을 특징으로 하는 3차원 웨이블릿 변환 기반의 동영상 코딩 방법.
제 1항에 있어서,

상기 GOP에 포함될 프레임 수를 결정하는 단계에 있어, 연속된 영상이 유사할 경우에는 상기 GOP에 포함되는 프레임 수를 크게 하고, 연속된 영상이 유사하지 않을 경우에는 상기 GOP에 포함되는 프레임 수를 적게하는 것을 특징으로 하는 3차원 웨이블릿 변환 기반의 동영상 코딩 방법.
부호화된 영상이 입력되는 단계;

상기 입력된 영상에 대하여 복호화를 수행하는 단계;

상기 복호화된 결과물에 대해 역양자화를 수행하고, 상기 부호화된 영상의 부호화시에 GOP(Group Of Picture)에 포함된 프레임 수 정보를 추출하는 단계;

상기 추출된 GOP에 포함된 프레임 수 정보를 참조하여, 상기 GOP에 포함된 프레임 수 만큼의 역양자화된 결과에 대하여 3차원 웨이블릿 변환을 수행하여 원 영상을 복원하는 단계;

를 포함하는 것을 특징으로 하는 3차원 웨이블릿 변환 기반의 동영상 코딩 방법.
제 9항에 있어서,

상기 복호화를 수행함에 있어, 가변장 복호화(VLD) 방법이 적용되는 것을 특징으로 하는 3차원 웨이블릿 변환 기반의 동영상 코딩 방법.