KR20120126505A

KR20120126505A - 화면내 부호화 모드의 결정 방법 및 이를 활용한 분산 비디오 부호화 기법 코덱

Info

Publication number: KR20120126505A
Application number: KR1020110044354A
Authority: KR
Inventors: 김진수
Original assignee: 한밭대학교 산학협력단
Priority date: 2011-05-12
Filing date: 2011-05-12
Publication date: 2012-11-21
Also published as: KR101230856B1

Abstract

본 발명은 화면내 부호화 모드의 결정 방법 및 이를 활용한 DVC 코덱에 관한 것으로, 더욱 상세하게는 SAD(Sum of Absolute Difference)를 이용하여 시간방향의 상관성과 공간방향의 상관성을 조사하는 단계, 상기 SAD를 통해 조사한 데이터를 통해 화면내 부호화 모드 및 WZ 프레임 부호화 모드에 대한 확률를 계산하는 단계, 상기 확률를 이용하여 화면내 프레임 부호화 모드 및 WZ 프레임 부호화 모드의 엔트로피를 각각 계산하는 단계, 및 상기 화면내 프레임 부호화 모드의 엔트로피와 WZ 프레임 부호화 모드의 엔트로피를 비교하여 부호화 모드를 결정하는 화면내 부호화 모드의 결정 방법 및 이를 활용한 DVC 코덱에 관한 것이다.

Description

화면내 부호화 모드의 결정 방법 및 이를 활용한 분산 비디오 부호화 기법 코덱{METHOD FOR DECIDING INTRA-CODED FRAME MODE AND DVC CODEC USING THE SAME}

본 발명은 부호화기에서 프레임 차 신호를 구하여 WZ 프레임에 대해 화면내 부호화 및 WZ 부호화 모드를 효율적으로 결정하는 화면내 부호화 모드의 결정 방법 및 이를 활용한 DVC 코덱에 관한 것이다.

대부분의 영상 압축 기술은 크게 화면내(Intra) 부호화와 화면간(Inter) 부호화의 방식을 이용하여 효율을 매우 높인다. 동영상 압축 부호화에는 화면간 부호화를 사용함으로써, 시간적인 중복성을 효과적으로 제거하는 압축 방식을 사용한다.

그러나, 기존의 대중화되어 있는 영상 압축 부호화 및 복호화 시스템에서는 시간적인 중복성을 제거하기 위해 인접한 프레임을 비교하기 위하여, 블록 단위의 움직임을 추정(Motion Estimation)을 수행하는데, 이러한 부분은 매우 많은 자원을 필요로 하기 때문에 휴대용 모바일 기기와 같이 경량화된 단말기 환경에서는 적합하지 않았다.

시간적 중복성은 프레임 내에 존재하는 물체의 움직임이 적거나, 밝기 변화가 낮은 경우에 매우 높으며, 이 경우에는 화면간 부호화를 이용하는 것이 효과적이고, 물체의 움직임이 크거나 밝기 변화가 심한 경우에는 화면내 부호화를 이용하는 것이 효과적이다.

즉, 이웃하는 프레임간의 중복성이 매우 높은 경우에는 최소한의 정보를 생성시켜 전송하고 복호화기에서 보조정보를 이용하여 움직임을 추정하여 우수한 성능을 얻을 수 있는 반면에 주기적인 정보의 재전송 또는 움직임이 많은 영상들을 위해서는 화면내 부호화를 통해 복호화기가 효과적인 재생이 가능하도록 한다.

이와 같이 화면내 부호화를 수행하는 프레임(frame)을 키프레임(Key frame), 그외의 프레임(frame)을 위즈 프레임(WZ frame)으로 정의하여 부호화하는 방식이 분산 비디오 부호화기법(DVC: Distributed Video Coding)으로써 매우 많은 관심을 받고 있다.

키 프레임과 WZ 프레임으로의 선택이 자유로운 DVC 시스템에서의 성능은 부호화 모드를 적절하게 선택하는 방식을 필요로 한다.

각 모드는 시간적, 공간적 연관성을 기준으로 판단되기 때문에 최적의 모드를 판단하는 기준을 개발할 필요가 있는 것이다.

따라서 본 발명이 해결하고자 하는 기술적 과제는 각 부호화 모드를 시간적, 공간적인 연관성을 기준으로 우수한 성능을 얻도록 최적의 모드를 결정하는 것이다.

본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기의 목적을 달성하기 위한 본 발명에 따른 화면내 부호화 모드의 결정 방법은 SAD(Sum of Absolute Difference)를 이용하여 시간방향의 상관성과 공간방향의 상관성을 조사하는 단계; 상기 SAD를 통해 조사한 데이터를 이용하여 화면내 부호화 모드 및 WZ(Wyner-Ziv) 프레임 부호화 모드에 대한 확률을 계산하는 단계; 상기 확률을 이용하여 화면내 프레임 모드 및 WZ 프레임 모드의 엔트로피를 각각 계산하는 단계; 및 상기 화면내 프레임 모드의 엔트로피와 WZ 프레임 모드의 엔트로피를 비교하여 부호화 모드를 결정한다.

상기 WZ 프레임 모드의 엔트로피가 화면내 프레임 모드의 엔트로피보다 큰 경우 화면내 프레임 부호화 모드를 결정하고, 작은 경우 WZ 프레임 부호화 모드를 결정한다.

상기의 목적을 달성하기 위한 본 발명에 따른 다른 DVC 코덱은 상기 부호화 모드의 결정방법을 활용한다.

이러한 본 발명의 특징에 따르면, 본 발명은 모바일 단말기, 무선 카메라, 센서등에서 사용가능한 낮은 복잡도의 부호화기의 성능 개선 효과가 있다.

또한, 본 발명은 영상 컨텐츠, 멀티미디어 컨텐츠가 고가의 장비 고급 인력과 같은 환경적인 제약이 줄어듬으로써, 사용자 중심의 영상 컨텐츠의 생산이 증가하는 효과가 있다.

또한, 본 발명은 의료, 군사 등 제한된 환경에서 특수한 목적으로 생산되는 영상의 신뢰성을 높이는 효과가 있다.

도 1은 본 발명의 실시 예에 따른 부호화 모드의 결정 방법을 나타낸 흐름도이다.
도 2는 본 발명의 실시 예에 따른 시간방향 상관성과 공간방향 상관성을 측정하기 위한 블록 위치도이다.
도 3은 본 발명의 실시 예에 따른 위너-지브 프레임의 화면내 부호화 모드 결정 방법을 활용한 DVC 코덱을 나타낸 블록도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세하게 설명한다. 도면들 중 동일한 구성요소들은 가능한 어느 곳에서든지 동일한 부호로 표시한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.

도 1은 본 발명의 실시 예에 따라 위너-지브 프레임의 화면내 부호화 모드 결정 방법을 나타낸 흐름도로써, 먼저, SAD(Sum of Absolute Difference)를 이용하여 시간방향의 상관성과 공간방향의 상관성을 조사한다(S11).

이때, 시간방향의 상관성과 공간방향의 상관성을 조사하기 위해 도 2에 도시된 방법에 따라 SAD를 사용한다.

즉, 프레임 번호 2k를 갖는 프레임 내에 있는 i번째 블록의 시간방향 상관성은 현재 프레임에서 인접한 두개의 키 프레임과 연관되는 블록간의 수학식 1에 따른 SAD_i ^T를 통해 측정한다.

수학식 1

여기서, I_2k는 현재 프레임, I_2k-1은 이전 프레임, I_2k+1은 이후 프레임, (r, c)는 열(r)의 행(c)에 위치하는 화소 인덱스를 나타낸다.

또한, I 번째 블록의 공간방향 상관성은 현재 블록에 인접한 블록들의 수학식 2에 따른 SAD_i ^S를 사용하는데, 이는 인접한 블록의 평균 밝기 값들의 중간값(median)을 가지는 블록을 선택하여 측정한다.

수학식 2

여기서, I_2k는 현재 프레임, (r, c)는 열(r)의 행(c)에 위치하는 화소 인덱스를 나타내고, median(A, B, C, D, E, F, G, H)는 현재 블록 주위에 있는 A내지 H블록에 대해 각각 평균 밝기 값을 구하고, 그 밝기 값들의 중간값을 의미한다.

WZ 프레임 부호화에서 화면내 코딩은 각각 시간방향 및 공간방향에서의 화소간의 상관성 정도에 비례한다.

이어서, SAD를 통해 조사한 데이터를 이용하여 화면내 부호화 모드 및 WZ(Wyner-Ziv) 프레임 부호화 모드에 대한 확률을 계산한다(S12).

여기서, 화면내 부호화 모드의 확률은 아래 수학식 3에 의해 계산된다.

수학식 3

여기서, SAD_i ^s 는 공간방향의 상관성, SAD_i ^T는 시간방향의 상관성을 각각 나타낸다.

또한, WZ 프레임 부호화 모드의 확률은 아래 수학식 4에 의해 계산된다.

수학식 4

여기서, SAD_i ^s는 공간방향의 상관성, SAD_i ^T는 시간방향의 상관성을 각각 나타낸다

이어서, 확률을 이용하여 화면내 프레임 모드 및 WZ 프레임 모드의 엔트로피를 각각 계산한다(S13).

화면내 프레임 모드의 엔트로피는 아래 수학식 5에 의해 계산된다.

수학식 5

여기서, P_i(I)는 화면내 부호화 모드의 확률을 나타낸다.

또한, WZ 프레임 모드의 엔트로피는 아래 수학식 6에 의해 계산된다.

수학식 6

여기서, P_i(W)는 WZ 프레임 부호화 모드의 확률을 나타낸다.

마지막으로, 화면내 프레임 모드의 엔트로피와 WZ 프레임 모드의 엔트로피를 비교하여 부호화 모드를 결정한다(S14).

즉, WZ 프레임 모드의 엔트로피가 화면내 프레임 모드의 엔트로피보다 큰 경우 화면내 프레임 부호화 모드를 결정하고(S15), 작은 경우 WZ 프레임 부호화 모드를 결정한다(S16).

도 3은 본 발명의 실시 예에 따른 부호화 모드의 결정 방법을 활용한 DVC 코덱은 TDWZ(Transform Domain Wyner-Ziv)부호화기(100) 및 TDWZ 복호화기(200)로 구성한다.

먼저, TDWZ 부호화기(100)가 화면내 부호화(110)를 수행하는 프레임을 키 프레임이라하고, 그 외의 프레임을 WZ 프레임으로 정의한다.

TDWZ 부호화기(100)가 키 프레임을 부호화하기 위해서는 키 프레임에 해당되는 프레임에 대해 화면내 부호화기(110)를 통하여 압축된 비트 스트림을 발생시켜 전송한다.

그리고, TDWZ 복호화기(200)에서는 화면내 복호화(210)를 통하여 수신된 비트 스트림을 복호화여 복원한다. 이때, 복원된 비트 스트림 정보는 부호화된 WZ 프레임의 복호 및 복원을 위해 프레임 메모리(211)에 저장한다.

TDWZ 부호화기(100)에서 WZ 프레임을 부호화하기 위해서는 화면내 부호화 모드와 WZ 프레임 모드로 부호화가 가능하며, 화면내 부호화 모드와 WZ프레임 모드 중 최적의 모드를 선택하기 위해서 도 1과 같은 부호화 모드 결정방법을 따른다.

도 1과 같은 부호화 모드들 결정하는 모드 결정부(120)를 통해 WZ 프레임 모드가 선택되는 경우, 블록단위로 이산 코사인 변환부(DCT; Discrete Cosine Transform, 이하, ‘DCT’라 칭한다)(102)가 적용되고, 그 결과를 양자화(Q, 123)하여 비트 플레인 단위 (Bitplane) 로 읽힌다.

각 비트 플레인은 LDPCA 부호기(124)로 부호화하여 얻어지는 패리티 정보를 버퍼(125)에 저장한 후에 TDWZ 복호화기(200)에 전달된다.

TDWZ 복호화기(200)의 프레임 메모리(211)에 저장된 키 프레임의 비트 스트림 정보를 이용하여 보조정보 생성부(212)는 보조정보(Side Information)를 생성한다. 이때, 생성된 보조정보를 TDWZ 부호화기(100)에서와 같이, 블록단위로 이산 코사인 변환부(DCT; Discrete Cosine Transform, 이하, ‘DCT’라 칭한다)(213)에서 변환을 수행하고, 양자화기(Q, 225)를 통해 균일하게 양자화한다.

여기서, 이웃하는 프레임간의 중복성이 매우 높은 경우에는 최소한의 정보를 생성시켜 전송하고 TDWZ복호화기(200)에서 보조정보를 이용하여 움직임을 추정하여 우수한 성능을 얻을 수 있다.

이렇게 얻어진 정보의 비트 플레인 정보를 수신하는 LDPCA 패리티 비트열에 대해 유료부하 영역에 위치시켜 정보를 양자화된 DCT 정보의 비트열을 얻는다. 이때, 복원되는 품질에 따라 TDWZ 부호화기(100) 측에 피드백(feedback)을 통해 더 많은 패리티 비트를 요구한다.

이와 같은 방법으로 LDPCA 복호화기(222)를 통하여 DCT 계수 정보를 복원부(26)를 통해 복원한다.

또한, IDCT(Inverse Discrete Cosine Transform, 224)을 수행하여 화소 정보를 만들게 된다.

이와 같이, WZ 프레임 모드로 전송하는 경우, 프레임 모드는 1비트 정보로 표현가능하며, 미리 수신측에 전송함이 바람직하다.

도 1과 같은 부호화 모드를 통해 화면내 프레임 모드가 선택되는 경우, TDWZ 부호화기(100)는 화면내 부호화기(121)로 부호화되어 전송하고, TDWZ 복호화기(200)는 부호화된 프레임을 화면내 복호화기(221)로 복호하여 화소 정보를 얻는다.

따라서, 본 발명은 환경에 맞는 부호화를 용이하게 선택함으로써, 모바일 단말기, 무선 카메라, 센서등에서 사용가능한 낮은 복잡도의 부호화기의 성능 개선 효과가 있다.

100 : TDWZ 부호화기 110, 121 : 화면내 부호화기
120 : 모드 결정부 122, 213 : DCT
123, 225 : 양자화기(Q) 124 : LDPCA 부호기
125 : 버퍼 200 : TDWZ 복호화기
210, 221 : 화면내 복호화기 211 : 프레임 메모리
212 : 보조정보 생성부 222 : LDPCA 복호기
223 : 복원부 224 : IDCT

Claims

SAD(Sum of Absolute Difference)를 이용하여 시간방향의 상관성과 공간방향의 상관성을 조사하는 단계;
상기 SAD를 통해 조사한 데이터를 이용하여 화면내 부호화 모드 및 WZ(Wyner-Ziv) 프레임 부호화 모드에 대한 확률을 계산하는 단계;
상기 확률을 이용하여 화면내 프레임 모드 및 WZ 프레임 모드의 엔트로피를 각각 계산하는 단계; 및
상기 화면내 프레임 모드의 엔트로피와 WZ 프레임 모드의 엔트로피를 비교하여 부호화 모드를 결정하는, 화면내 부호화 모드 결정 방법.
청구항 1에 있어서,
상기 시간방향의 상관성은 현재 프레임에서 인접한 두 개의 키프레임과 연관된 블록간의 하기 SAD_i ^T를 통해 측정되는, 화면내 부호화 모드 결정 방법.

여기서, I_2k는 현재 프레임, I_2k-1은 이전 프레임, I_2k+1은 이후 프레임, (r, c)는 열(r)의 행(c)에 위치하는 화소 인덱스를 나타냄.
청구항 1에 있어서,
상기 공간방향의 상관성은 현재 블록에 인접한 블록들의 하기 SAD_i ^s를 통해 측정되는, 화면내 부호화 모드 결정 방법.

여기서, I2k는 현재 프레임, (r, c)는 열(r)의 행(c)에 위치하는 화소 인덱스를 나타내고, median(A, B, C, D, E, F, G, H)는 현재 블록 주위에 있는 A내지 H블록에 대한 평균 밝기 값들의 중간값을 나타냄.
청구항 1에 있어서,
상기 화면내 부호화 모드의 확률은 아래 수학식에 의해 계산되는, 화면내 부호화 모드 결정 방법.
수학식

여기서, SAD_i ^s 는 공간방향의 상관성, SAD_i ^T는 시간방향의 상관성을 나타냄.
청구항 1에 있어서,
상기 WZ 프레임 부호화 모드의 확률은 아래 수학식에 의해 계산되는, 화면내 부호화 모드 결정 방법.
수학식

여기서, SAD_i ^s는 공간방향의 상관성, SAD_i ^T는 시간방향의 상관성을 나타냄.
청구항 1에 있어서,
상기 화면내 프레임 모드의 엔트로피는 아래 수학식에 의해 계산되는, 화면내 부호화 모드 결정 방법.
수학식

여기서, P_i(I)는 화면내 부호화 모드의 확률을 나타냄.
청구항 1에 있어서,
상기 WZ 프레임 모드의 엔트로피는 아래 수학식에 의해 계산되는, 화면내 부호화 모드 결정 방법.
수학식

여기서, P_i(W)는 WZ 프레임 부호화 모드의 확률을 나타냄.
청구항 1에 있어서,
상기 WZ 프레임 모드의 엔트로피가 화면내 프레임 모드의 엔트로피보다 큰 경우 화면내 프레임 부호화 모드를 결정하고, 작은 경우 WZ 프레임 부호화 모드를 결정하는, 화면내 부호화 모드의 결정 방법.
청구항 1 내지 청구항 8 중 어느 한 항에 따른 부호화 모드의 결정방법을 활용한 DVC 코덱.