KR101200535B1

KR101200535B1 - 매크로블록 기반의 조명 변화에 대한 적응적 움직임예측/보상 장치 및 방법

Info

Publication number: KR101200535B1
Application number: KR1020060003666A
Authority: KR
Inventors: 이영렬; 이충구
Original assignee: (주)휴맥스
Priority date: 2006-01-12
Filing date: 2006-01-12
Publication date: 2012-11-27
Also published as: US20080317131A1; KR20070075190A; WO2007081104A1; US8144782B2

Abstract

매크로블록 기반의 조명 변화에 대한 적응적 움직임 예측/보상 장치 및 방법이 개시된다. 본 발명의 실시예에 따른 움직임 예측 장치는 절대값 차의 합 산출에 의해 매크로블록 모드가 새롭게 제안된 P_L0_16x16_Mean으로 결정되는 경우 현재 프레임 블록의 화소 평균값과 후보 패턴 블록의 화소 평균값의 절대값 차를 CABAC 인코딩하여 복호화기로 전송한다. 본 발명에 의하여, 압축률이 최대화됨으로써 복호화를 위해 복호화기로 전송되는 비트스트림의 전송량을 최소화할 수 있다.

예측 부호화, 움직임 예측, 움직임 보상, SAD, 조명

Description

매크로블록 기반의 조명 변화에 대한 적응적 움직임 예측/보상 장치 및 방법{Adaptive motion estimation/compensation device for MB-based illumination change and method thereof}

도 1은 본 발명의 바람직한 실시예에 따른 적응적 움직임 예측 방법의 동작 순서를 도시한 도면.

도 2a는 본 발명의 바람직한 일 실시예에 따른 부호화 장치의 구성을 도시한 도면.

도 2b는 본 발명의 바람직한 일 실시예에 따른 이진화 체계(binarization scheme)에 관한 이진화 코딩 트리(binarization coding tree)를 예시한 도면.

도 2c는 본 발명의 바람직한 일 실시예에 따른 P 슬라이스(Slice)에서의 매크로블록 타입에 대한 이진화를 예시한 도면.

도 2d는 본 발명의 바람직한 일 실시예에 따른 절대값 차에 대한 이진화를 예시한 도면.

도 2e는 본 발명의 바람직한 일 실시예에 따른 복호화 장치의 구성을 도시한 도면.

<도면의 주요부분에 대한 부호의 설명>

210 : 현재 프레임의 휘도 평균값 산출부

220 : 참조 프레임의 휘도 평균값 산출부

230 : 움직임 예측부

231 : 현재 프레임의 패턴 블록화부

233 : 참조 프레임의 패턴 블록화부

235 : 움직임 벡터 결정부

240 : 움직임 추정부

245 : 절대값 차 산출부

250 : CABAC 부호화부

본 발명은 움직임 예측(ME, Motion Estimate) 및 움직임 보상(MC, Motion Compensation)에 관한 것으로, 보다 상세하게는 매크로블록 기반의 조명 변화에 대한 적응적 움직임 예측/보상 장치 및 방법에 관한 것이다.

ITU-T와 ISO/IEC에서는 영상의 부호화 효율성을 향상시키는 과정에서, H.26x 시리즈와 MPEG-x 시리즈를 발표하였다. 그리고 2003년도에 H.264(MPEG-4 part 10 Advanced Video Coding)가 완성됨으로써 많은 비트가 절감될 수 있게 되었다. 참고 로, H.264에서는 MPEG-1, MPEG-2, MPEG-4 Part 2 Visual 등 종래의 비디오 부호화 표준과는 달리 공간 예측 부호화 방법을 사용하고 있다. 종래의 방법에서는 DCT 변환 영역(Transform Domain)에서 변환된 계수(Coefficients)값에 대한 인트라 예측을 사용함으로서 부호화 효율 증대를 추구하여 저역 전송비트율 대의 주관적 화질의 열화를 발생키는 결과를 초래하였지만, H.264에서는 변환영역이 아닌 공간영역(Spatial Domain)에서의 공간적 인트라 예측 (Spatial Intra Prediction) 부호화 방법을 채택하고 있다.

이와 같이, 비디오 부호화 표준이 발전하면서 블록 기반 움직임 예측(BMME, Block Matching Motion Estimation)에 관한 연구도 많았으며, 이를 위한 대부분의 방법은 현재 프레임(current frame)의 블록과 참조 프레임(reference frame)의 후보 블록의 절대값 차의 합(SAD : sum of absolute differences - 이하 "SAD"라 칭함)들을 구하여 가장 작은 SAD를 보이는 참조 프레임의 후보 블록의 위치를 현재 프레임의 블록의 움직임 벡터(motion vector)로 결정하도록 구성하는 것이다.

그리고, 그 후보 블록과 현재 프레임의 블록간의 차분 신호(residual)들을 이산여현변환(DCT, Discrete Cosine Transform)과 양자화(Quantization)를 한 후, 움직임 벡터와 함께 가변장 부호화(VLC : variable length coding)를 수행한다. 여기서, 움직임 벡터를 찾는다는 것은 현재 프레임과 참조 프레임의 시간적 중복성(temporal redundancy)을 제거하여 획득하는 것이므로, 상당한 부호화 효율을 가져올 수 있다. 그러나, 이 과정에는 다음과 같은 문제점이 있다.

다시점 비디오 코딩(multi-view video coding)시 동일한 시간 축에서 다른 카메라를 통해 입력된 프레임들(inter-views)간에 혹은 연속된 시간축에서 동일한 카메라를 통해 입력되는 프레임들(same-views)간에 조도(illumination)가 변경되는 경우(예를 들어, 영상 내에 장면변화(scene change) 또는 조명이 서서히 어두워지거나 밝아지거나 또는 깜박거림이 있는 경우), 종래 기술에 의하여 블록간의 SAD를 계산하여 최소의 SAD를 찾아 차분신호를 부호화하면 부호화에 사용되는 비트가 많이 필요하여, 압축률이 급격히 저하되는 문제점이 있었다.

일반적으로 장면변화가 있으면 변화된 그 프레임은 화면내 부호화(intra)를 하는 것이 움직임 예측(ME)과 움직임 보상(MC)을 하는 것보다 더욱 효과적이다. 그 이유는 참조 프레임의 탐색 영역 내 어느 곳에서도 현재 프레임의 블록의 패턴을 찾아볼 수 없기 때문이다. 마찬가지로, 조명의 변화나 깜박거림에서도 같은 방법으로 움직임 예측을 하여 차분신호를 부호화하게 되면 유사한 결과가 나온다. 그래서 이 경우에서도 화면내 부호화를 하는 경우가 많다. 하지만 이 경우 장면변화는 없었으므로, 참조 프레임에서 현재 프레임의 블록과 비슷한 패턴을 가진 블록을 찾을 수 있으나, 그 블록과 현재 프레임의 블록의 차분을 부호화하더라도 많은 비트를 필요로 하는 문제점이 발생한다.

따라서 본 발명은 상기의 제반 문제점을 해결하기 위하여 안출한 것으로서, 조명변화에 적응적인 움직임 예측(ME : Motion Estimation) 및 움직임 보상(MC : Motion Compensation)을 통하여 보다 효율적으로 영상을 부호화 및 복호화할 수 있 는 매크로블록 기반의 조명 변화에 대한 적응적 움직임 예측/보상 장치 및 방법을 제공하기 위한 것이다.

본 발명의 다른 목적은 H.264의 P 슬라이스(slice)의 매크로블록 타입(MB type)의 이진값(binarization)을 약간 변형하여, 16x16 블록의 경우 다양한 SAD 산출 공식을 적용하여 압축률의 최대화를 시도함으로써, 복호화를 위해 복호화기로 전송되는 비트스트림의 전송량을 최소화할 수 있는 조명 변화에 대한 적응적 움직임 예측/보상 장치 및 방법을 제공하기 위한 것이다.

또한, 본 발명의 또 다른 목적은 실제 환경에서 주변 조명 변화에 강인한 코덱을 제공함에 있으며, 그 외의 다른 본 발명의 목적들은 이하에 서술되는 바람직한 실시예를 통하여 보다 명확해질 것이다.

상술한 목적을 달성하기 위하여 본 발명의 일 측면에 따르면, 조명 변화에 적응적인 움직임 예측 방법 및 그 방법을 수행하기 위한 프로그램이 기록된 기록매체가 제공된다.

바람직한 일 실시예에 따른 움직임 예측 방법은, (a) 현재 프레임 블록에 대한 현재 프레임 패턴 블록 및 참조 프레임 블록에 대한 참조 프레임 패턴 블록을 생성하는 단계; (b) 상기 참조 프레임 패턴 블록 중에 상기 현재 프레임 패턴 블록에 대응하는 후보 패턴 블록들에 대하여 SAD를 산출하고, 상기 산출된 SAD 중 미리 설정된 조건에 상응하는 SAD에 대응하는 후보 패턴 블록을 매크로블록 모드 및 움 직임 벡터로 결정하는 단계; (c) 상기 움직임 벡터에 대응하는 후보 패턴 블록과 상기 현재 프레임 패턴 블록의 차분 신호를 이용하여 잔여 신호를 생성한 후, 상기 잔여 신호에 대하여 미리 설정된 부호화 모드에 따라 이산여현변환과 양자화를 수행하여, 상기 현재 프레임 블록을 부호화하는 단계; 및 (d) 상기 매크로블록 모드가 16x16인 경우, 부호화된 현재 프레임 블록에 적용되는 부호 정보 및 절대값 차를 부호화하여 상기 부호화된 현재 프레임 블록에 상응하는 헤더 정보로 첨부하는 단계를 포함할 수 있다. 여기서, 상기 부호 정보는 상기 현재 프레임 블록의 화소 평균값과 상기 참조 프레임 블록의 차의 부호를 나타내고, 상기 절대값 차는 상기 현재 프레임 블록의 화소 평균값과 상기 참조 프레임 블록의 화소 평균값의 절대값 차일 수 있다.

상기 현재 프레임 블록은 16x16, 16x8, 8x16, 8x8, 8x4, 4x8 또는 4x4 중 적어도 어느 하나의 형태로 설정될 수 있다.

상기 (a) 단계는, 상기 현재 프레임 블록의 휘도 성분 평균값 및 상기 참조 프레임 블록의 휘도 성분 평균값을 산출하는 단계; 및 상기 현재 프레임 블록의 휘도 성분에서 상기 현재 프레임 블록의 휘도 성분 평균값을 차분하여 현재 프레임 패턴 블록을 생성하고, 상기 참조 프레임 블록의 휘도 성분에서 상기 참조 프레임 블록의 휘도 성분 평균값을 차분하여 참조 프레임 패턴 블록을 생성하는 단계를 포함할 수 있다.

상기 절대값 차는 CABAC 기법에 의해 부호화되고, 크기는 이진 부호화 심볼(ABS)로 표시되며, 상기 크기는 0차 EGC(Exp-Golomb Code)로 부호화될 수 있다. 상 기 부호 정보는 1 비트 심볼(sign)로 표시될 수 있다.

상기 단계 (b)에서, 상기 후보 패턴 블록은 16x16, 16x8, 8x16 및 8x8을 포함하고, 상기 모든 후보 패턴 블록에 대하여 제1 수학식

에 의해 상기 SAD가 산출되며, 상기 후보 패턴 블록 16x16은 제2 수학식

에 의해 상기 SAD가 더 산출되고, 상기 f(i, j)는 현재 프레임의 공간좌표 (i, j)의 화소값, 상기 r(i+x,j+y)는 참조 프레임의 공간좌표 (i+x, j+y)의 화소값, 상기 S와 상기 T는 블록 매칭시 사용하는 블록의 크기, 상기 (x,y)는 움직임 벡터(motion vector), 상기 Mcurr은 상기 현재 프레임 블록의 화소 평균값, 상기 Mref는 상기 후보 패턴 블록의 화소 평균값을 지칭하는 것을 특징으로 한다.

상기 단계 (d)는 상기 제2 수학식에 의해 산출된 SAD가 최소의 SAD인 경우에만 수행될 수 있다.

상기 잔여 신호는 하기 수학식에 의하여 산출될 수 있다.

여기서, 상기 NewR은 상기 잔여 신호, 상기 Mcurr은 현재 프레임 블록의 화소 평균값, 상기 Mref는 상기 후보 패턴 블록의 화소 평균값, 상기 f(i, j)는 현재 프레임의 (i, j) 좌표에서 화소값, 상기 r(i,j)은 참조 프레임의 (i,j) 좌표에서 화소값, 상기 (x,y)는 움직임벡터를 지칭한다.

상술한 목적을 달성하기 위하여 본 발명의 다른 측면에 따르면, 조명 변화에 적응적인 움직임 예측 장치가 제공된다.

바람직한 일 실시예에 따른 움직임 예측 장치는, 현재 프레임 블록에 대한 현재 프레임 패턴 블록 및 참조 프레임 블록에 대한 참조 프레임 패턴 블록을 생성하기 위한 패턴 블록 생성부; 상기 참조 프레임 패턴 블록 중에 상기 현재 프레임 패턴 블록에 대응하는 후보 패턴 블록에 대한 SAD를 산출하고, 상기 산출된 SAD 중 미리 설정된 조건에 상응하는 SAD에 대응하는 후보 패턴 블록을 매크로블록 모드 및 움직임 벡터로 결정하기 위한 움직임 벡터 결정부; 상기 움직임 벡터에 대응하는 후보 패턴 블록과 상기 현재 프레임 패턴 블록의 차분 신호를 이용하여 잔여 신호를 생성하기 위한 움직임 보상부; 및 상기 매크로블록 모드가 16x16인 경우, 부호화된 현재 프레임 블록에 적용되는 부호 정보 및 절대값 차를 부호화하여 상기 부호화된 현재 프레임 블록에 상응하는 헤더 정보로 첨부하는 헤더 정보 첨부부를 포함할 수 있다. 여기서, 상기 부호 정보는 상기 현재 프레임 블록의 화소 평균값과 상기 참조 프레임 블록의 차의 부호를 나타내고, 상기 절대값 차는 상기 현재 프레임 블록의 화소 평균값과 상기 참조 프레임 블록의 화소 평균값의 절대값 차일 수 있다.

상기 패턴 블록 생성부는, 상기 현재 프레임 블록의 휘도 성분 평균값 및 상기 참조 프레임 블록의 휘도 성분 평균값을 산출하고, 상기 현재 프레임 블록의 휘도 성분에서 상기 현재 프레임 블록의 휘도 성분 평균값을 차분하여 현재 프레임 패턴 블록을 생성하고, 상기 참조 프레임 블록의 휘도 성분에서 상기 참조 프레임 블록의 휘도 성분 평균값을 차분하여 참조 프레임 패턴 블록을 생성할 수 있다.

상기 잔여 신호에 대한 이산여현변환과 양자화를 수행하는 수단을 더 포함할 수 있다.

상기 후보 패턴 블록은 16x16, 16x8, 8x16 및 8x8을 포함하고, 상기 모든 후보 패턴 블록에 대하여 제1 수학식

에 의해 상기 SAD가 더 산출되고, 상기 f(i, j)는 현재 프레임의 공간좌표 (i, j)의 화소값, 상기 r(i+x,j+y)은 참조 프레임의 공간좌표 (i+x, j+y)의 화소값, 상기 S와 상기 T는 블록 매칭시 사용하는 블록의 크기, 상기 (x,y)는 움직임 벡터(motion vector), 상기 Mcurr은 상기 현재 프레임 블록의 화소 평균값, 상기 Mref는 상기 후보 패턴 블록의 화소 평균값을 지칭하는 것을 특징으로 한다.

상기 움직임 보상부는 하기 수학식에 의하여 상기 잔여 신호를 산출할 수 있 다.

이하, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 첨부 도면을 참조하여 설명함에 있어 도면 부호에 상관없이 동일하거나 대응하는 구성 요소는 동일한 참조번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 바람직한 실시예에 따른 적응적 움직임 예측 방법의 동작 순서를 도시한 도면이다.

본 발명에 의한 적응적 움직임 예측 방법에 의하면, 영상에서 조명이 변화하거나 깜박거리는 경우 이를 인식하여, 화면내 부호화(intra)를 하지 않고 패턴이 가장 비슷한 블록을 검색하여 부호화하도록 구성된다.

즉, 본 발명은 조명이 변화하면서 블록의 휘도 성분(Y)의 값이 전체적으로 올라가거나 내려가는 것에 착안하여, 현재 블록의 휘도 성분 평균값을 구하고, 각 휘도 성분값과 구한 평균값을 차분하여 새로운 패턴 블록(pattern block)을 생성하고, 참조 프레임에서도 같은 과정을 통해 참조 패턴 블록을 생성한다.

본 발명은 이와 같이 생성된 현재 패턴 블록과 참조 패턴 블록 사이에서 움직임 예측을 수행하여 부호화하는 방법이다. 본 발명에 따르면, 동일한 비트율에서 객관적 화질(PSNR)이 향상되는 결과를 제공하며, 실제 환경에서 주변 조명변화에 강인한 코덱을 제공할 수 있다.

이하, 도 1을 참조하여 본 발명에 따른 동작 순서를 설명하면 다음과 같다.

먼저, 단계 S100에서 깜박거림 등과 같은 조명 변화가 발생하면 이를 인식하고, 통상의 화면내 부호화를 수행하지 아니하고, 본 발명에 따른 움직임 예측에 따른 패턴 부호화 방법을 수행하도록 인식한다.

단계 S110에서 참조 프레임의 블록 중에 현재 프레임의 블록과 가장 비슷한 패턴을 가진 후보 블록을 검색하기 위하여, 현재 프레임의 블록에 있는 휘도 성분(Y)의 평균값을 구하여 그 평균값을 각 휘도 성분에서 빼주어 현재 프레임 블록의 패턴 블록을 만든다. 그리고 참조 프레임의 블록들도 같은 과정을 통하여 참조 프레임 블록의 패턴 블록을 만든다.

현재 프레임의 블록과 참조 프레임의 블록들의 패턴 블록이 모두 완성되면, 단계 S120에서 패턴 블록끼리의 SAD를 구하고, 최소의 SAD를 보이는 후보 패턴 블록이 매크로블록 모드 및/또는 최종 움직임 벡터가 된다. 각 매크로블록 타입에 따라 SAD를 산출하기 위한 수식은 상이할 수 있으며, 이하 관련 도면을 참조하여 상세히 설명하기로 한다.

이후, 부호화 효율을 높이기 위하여, 앞에서 산출한 패턴 블록이 사용된다. 즉, 단계 S130에서 최종 움직임 벡터가 가리키는 후보 블록의 패턴 블록과 현재 프레임 블록의 패턴 블록의 차분 신호(이하. 잔여 신호라 칭함)를 이산여현변환(DCT : discrete cosine transform)과 양자화(quantization)를 수행하여, 많은 비트를 사용하지 않고도 부호화할 수 있다. 여기서, 매크로블록 모드가 매크로블록 타입 31로 결정된 경우, 현재 프레임의 블록에서의 휘도성분의 화소 평균값(Mcurr)과 참조 프레임의 후보블록에서의 휘도 성분의 화소 평균값(Mref)의 절대값 차가 함께 부호화하도록 구성할 수 있다. 여기서의 부호화 방식은 CABAC 부호화 방식일 수 있고, 그 이외의 부호화 방식으로서 압축률을 향상시킬 수 있다면 모든 부호화 방식이 제한없이 적용될 수 있을 것이다.

그리고 단계 S140에서 복호화를 위하여, 함께 부호화된 절대값 차를 첨부하여, 복호화 장치로 전송할 수 있다.

이러한 방법으로 기존에는 화면내 부호화가 불가피했던 블록들을 움직임 예측을 통해 부호화를 하기 때문에 부호화 효율의 향상을 가져올 수 있다.

이하, 도 2a 내지 도 2e를 참조하여 본 발명에 따른 부호화 및 복호화를 위한 구체적인 방법을 설명하기로 한다.

도 2a는 본 발명의 바람직한 일 실시예에 따른 부호화 장치의 구성을 도시한 도면이고, 도 2b는 본 발명의 바람직한 일 실시예에 따른 이진화 체계(binarization scheme)에 관한 이진화 코딩 트리(binarization coding tree)를 예 시한 도면이고, 도 2c는 본 발명의 바람직한 일 실시예에 따른 P 슬라이스(Slice)에서의 매크로블록 타입에 대한 이진화를 예시한 도면이다. 도 2d는 본 발명의 바람직한 일 실시예에 따른 절대값 차에 대한 이진화를 예시한 도면이고, 도 2e는 본 발명의 바람직한 일 실시예에 따른 복호화 장치의 구성을 도시한 도면이다.

도 2a를 참조하면, 본 발명에 따른 부호화 장치는 현재 프레임(current frame)의 휘도 평균값 산출부(210), 참조 프레임(reference frame)의 휘도 평균값 산출부(220), 움직임 예측부(230), 움직임 추정부(240), 절대값 차 산출부(245) 및 CABAC 부호화부(250)를 포함한다.

움직임 예측부(230)는 참조 프레임(reference frame)의 후보 블록들 중에 현재 프레임(current frame)의 블록과 가장 비슷한 패턴을 가진 후보 블록을 검색하기 위하여, 현재 프레임 패턴 블록화부(231) 및 참조 프레임 패턴 블록화부(233)를 포함한다.

현재 프레임 패턴 블록화부(231)는 현재 프레임 휘도 평균값 산출부(210)에 의해 산출된 현재 프레임의 휘도성분의 화소 평균값(Mcurr)을 현재 프레임의 각 휘도 성분에서 빼주어 현재 프레임 블록의 패턴 블록을 생성한다.

참조 프레임 패턴 블록화부(233)는 참조 프레임 휘도 평균값 산출부(210)에 의해 산출된 참조 프레임의 블록들의 휘도성분의 화소 평균값(Mref)을 참조 프레임의 각 휘도 성분에서 빼주어 참조 프레임 블록의 패턴 블록을 생성한다.

이때, 현재 프레임 휘도 평균값 산출부(210)는 현재 블록의 화소 평균값을 의미하는 Mcurr을 절대값 차 산출부(245)로 입력하고, 참조 프레임 휘도 평균값 산 출부(220)는 참조 블록의 화소 평균값을 의미하는 Mref를 절대값 차 산출부(245)로 입력한다. 절대값 차 산출부(245)는 움직임 예측부(230, 또는 움직임 벡터 결정부(235))로부터 동작 개시 명령이 입력되면, Mcurr과 Mref의 절대값 차(absolute difference value of (Mcurr - Mref))를 산출하여 CABAC 부호화부(250)로 입력한다. CABAC 부호화부(250)는 절대값 차 산출부(245)로부터 절대값 차가 입력되면 CABAC에 의해 절대값 차를 코딩하고 1비트의 부호(sign) 비트와 함께 비트스트림의 헤더 내에 삽입하여 복호기로 전송한다.

JVT(Joint Video Team) 방식에서는, 구문 요소(SE : Syntax Element)의 부호화 처리로서, CAVLC(Context Based Adaptive Variable Length Coding)와, CABAC(Context Adaptive Binary Arithmetic Coding)의 2 종류의 부호화 처리를 규정하고 있다. CABAC는 일반적으로 CAVLC에 비해 SE를 고효율로 압축한다.

JVT에서 규정하는 CABAC에서는, SE를 VLC나 고정 길이 부호에 의해 심볼 열로 변환한다. 여기서, 변환된 심볼 열의 각 심볼을 bin(binary symbol)이라고 한다. 여기서, 본 발명에 따른 CAVAC 부호화부(250)는 VLC를 이용할 수 있다. 도 2b는 본 발명의 일 실시예에 따른 이진화 체계(binarization scheme)에 관한 이진화 코딩 트리(binarization coding tree)가 예시되어 있고, 도 2c는 본 발명의 일 실시예에 따른 P 슬라이스(Slice)에서의 매크로블록 타입에 대한 이진화가 예시되어 있다.

도 2b 및 도 2c에서 보여지는 바와 같이, 본 발명은 H.264에서 규정한 P 슬라이스에서의 매크로블록 타입에 대한 이진화를 변형하여 적용한다. 즉, 16x16 매 크로블록 크기를 위해 '31(P_L0_16x16_Mean)'을 새롭게 제안하고 있다. 이는 이하에서 설명될 종래의 SAD 공식과 신규로 제안하는 NewSAD 공식을 이용한 절대값 차 중 NewSAD 공식을 이용한 16x16 매크로블록 크기가 초소인 경우 CABAC 인코딩된 절대값 차를 부호화기로 전송하기 위한 것이다. 이를 통해 압축률의 향상을 도모할 수 있다.

부호화 처리에서는, bin을 입력으로 하여 산술 부호화 처리(AC : Arithmetic Coding)를 행하고, 처리 결과를 기초로 출력 비트가 결정되어 비트 스트림으로 출력된다. 본 발명에 따른 CABAC 부호화부(250)는 도 2d에 예시된 절대값 차에 대한 이진화를 이용한 코딩을 수행한다. CABAC 인코딩 방법은 당업자에게 자명한 바 이에 대한 상세한 설명은 생략하기로 하고, 단지 이해의 편의를 위해 몇 가지 예를 들어 설명한다.

예를 들어, 입력된 절대값 차(Mcurr-Mref)가 4라면, 우선 양의 부호 비트값인 1을 출력하고, 001을 P 슬라이스에서 매크로블록 타입에 대한 CABAC 코딩 (b0 b1 b2)을 수행한다. 이어서, 확률(probability)을 0.5로 가정할 때 4에 해당하는 11010 (도 2d 참조)을 바이패스 코딩(bypass coding)한다.

그러나, 만약 입력된 절대값 차(Mcurr-Mref)가 -4라면, 우선 음의 부호 비트값인 0을 출력하고, 001을 P 슬라이스에서 매크로블록 타입에 대한 CABAC 코딩 (b0 b1 b2)을 수행한다. 이어서, 확률(probability)을 0.5로 가정할 때 4에 해당하는 11010 (도 2d 참조)을 바이패스 코딩(bypass coding)한다.

다시 도 2a를 참조하면, 움직임 예측부(230)는 최종 움직임 벡터를 결정하기 위한 움직임 벡터 결정부(235)를 더 포함한다.

움직임 벡터 결정부(235)는 현재 프레임의 블록과 참조 프레임의 블록들의 패턴 블록이 모두 완성되면, 패턴 블록끼리의 SAD를 구하고, 최소의 SAD를 보이는 후보 패턴 블록을 이용하여 최종 매크로블록 모드(MB Mode) 및/또는 움직임 벡터를 결정하는 기능을 수행한다.

여기서, 움직임 벡터 결정부(235)는 P 슬라이스의 매크로블록 타입 중 0, 1, 2, 3, 4, 5 to 30(도 2c 참조)에 대해서는 종래 방식(하기 수학식 1 참조)에 의해 SAD를 산출하고, P 슬라이스의 매크로블록 타입 중 신규로 추가된 31(도 2c 참조)에 대해서는 새로운 방식(하기 수학식 2)에 의해 SAD를 산출한다. 여기서, 매크로블록 타입 0과 31은 16x16 매크로블록이고, 매크로블록 타입 1은 16x8 매크로블록이다. 또한, 매크로블록 타입 2는 8x16 매크로블록이고, 매크로블록 타입 3은 8x8 매크로블록이다.

상술한 바와 같이, 매크로블록 모드가 매크로블록 타입 31로 결정된 경우에만 CABAC 인코딩된 절대값 차를 복호화기로 전송하며, 다른 매크로블록 타입으로 결정된 경우에는 종래 방식에 따라 처리한다. 따라서, 종래 방식에 의한 처리는 당업자에게 자명한 바, 도 2a는 매크로블록 타입 31로 결정되는 경우를 가정하여 도시한 것이다.

먼저, 종래 방식에 따른 최적의 매크로블록 모드를 구하기 위한 SAD는 다음과 수학식 1을 이용하여 산출되며, SAD가 가장 작은 후보 블록을 최적의 매크로블록 모드 및/또는 움직임 벡터로 결정하도록 구성된다.

여기서, f(i, j)는 현재 프레임의 공간좌표 (i, j)의 화소값, r(i, j)은 참조 프레임의 공간좌표 (i, j)의 화소값, S와 T는 블록 매칭시 사용하는 블록의 크기를 나타낸다. 또한 수학식 1에서 (x,y)는 움직임 벡터(motion vector)를 나타낸다. 수학식 1은 매크로블록 크기 16x16, 16x8, 8x16, 8x8, 8x4, 4x8, 4x4 등에서 이용될 수 있다.

반면, 매크로블록 타입 31에 대해서는 조명 변화로 인한 현재 블록과 후보 블록 간의 오차를 최소화하기 위하여 조명 변화에 영향을 받지 않는 객체의 형태, 즉 패턴을 추출하기 위하여 하기 수학식 2를 이용한다. 즉 하기 수학식 2와 제시된 바와 같이 각 블록에서 얻어진 평균값을 각 블록에 차분하여 패턴 블록을 생성한다.

여기서, Mcurr는 현재 블록의 화소 평균값을 의미하고, Mref는 참조 프레임의 후보 블록의 화소 평균값을 의미한다. 예를 들어, U와 V는 각각 16으로 설정된다.

움직임 벡터 결정부(235)는 P 슬라이스의 매크로블록 타입 중 0, 1, 2, 3, 4, 5 to 30(도 2c 참조)에 대해 수학식 1에 의해 산출된 SAD들과 매크로블록 타입 31에 대해 수학식 2에 의해 산출된 SAD 중 최소의 SAD를 보이는 매크로블록 타입으로 최종 매크로블록 모드(MB Mode) 및/또는 움직임 벡터를 결정한다.

움직임 보상부(240)는 움직임 벡터 결정부(235)에 의해 매크로블록 타입 31로 결정된 경우, 잔여 신호를 부호화하기 위해 상기 수학식 2에 의하여 산출한 SAD 계산식으로 획득한 참조 블록을 이용한다. 하기 수학식 3과 같이, 현재 블록과 참조 블록의 각 화소값에 각각의 화소 평균값을 차분하여 움직임 보상을 수행할 수 있다.

여기서, NewR은 화소 평균값을 차분해준 잔여 신호(residual signal)를 의미한다. 위와 같이, 각 블록의 평균값으로 차분함으로써 잔여 신호의 평균을 0에 가 깝도록 조정하여 조명 변화로 인해 떨어진 압축 효율을 높일 수 있다.

상기 잔여신호(NewR)는 이산여현변환(DCT)과 양자화(Quantization)를 거쳐 부호화된 잔여신호(NewR')가 되고, 최종적으로 Entropy Coding과정을 통해 부호화 과정이 종료된다.

도 2e는 본 발명의 바람직한 실시예에 따른 부호화 장치의 블록 다이어그램을 도시한 도면이다.

역으로 복호화 과정에서는 상기 부호화된 잔여신호(NewR')는 역양자화(inverse quantization)와 역이산여현변환(inverse DCT)을 통해 복원된 잔여신호(NewR'')가 되고 이를 통해 복원(reconstruction)을 수행하게 된다. 하지만, 매크로블록 타입 31로 결정된 경우, 복호화기에서 복원을 수행하기 위해 현재 복호화 중인 블록의 절대값 차가 필요하다. 그렇기 때문에 현재 블록의 절대값 차에 대한 추가적인 정보가 Syntax에 추가되어야 한다. 입력되는 코딩된 절대값 차는 CABAC 복호화부(270)에 의해 복호화되어 복호화 장치의 움직임 보상부(275)로 입력된다.

복호화 장치의 움직임 보상부(275)는 참조 프레임 휘도 평균값 산출부(280)에서 산출한 휘도 평균값과 부호화 장치에서 수신한 절대값 차를 이용하여, 상기 복원된 잔여신호(NewR'')에 대한 복호화를 수행할 수 있다.

결과적으로 역양자화와 역이산여현변환 이후의 복원 과정은 하기의 수학식 4와 같이 나타낼 수 있다.

여기서, f'(i, j)는 복호화된 현재 프레임의 (i, j) 좌표에서 화소값, r(i,j)은 참조 프레임의 (i, j) 좌표에서 화소값, (x,y)는 움직임 벡터(motion vector)를 지칭한다. 즉, 복원된 잔여신호(NewR'')에 움직임 벡터를 고려한 참조 프레임의 화소값을 더한 후, 현재 블록의 화소 평균값을 더하고, 참조 프레임의 후보 블록의 화소 평균값을 빼면, 현재 프레임의 (i, j) 좌표에서 화소값을 산출하여 복호할 수 있다.

여기서, 본 발명에 따른 조명 변화에 적응적인 움직임 예측 방법은 H.264를 포함하는 종래 모든 부호화 및 복호화 방식뿐만 아니라, 향후 개발될 모든 부호화 및 복호화 방식에 적용할 수 있다. 실시예에 의할 때, 소정의 부호화 방식에 본 발명이 적용되는 경우, 부호화 모드는 기존 부호화 모드의 두 배가 된다. 이는, 기존 방식에 따른 각 부호화 모드에 대응하여 화소 평균값을 이용한 부호화 모드가 각각 생성되기 때문이다. 따라서, 본 발명을 적용하는 경우, 상기 부호화 모드를 식별하기 위한 식별자를 플래그 필드 등에 표시하는 단계가 더 추가될 수 있다.

상술한 바와 같이 본 발명은 조명변화에 적응적인 움직임 예측(ME : Motion Estimation) 및 움직임 보상(MC : Motion Compensation)을 통하여 보다 효율적으로 영상을 부호화 및 복호화할 수 있는 효과가 있다.

또한, 본 발명은 H.264의 P 슬라이스(slice)의 매크로블록 타입(MB type)의 이진값(binarization)을 약간 변형하여, 16x16 블록의 경우 다양한 SAD 산출 공식을 적용하여 압축률의 최대화를 시도함으로써, 복호화를 위해 복호화기로 전송되는 비트스트림의 전송량을 최소화할 수 있는 효과도 있다.

또한, 본 발명은 실제 환경에서 주변 조명 변화에 강인한 코덱을 제공할 수 있는 효과도 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

움직임 예측 방법에 있어서,

(a) 현재 프레임 블록에 대한 현재 프레임 패턴 블록 및 참조 프레임 블록에 대한 참조 프레임 패턴 블록을 생성하는 단계;

(b) 상기 참조 프레임 패턴 블록 중에 상기 현재 프레임 패턴 블록에 대응하는 후보 패턴 블록들에 대하여 SAD를 산출하고, 상기 산출된 SAD 중 미리 설정된 조건에 상응하는 SAD에 대응하는 후보 패턴 블록을 매크로블록 모드 및 움직임 벡터로 결정하는 단계;

(c) 상기 움직임 벡터에 대응하는 후보 패턴 블록과 상기 현재 프레임 패턴 블록의 차분 신호를 이용하여 잔여 신호를 생성한 후, 상기 잔여 신호에 대하여 미리 설정된 부호화 모드에 따라 이산여현변환과 양자화를 수행하여, 상기 현재 프레임 블록을 부호화하는 단계; 및

(d) 상기 매크로블록 모드가 16x16인 경우, 부호 정보 및 부호화된 절대값 차를 상기 부호화된 현재 프레임 블록에 상응하는 헤더 정보로 첨부하는 단계를 포함하되,

상기 부호 정보는 상기 현재 프레임 블록의 화소 평균값과 상기 참조 프레임 블록의 차의 부호를 나타내고, 상기 절대값 차는 상기 현재 프레임 블록의 화소 평균값과 상기 참조 프레임 블록의 화소 평균값의 절대값 차인 것을 특징으로 하는 조명 변화에 적응적인 움직임 예측 방법.
제1항에 있어서,

상기 현재 프레임 블록은 16x16, 16x8, 8x16, 8x8, 8x4, 4x8 또는 4x4 중 적어도 어느 하나의 형태로 설정되는 것을 특징으로 하는 조명 변화에 적응적인 움직임 예측 방법.
제1항에 있어서,

상기 (a) 단계는

상기 현재 프레임 블록의 휘도 성분 평균값 및 상기 참조 프레임 블록의 휘도 성분 평균값을 산출하는 단계; 및

상기 현재 프레임 블록의 휘도 성분에서 상기 현재 프레임 블록의 휘도 성분 평균값을 차분하여 현재 프레임 패턴 블록을 생성하고, 상기 참조 프레임 블록의 휘도 성분에서 상기 참조 프레임 블록의 휘도 성분 평균값을 차분하여 참조 프레임 패턴 블록을 생성하는 단계를 포함하는 것을 특징으로 하는 조명 변화에 적응적인 움직임 예측 방법.
제1항에 있어서,

상기 절대값 차는 CABAC 기법에 의해 부호화되고, 크기는 이진 부호화 심볼(ABS)로 표시되며, 상기 크기는 0차 EGC(Exp-Golomb Code)로 부호화되는 것을 특징으로 하는 조명 변화에 적응적인 움직임 예측 방법.
제1항에 있어서,

상기 부호 정보는 1 비트 심볼(sign)로 표시되는 것을 특징으로 하는 조명 변화에 적응적인 움직임 예측 방법.
제1항에 있어서,

상기 단계 (b)에서,

상기 후보 패턴 블록은 16x16, 16x8, 8x16 및 8x8을 포함하고,

상기 모든 후보 패턴 블록에 대하여 제1 수학식
에 의해 상기 SAD가 산출되며,

상기 후보 패턴 블록 16x16은 제2 수학식

에 의해 상기 SAD가 더 산출되고,

상기 f(i, j)는 현재 프레임의 공간좌표 (i, j)의 화소값, 상기 r(i+x,j+y)은 참조 프레임의 공간좌표 (i+x, j+y)의 화소값, 상기 S와 상기 T는 블록 매칭시 사용하는 블록의 크기, 상기 (x,y)는 움직임 벡터(motion vector), 상기 Mcurr은 상기 현재 프레임 블록의 화소 평균값, 상기 Mref는 상기 후보 패턴 블록의 화소 평균값을 지칭하는 것을 특징으로 하는 조명 변화에 적응적인 움직임 예측 방법.
제6항에 있어서,

상기 단계 (d)는 상기 제2 수학식에 의해 산출된 SAD가 최소의 SAD인 경우 수행되는 것을 특징으로 하는 조명 변화에 적응적인 움직임 예측 방법.
삭제
움직임 예측 장치에 있어서,

현재 프레임 블록에 대한 현재 프레임 패턴 블록 및 참조 프레임 블록에 대한 참조 프레임 패턴 블록을 생성하기 위한 패턴 블록 생성부;

상기 참조 프레임 패턴 블록 중에 상기 현재 프레임 패턴 블록에 대응하는 후보 패턴 블록에 대한 SAD를 산출하고, 상기 산출된 SAD 중 미리 설정된 조건에 상응하는 SAD에 대응하는 후보 패턴 블록을 매크로블록 모드 및 움직임 벡터로 결정하기 위한 움직임 벡터 결정부;

상기 움직임 벡터에 대응하는 후보 패턴 블록과 상기 현재 프레임 패턴 블록의 차분 신호를 이용하여 잔여 신호를 생성하기 위한 움직임 보상부; 및

상기 매크로블록 모드가 16x16인 경우, 부호 정보 및 부호화된 절대값 차를 상기 부호화된 현재 프레임 블록에 상응하는 헤더 정보로 첨부하는 헤더 정보 첨부부를 포함하되,

상기 부호 정보는 상기 현재 프레임 블록의 화소 평균값과 상기 참조 프레임 블록의 차의 부호를 나타내고, 상기 절대값 차는 상기 현재 프레임 블록의 화소 평균값과 상기 참조 프레임 블록의 화소 평균값의 절대값 차인 것을 특징으로 하는 조명 변화에 적응적인 움직임 예측 장치.
제9항에 있어서,

상기 절대값 차는 CABAC 기법에 의해 부호화되고, 크기는 이진 부호화 심볼(ABS)로 표시되며, 상기 크기는 0차 EGC(Exp-Golomb Code)로 부호화되는 것을 특징으로 하는 조명 변화에 적응적인 움직임 예측 장치.
제9항에 있어서,

상기 부호 정보는 1 비트 심볼(sign)로 표시되는 것을 특징으로 하는 조명 변화에 적응적인 움직임 예측 장치.
제9항에 있어서,

상기 패턴 블록 생성부는

상기 현재 프레임 블록의 휘도 성분 평균값 및 상기 참조 프레임 블록의 휘도 성분 평균값을 산출하고, 상기 현재 프레임 블록의 휘도 성분에서 상기 현재 프레임 블록의 휘도 성분 평균값을 차분하여 현재 프레임 패턴 블록을 생성하고, 상기 참조 프레임 블록의 휘도 성분에서 상기 참조 프레임 블록의 휘도 성분 평균값을 차분하여 참조 프레임 패턴 블록을 생성하는 것을 특징으로 하는 조명 변화에 적응적인 움직임 예측 장치.
제9항에 있어서,

상기 잔여 신호에 대한 이산여현변환과 양자화를 수행하는 수단을 더 포함하는 것을 특징으로 하는 조명 변화에 적응적인 움직임 예측 장치.
제9항에 있어서,

상기 후보 패턴 블록은 16x16, 16x8, 8x16 및 8x8을 포함하고,

상기 모든 후보 패턴 블록에 대하여 제1 수학식
에 의해 상기 SAD가 산출되며,

상기 후보 패턴 블록 16x16은 제2 수학식
에 의해 상기 SAD가 더 산출되고,

상기 f(i, j)는 현재 프레임의 공간좌표 (i, j)의 화소값, 상기 r(i+x,j+y)은 참조 프레임의 공간좌표 (i+x, j+y)의 화소값, 상기 S와 상기 T는 블록 매칭시 사용하는 블록의 크기, 상기 (x,y)는 움직임 벡터(motion vector), 상기 Mcurr은 상기 현재 프레임 블록의 화소 평균값, 상기 Mref는 상기 후보 패턴 블록의 화소 평균값을 지칭하는 것을 특징으로 하는 조명 변화에 적응적인 움직임 예측 장치.
삭제