KR20140124439A - 밝기 보상을 이용한 비디오 부호화/복호화 방법 및 장치 - Google Patents

Abstract

본 발명의 실시 예에 따른 비디오 부호화 방법은 영상 신호로부터 시간적 예측 블록을 부호화하는 단계; 및 상기 시간적 예측 블록에 대해 밝기 보상을 수행하는 단계를 포함하고, 상기 밝기 보상을 수행하는 단계는 상기 부호화된 시간적 예측 블록을 주파수 도메인으로 변환하는 단계; 및 상기 변환된 시간적 예측 블록에 기초하여 밝기 보상을 위한 가중치 계수를 획득하는 단계를 포함한다.

Description

밝기 보상을 이용한 비디오 부호화/복호화 방법 및 장치{Method for encoding and decoding video using weighted prediction, and apparatus thereof}

본 발명은 비디오 코덱에 관한 것으로, 더욱 상세하게는 신호 부호화 과정에서 화면 간 밝기 차이를 보상하기 위한 Weighted Prediction 기법에 관한 것이다.

현재까지의 비디오 코덱들(H.264, HEVC)에서는 화면 간 밝기 차이를 보상하기 위한 Weighted Prediction 기법을 기본적인 profile에 포함시키고 있다. 이 기술의 필요성은 모든 코덱을 개발하는 과정에서 중요하게 여겨졌으나, 실제 성능측면에서는 개선해야할 점이 많은 상황이다.

또한 현재까지의 밝기보상(Weighted Prediction: WP) 기술은 화소값 신호에 적용되는 기술이고, 영상의 국지적인 특성을 고려하지 않고 picture 전체에 같은 보상 파라미터를 사용하는 등의 한계점이 있었다.

본 발명의 실시 예는 부호화할 영상 정보에 대해 밝기 보상 성능 및 압축 효율을 향상시키고 영상의 국지적 특성을 반영하는 가중치 예측 제공 방법 및 장치를 제공한다.

다만, 본 발명의 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1측면에 따른 주파수 변환 영역에서의 가중치 예측 제공 방법 및 장치는 부호화할 영상 정보를 주파수 영역에서 밝기 보상을 수행한다. 또한, 다양한 level에서 밝기 보상을 수행할 수 있고, 주위 블럭을 고려할 수 있다.

본 발명의 실시예에 따르면, 부호하려는 영상의 주파수 특성을 분석하여 밝기 보상 계수를 계산함으로써 정확한 보상값을 효율적으로 계산할 수 있기 때문에 밝기 보상 기능의 성능을 향상 시킬 수 있다.

또한, 코딩 블록의 국지적인 영상 특성을 고려한 밝기 보상 기법을 사용함으로써 부호화 효율을 향상시킬 수 있다.

그리고, 미래에는 현재 HEVC가 부호화 목표로 삼는 4K 영상보다 훨씬 큰 해상도의 영상 신호를 압축할 것이고, 이런 환경에서 본 특허 기술의 효과는 매우 효율적으로 나타날 것이다.

도 1은 비디오 부호화 장치의 구성에 대한 일예를 나타내는 블록도이다.
도 2는 비디오 복호화 장치의 구성에 대한 일예를 나타내는 블록도이다.
도 3 및 도 4는 밝기 보상 방법에 대한 일예를 설명하기 위한 블록도들이다.
도 5는 본 발명의 일실시예에 따른 밝기 보상 방법을 설명하기 위한 블록도이다.
도 6은 본 발명의 일실시예에 따른 가중치계수를 유도하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 따른 가중치계수를 유도하기 위해 현재블록과 예측블록에서 모아오는 블록을 설명하기 위한 도면이다.
도 8은 본 발명의 일실시예에 따른 가중치계수들을 예측블록에 적용하는 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 일실시예에 따른 다수의 참조영상이 사용하되었을 경우를 설명하기 위한 도면이다.
도 10은 본 발명의 일실시예에 따른 최적화횟수에 따라 가중치계수세트를 구성하는 경우를 설명하기 위한 도면이다.
도 11은 본 발명의 일실시예에 따른 참조영상에 따라 가중치계수세트를 구성하는 방식과 최적화횟수에 따라 가중치계수세트를 구성하는 방식을 혼용하는 경우를 설명하기 위한 도면이다.
도 12는 본 발명의 일실시예에 따른 슬라이스헤더에서의 비트스트림 추출구조를 설명하기 위한 도면이다.
도 13은 본 발명의 일실시예에 따른 예측블록에서의 비트스트림 추출구조를 설명하기 위한 도면이다.
도 14는 본 발명의 일실시예에 따른 참조영상에 따라 유도된 다수의 가중치계수세트에 대한 슬라이스헤더에서의 비트스트림 추출구조를 설명하기 위한 도면이다.
도 15는 본 발명의 일실시예에 따른 Map_pic_coeff 비트를 설명하기 위한 도면이다.
도 16은 본 발명의 일실시예에 따른 최적화횟수에 따라 유도된 다수의 가중치계수세트에 대한 슬라이스헤더에서의 비트스트림 추출구조를 설명하기 위한 도면이다.
도 17은 본 발명의 일실시예에 따른 최적화횟수에 따라 유도된 다수의 가중치계수세트에 대한 예측블록에서의 비트스트림 추출구조를 설명하기 위한 도면이다.
도 18은 본 발명의 일실시예에 따른 참조영상에 따라 가중치계수를 유도하는 방식과 최적화횟수에 따라 가중치계수를 유도하는 방식에 대한 슬라이스헤더에서의 비트스트림 추출구조를 설명하기 위한 도면이다.
도 19는 본 발명의 일실시예에 따른 참조영상에 따라 가중치계수를 유도하는 방식과 최적화횟수에 따라 가중치계수를 유도하는 방식에 대한 예측블록에서의 비트스트림 추출구조를 설명하기 위한 도면이다.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시 예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부재가 다른 부재 “상에” 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 본원 명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본원의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본원 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.

본원 명세서 전체에서, 마쿠시 형식의 표현에 포함된 “이들의 조합”의 용어는 마쿠시 형식의 표현에 기재된 구성 요소들로 이루어진 군에서 선택되는 하나 이상의 혼합 또는 조합을 의미하는 것으로서, 상기 구성 요소들로 이루어진 군에서 선택되는 하나 이상을 포함하는 것을 의미한다.

이하, 본 발명의 일실시 예에 따른 주파수 변환 영역에서의 가중치 예측(Weighted Prediction) 제공 방법 및 장치와, 상기 방법과 장치를 이용하는 밝기 보상 기술에 대해 설명한다.

본 발명의 일실시 예에 따른 밝기 보상 기술은 부호화할 영상 정보를 픽셀 영역에서 밝기 보상하지 않고, 주파수 영역에서 밝기 보상을 수행한다. 이때 주파수 영역으로 변환하기 위해서 DCT, DST, WT 등 다양한 방법들 중에 선택적으로 사용할 수 있다.

본 발명의 일실시 예에 따른 밝기 보상 기술은 picture level, slice level, tile level, CU level, PU level, TU level, pixel level에서 진행될 수 있다.

본 발명의 일실시 예에 따른 밝기 보상 기술은, 밝기 보상 기술이 현재 블록에 적용될 때, 주위 이웃 블록들의 밝기 보상 상황 등을 고려해서 결정될 수 있다.

본 발명의 일실시예에 따른 밝기 보상 기술은, 밝기 보상 기술을 블록 단위로 적용할 때, 주위 블록들의 신호 값들을 이용하여 보상 방법을 결정할 수 있다.

본 발명의 일실시예에 따른 밝기 보상 기술은 2D Video 신호 압축과정에서 frame간 밝기 신호 차이를 보상할 때 사용될 수 있다.

본 발명의 일실시예에 따른 밝기 보상 기술은 3D Video 신호 압축과정에서, view 간 밝기 신호 차이를 보상할 때 사용될 수 있다. 이를 통해 interview prediction mode에서 압축 효율을 향상 시킬 수 있다.

본 발명의 일실시예에 따른 밝기 보상 기술은 Scalable Video Codec에서 사용될 수 있다. 이를 통해, interlayer prediction mode에서 밝기 보상 기능을 수행할 수 있다.

도 1은 영상 부호화 장치의 구성에 대한 일 예를 블록도로 도시한 것으로, H.264의 부호화 구조도를 나타낸 것이다.

도 1을 참조하면, H.264 부호화 구조도에서 데이터를 처리하는 단위는 가로 세로 16x16화소 크기의 매크로블록(Macroblock)이며, 영상을 입력 받아 인트라(Intra) 모드 또는 인터(Inter) 모드로 부호화를 수행하고 비트스트림을 출력한다.

인트라 모드일 경우, 스위치가 인트라로 전환이 되며, 인터 모드일 경우에는 스위치가 인터로 전환이 된다. 부호화 과정의 주요한 흐름은 먼저 입력된 블록 영상에 대한 예측 블록을 생성한 후, 입력된 블록과 예측 블록의 차분을 구해 그 차분을 부호화하는 것이다.

먼저 예측 블록의 생성은 인트라 모드와 인터 모드에 따라 수행이 된다. 먼저 인트라 모드일 경우에는 인트라 예측 과정에서 현재 블록의 이미 부호화된 주변 화소값을 이용하여 공간적 예측으로 예측 블록을 생성하며, 인터 모드일 경우에는 움직임 예측 과정에서 참조 영상 버퍼에 저장되어 있는 참조 영상에서 현재 입력된 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터(Motion Vector)를 구한 후, 구한 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성한다.

상기 설명한 것과 같이 현재 입력된 블록과 예측 블록의 차분을 구하여 잔여 블록(Residual Block)을 생성한 후, 이에 대한 부호화을 수행한다. 블록을 부호화하는 방법은 크게 인트라 모드와 인터 모드로 나누어진다. 예측 블록의 크기에 따라 인트라 모드일 경우에는 16x16, 8x8, 4x4 인트라 모드로 나누어지며, 인터 모드일 경우에는 16x16, 16x8, 8x16, 8x8 인터 모드로 나누어지고 8x8 인터 모드일 경우에는 다시 8x8, 8x4, 4x8, 4x4 서브 인터 모드로 나누어진다.

잔여 블록에 대한 부호화는 변환, 양자화, 엔트로피(Entropy) 부호화의 순서로 수행이 된다. 먼저 16x16 인트라 모드로 부호화되는 블록은 차분 블록에 변환을 수행하여 변환계수를 출력하고, 출력된 변환계수 중에서 DC 계수만을 모아서 다시 하다마드 변환을 수행하여 하다마드 변환된 DC 계수를 출력한다.

16x16 인트라 모드를 제외한 다른 부호화 모드로 부호화되는 블록에서 변환 과정은 입력된 잔여 블록을 입력 받아 변환(Transform)을 수행하여 변환계수(Transform Coefficient)를 출력한다.

그리고 양자화 과정에서는 입력된 변환계수를 양자화 파라미터에 따라 양자화를 수행한 양자화된 계수(Quantized Coefficient)를 출력한다. 그리고 엔트로피 부호화 과정에서는 입력된 양자화된 계수를 확률 분포에 따른 엔트로피 부호화를 수행하여 비트스트림으로 출력된다. H.264는 프레임간(Inter-frame) 예측 부호화를 수행하기 때문에 현재 부호화된 영상을 이후에 입력된 영상의 참조 영상으로 사용하기 위해 복호화하여 저장할 필요가 있다.

따라서 양자화된 계수를 역양자화과정과 역변환을 수행하여 예측 영상과 가산기를 통해 재구성된 블록을 생성한 다음 디블록킹 필터를 통해 부호화 과정에서 발생한 블록킹 현상(Blocking Artifact)을 제거한 후, 참조 영상 버퍼에 저장한다.

도 2는 영상 복호화 장치의 구성에 대한 일 예를 블록도로 도시한 것으로, H.264의 복호화 구조도를 나타낸 것이다.

도 2를 참조하면, H.264 복호화 구조도에서 데이터를 처리하는 단위는 가로 세로 16x16화소 크기의 매크로블록(Macroblock)이며, 비트스트림을 입력 받아 인트라(Intra) 모드 또는 인터(Inter) 모드로 복호화가 수행되어 재구성된 영상을 출력한다.

인트라 모드일 경우, 스위치가 인트라로 전환이 되며, 인터 모드일 경우에는 스위치가 인터로 전환이 된다. 복호화 과정의 주요한 흐름은 먼저 예측 블록을 생성한 후, 입력 받은 비트스트림을 복호화한 결과 블록과 예측 블록을 더하여 재구성된 블록을 생성하는 것이다.

먼저 예측 블록의 생성은 인트라 모드와 인터 모드에 따라 수행이 된다. 먼저 인트라 모드일 경우에는 인트라 예측 과정에서 현재 블록의 이미 부호화된 주변 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성하며,

인터 모드일 경우에는 움직임 벡터를 이용하여 참조 영상 버퍼에 저장되어 있는 참조 영상에서 영역을 찾아 움직임 보상을 수행함으로써 예측 블록을 생성한다.

엔트로피 복호화 과정에서는 입력된 비트스트림을 확률 분포에 따른 엔트로피 복호화를 수행하여 양자화된 계수(Quantized Coefficient)를 출력한다. 양자화된 계수를 역양자화 과정과 역 변환을 수행하여 예측 영상과 가산기를 통해 재구성된 블록을 생성한 다음 디블록킹 필터를 통해 블록킹 현상(Blocking Artifact)를 제거한 후, 참조 영상 버퍼에 저장한다.

실제 영상과 그것의 깊이 정보 맵을 부호화하는 또 다른 방법의 일 예로 현재 MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)에서 공동으로 표준화를 진행 중인 HEVC(High Efficiency Video Coding)를 사용할 수 있다. 이는 HD, UHD 영상뿐만 아니라 3D 방송 및 이동통신망에서도 현재보다 낮은 주파수 대역폭으로 고화질의 영상을 제공할 수 있다.

HEVC에서는 부호화 단위 및 구조, 화면 간(Inter) 예측, 화면 내(Intra) 예측, 보간(Interpolation), 필터링(filtering), 변환(Transform) 방법 등 다양한 새로운 알고리즘들을 포함하고 있다.

상기한 바와 같은 H.264, HEVC 등과 같은 비디오 코덱들에서는 화면 간 밝기 차이를 보상하기 위한 Weighted Prediction 기법을 기본적인 profile에 포함시키고 있다. 이 기술의 필요성은 모든 코덱을 개발하는 과정에서 중요하게 여겨졌으나, 실제 성능측면에서는 개선해야할 점이 많은 상황이다.

현재까지의 밝기보상, 즉, 가중치예측(Weighted Prediction: WP) 기술은 현재 부호화하고자 하는 영상(picture) 전체의 화소값 신호와 참조하고자 하는 영상 전체의 화소값을 이용하여 밝기를 보상하기 위한 가중치계수(가중치,오프셋)를 계산한 후, 그 계수값을 사용하여 inter coding을 수행한다.

그에 따라, 현재 가중치예측 기법은 영상의 국지적인 특성을 고려하지 않고 현재영상내의 부호화하려는 각 블록이 가중치예측을 사용하는것으로 결정된 참조영상을 사용하였다면 무조건 가중치예측을 사용하고, 또한 여러 화소를 포함하고 있는 하나의 블록 전체에 동일한 가중치계수를 사용하는 한계점이 있다.

가중치예측 방법들은 현재 부호화하고자 하는picture의 화소들과 참조하고자 하는 picture의 화소들을 표본으로 하여 표본 간 밝기 차를 구하고, 그것을 통해 밝기 보상을 위한 가중치와 오프셋 값을 계산하여 움직임 보상시에 적용한다..

이러한 기존 밝기 보상 방법들은 블록 단위로 보상이 수행되며, 또한 하나의 블록 내의 모든 화소 값들에 모두 동일한 밝기 가중치와 오프셋 값이 적용된다.

위의 수학식 (1)에서 pred[x,y]는 밝기 보상된 예측 블록을 의미하며, rec[x,y]는 참조영상의 예측 블록을 의미한다. 또한 식에서 W값과 O값은 각각 가중치(Weight)와 오프셋(Offset)값을 의미한다.

도 3 및 도 4는 가중치예측 방법에 대한 일 예를 설명하기 위한 블록도이다.

도 3을 참조하면, 현재영상과 참조영상을 이용하여 가중치계수를 구한 후(S301), Inter Coding을 수행할때 수학식(1)과 같이 가중치계수를 적용한다.

도 4에 가중치계수를 구하고 적용하는 방식에 대한 상세한 설명이 나와있다. S301에 관련된 내용이 S401 ∼ S404로 설명되어 있으며 S302와 S405는 동일하다.

현재영상에 대한 부호화를 시작하기 전, 현재영상과 참조영상들을 이용하여 DC와 AC를 구하게 된다. 여기서 DC는 영상의 평균값으로서, 화소의 전체값을 합한 후 화소의 총 개수로 나누어주는 것으로 구하게 된다. AC는 영상에서 각 화소값들과 DC(평균)값과의 차이에 대한 절대값합(SAD)를 취함으로서 구해진다(S401). 그 후, [수학식 2]와 [수학식 3]을 이용하여 가중치와 오프셋을 구한다(S402).

현재영상을 이용하여 존재하는 참조영상 각각마다 가중치와 오프셋을 구했다면, 가중치와 오프셋을 해당하는 참조영상 전체에 적용한 후 현재영상과의 절대값합(SAD_WP)과, 가중치와 오프셋을 적용하기전의 현재영상과 참조영상과의 절대값합(SAD_Org)을 구한 후 두 값의 비율을 구한다(S403). 두 값의 비율이 임계값 이상일 경우, 해당 참조영상에 Inter Coding 하는 경우에는 가중치와 오프셋을 무조건 적용하는것으로 설정하며, 임계값 미만인 경우에는 해당 참조영상에서 Inter Coding을 수행할때 가중치와 오프셋을 적용하지 않는것으로 설정한다(S404). 그 후 블록단위로 Inter Coding을 수행할 시에결정된 사항에 따라 가중치 예측을 적용한다(S405).

주파수 domain에서 밝기보상하는 방법 (부호화부)

본 발명의 일실시예에 따르면, 밝기 보상 계수를 픽셀 영역에서 계산하지 않고 주파수 영역에서 계산하여 밝기 보상을 수행할 수 있다. 이때 밝기 보상을 수행하기 전, 부호화가 종료된 Inter블록들을 모아 가중치계수를 구한 후 적용하여 재부호화 과정을 통하여 밝기 보상을 수행한다. 이때 부호화가 종료되는 단위는 영상(picture)단위로 종료될 수도 있고, 혹은 슬라이스 단위 등, 어떤 단위등으로도 설정 가능하다.

본 발명의 일실시예에서는 설명의 편의성을 위해 슬라이스 단위로 부호화가 종료된 후 가중치 예측을 적용하는 것에 대해서 설명하나 꼭 슬라이스 단위로 국한된것은 아니다.

도 5는 본 발명의 일실시예에 따른 밝기 보상 장치의 구성을 블록도로 도시한 것으로, 도 5를 참조하여 본 발명에 따른 밝기 보상 방법에 대한 실시예에 대해 상세히 설명하기로 한다.

Inter Coding이 슬라이스 단위로 종료된 후 (S501), 블록들을 주파수 영역으로 변환하여 가중치계수를 유도하고(S502),예측블록에 적용여부를 결정한 다음(S503), 변경된 예측블록을 이용하여 재부호화한다(S504).

가중치계수를 유도하는 S502 과정은 도 6을 통해 상세히 설명한다.

Inger Coding된 블록들과 예측블록들을 일정한 크기로 도 7과 같이 모아오게 된다. qm,n은 원본블록을 width, height 크기로 모아온 블록들을 의미하며, pm,n은 예측블록을 width, height 크기로 모아온 블록들을 의미한다. m,과n은 각 모아온 블록안의 화소들의 위치를 의미한다. 모아온 블록들을 주파수도메인으로 변환하고, 가중치계수를 최적화할 횟수를 n번으로 설정한다(S601). 그리고 모아온 블록들을 [수학식 4]을 이용하여 최소자승법을 적용한다.

여기서 Qm,n은 변환된 원본 블록, Pm,n은 변환된 예측 블록, Wm,n은 가중치, O는 오프셋, K는 모아온 블록들의 개수, m과 n은 모아온 블록 안에서의 계수의 위치를 의미하고 Dm,n은 오차를 의미한다. 오차 Dm,n을 최소화 시켜주는 가중치 Wm,n을 구하기 위해 [수학식 5]를 이용하여 편미분하면 [수학식 6]으로 정리된다.

또한 Dm,n을 최소화 시켜주는 오프셋 O를 구하기 위해, [수학식 7]을 이용하여 편미분하면 [수학식 8]로 정리된다.

여기서 오프셋의 경우 (0,0)위치에만 적용하게 되는데, 변환도메인에서는 (0,0)위치, 즉 DC위치에 에너지가 몰리므로 오프셋을 이용하여 DC쪽에 추가적인 보상을 해주게 된다. 종래의 기술과의 가장 큰 차이점으로는 변환된 주파수도메인에서 최소자승법을 이용하여 최적의 가중치계수들을 구한다는 점이며, 가중치 W의 경우 상수가 아닌 배열(array)로 되어있어 더욱 정확한 보상이 가능하다(S602). 유도된 가중치계수들을 Pm,n(k)에 적용하고 역변환하여, qm,n(k)와의 잔차신호가 더 적은 블록들이 존재한다면(S603) 최적화횟수를 하나 줄여주고(S604), 최적화횟수가 0이 아니라면(S605) 잔차신호가 더 적은 블록들만 모아(S606) 다시 [수학식 4] ∼ [수학식 8]을 적용하여 가중치계수를 최적화 시켜준다.

가중치계수들을 예측블록에 적용하는 S503과정은 도 8을 이용하여 설명한다.

가중치계수들을 변환된 예측블록 Pm,n에 적용하여 보상된 예측블록 P'm,n을 생성한다(S801). 그 후 역변환하여 qm,n과 pm,n의 잔차신호와 qm,n과 p'm,n의 잔차신호를 비교한다(S802). 그 결과에 따라(S803) 예측블록에 가중치예측의 사용여부를 알려주는 플래그를 설정한다(S804, S805). 이 플래그를 이용하여 전체 영상에서 각 예측블록마다 가중치예측의 적용여부를 결정할 수 있다. 슬라이스 단위로 부호화가 종료되면 가중치예측이 사용되지 않은 원래 슬라이스의 비용과 가중치예측이 적용된 슬라이스의 비용을 비교하여(S806) 결과에 따라 해당하는 슬라이스에서 최종적인 비트스트림을 생성한다(S808,S809).

재부호화하는 S504과정의 경우, 복잡도감소를 위해 기존의 예측정보와 변환정보를 그대로 사용할 수도 있으며, 예측정보와 변환정보 각각을 새로 계산하는 것도 가능하다.

한편, 주파수 영역에서 밝기 보상 계수를 계산하거나 또는 밝기 보상을 적용할 때, 주파수 영역으로 변환하기 위해서 DCT, DST, DWT 등 다양한 방법들 중에 선택적으로 사용할 수 있다.

주파수 domain의 밝기 보상 계수 구하는 방법(부호화부)

본 발명의 일실시예에 따른 가중치계수 적용 기법은 영상 전체에 동일하게 적용할 수도 있고, 블록 단위로 적응적으로 (adaptive하게) 적용할 수도 있다. 이렇게 함으로써 국지적인 화소 특성을 고려한 최적의 가중치계수를 적용하는것이 가능하게 되어 부호화 효율을 향상시킬 수 있다.

본 발명의 일실시예에서는 편의성을 위해 슬라이스 단위로 설명하나 꼭 슬라이스 단위로 국한된것은 아니다.

주파수 도메인에서 가중치(배열)와 오프셋을 계산하는데 있어서 각 슬라이스마다 다수의 세트를 구성하여 적용할 수 있다. 예를 들어, 도 9와 같이 다수의 참조영상을 이용하여 예측블록이 생성되었을 경우, 참조영상0을 이용한 예측블록들만 모아 가중치와 오프셋을 계산하고 참조영상1을 이용한 예측블록들만 모아서 가중치와 오프셋을 계산하는 방식으로 참조영상에 따른 다수의 가중치계수세트를 구성할 수 있다. 이때 도 6과 유사한 과정이 진행되는데 S601의 내용이 변경된다. 기존의 S601의 내용이 참조영상과 관련없이 인터예측블록 전체를 모아와서 가중치계수를 유도하였다고 한다면 변경되는 내용은, 모아온 인터예측블록을 참조영상에 따라 구분한 후 구분한 인터예측블록들끼리 가중치계수를 유도한다. 그 후, 도 8과 동일한 과정이 진행되는데 단, 예측블록에 가중치계수를 적용할 시에 예측블록이 참조한 영상에 따라 가중치계수를 다르게 적용한다.

또는 최적화 횟수에 따라 가중치계수세트를 구성하는 방식도 가능하다. 도 10에서는 도 6과 유사한 방식으로 가중치계수를 유도하고 최적화 횟수에 따라 인덱스를 할당하는 방식을 설명하고 있다. S1001에서는 S601과는 다르게 최적화횟수에 따라 인덱스를 설정하는 변수가 추가 되었다. S602∼S606은 S1002∼S1006와 동일한 내용이며, S1007에서는 유도된 가중치계수를 인덱스를 할당함과 동시에 버리지 않고 저장한다. 최적화 횟수에 따라 가중치계수세트를 구성하는 경우, 예측블록에 적용하는 과정에 변경사항이 존재하게 된다.

도 11에서는 위에서 설명한 두 가지 방식의 가중치계수세트를 동시에 적용하는 방식을 설명한다. 참조영상에 따라(S1101), 또는 최적화횟수에 따라(S1102) 가중치계수세트를 구성하는 경우 그에 따른 인덱스를 할당하여 표시해 준다(S1103). 복호화기로 전송시, 어떤 가중치계수세트 구성 방식이 사용되었는지를 알려주는 인덱스를 전송해 주고, 최적화횟수에 따라 가중지계수세트를 구성하였을 경우에는 어떤 세트를 이용하여 가중치예측을 적용하였는지를 나타내는 인덱스를 전송해준다.

주파수 domain에서 밝기보상하는 방법(복호화부)

도 12는 본 실시예에 대한 슬라이스헤더에서의 비트스트림 추출 구조에 대한 순서도이며, 도 13은 본 실시예에 대한 예측블록에서의 비트스트림 추출 구조이다.

슬라이스헤더에서 현재 슬라이스가 가중치예측이 사용되었는지를 나타내는 slice_wp_flag 비트를 추출한다(S1401). slice_wp_flag 비트에 따라 false로 판명되면 바로 종료하고 true로 판명되면(S1402), 가중치계수를 추출한다(S1403). 슬라이스헤더에서 추출한 slice_wp_flag 비트에 따라서 예측블록에서의 비트스트림 추출구조가 바뀌게 된다. 현재블록에서 기존의 예측정보(움직임파라미터 등)에 대한 정보를 추출한 후(S1501), Inter Coding으로 판별이 되었다면(S1502)) 슬라이스헤더에서 추출한 slice_wp_flag 비트에 따라서, slice_wp_flag 비트가 false이면 종료하고 true이면(S1503) 현재블록이 가중치예측이 사용되었는지를 나타내는 pu_wp_flag 비트를 추출한다(S1504). 가중치예측에 필요한 비트스트림을 전부 복호화 한 후, pu_wp_flag 비트가 true로 판별이 난 경우에만, 예측블록을 도 7과 같이 모아와서 주파수도메인으로 변환한 후, 추출한 가중치계수를 적용하고 역변환하여 밝기 보상된 예측블록을 생성하고 잔차신호를 더하여 복호화한다.

주파수 domain의 밝기 보상 계수 구하는 방법(복호화부)

도 14에는, 참조영상에 따라 유도된 다수의 가중치계수세트에 대한 슬라이스헤더에서의 비트스트림 추출 구조가 도시되어 있다. slice_wp_flag 비트를 추출함으로써 현재 슬라이스가 가중치예측이 사용되었는지를 파악한 후(S1601), 사용이 되었다면(S1602) 참조영상과 가중치계수를 mapping 시켜주는 Map_pic_coeff 비트를 추출하고(S1603) 가중치계수를 추출한다(S1604). Map_pic_coeff은 과거쪽 순으로, 현재영상과 가까운 순으로 비트를 표시한다. Map_pic_coeff과 관련된 자세한 설명은 도 15를 이용하여 설명한다. 현재 영상 주위에 참조할 수 있는 영상이 과거방향으로 2개, 미래방향으로 2개가 존재하고, 가중치예측이 과거참조영상1 을 참조할 경우에만 사용되었다면 Map_pic_coeff는 0100으로 표시한다. 그 후 예측블록에서의 비트추출구조 및 적용은 도 15와 동일하다.

또는 최적화횟수에 따라 유도된 다수의 가중치계수세트에 대한 슬라이스헤더에서의 비트스트림 추출 구조가 도 16에 도시되어 있고 그에 따른 예측블록에서의 비트스트림에서 추출하는 경우에 대한 비트스트림 추출 구조가 도 17에 도시되어다. slice_wp_flag 비트를 추출함으로써 현재 슬라이스가 가중치예측이 사용되었는지를 파악한 후(S1801), 사용이 되었다면(S1802) 가중치계수세트의 총 개수를 나타내는 coeffSet_num 비트를 추출하고(S1803) 가중치계수세트를 추출한다(S1804). 그 후 예측블록에서는, 기존의 예측정보(움직임파라미터 등)을 추출하고(S1901), 예측블록이 Inter Coding 되었고(S1902) 현재 슬라이스가 가중치예측이 사용되었으면(S1903) 현재블록이 가중치예측이 사용되었는지를 알려주는 pu_wp_flag 비트를 추출한다(S1904). 현재블록이 가중치예측이 사용되었다면(S1905) 어떤 가중치계수세트를 이용하였는지를 나타내는 wp_idx 비트를 추출한다(S1906). wp_idx비트에 따라 예측블록을 변환하고 해당하는 가중치계수세트를 적용한 후 역변환하여 가중치예측이 적용된 예측블록을 생성하고 잔차신호와 합하여 복호화 한다.

도 18은 위에서 설명한 두 가지 방식의 가중치계수세트를 동시에 적용하는 방식에 대한 슬라이스헤더에서의 비트스트림 추출 구조를 도시한 도면이고 도 19는 그에 따른 예측블록에서의 비트스트림 추출구조를 도시한 도면이다. slice_wp_flag 비트를 추출함으로써 현재 슬라이스가 가중치예측이 적용되었는지를 파악하고(S2001), 적용되었다면(S2002) wp_derivation_idx 비트를 추출함을써 어떤 방식을 이용하여 유도된 계수인지 파악한다(S2003). wp_derivation_idx 비트에 따라 Map_pic_coeff 비트 혹은 coeffSet_num 비트를 추출하고(S2004,S2005) 가중치계수세트가 참조영상에 따라 유도되었다면 Map_pic_coeff을 이용하여 가중치계수세트를 추출하고, 최적화횟수에 따라 유도되었다면 coeffSet_num를 이용하여 가중치계수세트를 추출한다. 그 후 예측블록 단위에서, 기존의 예측정보(움직임파라미터 등)을 추출하고 현재블록이 Inter Coding인지 파악한 후, Inter Coding이라면 slice_wp_flag에 따라 pu_wp_flag를 추출한다. pu_wp_flag가 true라면 슬라이스헤더에서 추출한 wp_deriavation_idx에 따라서 wp_deriavation_idx가 1인경우 wp_idx비트를 추출하고 종료한다. 여기서는 하나의 예로써, wp_deriavation_idx가 0인 경우는 참조영상에 따라 유도된 가중치계수세트임을 나타내고 1인 경우는 최적화횟수에 따라 유도된 가중치계수세트임을 나타낸다. 그 후 유도된 가중치계수세트에 따라 예측블록을 변환하여 가중치계수를 적용하고 역변환하여 가중치예측된 예측블록을 생성하고 잔차신호와 합하여 현재블록을 복호화 한다.

상기한 바와 같은 본 발명의 일실시예에 따른 밝기 보상 방법은 2D Video 신호 압축과정에서 frame간 밝기 신호 차이를 보상할 때 사용될 수 있다.

또한, 상기한 바와 같은 본 발명의 일실시예에 따른 밝기 보상 방법은, 3D Video 신호 압축과정에서, view 간 밝기 신호 차이를 보상할 때 사용될 수 있다. 이를 통해 interview prediction mode에서 압축 효율을 향상 시킬 수 있다.

그리고, 상기한 바와 같은 본 발명의 일실시예에 따른 밝기 보상 방법은 Scalable Video Codec에서 사용될 수 있다. 이를 통해, interlayer prediction mode에서 밝기 보상 기능을 수행할 수 있다.

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.

Claims (8)

1. 비디오 부호화 방법에 있어서,
   영상 신호로부터 시간적 예측 블록을 부호화하는 단계; 및
   상기 시간적 예측 블록에 대해 밝기 보상을 수행하는 단계를 포함하고,
   상기 밝기 보상을 수행하는 단계는
   상기 부호화된 시간적 예측 블록을 주파수 도메인으로 변환하는 단계; 및
   상기 변환된 시간적 예측 블록에 기초하여 밝기 보상을 위한 가중치 계수를 유도하는 단계를 포함하는 비디오 부호화 방법.
2. 제1항에 있어서,
   상기 주파수 도메인으로 변환하는 단계는 DCT, DST, WT 중 어느 하나의 방법을 선택적으로 이용하여 변환하는 것을 특징으로 하는 비디오 부호화 방법.
3. 제1항에 있어서,
   상기 밝기 보상을 수행하는 단계는 상기 시간적 예측 블록에 대응되는 주변 블록들의 밝기 보상 정보를 이용하여 밝기 보상을 수행하는 단계를 포함하는 비디오 부호화 방법.
4. 제1항에 있어서,
   상기 가중치 계수를 상기 시간적 예측 블록에 적용하는 단계를 더 포함하는 비디오 부호화 방법.
5. 비디오 부호화 장치에 있어서,
   영상 신호로부터 시간적 예측 블록을 부호화하는 부호화부; 및
   상기 시간적 예측 블록에 대해 밝기 보상을 수행하는 밝기 보상부를 포함하고,
   상기 밝기 보상부는 상기 부호화된 시간적 예측 블록을 주파수 도메인으로 변환하고, 상기 변환된 시간적 예측 블록에 기초하여 밝기 보상을 위한 가중치 계수를 유도하는 것을 특징으로 하는 비디오 부호화 장치.
6. 제5항에 있어서,
   상기 밝기 보상부는 DCT, DST, WT 중 어느 하나의 방법을 선택적으로 이용하여 상기 주파수 도메인으로 변환하는 것을 특징으로 하는 비디오 부호화 장치.
7. 제5항에 있어서,
   상기 밝기 보상부는 상기 시간적 예측 블록에 대응되는 주변 블록들의 밝기 보상 정보를 이용하여 밝기 보상을 수행하는 비디오 부호화 장치.
8. 제5항에 있어서,
   상기 밝기 보상부는 상기 가중치 계수를 상기 시간적 예측 블록에 적용하는 것을 특징으로 하는 비디오 부호화 장치.

Images