KR101681307B1 - 주파수영역 복수 가중예측필터를 사용한 색공간 예측 방법 및 장치와 이를 이용한 영상 부호화/복호화 방법 및 장치 - Google Patents

Abstract

본 발명의 일 실시예는 주파수영역 복수 가중예측필터를 사용한 색공간 예측 방법 및 장치와 이를 이용한 영상 부호화/복호화 방법 및 장치에 관한 것이다.
본 발명의 일 실시예는, 현재 블록의 기복호화된 주변블록으로부터 가중 블록을 결정하고 상기 가중 블록으로부터 주파수 영역별 예측 가중치를 산출하는 예측가중치 산출부; 상기 주파수 영역별 예측 가중치로부터 주파수 영역별 예측이득을 산출하고 상기 주파수 영역별 예측이득을 이용하여 색공간 예측에 사용될 주파수 영역을 선택하는 예측주파수 선택부; 및 변환된 잔여 블록을 수신하고 상기 선택된 주파수 영역의 예측 가중치로부터 상기 변환된 잔여 블록의 색공간 예측을 수행하는 주파수영역 예측부를 포함하는 색공간 예측 장치 및 방법과, 현재 블록의 기복호화된 주변블록으로부터 가중 블록을 결정하고 상기 가중 블록으로부터 주파수 영역별 예측 가중치를 산출하는 예측가중치 산출부; 상기 주파수 영역별 예측 가중치로부터 주파수 영역별 예측이득을 산출하고 상기 주파수 영역별 예측이득을 이용하여 색공간 예측에 사용될 주파수 영역을 선택하는 예측주파수 선택부; 및 상기 선택된 주파수 영역의 예측 가중치를 이용하여 상기 색공간 예측 블록으로부터 변환된 잔여 블록을 복원하는 주파수영역 복원부를 포함하는 색공간 예측 장치 및 방법과 이용한 영상 부호화/복호화 방법 및 장치를 제공한다.

Description

주파수영역 복수 가중예측필터를 사용한 색공간 예측 방법 및 장치와 이를 이용한 영상 부호화/복호화 방법 및 장치{Method and Apparatus for Color Space Prediction Using Multiple Frequency Domain Weighted Prediction Filter and Method and Apparatus for Encoding/Decoding of Video Data Thereof}

본 발명의 실시예는 주파수영역 복수 가중예측필터를 사용한 색공간 예측 방법 및 장치와 이를 이용한 영상 부호화/복호화 방법 및 장치에 관한 것이다. 더욱 상세하게는, 색-공간 잔여신호의 주파수 영역 예측 시, 단위 영상 안에 다르게 존재할 수 있는 색 성분 상관도를 효율적으로 이용하기 위해 단위 영상마다 복수의 예측 필터 중에서 최적의 것을 사용함으로써 RGB 색-공간 비디오 데이터의 압축 성능을 높이고자 하는 주파수영역 복수 가중예측필터를 사용한 색공간 예측 방법 및 장치와 이를 이용한 영상 부호화/복호화 방법 및 장치에 관한 것이다.

최근 디지털 시네마, 의료 영상, 디지털 아카이브와 같은 초고화질 비디오의 응용에 대한 수요가 증가함에 따라, RGB 색 공간에서 직접 부호화/복호화하는 기술들이 개발되고 있다. 이는 기존에 널리 사용되는 YCbCr 색 공간에서 부호화/복호화는 RGB 색 공간으로 변환할 경우 반올림 오차가 발생하는 등의 문제가 있다. 따라서 현재 최신의 비디오 압축 표준인 H.264/AVC에서도 RGB 색 공간에서 부/복호화를 지원하고 있다.

RGB 색 공간에서는 색 평면간에 높은 유사성을 갖는 경우가 많다. 그러나 H.264/AVC 는 RGB 색 공간의 유사성을 직접적으로 사용하여 압축 효율을 높이기 위한 기술을 포함하지 않고 있다. 최근 RGB 색 공간에서 직접 예측을 수행하여 부호화 효율을 높이는 기술들이 보고되고 있다. 이 기술들은 크게 픽셀(pixel) 영역에서 예측하는 기법들과 주파수(frequency) 영역에서 예측하는 기법 등으로 나눌 수 있는데, 주파수 영역에서 예측하는 기법이 픽셀 영역에서 예측하는 기법에 비해 더 우수한 압축 성능을 제공하는 것으로 알려져 있다.

주파수 영역 예측 기법은 원 신호를 이산 여현 변환(DCT : Discrete cosine transform)와 같은 주파수 변환을 수행하여 주파수 영역으로 변환한 후, 주파수 영역에서 RGB 색 성분 간 예측을 수행하는 것이다. 이는 RGB 색 성분 간에는 주파수 영역에서 높은 상관도를 갖는다는 사실에 기반한다. 또한 주파수 영역에서 예측을 수행할 경우 잡음이 대부분 고주파수 영역에 있으므로, 특정 영역만을 예측하여 잡음이 다른 색 성분으로 전파되는 것을 방지할 수 있다는 장점이 있다. 그러나 기존의 주파수 영역 예측 기법은 모든 영상에 동일한 예측 함수를 사용함으로써 영상마다 다르게 존재할 수 있는 색 성분간 유사성을 적절히 이용하지 못하는 문제점을 가지고 있다.

이를 해결하기 위해 최근 영상의 특성에 따라 적응적으로 색 평면간 예측 필터를 결정하는 기법이 있다. 이 기법에서는 매크로블록 또는 기본 단위(Basic unit)와 같은 영상 단위별로 적응적으로 예측 필터를 결정하여 기존의 주파수 영역 예측 기법에 압축 성능 향상을 이루었다. 이 기법에서는 적응적으로 결정되는 영상 단위가 너무 작을 경우에는 현재 부호화하려는 영상 단위의 예측 필터의 산출에 있어 통계적 안정성을 확보하기 어려우므로 예측 효율이 저하되는 경향이 있다. 이를 방지하기 위해 영상 단위를 크게 할 경우 하나의 영상 단위에서 여러 가지 영상 특성을 갖게 될 가능성이 있다. 따라서 한 개의 예측 필터만으로는 영상 단위 안의 모든 블록의 색 평면 상관도를 적절히 반영하지 못하여 예측 효율이 저하될 가능성이 있다는 문제점이 있다.

이러한 문제점을 해결하기 위해 본 발명의 실시예는, 색-공간 잔여신호의 주파수 영역 예측 시, 단위 영상 안에 다르게 존재할 수 있는 색 성분 상관도를 효율적으로 이용하기 위해 단위 영상마다 복수의 예측 필터를 사용함으로써 부호화/복호화 효율을 더욱 높이는 데 주된 목적이 있다.

전술한 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화/복호화하는 장치에 있어서, 현재 블록을 색평면별로 예측하여 예측 블록을 생성하고, 상기 현재 블록에서 상기 예측 블록을 감산하여 잔여 블록을 생성하고, 상기 잔여 블록을 변환하고, 기복호된 잔여신호의 변환 계수 블록으로부터 선택된 N(N은 2 이상의 자연수) 개의 가중치후보 블록집합 각각에 대하여 상기 가중치 후보 블록집합 내의 블록의 변환계수에 기반하여 색공간 예측에 사용될 주파수 영역별 예측 가중치 및 후보 주파수 영역을 선택하고 상기 N 개의 가중치후보 블록집합 각각에 대하여 산출된 주파수 영역별 예측 가중치 및 후보 주파수 영역 중에서 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 이용하여 상기 변환된 잔여 블록에 대한 색공간 예측 블록을 생성하고, 상기 색공간 예측 블록을 부호화하는 영상 부호화기; 및 부호화 데이터를 복호화하여 색공간 예측 블록을 복호하고, 기복호된 잔여신호의 변환 계수 블록으로부터 선택된 N(N은 2 이상의 자연수) 개의 가중치후보 블록집합 각각에 대하여 상기 가중치 후보 블록집합 내의 블록의 변환계수에 기반하여 색공간 예측에 사용될 주파수 영역별 예측 가중치 및 후보 주파수 영역을 선택하고 상기 N 개의 가중치후보 블록집합 각각에 대하여 산출된 주파수 영역별 예측 가중치 및 후보 주파수 영역 중에서 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 이용하여 상기 색공간 예측 블록으로부터 변환된 잔여 블록을 복원하고, 현재 블록을 예측하여 예측 블록을 생성하고, 상기 복원된 잔여 블록과 상기 예측 블록을 가산하여 상기 현재 블록을 복원하는 영상 복호화기를 포함하는 것을 특징으로 하는 영상 부호화/복호화 장치를 제공한다.

또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화하는 장치에 있어서, 현재 블록을 색평면별로 예측하여 예측 블록을 생성하는 예측기; 상기 현재 블록에서 상기 예측 블록을 감산하여 잔여 블록을 생성하는 감산기; 상기 잔여 블록을 변환하는 변환기; 기복호된 잔여신호의 변환 계수 블록으로부터 선택된 N(N은 2 이상의 자연수) 개의 가중치후보 블록집합 각각에 대하여 상기 가중치 후보 블록집합 내의 블록의 변환계수에 기반하여 색공간 예측에 사용될 주파수 영역별 예측 가중치 및 후보 주파수 영역을 선택하고 상기 N 개의 가중치후보 블록집합 각각에 대하여 산출된 주파수 영역별 예측 가중치 및 후보 주파수 영역 중에서 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 이용하여 상기 변환된 잔여 블록에 대한 색공간 예측 블록을 생성하는 색공간 예측기; 및 상기 색공간 예측 블록을 부호화하는 부호화기를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.

또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 복호화하는 장치에 있어서, 부호화 데이터를 복호화하여 색공간 예측 블록을 복호하는 복호화기; 기복호된 잔여신호의 변환 계수 블록으로부터 선택된 N(N은 2 이상의 자연수) 개의 가중치후보 블록집합 각각에 대하여 상기 가중치 후보 블록집합 내의 블록의 변환계수에 기반하여 색공간 예측에 사용될 주파수 영역별 예측 가중치 및 후보 주파수 영역을 선택하고 상기 N 개의 가중치후보 블록집합 각각에 대하여 산출된 주파수 영역별 예측 가중치 및 후보 주파수 영역 중에서 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 이용하여 상기 색공간 예측 블록으로부터 변환된 잔여 블록을 복원하는 색공간 복원기; 상기 변환된 잔여 블록을 역변환하여 잔여 블록을 복원하는 역변환기; 현재 블록을 예측하여 예측 블록을 생성하는 예측기; 및 상기 복원된 잔여 블록과 상기 예측 블록을 가산하여 상기 현재 블록을 복원하는 가산기를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.

또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 변환된 잔여 블록의 색공간 예측 장치에 있어서, 기복호된 잔여신호의 변환 계수 블록으로부터 N(N은 2 이상의 자연수) 개의 가중치후보 블록집합을 결정하는 가중치후보 선택부; 상기 N 개의 가중치후보 블록집합 각각에 대하여 상기 가중치 후보 블록집합 내의 블록의 변환계수를 이용하여 주파수 영역별 예측 가중치를 산출하고, 상기 주파수 영역별 예측 가중치를 이용하여 주파수 영역별 예측이득을 산출하고 상기 주파수 영역별 예측이득을 이용하여 색공간 예측에 사용될 후보 주파수 영역을 선택하는 후보 가중치 주파수 산출부; N 개의 주파수 영역별 예측 가중치 및 N 개의 후보 주파수 영역을 수신하여 각각에 대하여 예측효율을 산출하고 비교하여 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 결정하는 최적 가중필터 결정부; 및 상기 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 이용하여 상기 변환된 잔여 블록에 대한 색공간 예측 블록을 생성하는 주파수영역 예측부를 포함하는 것을 특징으로 하는 색공간 예측 장치를 제공한다.

여기서, 상기 N 개의 가중치후보 블록집합은, 주변블록의 집합 및 복호화 완료된 M(M은 1 이상의 자연수) 개의 매크로블록 행 집합일 수 있다.

여기서 상기 N 개의 가중치후보 블록집합은, 복호화 완료된 매크로블록 행에 속하는 매크로블록의 필터 유형별 매크로블록의 집합일 수 있다.

상기 색공간 예측 장치는, 하나의 매크로블록 행의 색공간 예측이 완료되었는지 여부를 확인하는 행예측 탐지부; 및 상기 하나의 매크로블록 행의 색공간 예측이 완료된 후, 상기 하나의 매크로블록 행의 상기 필터 유형별 매크로블록의 집합마다 매크로블록의 변환계수에 기반하여 주파수영역별 예측 가중치인 유형별가중치를 산출하고 상기 유형별가중치를 상기 하나의 매크로블록 행 내의 모든 매크로블록에 대하여 최적의 필터효율을 갖는 유형별 예측가중치에 따라 상기 매크로블록에 대한 필터 유형을 재설정하는 필터유형 조정부를 추가로 포함할 수 있다.

상기 최적의 필터율은, 상기 유형별가중치 각각에 대해 현재 블록을 예측하고 부호화하는 경우에 발생하는 비트량과 왜곡치를 고려하여 율-왜곡 비용이 가장 작은 경우일 수 있다.

상기 필터유형 조정부는, 상기 필터 유형을 재설정한 결과 상기 재설정된 필터 유형의 갯수가 기설정 갯수 이상이면 상기 필터유형의 재설정을 반복할 수 있다.

상기 주파수 영역별 예측 가중치는, 기준 색평면과 나머지 색평면과의 상관도에 의해 산출될 수 있다.

상기 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역은, 상기 후보 가중치 주파수 산출부로부터 전송되는 모든 주파수 영역별 예측 가중치 및 후보 주파수 영역 각각에 대해 현재 블록을 예측하고 부호화하는 경우에 발생하는 비트량과 왜곡치를 고려하여 율-왜곡 비용이 가장 작은 경우의 주파수 영역별 예측 가중치 및 후보 주파수 영역될 수 있다.

상기 주파수영역 예측부는, 상기 변환된 잔여 블록의 기준 색평면의 상기 선택된 주파수 영역의 주파수 계수에서 상기 기준 색평면 이외의 색평면의 주파수 계수에 상기 선택된 주파수 영역의 예측 가중치를 적용한 값을 감산하여 상기 색공간 예측을 수행할 수 있다.

상기 주파수영역 예측부는, 상기 선택된 주파수 영역의 예측 가중치를 양자화한 후에 색공간 예측을 수행할 수 있다.

상기 주파수 영역별 예측 가중치는, 영상의 시퀀스 단위, 프레임 단위, 매크로블록 단위 및 서브 블록 단위 중 어느 하나의 단위로 산출될 수 있다.

또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 색공간 예측 블록의 색공간 예측 장치에 있어서, 기복호된 잔여신호의 변환 계수 블록으로부터 N(N은 2 이상의 자연수) 개의 가중치후보 블록집합을 결정하는 가중치후보 선택부; 상기 N 개의 가중치후보 블록집합 각각에 대하여 상기 가중치 후보 블록집합 내의 블록의 변환계수를 이용하여 주파수 영역별 예측 가중치를 산출하고, 상기 주파수 영역별 예측 가중치를 이용하여 주파수 영역별 예측이득을 산출하고 상기 주파수 영역별 예측이득을 이용하여 색공간 예측에 사용될 후보 주파수 영역을 선택하는 후보 가중치 주파수 산출부; N 개의 주파수 영역별 예측 가중치 및 N 개의 후보 주파수 영역을 수신하여 각각에 대하여 예측효율을 산출하고 비교하여 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 결정하는 최적 가중필터 결정부; 및 상기 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 이용하여 상기 색공간 예측 블록으로부터 변환된 잔여 블록을 복원하는 주파수영역 복원부를 포함하는 것을 특징으로 하는 색공간 예측 장치를 제공한다.

여기서, 상기 N 개의 가중치후보 블록집합은, 주변블록의 집합 및 복호화 완료된 M(M은 1 이상의 자연수) 개의 매크로블록 행 집합일 수 있다.

여기서 상기 N 개의 가중치후보 블록집합은, 복호화 완료된 매크로블록 행에 속하는 매크로블록의 필터 유형별 매크로블록의 집합일 수 있다.

여기서, 상기 색공간 예측 장치는, 하나의 매크로블록 행의 색공간 예측이 완료되었는지 여부를 확인할 수 있다.

여기서, 상기 하나의 매크로블록 행의 색공간 예측이 완료된 후, 상기 하나의 매크로블록 행의 상기 필터 유형별 매크로블록의 집합마다 매크로블록의 변환계수에 기반하여 주파수영역별 예측 가중치인 유형별가중치를 산출하고 상기 유형별가중치를 상기 하나의 매크로블록 행 내의 모든 매크로블록에 대하여 최적의 필터효율을 갖는 유형별 예측가중치에 따라 상기 매크로블록에 대한 필터 유형을 재설정하는 필터유형 조정부를 추가로 포함할 수 있다.

여기서, 상기 최적의 필터율은, 상기 유형별가중치 각각에 대해 현재 블록을 예측하고 부호화하는 경우에 발생하는 비트량과 왜곡치를 고려하여 율-왜곡 비용이 가장 작은 경우일 수 있다.

여기서, 상기 필터유형 조정부는, 상기 필터 유형을 재설정한 결과 상기 재설정된 필터 유형의 갯수가 기설정 갯수 이상이면 상기 필터유형의 재설정을 반복할 수 있다.

여기서 상기 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역은, 상기 후보 가중치 주파수 산출부로부터 전송되는 모든 주파수 영역별 예측 가중치 및 후보 주파수 영역 각각에 대해 현재 블록을 예측하고 부호화하는 경우에 발생하는 비트량과 왜곡치를 고려하여 율-왜곡 비용이 가장 작은 경우의 주파수 영역별 예측 가중치 및 후보 주파수 영역일 수 있다.

여기서, 상기 주파수영역 복원부는, 상기 색공간 예측 블록의 기준 색평면의 상기 선택된 주파수 영역의 주파수 계수와 상기 기준 색평면 이외의 색평면의 주파수 계수에 상기 선택된 주파수 영역의 예측 가중치를 적용한 값을 가산하여 상기 변환된 잔여 블록을 복원할 수 있다.

여기서, 상기 주파수영역 복원부는, 상기 선택된 주파수 영역의 예측 가중치를 양자화한 후에 색공간 예측을 수행일 수 있다.

여기서, 상기 주파수 영역별 예측 가중치는, 영상의 시퀀스 단위, 프레임 단위, 매크로블록 단위 및 서브 블록 단위 중 어느 하나의 단위로 산출될 수 있다.

또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화/복호화하는 방법에 있어서, 현재 블록을 색평면별로 예측하여 예측 블록을 생성하고, 상기 현재 블록에서 상기 예측 블록을 감산하여 잔여 블록을 생성하고, 상기 잔여 블록을 변환하고, 기복호된 잔여신호의 변환 계수 블록으로부터 선택된 N(N은 2 이상의 자연수) 개의 가중치후보 블록집합 각각에 대하여 상기 가중치 후보 블록집합 내의 블록의 변환계수에 기반하여 색공간 예측에 사용될 주파수 영역별 예측 가중치 및 후보 주파수 영역을 선택하고 상기 N 개의 가중치후보 블록집합 각각에 대하여 산출된 주파수 영역별 예측 가중치 및 후보 주파수 영역 중에서 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 이용하여 상기 변환된 잔여 블록에 대한 색공간 예측 블록을 생성하고, 상기 색공간 예측 블록을 부호화하는 단계; 및 부호화 데이터를 복호화하여 색공간 예측 블록을 복호하고, 기복호된 잔여신호의 변환 계수 블록으로부터 선택된 N(N은 2 이상의 자연수) 개의 가중치후보 블록집합 각각에 대하여 상기 가중치 후보 블록집합 내의 블록의 변환계수에 기반하여 색공간 예측에 사용될 주파수 영역별 예측 가중치 및 후보 주파수 영역을 선택하고 상기 N 개의 가중치후보 블록집합 각각에 대하여 산출된 주파수 영역별 예측 가중치 및 후보 주파수 영역 중에서 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 이용하여 상기 색공간 예측 블록으로부터 변환된 잔여 블록을 복원하고, 상기 변환된 잔여 블록을 역변환하여 잔여 블록을 복원하고, 현재 블록을 예측하여 예측 블록을 생성하고, 상기 복원된 잔여 블록과 상기 예측 블록을 가산하여 상기 현재 블록을 복원하는 단계를 포함하는 것을 특징으로 하는 영상 부호화/복호화 방법을 제공한다.

또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화하는 방법에 있어서, 현재 블록을 색평면별로 예측하여 예측 블록을 생성하는 단계; 상기 현재 블록에서 상기 예측 블록을 감산하여 잔여 블록을 생성하는 단계; 상기 잔여 블록을 변환하는 변환단계; 기복호된 잔여신호의 변환 계수 블록으로부터 선택된 N(N은 2 이상의 자연수) 개의 가중치후보 블록집합 각각에 대하여 상기 가중치 후보 블록집합 내의 블록의 변환계수에 기반하여 색공간 예측에 사용될 주파수 영역별 예측 가중치 및 후보 주파수 영역을 선택하고 상기 N 개의 가중치후보 블록집합 각각에 대하여 산출된 주파수 영역별 예측 가중치 및 후보 주파수 영역 중에서 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 이용하여 상기 변환된 잔여 블록에 대한 색공간 예측 블록을 생성하는 색공간 예측단계; 및 상기 색공간 예측 블록을 부호화하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.

또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 복호화하는 방법에 있어서, 부호화 데이터를 복호화하여 색공간 예측 블록을 복호하는 단계; 기복호된 잔여신호의 변환 계수 블록으로부터 선택된 N(N은 2 이상의 자연수) 개의 가중치후보 블록집합 각각에 대하여 상기 가중치 후보 블록집합 내의 블록의 변환계수에 기반하여 색공간 예측에 사용될 주파수 영역별 예측 가중치 및 후보 주파수 영역을 선택하고 상기 N 개의 가중치후보 블록집합 각각에 대하여 산출된 주파수 영역별 예측 가중치 및 후보 주파수 영역 중에서 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 이용하여 상기 색공간 예측 블록으로부터 변환된 잔여 블록을 복원하는 색공간 복원 단계; 상기 변환된 잔여 블록을 역변환하여 잔여 블록을 복원하는 역변환 단계; 현재 블록을 예측하여 예측 블록을 생성하는 단계; 및 상기 복원된 잔여 블록과 상기 예측 블록을 가산하여 상기 현재 블록을 복원하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.

또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 변환된 잔여 블록의 색공간 예측 방법에 있어서, 기복호된 잔여신호의 변환 계수 블록으로부터 N(N은 2 이상의 자연수) 개의 가중치후보 블록집합을 결정하는 단계; 상기 N 개의 가중치후보 블록집합 각각에 대하여 상기 가중치 후보 블록집합 내의 블록의 변환계수에 기반하여 주파수 영역별 예측 가중치를 산출하고, 상기 주파수 영역별 예측 가중치로부터 주파수 영역별 예측이득을 산출하고 상기 주파수 영역별 예측이득을 이용하여 색공간 예측에 사용될 후보 주파수 영역을 선택하는 단계; N 개의 주파수 영역별 예측 가중치 및 N 개의 후보 주파수 영역을 수신하여 각각에 대하여 예측효율을 산출하고 비교하여 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 결정하는 단계; 및 상기 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 이용하여 상기 변환된 잔여 블록에 대한 색공간 예측 블록을 생성하는 주파수영역 예측단계를 포함하는 것을 특징으로 하는 색공간 예측 방법을 제공한다.

또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 색공간 예측 블록의 색공간 예측 방법에 있어서, 기복호된 잔여신호의 변환 계수 블록으로부터 N(N은 2 이상의 자연수) 개의 가중치후보 블록집합을 결정하는 단계; 상기 N 개의 가중치후보 블록집합 각각에 대하여 상기 가중치 후보 블록집합 내의 블록의 변환계수에 기반하여 주파수 영역별 예측 가중치를 산출하고, 상기 주파수 영역별 예측 가중치로부터 주파수 영역별 예측이득을 산출하고 상기 주파수 영역별 예측이득을 이용하여 색공간 예측에 사용될 후보 주파수 영역을 선택하는 단계; N 개의 주파수 영역별 예측 가중치 및 N 개의 후보 주파수 영역을 수신하여 각각에 대하여 예측효율을 산출하고 비교하여 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 결정하는 단계; 및 상기 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 이용하여 상기 색공간 예측 블록으로부터 변환된 잔여 블록을 복원하는 주파수영역 복원단계를 포함하는 것을 특징으로 하는 색공간 예측 방법을 제공한다.

이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 본 발명은 색-공간 잔여신호의 주파수 영역 예측 시, 단위 영상 안에 다르게 존재할 수 있는 색 성분 상관도를 효율적으로 이용하기 위해 단위 영상마다 복수의 예측 필터 중에서 최적의 것을 사용함으로써 RGB 색-공간 비디오 데이터의 부호화/복호화 성능을 높이는 효과가 있다.

도 1은 본 발명의 제1 실시예에 따른 색공간 예측 장치(100)를 도시한 블록도이다.
도 2는 현재 블록의 주변블록의 집합을 도시한 도면이다.
도 3은 복호화 완료된 M 개의 매크로블록 행 집합을 도시한 도면이다.
도 4는 현재 블록의 상위 매크로블록 행에 속하는 매크로블록의 가중치 필터 종류별 매크로블록의 집합을 도시한 도면이다.
도 5는 RGB 입력영상에 대하여 본 발명의 제1 실시예에 따른 색공간 예측 장치가 색공간 예측을 수행하는 것을 도식화한 도면이다.
도 6은 예측 기준 색평면이 G 평면인 경우에, 한 매크로블록을 4x4 DCT를 수행하였을 경우 RGB 영상에 대한 블록 형식과 색공간 예측을 도시한 도면이다.
도 7은 필터 유형을 재설정하기 전(a)과 재설정한 후(b)를 예시한 도면이다.
도 8은 본 발명의 제2 실시예에 따른 색공간 예측 장치(800)를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
도 10은 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.
도 11은 본 발명의 제1 실시예에 따른 색공간 예측 방법을 도시한 흐름도이다.
도 12는 본 발명의 제2 실시예에 따른 색공간 예측 방법을 도시한 흐름도이다.
도 13은 본 발명의 일 실시예에 따른 영상 부호화 방법을 도시한 흐름도이다.
도 14는 본 발명의 일 실시예에 따른 영상 복호화 방법을 도시한 흐름도이다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus), 영상 복호화 장치(Video Decoding Apparatus), 색공간 예측 장치는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone) 등과 같은 사용자 단말기이거나 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하거나 부호화 또는 복호화를 위해 인터 또는 인트라 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.

또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.

통상적으로 동영상은 일련의 픽처(Picture)로 구성될 수 있으며, 각 픽처들은 프레임 또는 블록(Block)과 같은 소정의 영역으로 분할될 수 있다. 영상의 영역이 블록으로 분할되는 경우에는 분할된 블록은 부호화 방법에 따라 크게 인트라 블록(Intra Block), 인터 블록(Inter Block)으로 분류될 수 있다. 인트라 블록은 인트라 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 뜻하는데, 인트라 예측 부호화란 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록을 생성하고 현재 블록의 화소와의 차분값을 부호화하는 방식이다. 인터 블록은 인터 예측 부호화(Inter Prediction Coding)를 사용하여 부호화되는 블록을 뜻하는데, 인터 예측 부호화란 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 방식이다. 여기서, 현재 픽처를 부호화하거나 복호화하는데 참조되는 프레임을 참조 프레임(Reference Frame)이라고 한다.

도 1은 본 발명의 제1 실시예에 따른 색공간 예측 장치(100)를 도시한 블록도이다.

본 발명의 제1 실시예에 따른 색공간 예측 장치(100)는 가중치후보 선택부(110), 후보 가중치 주파수 산출부(120), 최적 가중필터 결정부(130) 및 주파수영역 예측부(140)를 포함하며, 경우에 따라 변환부(150), 행예측 탐지부(160) 및 필터유형 조정부(170) 등이 추가될 수 있다.

가중치후보 선택부(110)는 기복호된 잔여신호의 변환 계수 블록으로부터 N(N은 2 이상의 자연수) 개의 가중치후보 블록집합을 결정한다. 여기서 "기복호된 잔여신호의 변환 계수 블록"에서 기복호의 의미는 영상 부호화 장치에서 블록이 부호화된 후에 참조블록으로 사용하기 위하여 복호화가 이루어진 것을 의미한다.

가중치후보 선택부(110)는 기복호된 잔여신호의 변환 계수 블록으로부터 결정하는 N 개의 가중치후보 블록집합 부호화하고자 하는 현재 블록의 주변블록의 집합 및 이미 복호화 완료된 M(M은 1 이상의 자연수) 개의 매크로블록 행 집합일 수 있다.

후보 가중치 주파수 산출부(120)는 N 개의 가중치후보 블록집합 각각에 대하여 가중치 후보 블록집합 내의 블록의 변환계수에 기반하여 주파수 영역별 예측 가중치를 산출하고, 주파수 영역별 예측 가중치로부터 주파수 영역별 예측이득을 산출하고 주파수 영역별 예측이득을 이용하여 색공간 예측에 사용될 후보 주파수 영역을 선택한다.

최적 가중필터 결정부(130)는 N 개의 주파수 영역별 예측 가중치 및 N 개의 후보 주파수 영역을 수신하여 각각에 대하여 예측효율을 산출하고 비교하여 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 결정한다.

주파수영역 예측부(140)는 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 이용하여 변환된 잔여 블록에 대한 색공간 예측 블록을 생성한다.

변환부(150)는 인트라 또는 인터 예측된 잔여블록을 수신하여 DCT와 같은 변환을 수행한다.

행예측 탐지부(160)는 하나의 매크로블록 행의 색공간 예측이 완료되었는지 여부를 확인한다.

필터유형 조정부(170)는 하나의 매크로블록 행의 색공간 예측이 완료된 후, 하나의 매크로블록 행의 필터 유형별 매크로블록의 집합마다 매크로블록의 변환계수에 기반하여 주파수영역별 예측 가중치인 유형별가중치를 산출하고 유형별가중치를 하나의 매크로블록 행 내의 모든 매크로블록에 대하여 최적의 필터효율을 갖는 유형별 예측가중치에 따라 매크로블록에 대한 필터 유형을 재설정한다.

도 2는 현재 블록의 주변블록의 집합을 도시한 도면이고, 도 3은 복호화 완료된 M 개의 기복호된 매크로블록 행(Row) 집합을 도시한 도면이다.

도 2와 도 3에 도시한 바와 같은 현재 블록의 주변블록의 집합에 대한 정보와 복호화 완료된(또는 부호화 완료된) M 개의 매크로블록 행 집합에 대한 정보가 각각 제1블록 집합에 대한 정보 및 제2블록 집합에 대한 정보로 후보 가중치 주파수 산출부(120)로 전송될 수 있다.

기 복호된 매크로블록은 래스터(raster) 스캔 순서로 복호화하므로 현재 매크로블록의 상측과 좌측에 존재하는 매크로블록이다. 현재 매크로블록과의 통계적 유사성은 현재 매크로블록과 가까운 블록이 높으므로 도 2와 같이 주위의 매크로블록을 사용하여 예측 필터를 구할 수 있다. 도 2에 도시한 바와 같이 제 1블록 집합은 현재 매크로블록의 기복호된 좌측(MB_L), 상측(MB_U), 좌상측 (MB_UL), 우상측(MB_UR) 매크로블록으로 결정될 수 있다. 이와 같이 현재 매크로블록에서 가장 가까운 주변 매크로블록들만을 이용하여 예측 필터를 산출할 경우, 현재 매크로블록과의 통계적 유사성이 가장 높아 예측 효율이 높을 수 있다. 그러나 예측 필터를 산출하기 위한 샘플의 수가 적아 현재 부호화하려는 영상 단위의 예측 필터의 산출에 있어 통계적 안정성을 확보하기 어려우므로 예측 효율이 저하되는 경향이 종종 발생된다. 따라서 이를 방지 하기 위해 제 2 블록 집합에서는 예측 필터를 구하기 위한 샘플 수를 증가시켜 예측 필터를 산출할 수 있다.

도 3과 같이 K번째 매크로블록 행에 위치한 현재 매크로블록의 예측 필터를 산출하기 위하여 기 부호화된 k-1번째 매크로블록 행의 매크로블록들부터 K-n까지의 매크로블록 행에 존재하는 매크로블록을 제 2 블록 집합으로 결정한다. 여기서 n은 적응적 또는 고정된 값이 될 수 있다. 이와 같이 제 2블록 집합을 결정하면 제 2블록 집합에 속하는 매크로블록의 수는, 한 매크로블록 행을 구성하는 매크로블록의 수가 M 개라고 가정하면, n*M 개가 된다. n 또는 M이 클 경우 예측 필터의 통계적 안정성을 충분히 확보할 수 있으며, 또한 매크로블록 행마다 한 번씩만 예측 필터를 산출하면 된다는 장점을 가진다. 그러나 예측 필터를 구하기 위한 영상 단위를 크게 할 경우 하나의 영상 단위에서 여러 가지 영상 특성을 갖게 될 가능성이 있을 수 있다. 따라서 현재 매크로블록과의 상관성이 저하되 예측 효율이 저하될 가능성이 있다는 제약점을 가지고 있다. 따라서 본 발명에서는 제 1블록 집합에서 산출한 예측 필터와, 제 2블록 집합에서 산출한 예측 필터 중 더욱 효율이 좋은 것을 매크로블록마다 적응적으로 결정해 높은 예측 효율을 제공할 수 있다.

도 4는 현재 블록의 상위 매크로블록 행에 속하는 매크로블록의 가중치 필터 종류별 매크로블록의 집합을 도시한 도면이다. 여기서 가중치 필터란 매크로블록의 그룹별로(MB_A 및 MB_B) 계산될 수 있는 잔여 블록의 주파수 계수별 가중치를 의미할 수 있다.

도 4에 도시한 바와 같은 복호화 완료된(또는 부호화 완료된) 매크로블록 행과 관련하여 제1블록집합 내지 제N블록집합 정보가 후보 가중치 주파수 산출부(120)로 전송될 수 있으며, 본 실시예에서는 복호화 완료된(또는 부호화 완료된) 상위 매크로블록 행 1개에 관련한 2개의 블록집합정보를 발생하는 것을 가정하여 설명하나, 복호화 완료된(또는 부호화 완료된) 대상 매크로블록 행의 갯수와 발생하는 블록 집합의 갯수는 실시예에 따라 다를 수 있으며, 당업자라면 손쉽게 이를 확장할 수 있을 것이다.

후보 가중치 주파수 산출부(120)는 각 블록 집합별로 가중치 후보 블록의 변환계수에 기반하여 주파수 영역별 예측 가중치를 산출하고, 산출된 주파수 영역별 예측 가중치로부터 주파수 영역별 예측이득을 산출하고, 산출된 주파수 영역별 예측이득을 이용하여 색공간 예측에 사용될 후보 주파수 영역을 선택한다.

여기서는 후보 가중치 주파수 산출부(120) 내의 제1예측 가중치 산출부(122) 및 제1예측주파수 선택부(124)의 기능만 설명한다. 제N예측 가중치 산출부(126) 및 제N예측주파수 선택부(128)의 기능은 블록집합만 다를 뿐 나머지 동작은 제1예측 가중치 산출부(122) 및 제1예측주파수 선택부(124)의 기능과 동일하므로 여기서는 제N예측 가중치 산출부(126) 및 제N예측주파수 선택부(128)에 대한 상세한 설명은 생략한다.

후보 가중치 주파수 산출부(120) 내의 제1예측 가중치 산출부(122)는 각 블록 집합별로, 해당 블록 집합으로부터 예측 기준 색평면 이외의 색평면의 블록에 대하여 가중 블록을 결정하고 가중 블록으로부터 색평면별(즉, 예측 기준 색평면 이외의 색평면별)로 주파수 영역별 예측 가중치를 산출한다. 여기서 산출된 주파수 영역별 예측 가중치는 제1예측주파수 선택부(124)와 최적 가중필터 결정부(130)로 전송될 수 있다. 또한, 본 발명의 일 실시예에 따른 영상 복호화 장치 및 본 발명의 제2 실시예에 따른 색공간 예측장치에서는 부호화된 데이터를 수신하여 복호화를 수행하므로 기복호화된 주변블록을 대상으로 가중 블록을 결정할 수 있다.

제1예측주파수 선택부(124)는 제1예측 가중치 산출부(122)가 산출한 주파수 영역별 예측 가중치와 가중 블록 상의 주파수 변환 계수들을 이용하여 주파수 영역별 예측이득을 산출하고 산출된 주파수 영역별 예측이득을 이용하여 색공간 예측에 사용될 주파수 영역을 선택한다.

최적 가중필터 결정부(130)는 N 개의 주파수 영역별 예측 가중치 및 N 개의 후보 주파수 영역을 수신하여 각각에 대하여 예측효율을 산출하고 비교하여 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 결정한다. 여기서 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역은, 후보 가중치 주파수 산출부로부터 전송되는 모든 주파수 영역별 예측 가중치 및 후보 주파수 영역 각각에 대해 현재 블록을 예측하고 부호화하는 경우에 발생하는 비트량과 왜곡치를 고려하여 율-왜곡 비용이 가장 작은 경우의 주파수 영역별 예측 가중치 및 후보 주파수 영역으로 설정한다.

주파수영역 예측부(140)는 변환된 잔여 블록의 신호를 변환부(150)로부터 수신하고 최적 가중필터 결정부(130)에서 선택된 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 수신하여 변환된 잔여 블록의 색공간 예측을 수행한다.

한편, 색공간 예측이란 용어의 의미는 색공간 예측 블록의 생성 또는 주파수 영역 예측 잔여 신호의 생성을 위한 일련의 과정을 의미할 수 있다.

변환부(150)에 입력되는 잔여 블록은 기존 영상 부호화기의 인터/인트라(Inter/Intra) 예측을 통해 생성될 수 있는데, 움직임 예측 영상 생성 및 잔여 블록 생성을 통하여 생성되거나 인트라 예측 영상 생성 및 잔여블록 생성을 통해 생성될 수 있다. 변환부(150)는 입력된 인터/인트라 잔여블록에 대해 이산 코사인 변환(DCT) 등의 변환기법을 사용하여 잔여 신호 블록의 변환 계수를 산출할 수 있다.

제1예측가중치 산출부(122)는 두 개 이상의 컬러 영상의 잔여 신호 블록의 주파수 공간 변환 계수의 상관 관계에 기반하여, 주파수 영역별 예측 가중치를 산출할 수 있다. 컬러 영상(R, G, B 신호) 잔여 신호 블록 간의 잔여 신호는 주파수 별로 상이한 상관 관계(상관도)를 가질 수 있기 때문에, 잔여신호 색-평면 간의 예측 효율을 높이기 위해 주파수 별로 독립적인 가중치를 설정할 수 있다. 예측 가중치는 최소 제곱 오차법(Mean square error) 등을 이용하여 산출할 수 있는데, 이는 본 발명을 구현하는 한 예일 뿐 특정 가중치 산출 방법으로 본 발명의 사상이 제한되지는 않는다.

제1예측가중치 산출부(122)는 기복호화된 주변 블록(즉, 제1블록 집합)의 주파수 계수로부터 예측 가중치를 기복호화된 주변 블록의 잔여 신호 블록의 변환 계수에 기반하여 산출하고, 주변 블록의 잔여 신호 블록의 변환 계수에 기반하여 주파수 영역별 예측 가중치를 산출한다. 제1예측가중치 산출부(122)의 상세한 동작은 후술한다. 본 명세서에서 "기복호화된 주변 블록"이라는 의미는 부호화 장치에서 사용하는 경우에는 부호화 완료후에 참조블록으로 사용하기 위하여 다시 복호화된 주변 블록이라는 의미일 수 있으며, 복호화 장치에서 사용하는 경우에는 복호화 완료된 주변 블록이라는 의미일 수 있다. 또한 "기복호화된 주변 블록"이라는 용어는 부호화 장치에서는 "부호화된 주변 블록"이라는 용어로 대체하여 사용할 수 있다.

제1예측주파수 선택부(124)는 제1예측가중치 산출부(122)에서 산출된 예측 가중치를 이용하여, 예측에 사용될 주파수 대역을 결정할 수 있다. 즉, 제1예측주파수 선택부(124)에서는 상관도가 높고 주파수 영역 예측으로 인해 부호화 이득을 얻을 수 있을 것으로 기대되는 주파수 대역을 선별한다.

제1예측주파수 선택부(124)에서는 제1예측가중치 산출부(122)에서 산출된 주파수 영역별 예측 가중치를 잔여 신호 블록의 예측에 적용함으로써, 주파수 영역별 예측 이득을 산출하고, 산출된 결과를 바탕으로 예측을 사용하였을 경우 이득을 얻을 수 있을 것으로 기대되는 주파수 영역을 선별하여 예측에 사용될 주파수 영역을 결정한다.

최적 가중필터 결정부(130)는 N 개의 주파수 영역별 예측 가중치 및 N 개의 후보 주파수 영역을 수신하여 각각에 대하여 예측효율을 산출하고 비교하여 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 결정한다.

주파수영역 예측부(140)는 변환된 잔여 블록의 기준 색평면의 선택된 주파수 영역의 주파수 계수에서 기준 색평면 이외의 색평면의 주파수 계수에 선택된 주파수 영역의 예측 가중치를 적용한 값을 감산하여 색공간 예측을 수행할 수 있다.

주파수영역 예측부(140)는 최적 가중필터 결정부(130)에서 결정된 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 이용하여 주파수 영역 색-공간 예측을 수행한다. 주파수영역 예측부(140)는 후보 가중치 주파수 산출부(120)에서 생성된 예측 가중치를 적절히 양자화하여 부/복호기의 연산 정확도 및 연산 부하를 제한할 수 있으며, 복호기의 연산이 부동소수를 지원할 경우 양자화는 생략될 수 있다. 주파수영역 예측부(140)는 최적 가중필터 결정부(130)에서 결정된 주파수 영역에서 양자화된 예측 가중치를 사용하여 색-평면 간 주파수 영역 예측을 수행하여 중복성을 제거한다.

주파수영역 예측부(140)에 의해 중복성이 제거된 데이터는 VLC(Variable Length Coding)나 CABAC(Context-based Adaptive Binary Arithmetic Coding)과 같은 엔트로피 부호화기로 압축되어 비트열에 추가됨으로써 비디오 부호화 과정이 완료될 수 있으며, 이러한 부호화 과정을 역으로 수행함으로써 복호가 이루어질 수 있다.

본 실시예는 RGB 영상을 입력 신호로 가정하고, 한 개의 매크로블록을 기준으로 설명하나, 입력 영상의 형식이나 크기는 본 실시예에 한정되지 않는다. 즉, 주파수 영역별 예측 가중치는 영상의 시퀀스 단위, 프레임 단위, 매크로블록 단위 및 서브 블록 단위와 같은 영상의 단위들 중 어느 하나의 단위로 산출되어 색공간 예측을 할 수 있다.

도 5는 RGB 입력영상에 대하여 본 발명의 제1 실시예에 따른 색공간 예측 장치(100)가 색공간 예측을 수행하는 것을 도식화한 도면이다.

도 5에 도시하듯이, 잔여 신호 생성부(미도시)는 RGB 각각의 컬러 영상에 대하여 인트라 또는 움직임 예측을 수행하여 예측 영상을 생성한 후, 원영상과 예측 영상과의 차이에 해당하는 잔여 영상을 산출한다. 한편, 변환부(150)는 R,G,B 각각의 잔여 신호 영상에 대하여 주파수 공간 변환을 수행하게 된다. 주파수 공간 변환은 DCT(Discrete Cosine Transform)나 H.264의 정수 변환 등이 사용되길 권장하나 이에 한정하지는 않으며, R,G,B 잔여신호에 각각 상이한 주파수 공간 변환이 사용될 수도 있다. 주파수 공간 변환부에는 4x4, 8x8, 또는 16x16 등 다양한 크기의 변환이 사용될 수 있는데, 4x4 변환을 사용할 경우 16x16 매크로블록은 16개의 4x4 변환 계수 블록으로 변환되며, 8x8 변환을 사용할 경우 16x16 매크로블록은 4개의 8x8 변환 계수 블록으로 변환될 수 있다.

제1예측가중치 산출부(122)는 RGB 잔여 신호의 최적 주파수 별 예측 가중치를 산출한다. 주파수 별 예측 가중치는 예측 기준 색평면으로 사용되는 색 평면과 예측되는 색 평면과의 변환 계수 관계에 의해서 결정되는데, 예를 들어, 예측 기준 색평면으로는 G 평면의 영상을 사용할 수 있으며, G 평면의 잔여 신호 변환 계수를 이용하여 R 평면과 B 평면의 잔여 신호 변환 계수를 예측할 수 있다. 여기서 예측 기준 색평면은 G 평면으로 한정되지는 않으며, R 평면 또는 B 평면을 사용할 수도 있다. 한편, 예측 기준 색평면은 미리 결정되어 있을 수 있으며, 또한 기준 색평면정보 발생부(미도시)로부터 예측 기준 색평면에 대한 정보를 입력받을 수도 있다. 이 경우 제1예측가중치 산출부(122)가 예측 기준 색평면에 대한 정보를 수신하여 예측 가중치를 산출할 수 있으며, 예측 기준 색평면에 대한 정보는 제1예측주파수 선택부(122), 최적 가중필터 결정부(130) 및 주파수 영역 예측부(140)로도 전송될 수 있으며, 부호화가 끝난 후에 예측 기준 색평면에 대한 정보는 부호화 데이터에 포함되어 복호화기로 전송될 수 있다.

도 6은 예측 기준 색평면이 G 평면인 경우에, 한 매크로블록을 4x4 DCT를 수행하였을 경우 RGB 영상에 대한 블록 형식과 색공간 예측을 도시한 도면이다.

도 6에서, 한 개의 16x16 매크로블록은 16개의 4x4 매크로블록으로 구성되며 예측 기준 색평면과 다른 색 평면의 동일한 위치의 블록에 있는 변환 계수끼리 예측을 수행하게 된다. 주파수 영역 예측부(140)에서 수행하는 예측 동작은 수학식 1로 표시할 수 있다.

수학식 1에서, rB(i,j)는 (i,j)번째 주파수 영역에서 G 평면의 잔여신호(G(i,j))로 B 평면의 잔여신호(B(i,j))를 예측한 주파수 영역 예측 잔여 신호를, rR(i,j)는 (i,j)번째 주파수에서 G 색 평면의 잔여신호로 R 평면의 잔여신호(R(i,j))를 예측한 주파수 영역 예측 잔여 신호를 각각 나타낸다. 또한, F_B/G(G(i,j))는 G 평면을 이용하여 B 평면을 예측하기 위한 예측 함수이고 F_{R /G}(G(i,j))는 G 평면을 이용하여 R 평면을 예측하기 위한 예측 함수로써 수학식 2와 같이 선형 함수로 각각 표현될 수 있다.

수학식 2에서. w_{B /G}(i,j)와 w_{R /G}(i,j)는 기복호화된 주변블록들을 이용하여 생성된, B 평면 및 R 평면 변환 계수 블록의 (i,j) 위치의 주파수에서의 예측 가중치를 각각 나타내고 수학식 3과 같이 최소제곱오차(Mean square error)기법에 의해서 각각 산출될 수 있다.

수학식 3에서, E{ } 함수는 기대값을 나타내는 함수이며, 제1예측가중치 산출부(122)에 의해 산출되는 예측 가중치는 모든 블록에 적응적으로 산출할 수 있으며, 주파수 위치마다 다른 가중치가 산출될 수 있다. 또한 예측 가중치는 매크로블록마다 적응적으로 결정되는 것이 바람직하나 이에 한정되지 않는다. 또한 예측 함수는 수학식 2와 같이 선형 함수로만 한정되는 것은 아니다.

영상 부호화 장치에서는 수학식 3과 같이 매크로블록 별로 주파수 영역마다 적응적으로 예측 가중치를 산출할 수 있으나, 복호화 단에서는 현재 매크로블록의 DCT 계수를 미리 알 수 없으므로, 매크로블록마다 예측을 수행할 주파수 영역과 가중치 등의 정보를 전송해야 할 필요가 있다. 이 정보를 부호화하기 위해서는 많은 비트가 필요하기 때문에 본 발명에서는 이미 부호화된 주변 블록의 정보를 이용하여, 현재 매크로블록이 예측에 사용할 주파수 영역과 가중치를 산출할 수 있다.

따라서 제1예측가중치 산출부(122)는 현재 블록의 가중치를 예측하기 위한 주변블록을 결정하는 기능과, 이 결정된 블록들을 이용하여 현재 블록의 예측 가중치를 결정하는 기능을 가질 수 있다.

현재 부호화하고자 하는 매크로블록과 이미 부호화된 매크로블록 행을 함께 도시한 도 2 및 도 3에 나타낸 바와 같이, k번째 매크로블록 행에 위치한 현재 매크로블록의 예측 가중치를 산출하기 위하여 이미 부호화된 주변 블록 또는 n개의 매크로블록 행의 매크로블록들이 가지는 양자화된 G/B/R 잔여 신호 평면의 DCT 계수를 활용하여 위에서 전술한 예측 가중치 결정 방법에 기반하여 산출할 수 있다. 이는 현재 매크로블록과 기복호화된 주변 매크로블록과의 높은 유사성과 통계적 안정성을 위한 최소한의 데이터 확보라는 측면을 고려한 결과이다.

여기서 인트라_4x4, 인트라_8x8, 인트라_16x16 등의 모드 별로 DCT 계수 분포는 각기 상이할 수 있기 때문에, 예측에 사용될 주파수 영역과 예측 가중치는 매크로블록의 모드 별로 분리하여 산출할 수 있다. 즉, 이전 매크로블록 행에서 매크로블록들을 인트라_4x4 모드, 인트라_8x8 모드와 인트라_16x16 모드 등 같은 모드끼리 각각 분류한 후, 예를 들어 인트라_4x4 모드로 부호화 된 매크로블록은 인트라4x4 모드로 부호화된 주변블록(또는, 가중 블록)만을 모아 예측 가중치를 산출할 수 있다. 인트라_8x8 모드와 인트라_16x16 모드도 마찬가지 방법으로 같은 모드의 주변블록으로부터 예측 가중치를 산출할 수 있다. 따라서, 예측가중치 산출부(120)에서 참조하는 블록은 현재 블록의 예측 모드와 동일한 모드로 부호화된 블록일 수 있다.

제1예측가중치 산출부(122)는 결정된 블록들의 DCT 계수를 이용하여, 수학식 3을 이용하여 예측 가중치를 산출할 수 있다.

예측 가중치를 산출한 후, 제1예측주파수 선택부(124)는 예측으로 인해 이득을 얻을 수 있는 주파수 영역을 선택한다. 제1예측주파수 선택부(124)는 주파수 영역별로 이미 산출된 예측 가중치를 사용하여 예측을 수행하였을 경우의 이득을 주파수 별로 산출한다. 이는 수학식 4에 의하여 산출될 수 있다.

수학식 4에서, Gain_{B /G}(i,j)와 Gain_{R /G}(i,j)는 각각 B 평면에서 (i,j) 주파수 위치의 예측이득과 R 평면에서 (i,j) 주파수 위치의 예측이득을 의미한다. 또한, t는 예측 가중치를 산출하기 위해 선택된 제1블록 집합 내의 모든 블록을 의미하며, 즉, 제1블록 집합 내의 블록이 3개이면 3개의 블록 모두에 대하여 예측이득을 계산하여 합산한다. 또한, T₁, T₂는 예측 주파수 선택을 위한 임의의 값을 갖는 문턱치 값을 의미한다.

이와 같이 이득을 산출한 후 제1예측주파수 선택부(124)는 주파수 영역 별로 예측을 수행하였을 경우와 예측을 수행하지 않았을 경우를 비교하여 예측을 수행하였을 경우에 이득이 있는 주파수 영역만을 선택하게 한다. 이는 수학식 5로 나타낼 수 있다.

수학식 5에서, B_t(i,j) 및 R_t(i,j)는 각각 B 평면 및 R 평면에서의 t번째 제1블록 집합 내의 블록이 (i,j) 위치에서 가지는 주파수 계수를 의미한다. 제1블록 집합 내의 모든 블록 t에 대하여 (i,j)주파수 영역별로 예측이득을 구한 후, 모든 제1블록 집합 내의 블록의 (i,j) 위치에서의 주파수 계수의 절대값을 합한 값과 비교한다. 이때 비교 결과, 이득이 있는 경우(즉, 예측이득(Gain_{B /G}(i,j), Gain_{R /G}(i,j))이 더 작은 경우를 의미함)의 주파수 영역만을 예측에 사용하도록 한다. 즉, 수학식 5를 만족하는 경우의 (i,j)주파수 성분만 색공간 예측을 수행하게 된다. 본 실시예에서, Gain_{B /G}(i,j), Gain_{R /G}(i,j)를 예측이득이라 표현하였으나, 실제 Gain_{B /G}(i,j), Gain_{R /G}(i,j)의 값은 작을수록 색공간 예측을 수행할 경우 이득이 발생할 가능성이 커지며, 따라서 해당 (i,j) 주파수가 예측주파수로 선택될 가능성이 커질 수 있다.

주파수영역 예측부(140)는 최적 가중필터 결정부(130)에서 선택된 예측 가중치와 예측 주파수 영역을 이용하여 색공간 예측을 수행한다.

주파수영역 예측부(140)는 가중치 양자화부(미도시)와 예측부(미도시)로 구성될 수 있다. 가중치 양자화부(미도시)는 예측 가중치의 연산 복잡도 감소를 위한 부분으로 부호기/복호기 사이의 예측 가중치의 부정합 문제를 방지하기 위해 정수형 연산으로 예측을 수행하기 위한 것이며, 복호화기가 부동 소수점 연산을 지원하는 경우 생략될 수 있다.

다음은 가중치 양자화부(미도시)를 사용하는 경우의 일 실시예를 설명한다. 대부분의 예측 가중치는 -1과 1 사이의 부동 소수점으로 존재할 수 있으므로 이를 정수화 연산하기 위해 스케일링 팩터를 사용하여 가중치를 정수화한 후, 다시 정수로 나누는 방식을 사용한다. 또한 나눗셈 연산은 정수 연산이라 하더라도 많은 연산량을 필요로 하기 때문에 시프트(shift) 연산을 사용할 수 있도록 2^m(m은 양의 정수) 으로 스케일링하도록 한다. 이는 수학식 6으로 나타낼 수 있다.

수학식 6에서, a는 실제 부동 소수점을 갖는 예측 가중치이며, floor(b)는 b를 넘지 않는 정수를 의미한다.

위와 같은 예측 가중치를 이용하여 최종적인 예측은 수학식 7과 같이 이루어질 수 있다. (여기서, R과 B 색평면에서 결정된 예측 주파수는 서로 독립적일 수 있다.)

수학식 7과 같이 주파수영역 예측부(140)는 변환부(150)로부터 변환된 잔여블록 중에서 기준 색평면의 잔여신호와, 기준 색평면 이외의 색공간별 예측 잔여 신호의 변환 계수 간 중복성이 제거된 데이터를 엔트로피 부호화하여 비디오 부호 비트열을 완성하는데, (i,j)번째 주파수에서 색공간 예측이 사용되었다면 B, R 색평면(즉, 기준 색평면 이외의 색공간)에 대하여는 주파수영역 예측 잔여 신호 rB(i,j) 및 rR(i,j)가 엔트로피 부호화되고, (i,j)번째 주파수에서 색공간 예측이 사용되지 않다면 잔여 신호 rB(i,j) 및 rR(i,j) 대신에 잔여신호 B(i,j), R(i,j)가 부호화될 수 있다.

도 7은 필터 유형을 재설정하기 전(a)과 재설정한 후(b)를 예시한 도면이다.

도 7과 같이 현재 블록의 상위 매크로블록 행에 속하는 매크로블록의 가중치 필터 종류별 매크로블록의 집합을 N 개의 가중치후보 블록집합의 일부로 하는 경우에는, 본 발명의 일 실시예에 따른 색공간 예측 장치(100)는 행예측 탐지부(160) 및 필터유형 조정부(170)를 포함할 수 있다.

행예측 탐지부(160)는 하나의 매크로블록 행의 색공간 예측이 완료되었는지 여부를 확인한다.

필터유형 조정부(170)는 하나의 매크로블록 행의 색공간 예측이 완료된 후, 하나의 매크로블록 행의 필터 유형별 매크로블록의 집합마다 매크로블록의 변환계수에 기반하여 주파수영역별 예측 가중치인 유형별가중치를 산출하고 유형별가중치를 하나의 매크로블록 행 내의 모든 매크로블록에 대하여 최적의 필터효율을 갖는 유형별 예측가중치에 따라 매크로블록에 대한 필터 유형을 재설정한다.

하나의 매크로블록 행의 색공간 예측이 완료되면 해당 매크로블록 행에 대하여 필터유형을 재설정할 수 있다. 가중치후보 블록집합이 도 3과 같은 주변 블록의 집합을 제외하고 도 4처럼 2개의 집합으로 구성될 수 있다면, 각 매크로블록은 색공간 예측시 각 가중치후보 블록집합으로부터 생성된 가중치(필터)를 이용하여 색공간예측을 수행할 수 있다. 따라서, 2개 중의 하나의 예측 필터를 사용하여 색공간 예측이 수행될 수 있다.

도 7에서와 같이 (k-1)번째 매크로블록 행이 색공간 예측을 수행하기 위하여 참조한 (k-2)번째 매크로블록 행 내의 블록집합의 필터유형에 따라 2개의 블록 집합(MB_A, MB_B)으로 나뉘는 경우, 각 블록집합(MB_A, MB_B)으로 생성될 수 있는 가중치를 각각 필터A, 필터B라 가정한다.

도 7의 (a)와 같이 (k-1) 번째 블록은 필터A로 예측되어 복호된 매크로블록과 필터B로 예측되어 복호된 매크로블록으로 구분할 수 있다. 초기에 해당 (k-1)번째 매크로블록 행 전체의 색공간 예측이 종료된 경우, 복수 예측 필터 산출부에서는 필터A로 예측된 블록들과 필터B로 예측된 블록들을 각각 모아서 새로운 복수 예측 필터들을 산출한다. 이를 필터A1과 필터B1이라고 각각 칭하며, 수학식 3에 의해 산출될 수 있다.

필터유형 조정부(170)는 (k-1)번째 매크로블록 행의 색공간 예측이 완료된 후, (k-1)번째 매크로블록 행의 필터 유형별 매크로블록의 집합마다 매크로블록의 변환계수에 기반하여 주파수영역별 예측 가중치인 유형별 가중치(필터A1 및 필터B1)를 수학식 3에 의해 산출하고, 유형별 가중치를 (k-1)번째 매크로블록 행 내의 모든 매크로블록에 대하여 최적의 필터효율을 갖는 유형별 예측가중치에 따라 각 매크로블록에 대한 필터 유형을 재설정한다.

여기서, 최적의 필터율은 유형별 가중치(필터A1 및 필터B1) 각각에 대해 현재 블록을 예측하고 부호화하는 경우에 발생하는 비트량과 왜곡치를 고려하여 율-왜곡 비용이 가장 작은 경우인 것을 선택한다. 이와 같이 (k-1)번째 매크로블록 행 내의 모든 매크로블록마다 필터 유형을 재설정 작업을 수행한다. 이때 선택된 필터유형에 따라 각 매크로블록의 유형을 결정하며, 필터유형이 달라진 경우에는 필터유형을 재설정한다.

즉, 필터A1이 선택되면 해당 매크로블록의 필터유형은 필터A로 설정한다.

도 7의 (b)는 필터유형 재조정이 이루어진 후에 변경된 매크로블록의 필터유형을 도시한 도면이다.

도 7(b)의 필터 배열과 도 7의 (a)의 필터배열이 다름을 알 수 있다.

필터유형 조정부(170)는 필터 유형을 재설정한 결과 재설정된(즉, 변경된) 필터 유형의 갯수가 기설정 갯수(임계치)보다 작다면 이를 최종 필터 유형으로 결정하고, 기설정 갯수(임계치) 이상이면 필터유형의 재설정을 반복한다.

도 8은 본 발명의 제2 실시예에 따른 색공간 예측 장치(800)를 도시한 도면이다.

도 8에 도시하듯이, 본 발명의 제2 실시예에 따른 색공간 예측 장치(800)는 가중치후보 선택부(810), 후보 가중치주파수 산출부(820), 최적 가중필터 결정부(830) 및 주파수영역 복원부(840)를 포함한다. 경우에 따라 행예측 탐지부(860) 및 필터유형 조정부(870) 등이 추가될 수 있다.

가중치후보 선택부(810)는 기복호된 잔여신호의 변환 계수 블록으로부터 N개의 가중치후보 블록집합을 결정한다.

후보 가중치주파수 산출부(820) N개의 가중치후보 블록 각각에 대하여 가중치 후보 블록의 변환계수에 기반하여 주파수 영역별 예측 가중치를 산출하고, 주파수 영역별 예측 가중치로부터 주파수 영역별 예측이득을 산출하고 주파수 영역별 예측이득을 이용하여 색공간 예측에 사용될 후보 주파수 영역을 선택한다.

최적 가중필터 결정부(830)는 N 개의 주파수 영역별 예측 가중치 및 N 개의 후보 주파수 영역을 수신하여 각각에 대하여 예측효율을 산출하고 비교하여 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 결정한다.

주파수영역 복원부(840)는 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 이용하여 상기 색공간 예측 블록으로부터 변환된 잔여 블록을 복원한다.

행예측 탐지부(860)는 하나의 매크로블록 행의 색공간 예측이 완료되었는지 여부를 확인한다.

필터유형 조정부(870)는 하나의 매크로블록 행의 색공간 예측이 완료된 후, 하나의 매크로블록 행의 필터 유형별 매크로블록의 집합마다 매크로블록의 변환계수에 기반하여 주파수영역별 예측 가중치인 유형별가중치를 산출하고 유형별가중치를 하나의 매크로블록 행 내의 모든 매크로블록에 대하여 최적의 필터효율을 갖는 유형별 예측가중치에 따라 매크로블록에 대한 필터 유형을 재설정한다.

본 발명의 제2 실시예에 따른 색공간 예측 장치(800)에서의 가중치후보 선택부(910), 후보 가중치주파수 산출부(820), 최적 가중필터 결정부(830), 행예측 탐지부(860) 및 필터유형 조정부(870)는 제1 실시예에 따른 색공간 예측 장치(100)에서의 가중치후보 선택부(110), 후보 가중치 주파수 산출부(120), 최적 가중필터 결정부(130), 행예측 탐지부(160) 및 필터유형 조정부(170)와 각각 동일하므로 상세한 설명은 생략한다.

여기서 최적 가중필터 결정부(830)에서 산출된 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역은 주파수영역 복원부(840)로 전송될 수 있다.

주파수영역 복원부(840)는 선택된 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 이용하여 색공간 예측 블록으로부터 변환된 잔여 블록을 복원한다.

주파수영역 복원부(840)는, 색공간 예측 블록의 기준 색평면의 선택된 주파수 영역의 주파수 계수와 기준 색평면 이외의 색평면의 주파수 계수에 선택된 주파수 영역의 예측 가중치를 적용한 값을 가산하여 변환된 잔여 블록을 복원할 수 있다.

여기서, 변환된 잔여 블록의 복원은 수학식 1을 변형하여 B 평면의 변환된 잔여 블록을 복원하는 경우에는 [B(i,j) = rB(i,j) + F_{B /G}(G(i,j))]의 공식을 이용하면 되며, R 평면의 경우도 B 평면의 경우와 유사하게 구할 수 있다.

즉, 주파수영역 복원부(840)의 동작은 주파수영역 예측부(140)의 동작의 역순으로 수행될 수 있으며, 제1블록 집합, 주파수 영역별 예측 가중치, 주파수 영역별 예측 이득, 색공간 예측에 사용될 주파수 영역의 선택 등은 본 발명의 제1 실시예에 따른 색공간 예측 장치(100)에서 설명하였으므로 상세한 설명은 생략한다.

본 발명의 제2 실시예에 따른 색공간 예측 장치(800)에서 제1예측가중치 산출부(822)는 현재 블록의 기복호화된 주변블록을 대상으로 하여 예측 기준 색평면 이외의 색평면의 블록에 대하여 가중 블록을 결정하는 반면, 본 발명의 제1 실시예에 따른 색공간 예측 장치(100)에서의 제1예측가중치 산출부(122)는 현재 블록의 기복호화된 주변블록을 대상으로 하여 예측 기준 색평면 이외의 색평면의 블록에 대하여 가중 블록을 결정한다는 점만 다를 뿐 본 발명의 제2 실시예에 따른 제1예측가중치 산출부(822)의 동작은 본 발명의 제1 실시예에 따른 제1예측가중치 산출부(122)와 동일하다.

주파수영역 복원부(840)는 수학식 1에서 선택된 주파수 영역의 예측 가중치(F_{B /G}(G(i,j)), F_{R /G}(G(i,j)))를 이용하여 색공간 예측 블록(rB(i,j), rR(i,j))으로부터 B(i,j) 및 R(i,j)에 대하여 연산함으로써 변환된 잔여 블록을 복원할 수 있다.

도 9는 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.

본 발명의 일 실시예에 따른 영상 부호화 장치(900)는 예측기(Predictor, 910), 감산기(Subtractor, 920), 변환기(Transformer, 930), 색공간 예측기(932), 색공간 복원기(934), 스캐너(Scanner, 940), 부호화기(Encoder, 950), 역변환기(Inverse Transformer, 960), 가산기(Adder, 970) 및 필터(Filter, 980)를 포함하여 구성될 수 있다.

부호화하고자 하는 입력 영상은 블록 단위로 입력될 수 있는데, 블록은 매크로블록(Macroblock)이 될 수 있다. 본 발명의 일 실시예에서, 매크로블록의 형태는 P×Q(단, P은 2^m(m은 1 이상의 정수), Q은 2ⁿ(단, n은 1 이상의 정수)의 값을 가지는 자연수)등의 다양한 형태일 수 있다. 또한, 부호화할 프레임마다 다른 형태의 블록을 이용할 수 있으며, 매크로블록의 형태가 P×Q 등 다양한 형태인 경우에 이에 대한 정보인 블록 타입에 대한 정보를 각 프레임마다 부호화하여, 영상 복호화 장치에서 부호화된 데이터를 복호화할 때 복호화할 프레임의 블록의 형태를 결정하도록 할 수 있다. 어떠한 형태의 블록을 이용할지에 대한 결정은 현재 프레임을 다양한 형태의 블록으로 부호화하여 최적의 효율을 내는 블록의 형태를 선택하거나, 프레임의 특성을 분석하여 분석된 특성에 따라 블록의 형태를 선택할 수 있다. 이를 위해, 영상 부호화 장치(900)는 블록 타입을 결정하고 블록 타입에 대한 정보를 부호화하여 부호화 데이터에 포함시키는 블록 타입 결정기(미도시)를 추가로 포함하여 구성될 수 있다.

예측기(910)는 현재 블록을 색평면별로 예측하여 예측 블록을 생성한다. 즉, 예측기(910)는 영상에서 부호화하고자 하는 현재 블록의 각 화소의 화소값(Pixel Value)을 예측하여 예측된 각 화소의 예측 화소값(Predicted Pixel Value)을 갖는 예측 블록(Predicted Block)을 생성한다. 여기서, 예측기(910)는 인트라 예측 또는 인터 예측을 이용하여 현재 블록을 예측할 수 있다.

감산기(920)는 현재 블록에서 예측 블록을 감산하여 잔여 블록(Residual Block)을 생성한다. 즉, 감산기(920)는 부호화하고자 하는 현재 블록의 각 화소의 화소값과 예측기(910)에서 예측한 예측 블록의 각 화소의 예측 화소값의 차이를 계산하여 블록 형태의 잔여 신호(Residual Signal)를 갖는 잔여 블록을 생성한다.

변환기(930)가 잔여 블록을 변환할 때, 양자화 과정에 변환 과정이 포함되어 있을 수 있으며 이 경우 양자화가 완료되어야 변환도 완료된다. 여기서, 변환 방식으로는 하다마드 변환(Hadamard Transform), 이산 코사인 트랜스폼 기반의 정수 변환(Discrete Cosine Transform Based Integer Transform, 이하 '정수 변환'이라고 약칭함) 등과 같은 공간 영역의 영상 신호를 주파수 영역으로 변환하는 기법이 이용될 수 있으며, 양자화 방식으로는 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization, 이하 'DZUTQ'라 칭함) 또는 양자화 가중치 매트릭스(Quantization Weighted Matrix) 등과 같은 다양한 양자화 기법이 이용될 수 있다.

색공간 예측기(932)는 기복호된 잔여신호의 변환 계수 블록으로부터 선택된 N(N은 2 이상의 자연수) 개의 가중치후보 블록집합 각각에 대하여 가중치 후보 블록집합 내의 블록의 변환계수에 기반하여 색공간 예측에 사용될 주파수 영역별 예측 가중치 및 후보 주파수 영역을 선택하고 N 개의 가중치후보 블록집합 각각에 대하여 산출된 주파수 영역별 예측 가중치 및 후보 주파수 영역 중에서 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 이용하여 변환된 잔여 블록에 대한 색공간 예측 블록을 생성한다. 여기서 색공간 예측기(932)는 본 발명의 제1 실시예에 따른 색공간 예측 장치(100)를 사용하여 색공간을 예측할 수 있다. 이에 대한 상세한 설명은 본 발명의 제1 실시예에 따른 색공간 예측 장치(100)의 설명에서 전술하였으므로 상세한 설명은 생략한다.

한편, 변환기(930)는 양자화도 동시에 수행할 수 있으나, 변환기(930) 대신 색공간 예측기(932)에서 색공간 예측 블록을 생성한 후 양자화할 수도 있다.

색공간 예측기(932)에 의해 생성된 색공간 예측 블록의 계수들을 스캐닝(Scanning)하여 계수열을 생성한다. 이때, 스캐닝 방식은 변환 기법, 양자화 기법, 블록(매크로블록 또는 서브블록)의 특성을 고려하며, 스캐닝 순서는 스캐닝한 계수열이 최소의 길이가 되도록 결정될 수 있다. 도 9에서는 스캐너(940)가 부호화기(950)와 독립적으로 구현되는 것으로 도시하고 설명하지만, 스캐너(940)는 생략되어 그 기능이 부호화기(950)에 통합될 수도 있다.

부호화기(950)는 색공간 예측기(932)에 의해 생성된 색공간 예측 블록의 계수들을 부호화한다.

부호화기(950)는 색공간 예측기(932)에 의해 생성된 색공간 예측 블록의 계수들을 스캔하여 생성되는 계수열을 부호화하여 부호화 데이터를 생성하거나 스캐너(940)에 의해 스캔되어 생성되는 계수열을 부호화하여 부호화 데이터를 생성한다.

이러한 부호화 기술로서는 엔트로피 부호화(Entropy Encoding) 기술이 이용될 수 있으나, 반드시 이에 한정하지 않고 다른 다양한 부호화 기술이 사용될 수도 있을 것이다. 또한, 부호화기(950)는 색공간 예측 블록의 계수열을 부호화한 비트열뿐만 아니라 부호화된 비트열을 복호화하는 데 필요한 다양한 정보들을 부호화 데이터에 포함시킬 수 있다. 여기서, 부호화된 비트열을 복호화하는 데 필요한 다양한 정보들이란 블록 타입에 대한 정보, 예측 모드가 인트라 예측 모드인 경우에는 인트라 예측 모드에 대한 정보, 예측 모드가 인터 예측 모드인 경우에는 움직임 벡터에 대한 정보, 변환 및 양자화 타입에 대한 정보 등이 될 수 있지만, 그 이외의 다양한 정보들이 될 수도 있다.

색공간 복원기(934)는 기복호된 잔여신호의 변환 계수 블록으로부터 선택된 N(N은 2 이상의 자연수) 개의 가중치후보 블록집합 각각에 대하여 가중치 후보 블록집합 내의 블록의 변환계수에 기반하여 색공간 예측에 사용될 주파수 영역별 예측 가중치 및 후보 주파수 영역을 선택하고 N 개의 가중치후보 블록집합 각각에 대하여 산출된 주파수 영역별 예측 가중치 및 후보 주파수 영역 중에서 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 이용하여 색공간 예측 블록으로부터 변환된 잔여 블록을 복원한다.

여기서 색공간 복원기(934)는 본 발명의 제2 실시예에 따른 색공간 예측 장치(800)를 사용하여 변환된 잔여 블록을 복원할 수 있다. 이에 대한 상세한 설명은 본 발명의 제2 실시예에 따른 색공간 예측 장치(800)의 설명에서 전술하였으므로 상세한 설명은 생략한다.

역변환기(960)는 색공간 복원기(934)에 의해 복원된 변환된 잔여 블록을 역 변환(Inverse Transform)하여 잔여 블록을 복원(Reconstruction)한다. 만일 변환기(930)에서 양자화도 같이 수행되었다면 역변환기(960)에서는 역 양자화 후 역 변환을 수행하며 변환기(930)가 수행한 변환 과정과 양자화 과정을 역으로 수행함으로써 이루어질 수 있다. 만일, 변환기(1030)에서 양자화도 같이 수행되어 역변환기(960)에서 역 양자화 후 역 변환을 수행하는 경우에는 변환은 변환 및 양자화로 대체되어 설명될 수 있으며, 역변환은 역양자화 및 역변환으로 대체되어 설명될 수 있다.

역변환기(960)는 변환기(930)로부터 변환(또는 변환 및 양자화)에 관한 정보가 발생하는 경우에는 변환에 관한 정보를 전달받아 변환기(930)가 변환한 방식을 역으로 수행하여 및 역 변환(또는 역 양자화 및 역 변환)을 수행할 수 있다.

가산기(970)는 예측기(910)에 의해 예측된 예측 블록과 역변환기(960)에 의해 생성된 잔여 블록을 가산하여 현재 블록을 복원한다.

필터(980)는 가산기(970)에 의해 복원되는 현재 블록을 필터링(Filtering)한다. 이때, 필터(980)는 영상의 블록 단위의 변환 및 양자화에 의해 블록 경계 또는 변환 경계에서 발생하는 블록화 현상(Blocking Effects)을 감소시킨다.

도 10은 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.

본 발명의 일 실시예에 따른 영상 복호화 장치(1000)는 복호화기(1010), 역 스캐너(1020), 역변환기(1030), 가산기(1040), 예측기(1050) 및 필터(1060)를 포함하여 구성될 수 있다. 여기서, 역 스캐너(1020)와 필터(1060)는 반드시 포함되어야 하는 것은 아니며 구현 방식에 따라 선택적으로 생략될 수 있으며, 역 스캐너(1020)가 생략되는 경우에는 그 기능이 복호화기(1010)에 통합되어 구현될 수 있다.

복호화기(1010)는 부호화 데이터를 복호화하여 색공간 예측 블록을 복호한다. 즉, 복호화기(1010)는 부호화 데이터를 복호화하여 색공간 예측 블록을 복원할 수 있는데, 영상 부호화 장치(900)에서 스캐너(940)의 기능이 부호화기(950)에 통합되어 구현된 경우 영상 복호화 장치(1000)에서도 역 스캐너(1020)는 생략되어 그 기능이 복호화기(1010)에 통합되어 구현되므로, 복호화기(1010)는 부호화 데이터를 역 스캐닝하여 색공간 예측 블록을 복원할 수 있다.

또한, 복호화기(1010)는 부호화 데이터를 복호화하여 색공간 예측 블록뿐만 아니라 복호화에 필요한 정보들을 복호화하거나 추출할 수 있다. 복호화에 필요한 정보들은 부호화 데이터 내의 부호화된 비트열을 복호화하는 데 필요한 정보들을 말하며, 예를 들어 블록 타입에 대한 정보, 예측 모드가 인트라 예측 모드인 경우에는 인트라 예측 모드에 대한 정보, 예측 모드가 인터 예측 모드인 경우에는 움직임 벡터에 대한 정보, 변환 및 양자화 타입에 대한 정보 등이 될 수 있지만, 이외의 다양한 정보들이 될 수도 있다.

블록 타입에 대한 정보가 전달되어 입력되는 경우에는 역변환기(1030)와 예측기(1050)로 전달될 수 있으며, 변환 타입(또는 변환 및 양자화 타입)에 대한 정보는 역변환기(1030)로 전달될 수 있으며, 인트라 예측 모드에 대한 정보와 움직임 벡터에 대한 정보와 같은 예측에 필요한 정보들은 예측기(1050)로 전달될 수 있다. 또한 양자화 타입에 대한 정보는 색공간 복원기(1070)로 전달될 수도 있다.

역 스캐너(1020)는 복호화기(1010)에서 색공간 변환 계수열을 복원하여 전달하면 색공간 변환 계수열을 역 스캐닝하여 색공간 예측 블록을 복원한다.

역 스캐너(1020)는 추출된 계수열을 역 지그재그 스캔 등 다양한 역 스캐닝 방식으로 역 스캐닝하여 색공간 예측 블록을 생성한다. 이때의 역 스캐닝 방식은 복호화부(1010)에서 변환의 크기에 대한 정보를 얻어 이에 해당하는 역 스캐닝 방법을 사용하여 잔여 블록을 생성할 수 있다. 여기서, 역 스캐너(1020)가 변환 및 양자화 타입에 따라 역 스캐닝하는 방법은 스캐너(940)가 색공간 예측 블록의 계수들을 스캐닝하는 방법을 역으로 수행하는 것과 동일 또는 유사하므로, 역 스캐닝하는 방법에 대해서는 상세한 설명을 생략한다.

색공간 복원기(1070)는 기복호된 잔여신호의 변환 계수 블록으로부터 선택된 N(N은 2 이상의 자연수) 개의 가중치후보 블록집합 각각에 대하여 가중치 후보 블록집합 내의 블록의 변환계수에 기반하여 색공간 예측에 사용될 주파수 영역별 예측 가중치 및 후보 주파수 영역을 선택하고 N 개의 가중치후보 블록집합 각각에 대하여 산출된 주파수 영역별 예측 가중치 및 후보 주파수 영역 중에서 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 이용하여 색공간 예측 블록으로부터 변환된 잔여 블록을 복원한다.

여기서 색공간 복원기(1070)로는 본 발명의 제2 실시예에 따른 색공간 예측 장치(800)를 사용하여 색공간 예측 블록으로부터 변환된 잔여 블록을 복원할 수 있다. 이에 대한 상세한 설명은 본 발명의 제2 실시예에 따른 색공간 예측 장치(800)의 설명에서 전술하였으며, 또한 색공간 복원기(1034)와 동일한 동작을 수행할 수 있으므로 상세한 설명은 생략한다.

역변환기(1030)는 복원되는 변환된 잔여 블록을 역 변환하여 잔여 블록을 복원한다. 이때, 역변환기(1030)는 변환 타입에 따라 변환된 잔여 블록을 역 변환할 수 있다. 여기서, 역변환기(1030)가 변환된 잔여 블록을 변환 타입에 따라 역 변환하는 방법은 영상 부호화 장치(900)의 변환기(930)에서 변환 타입에 따라 변환하는 과정을 역으로 수행하는 것과 동일 또는 유사하므로, 역 변환하는 방법에 대해서는 상세한 설명을 생략한다.

예측기(1050)는 현재 블록을 예측하여 예측 블록을 생성한다.

예측기(1050)는 블록 타입에 대한 정보에 의해 식별되는 블록 타입에 따라 현재 블록의 크기와 형태를 결정하고, 예측에 필요한 정보에 의해 식별되는 인트라 예측 모드 또는 움직임 벡터를 이용하여 현재 블록을 예측하여 예측 블록을 생성할 수 있다. 이때, 예측기(1050)는 영상 부호화 장치(900)의 예측기(910)와 동일 또는 유사한 방법으로, 현재 블록을 서브블록으로 분할하고 분할된 서브블록별로 예측하여 생성되는 예측 서브블록을 결합하여 예측 블록을 생성할 수 있다.

가산기(1040)는 역변환기(1030)에 의해 복원되는 잔여 블록과 예측기(1050)에 의해 생성되는 예측 블록을 가산하여 현재 블록을 복원한다.

필터(1060)는 가산기(1040)에 의해 복원되는 현재 블록을 필터링하고, 복원되어 필터링된 현재 블록은 픽처 단위로 누적되어 참조 픽처로서 메모리(미도시) 등에 저장되어 예측기(1050)에서 다음 블록 또는 다음 픽처를 예측할 때 활용될 수 있다.

필터(1060)가 필터링을 수행하는 방법은 영상 부호화 장치(900)의 필터(980)가 디블로킹 필터링하는 과정과 동일 또는 유사하므로, 필터링하는 방법에 대해서는 상세한 설명을 생략한다.

한편, 본 발명의 일 실시예에 따른 영상 부호화/복호화 장치는 도 9의 영상 부호화 장치(900)의 부호화데이터 출력단을 도 10의 영상 복호화 장치(1000)의 부호화 데이터 입력단에 연결함으로써 구현할 수 있다.

본 발명의 일 실시예에 따른 영상 부호화/복호화 장치는 영상을 부호화/복호화하는 장치에 있어서, 현재 블록을 색평면별로 예측하여 예측 블록을 생성하고, 현재 블록에서 상기 예측 블록을 감산하여 잔여 블록을 생성하고, 잔여 블록을 변환하고, 기복호된 잔여신호의 변환 계수 블록으로부터 선택된 N(N은 2 이상의 자연수) 개의 가중치후보 블록집합 각각에 대하여 가중치 후보 블록집합 내의 블록의 변환계수에 기반하여 색공간 예측에 사용될 주파수 영역별 예측 가중치 및 후보 주파수 영역을 선택하고 N 개의 가중치후보 블록집합 각각에 대하여 산출된 주파수 영역별 예측 가중치 및 후보 주파수 영역 중에서 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 이용하여 변환된 잔여 블록에 대한 색공간 예측 블록을 생성하고, 색공간 예측 블록을 부호화하는 영상 부호화기(영상 부호화 장치(900)를 이용하여 구현할 수 있음) 및 부호화 데이터를 복호화하여 색공간 예측 블록을 복호하고, 기복호된 잔여신호의 변환 계수 블록으로부터 선택된 N(N은 2 이상의 자연수) 개의 가중치후보 블록집합 각각에 대하여 가중치 후보 블록집합 내의 블록의 변환계수에 기반하여 색공간 예측에 사용될 주파수 영역별 예측 가중치 및 후보 주파수 영역을 선택하고 N 개의 가중치후보 블록집합 각각에 대하여 산출된 주파수 영역별 예측 가중치 및 후보 주파수 영역 중에서 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 이용하여 색공간 예측 블록으로부터 변환된 잔여 블록을 복원하고, 변환된 잔여 블록을 역변환하여 잔여 블록을 복원하고, 현재 블록을 예측하여 예측 블록을 생성하고, 복원된 잔여 블록과 상기 예측 블록을 가산하여 현재 블록을 복원하는 영상 복호화기(영상 복호화 장치(1000)를 이용하여 구현할 수 있음)를 포함한다.

도 11은 본 발명의 제1 실시예에 따른 색공간 예측 방법을 도시한 흐름도이다.

도 1 내지 11을 참조하여 설명하면, 본 발명의 제1 실시예에 따른 색공간 예측 방법은, 기복호된 잔여신호의 변환 계수 블록으로부터 N 개의 가중치후보 블록집합을 결정하는 단계(S1102), N 개의 가중치후보 블록 각각에 대하여 가중치 후보 블록의 변환계수에 기반하여 주파수 영역별 예측 가중치를 산출하는 단계(S1104), 주파수 영역별 예측 가중치로부터 주파수 영역별 예측이득을 산출하는 단계(S1106), 주파수 영역별 예측이득을 이용하여 색공간 예측에 사용될 후보 주파수 영역을 선택하는 단계(S1108), N 개의 주파수 영역별 예측 가중치 및 N 개의 후보 주파수 영역을 수신하여 각각에 대하여 예측효율을 산출하고 비교하여 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 결정하는 단계(S1110), 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 이용하여 변환된 잔여 블록에 대한 색공간 예측 블록을 생성하는 주파수영역 예측단계(S1112)를 포함할 수 있다.

여기서, 단계(S1102)는 가중치후보 선택부(110)의 동작에, 단계(S1104), 단계(S1106) 및 단계(S1108)는 후보 가중치 주파수 산출부(120)의 동작에, 단계(S1110)는 최적 가중필터 결정부(130)의 동작에, 주파수영역 예측단계(S1112)는 주파수영역 예측부(S140)의 동작에 각각 대응될 수 있으므로 상세한 설명은 생략한다.

도 12는 본 발명의 제2 실시예에 따른 색공간 예측 방법을 도시한 흐름도이다.

본 발명의 제2 실시예에 따른 색공간 예측 방법은, 기복호된 잔여신호의 변환 계수 블록으로부터 N 개의 가중치후보 블록집합을 결정하는 단계(S1202), N개의 가중치후보 블록 각각에 대하여 가중치 후보 블록의 변환계수에 기반하여 주파수 영역별 예측 가중치를 산출하는 단계(S1204), 주파수 영역별 예측 가중치로부터 주파수 영역별 예측이득을 산출하는 단계(S1206), 주파수 영역별 예측이득을 이용하여 색공간 예측에 사용될 후보 주파수 영역을 선택하는 단계(S1208), N 개의 주파수 영역별 예측 가중치 및 N 개의 후보 주파수 영역을 수신하여 각각에 대하여 예측효율을 산출하고 비교하여 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 결정하는 단계(S1210), 및 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 이용하여 색공간 예측 블록으로부터 변환된 잔여 블록을 복원하는 주파수영역 복원단계(S1212)를 포함할 수 있다.

여기서, 단계(S1202)는 가중치후보 선택부(810)의 동작에, 단계(S1204), 단계(S1206) 및 단계(S1208)는 후보 가중치 주파수 산출부(820)의 동작에, 단계(S1210)는 최적 가중필터 결정부(830)의 동작에, 주파수영역 복원단계(S1212)는 주파수영역 복원부(S840)의 동작에 각각 대응될 수 있으므로 상세한 설명은 생략한다.

도 13은 본 발명의 일 실시예에 따른 영상 부호화 방법을 도시한 흐름도이다.

도 1 내지 도 13을 참조하면서 설명하면, 본 발명의 일 실시예에 따른 영상 부호화 방법은, 현재 블록을 색평면별로 예측하여 예측 블록을 생성하는 단계(S1302), 현재 블록에서 예측 블록을 감산하여 잔여 블록을 생성하고 잔여 블록을 변환하는 변환단계(S1304), 기복호된 잔여신호의 변환 계수 블록으로부터 선택된 N 개의 가중치후보 블록집합 각각에 대하여 가중치 후보 블록집합 내의 블록의 변환계수에 기반하여 색공간 예측에 사용될 주파수 영역별 예측 가중치 및 후보 주파수 영역을 선택하는 단계(S1306), N 개의 가중치후보 블록집합 각각에 대하여 산출된 주파수 영역별 예측 가중치 및 후보 주파수 영역 중에서 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 산출하는 단계(S1308), 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 이용하여 변환된 잔여 블록에 대한 색공간 예측 블록을 생성하는 색공간 예측단계(S1310) 및 색공간 예측 블록을 부호화하는 단계(S1312)를 포함한다.

여기서, 단계(S1302)는 예측기(910)의 동작에, 단계(S1304)는 감산기(920) 및 변환기(930)의 동작에, 단계(S1306), 단계(S1308), 및 색공간 예측단계(S1310)는 색공간 예측기(932)의 동작에, 단계(S1312)는 부호화기(950)의 동작에 각각 대응될 수 있으므로 상세한 설명은 생략한다.

도 14는 본 발명의 일 실시예에 따른 영상 복호화 방법을 도시한 흐름도이다.

도 1 내지 도 14를 참조하면서 설명하면, 본 발명의 일 실시예에 따른 영상 복호화 방법은, 부호화 데이터를 복호화하여 색공간 예측 블록을 복호하는 단계(S1402), 기복호된 잔여신호의 변환 계수 블록으로부터 선택된 N 개의 가중치후보 블록집합 각각에 대하여 가중치 후보 블록집합 내의 블록의 변환계수에 기반하여 색공간 예측에 사용될 주파수 영역별 예측 가중치 및 후보 주파수 영역을 선택하는 단계(S1404), N 개의 가중치후보 블록집합 각각에 대하여 산출된 주파수 영역별 예측 가중치 및 후보 주파수 영역 중에서 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 산출하는 단계(S1406), 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 이용하여 색공간 예측 블록으로부터 변환된 잔여 블록을 복원하는 색공간 복원 단계(S1408), 변환된 잔여 블록을 역변환하여 잔여 블록을 복원하는 역변환 단계(S1410), 현재 블록을 예측하여 예측 블록을 생성하는 단계(S1412) 및 복원된 잔여 블록과 예측 블록을 가산하여 현재 블록을 복원하는 단계(S1414)를 포함한다.

여기서, 단계(S1402)는 복호기(1010)의 동작에, 단계(S1404), 단계(S1406) 및 단계(S1408)는 색공간 복원기(1070)의 동작에, 단계(S1410)는 역변환기(1030)의 동작에, 단계(S1412)는 예측기(1050)의 동작에, 단계(S1414)는 가산기(1040)의 동작에 각각 대응될 수 있으므로 상세한 설명은 생략한다.

본 발명의 일 실시예에 따른 영상 부호화/복호화 방법은, 도 13의 본 발명의 일 실시예에 따른 영상 부호화 방법과 도 14의 본 발명의 일 실시예에 따른 영상 복호화 방법을 결합하여 구현함으로써 실현할 수 있다.

본 발명의 일 실시예에 따른 영상 부호화/복호화 방법은, 현재 블록을 색평면별로 예측하여 예측 블록을 생성하고, 현재 블록에서 예측 블록을 감산하여 잔여 블록을 생성하고, 잔여 블록을 변환하고, 기복호된 잔여신호의 변환 계수 블록으로부터 선택된 N(N은 2 이상의 자연수) 개의 가중치후보 블록집합 각각에 대하여 가중치 후보 블록집합 내의 블록의 변환계수에 기반하여 색공간 예측에 사용될 주파수 영역별 예측 가중치 및 후보 주파수 영역을 선택하고 N 개의 가중치후보 블록집합 각각에 대하여 산출된 주파수 영역별 예측 가중치 및 후보 주파수 영역 중에서 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 이용하여 변환된 잔여 블록에 대한 색공간 예측 블록을 생성하고, 색공간 예측 블록을 부호화하는 단계 및 부호화 데이터를 복호화하여 색공간 예측 블록을 복호하고, 기복호된 잔여신호의 변환 계수 블록으로부터 선택된 N(N은 2 이상의 자연수) 개의 가중치후보 블록집합 각각에 대하여 가중치 후보 블록집합 내의 블록의 변환계수에 기반하여 색공간 예측에 사용될 주파수 영역별 예측 가중치 및 후보 주파수 영역을 선택하고 상기 N 개의 가중치후보 블록집합 각각에 대하여 산출된 주파수 영역별 예측 가중치 및 후보 주파수 영역 중에서 최적의 예측효율을 갖는 주파수 영역별 예측 가중치 및 후보 주파수 영역을 이용하여 상기 색공간 예측 블록으로부터 변환된 잔여 블록을 복원하고, 변환된 잔여 블록을 역변환하여 잔여 블록을 복원하고, 현재 블록을 예측하여 예측 블록을 생성하고, 복원된 잔여 블록과 상기 예측 블록을 가산하여 상기 현재 블록을 복원하는 단계를 포함하여 이루어질 수 있다.

이상에서 설명한 바와 같이 본 발명의 일 실시예에 의하면, 현재 블록의 움직임 벡터를 효율적으로 부호화하기 위해 주변 블록의 움직임 벡터 상관도를 기반으로 움직임 벡터의 문맥을 생성하여 후보 움직임 벡터를 주변 블록의 상황에 맞도록 적응적으로 제공함으로써, 현재 블록의 움직임 벡터의 부호화 성능을 크게 향상시킴으로써 비디오 압축 장치의 부호화 성능 혹은 복원 영상의 화질을 향상시키는 효과가 있다.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 비디오 데이터를 기존의 컬러 변환하는 과정 없이 효과적으로 직접 압축할 수 있다. 뿐만 아니라, 부호화 모드에 따라서 달라지는 색 성분간의 중복되는 정보를 영상성분 간의 상관성을 이용하여 제거함으로써 부호화 효율을 더욱 높일 수 있다.

또한, 원영상의 색 공간 영역에서 직접 부호화를 수행하면, 또 다른 영역으로 변환할 때 발생하는 색상의 왜곡과 같은 영상 품질 손실이 없으므로, 고품질의 영상 정보가 필요한 디지털 영화 (Digital Cinema) 및 디지털 아카이브(Digital Archive) 등의 응용에 적합하여 산업상 이용가능성이 크다.

Claims (67)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 영상을 복호화하는 장치에 있어서,
    기준 색평면 이외의 다른 색평면의 현재블록에 대한 부호화 데이터를 복호화하여 색공간 예측 블록을 복호하는 복호화기;
    상기 기준 색평면 및 상기 다른 색평면의 기복호된 잔여신호 변환 계수 블록으로부터 선택된 N(N은 2 이상의 자연수) 개의 가중치후보 블록집합 각각에 대하여 상기 가중치 후보 블록집합 내의 블록의 잔여신호 변환계수의 주파수 영역별로 상기 기준 색평면 및 상기 다른 색평면 사이의 예측 가중치를 산출하고 상기 예측 가중치를 기반으로 상기 주파수 영역 중에서 후보 주파수 영역을 선택하고, 상기 N 개의 가중치후보 블록집합 각각에 대한 후보 주파수 영역 및 해당 예측 가중치 중에서 하나의 가중치후보 블록집합에 대한 후보 주파수 영역 및 해당 예측 가중치를 이용하여 상기 색공간 예측 블록으로부터 상기 현재블록의 잔여신호 변환 계수 블록을 복원하는 색공간 복원기;
    상기 현재블록의 잔여신호 변환 계수 블록을 역변환하여 잔여 블록을 복원하는 역변환기;
    상기 현재 블록을 예측하여 예측 블록을 생성하는 예측기; 및
    상기 복원된 잔여 블록과 상기 예측 블록을 가산하여 상기 현재 블록을 복원하는 가산기
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
15. 제 14항에 있어서,
    상기 주파수 영역별 예측 가중치는,
    상기 기준 색평면과 상기 다른 색평면과의 상관도에 의해 산출되는 것을 특징으로 하는 영상 복호화 장치.
16. 제 14항에 있어서,
    상기 주파수 영역별 예측 가중치는,
    영상의 시퀀스 단위, 프레임 단위, 매크로블록 단위 및 서브 블록 단위 중 어느 하나의 단위로 산출되는 것을 특징으로 하는 영상 복호화 장치.
17. 제 14항에 있어서,
    상기 색공간 복원기는,
    상기 색공간 예측 블록의 상기 후보 주파수 영역의 주파수 계수와, 상기 기준 색평면의 상기 후보 주파수 영역의 잔여신호 변환 계수에 상기 선택된 주파수 영역의 예측 가중치를 적용한 값을 가산하여 상기 현재블록의 잔여신호 변환 계수 블록을 복원하는 것을 특징으로 하는 영상 복호화 장치.
18. 제 14항에 있어서,
    상기 색공간 복원기는,
    상기 기복호된 잔여신호 변환 계수 블록으로부터 상기 N(N은 2 이상의 자연수) 개의 가중치후보 블록집합을 결정하는 가중치후보 선택부;
    상기 N 개의 가중치후보 블록집합 각각에 대하여 상기 가중치 후보 블록집합 내의 블록의 변환계수의 주파수 영역별로 상기 기준 색평면 및 상기 다른 색평면 사이의 예측 가중치를 산출하고, 상기 주파수 영역별 예측 가중치로부터 상기 후보 주파수 영역을 선택하는 후보 가중치 주파수 산출부;
    N 개의 주파수 영역별 예측 가중치 및 N 개의 후보 주파수 영역으로부터 상기 하나의 가중치후보 블록집합에 대한 주파수 영역별 예측 가중치 및 후보 주파수 영역을 결정하는 최적 가중필터 결정부; 및
    상기 하나의 가중치후보 블록집합에 대한 주파수 영역별 예측 가중치 및 후보 주파수 영역을 이용하여 상기 색공간 예측 블록으로부터 변환된 잔여 블록을 복원하는 주파수영역 복원부
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
19. 제 14항에 있어서,
    상기 N개의 가중치후보 블록집합은,
    상기 현재블록의 주변블록의 집합 및 복호화 완료된 M(M은 1 이상의 자연수) 개의 매크로블록 행 집합을 포함하는 것을 특징으로 하는 영상 복호화 장치.
20. 제 14항에 있어서,
    상기 N개의 가중치후보 블록집합은,
    복호화 완료된 매크로블록 행에 속하는 매크로블록의 필터 유형별 매크로블록의 집합인 것을 특징으로 하는 영상 복호화 장치.
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제
31. 삭제
32. 삭제
33. 삭제
34. 삭제
35. 삭제
36. 삭제
37. 삭제
38. 삭제
39. 삭제
40. 삭제
41. 삭제
42. 삭제
43. 삭제
44. 삭제
45. 삭제
46. 삭제
47. 삭제
48. 삭제
49. 삭제
50. 삭제
51. 삭제
52. 삭제
53. 삭제
54. 삭제
55. 삭제
56. 삭제
57. 삭제
58. 삭제
59. 삭제
60. 삭제
61. 삭제
62. 삭제
63. 삭제
64. 삭제
65. 삭제
66. 삭제
67. 삭제

Images