KR101575605B1 - 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법 - Google Patents

복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법 Download PDF

Info

Publication number
KR101575605B1
KR101575605B1 KR1020140009248A KR20140009248A KR101575605B1 KR 101575605 B1 KR101575605 B1 KR 101575605B1 KR 1020140009248 A KR1020140009248 A KR 1020140009248A KR 20140009248 A KR20140009248 A KR 20140009248A KR 101575605 B1 KR101575605 B1 KR 101575605B1
Authority
KR
South Korea
Prior art keywords
motion vector
block
list0
list1
reference picture
Prior art date
Application number
KR1020140009248A
Other languages
English (en)
Other versions
KR20140027435A (ko
Inventor
김하윤
전병우
문주희
이영렬
김해광
원광현
양정엽
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020140009248A priority Critical patent/KR101575605B1/ko
Publication of KR20140027435A publication Critical patent/KR20140027435A/ko
Application granted granted Critical
Publication of KR101575605B1 publication Critical patent/KR101575605B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction

Abstract

본 발명은 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치에 관한 것이다.
본 발명은 현재 움직임 벡터를 복수 개의 참조 픽처에 대해 예측하여 복수 개의 참조 픽처에 대한 최적 움직임 벡터를 결정하는 최적 움직임 벡터 결정부; 복수 개의 참조 픽처에 대한 최적 움직임 벡터를 움직임 벡터 복호화 장치에서 예측할 수 있는지 여부에 따라 움직임 벡터 부호화 모드를 결정하는 움직임 벡터 부호화 모드 결정부; 및 움직임 벡터 부호화 모드에 따라 복수 개의 참조 픽처에 대한 최적 움직임 벡터 또는 복수 개의 참조 픽처에 대한 디폴트 움직임 벡터를 이용하여 복수 개의 참조 픽처에 대한 움직임 정보를 생성하여 부호화하고 움직임 벡터 부호화 모드를 부호화하여 움직임 벡터 부호화 데이터를 생성하는 움직임 벡터 부호화부를 포함하는 것을 특징으로 하는 움직임 벡터 부호화 장치를 제공한다.
본 발명에 의하면, 복수 개의 참조 픽처에 대한 현재 움직임 벡터의 예측 움직임 벡터를 더욱 정확하게 예측하고, 움직임 벡터를 부호화하는 데 소요되는 비트량을 감소시켜 압축 효율을 향상시킬 수 있다.

Description

복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법{Method and Apparatus for Encoding and Decoding Motion Vector in Plural Number of Reference Pictures and Video Encoding/Decoding Method and Apparatus Using Same}
본 발명은 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치에 관한 것이다. 더욱 상세하게는, 영상을 부호화하고 복호화하는 데 있어서, 복수 개의 참조 픽처에 대한 움직임 벡터를 부호화하고 복호화하는 방법 및 장치에 관한 것이다.
근래에 멀티미디어 기술은 비약적으로 발전하고 있으며, 이에 따라 오디오, 이미지, 동영상 등을 포함한 고품질의 멀티미디어 데이터들에 대한 수요도 증가하고 있다. 이러한 추세의 일환으로, 제한된 네트워크 환경에서 멀티미디어 데이터들을 전송하거나 저장하고 다시 읽고(Retrieve)자하는 수요를 충족시키기 위해 고효율의 영상 압축에 관한 국제 표준이 제정되었다. 특히, 동영상 압축에 관한 국제표준으로 ISO/IEC JTC1/SC29 MPEG 그룹 및 ITU-T VCEG 그룹이 제정한 H.264/AVC MPEG-4 Part.10 표준은, 높은 압축 효율을 달성하기 위해, 가변적인 블록 크기에서의 움직임 추정 및 보상(Variable Block Size Motion Estimation and Compensation), 인트라 예측(Intra Prediction) 부호화 등 다양한 예측 부호화 방법들을 사용한다.
예측 부호화는 데이터 간에 존재하는 상관도(Correlation)를 줄일 수 있는 효과적인 방법으로 다양한 데이터의 압축에 널리 사용된다. 특히 B 픽처에서 두 개의 참조 픽처에 대한 현재 블록의 움직임 벡터(MV: Motion Vector)인 list0 움직임 벡터 및 list1 움직임 벡터는 주변 블록의 움직임 벡터와 밀접한 상관 관계가 있기 때문에, 주변 블록의 움직임 벡터로부터 현재 블록의 움직임 벡터에 대한 예측값(PMV: Predicted Motion Vector, 이하 '예측 움직임 벡터'라 칭함)을 계산한 후 현재 블록의 list0 움직임 벡터 및 list1 움직임 벡터의 값 자체를 부호화하지 않고 예측값에 대한 차분값(DMV: Differential Motion Vector, 이하 '차분 움직임 벡터'라 칭함)만을 부호화함으로써 부호화해야 할 비트량을 상당히 줄일 수 있으며 그에 따라 부호화 효율을 높일 수 있다.
통상적으로 이러한 예측 움직임 벡터를 이용한 움직임 벡터 부호화에서는 효율적인 압축을 위하여 예측 움직임 벡터가 정확할수록 부호화 효율을 높일 수 있다. 따라서, 단지 공간적으로 인접한 블록의 움직임 벡터뿐만 아니라, 시간적, 공간적 또는 시공간적으로 인접한 블록의 움직임 벡터 또는 그들을 조합하여 계산된 다른 움직임 벡터들로 이루어진 유한한 개수의 예측 움직임 벡터들을 생성하고, 생성된 예측 움직임 벡터들 중에서 예측 부호화에 가장 적당한 예측 움직임 벡터를 선택하여 사용하면 부호화 효율을 더욱 높일 수 있다.
이 경우, 부호화된 움직임 벡터에 대한 정보로부터 원래의 움직임벡터를 올바르게 복원하기 위해서는 유한한 개수의 예측 움직임 벡터들 중에 어떤 예측 움직임 벡터가 사용되었는지 알아야 한다. 이를 위한 가장 간단한 움직임 벡터 예측 부호화 방법은 움직임 벡터 예측 부호화를 위하여 어떠한 예측 움직임 벡터를 사용하였는지에 대한 정보를 함께 부호화하는 것이다. 또는 어떠한 예측 움직임 벡터가 선택되었는지를 알리기 위한 추가적인 정보를 부호화하는 데 발생하는 비트량을 줄이기 위해, 현재의 H.264/AVC 표준은 주변블록(좌측, 상단, 우측 상단)이 가지는 list0 및 list1 움직임 벡터들의 수평 성분과 수직 성분 각각의 중간값(Median)을 움직임 벡터의 예측 부호화를 위한 예측 움직임 벡터로 사용한다. 이 방법은 중간값 계산과 같은 영상 부호화 장치와 영상 복호화 장치에 있어 함께 알고 있는 소정의 예측값 계산 방법을 정하고, 영상 부호화 장치나 영상 복호화 장치에서 소정의 예측값 계산 방법을 이용하여 예측 움직임 벡터를 산출함으로써, 어떠한 예측 움직임 벡터를 사용하였는지에 대한 정보를 함께 부호화할 필요를 없애는 것이다. 소정의 예측값 계산 방법을 사전에 정의하여 사용하는 기존 방법은, 어떤 움직임 벡터가 예측 움직임 벡터로 사용되었는지에 대한 추가적인 정보의 전송 없어, 향상된 부호화 효율을 유지할 수 있다는 장점이 있지만, 사용한 중간값인 예측 움직임 벡터가 그 차분 벡터를 부호화하는데 소요되는 비트량을 항상 최소로 발생시키는 최적의 예측 움직임 벡터가 아니라는 문제점이 있다.
전술한 문제점을 해결하기 위해 본 발명은, 복수 개의 참조 픽처에 대한 현재 움직임 벡터의 예측 움직임 벡터를 더욱 정확하게 예측하고, 움직임 벡터를 부호화하는 데 소요되는 비트량을 감소시켜 압축 효율을 향상시키는 데 주된 목적이 있다.
전술한 목적을 달성하기 위해 본 발명은, 움직임 벡터를 부호화하는 장치에 있어서, 현재 블록의 현재 움직임 벡터를 복수 개의 참조 픽처에 대해 예측하여 복수 개의 참조 픽처에 대한 최적 움직임 벡터를 결정하는 최적 움직임 벡터 결정부; 복수 개의 참조 픽처에 대한 최적 움직임 벡터를 움직임 벡터 복호화 장치에서 예측할 수 있는지 여부에 따라 움직임 벡터 부호화 모드를 결정하는 움직임 벡터 부호화 모드 결정부; 및 움직임 벡터 부호화 모드에 따라 복수 개의 참조 픽처에 대한 최적 움직임 벡터 또는 기 설정된 복수 개의 참조 픽처에 대한 디폴트 움직임 벡터를 이용하여 복수 개의 참조 픽처에 대한 움직임 정보를 생성하여 부호화하고 움직임 벡터 부호화 모드를 부호화하여 움직임 벡터 부호화 데이터를 생성하는 움직임 벡터 부호화부를 포함하는 것을 특징으로 하는 움직임 벡터 부호화 장치를 제공한다.
또한, 본 발명의 다른 목적에 의하면, 움직임 벡터를 부호화하는 방법에 있어서, 현재 블록의 현재 움직임 벡터를 복수 개의 참조 픽처에 대해 예측하여 복수 개의 참조 픽처에 대한 최적 움직임 벡터를 결정하는 예측 움직임 벡터 결정 단계; 복수 개의 참조 픽처에 대한 최적 움직임 벡터를 움직임 벡터 복호화 장치에서 예측할 수 있는지 여부에 따라 움직임 벡터 부호화 모드를 결정하는 움직임 벡터 부호화 모드 결정 단계; 및 움직임 벡터 부호화 모드에 따라 복수 개의 참조 픽처에 대한 최적 움직임 벡터 또는 움직임 벡터 복호화 장치와 기 설정된 복수 개의 참조 픽처에 대한 디폴트 움직임 벡터를 이용하여 복수 개의 참조 픽처에 대한 움직임 정보를 생성하여 부호화하고 움직임 벡터 부호화 모드를 부호화하는 움직임 벡터 부호화 단계를 포함하는 것을 특징으로 하는 움직임 벡터 부호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 움직임 벡터를 복호화하는 장치에 있어서, 움직임 벡터 부호화 데이터를 복호화하여 복수 개의 참조 픽처에 대한 움직임 정보 및 움직임 벡터 부호화 모드를 복원하는 복호화부; 움직임 벡터 부호화 모드에 따라 현재 블록의 현재 움직임 벡터를 복수 개의 참조 픽처에 대해 추정하여 결정되는 복수 개의 참조 픽처에 대한 추정 최적 움직임 벡터 또는 움직임 벡터 부호화 장치와 기 설정된 복수 개의 참조 픽처에 대한 디폴트 움직임 벡터를 복수 개의 참조 픽처에 대한 예측 움직임 벡터로서 결정하는 예측 움직임 벡터 결정부; 및 복원된 복수 개의 참조 픽처에 대한 움직임 정보와 복수 개의 참조 픽처에 대한 예측 움직임 벡터를 이용하여 복수 개의 참조 픽처에 대한 현재 움직임 벡터를 복원하는 움직임 벡터 복원부를 포함하는 것을 특징으로 하는 움직임 벡터 복호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 움직임 벡터를 복호화하는 방법에 있어서, 움직임 벡터 부호화 데이터를 복호화하여 복수 개의 참조 픽처에 대한 움직임 정보 및 움직임 벡터 부호화 모드를 복원하는 복호화 단계; 움직임 벡터 부호화 모드에 따라 현재 블록의 현재 움직임 벡터를 복수 개의 참조 픽처에 대해 추정하여 결정되는 복수 개의 참조 픽처에 대한 추정 최적 움직임 벡터 또는 움직임 벡터 부호화 장치와 기 설정된 복수 개의 참조 픽처에 대한 디폴트 움직임 벡터를 복수 개의 참조 픽처에 대한 예측 움직임 벡터로서 결정하는 예측 움직임 벡터 결정 단계; 및 복원된 복수 개의 참조 픽처에 대한 움직임 정보와 복수 개의 참조 픽처에 대한 예측 움직임 벡터를 이용하여 복수 개의 참조 픽처에 대한 현재 움직임 벡터를 복원하는 움직임 벡터 복원 단계를 포함하는 것을 특징으로 하는 움직임 벡터 복호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 부호화하는 장치에 있어서, 복수 개의 참조 픽처에 대한 현재 블록의 현재 움직임 벡터를 예측하여 결정한 복수 개의 참조 픽처에 대한 최적 움직임 벡터를 움직임 벡터 복호화 장치에서 예측할 수 있는지 여부에 따라 최적 움직임 벡터 또는 움직임 벡터 복호화 장치와 기 설정된 복수 개의 참조 픽처에 대한 디폴트 움직임 벡터를 이용하여 복수 개의 참조 픽처에 대한 움직임 정보를 생성하고 부호화함으로써 움직임 벡터 부호화 데이터를 생성하고, 복수 개의 참조 픽처에 대한 현재 움직임 벡터를 이용하여 현재 블록의 예측 블록을 생성하는 예측부; 현재 블록과 예측 블록을 감산하여 생성한 잔차 블록을 부호화하여 잔차 블록 부호화 데이터를 생성하는 부호화부; 및 움직임 벡터 부호화 데이터 및 잔차 블록 부호화 데이터를 포함하는 부호화 데이터를 생성하여 출력하는 부호화 데이터 생성부를 포함하는 것을 특징으로 하는 움직임 벡터 부호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 부호화하는 방법에 있어서, 복수 개의 참조 픽처에 대한 현재 블록의 현재 움직임 벡터를 예측하여 결정한 복수 개의 참조 픽처에 대한 최적 움직임 벡터를 움직임 벡터 복호화 장치에서 예측할 수 있는지 여부에 따라 최적 움직임 벡터 또는 움직임 벡터 복호화 장치와 기 설정된 복수 개의 참조 픽처에 대한 디폴트 움직임 벡터를 이용하여 복수 개의 참조 픽처에 대한 움직임 정보를 생성하고 부호화함으로써 움직임 벡터 부호화 데이터를 생성하고, 복수 개의 참조 픽처에 대한 현재 움직임 벡터를 이용하여 현재 블록의 예측 블록을 생성하는 예측 단계; 현재 블록과 예측 블록을 감산하여 생성한 잔차 블록을 부호화하여 잔차 블록 부호화 데이터를 생성하는 부호화 단계; 및 움직임 벡터 부호화 데이터 및 잔차 블록 부호화 데이터를 포함하는 부호화 데이터를 생성하여 출력하는 부호화 데이터 생성 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 장치에 있어서, 부호화 데이터로부터 움직임 벡터 부호화 데이터 및 잔차 블록 부호화 데이터를 추출하는 정보 추출부; 잔차 블록 부호화 데이터를 복호화하여 잔차 블록을 복원하는 복호화부; 움직임 벡터 부호화 데이터를 복호화하여 움직임 벡터 부호화 모드 및 복수 개의 참조 픽처에 대한 움직임 정보를 복원하고, 복원된 움직임 정보와 움직임 벡터 부호화 모드에 따라 복수 개의 참조 픽처에 대한 현재 움직임 벡터를 추정하여 결정한 복수 개의 참조 픽처에 대한 추정 최적 움직임 벡터 또는 움직임 벡터 부호화 장치와 기 설정된 디폴트 움직임 벡터를 이용하여 복수 개의 참조 픽처에 대한 현재 움직임 벡터를 복원하며, 복원된 복수 개의 참조 픽처에 대한 현재 움직임 벡터를 이용하여 현재 블록의 예측 블록을 생성하는 예측부; 및 복원된 잔차 블록과 예측 블록을 가산하여 현재 블록을 복원하는 가산부를 포함하는 것을 특징으로 하는 움직임 벡터 복호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 방법에 있어서, 부호화 데이터로부터 움직임 벡터 부호화 데이터 및 잔차 블록 부호화 데이터를 추출하는 정보 추출 단계; 잔차 블록 부호화 데이터를 복호화하여 잔차 블록의 복원하는 복호화 단계; 움직임 벡터 부호화 데이터를 복호화하여 움직임 벡터 부호화 모드 및 복수 개의 참조 픽처에 대한 움직임 정보를 복원하고, 복원된 움직임 정보와 움직임 벡터 부호화 모드에 따라 복수 개의 참조 픽처에 대한 현재 움직임 벡터를 추정하여 결정한 복수 개의 참조 픽처에 대한 추정 최적 움직임 벡터 또는 움직임 벡터 부호화 장치와 기 설정된 디폴트 움직임 벡터를 이용하여 복수 개의 참조 픽처에 대한 현재 움직임 벡터를 복원하며, 복원된 복수 개의 참조 픽처에 대한 현재 움직임 벡터를 이용하여 현재 블록의 예측 블록을 생성하는 예측 단계; 및 복원된 잔차 블록과 예측 블록을 가산하여 현재 블록을 복원하는 가산 단계를 포함하는 것을 특징으로 하는 움직임 벡터 복호화 장치를 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 복수 개의 참조 픽처에 대한 현재 움직임 벡터의 예측 움직임 벡터를 더욱 정확하게 예측하고, 움직임 벡터를 부호화하는 데 소요되는 비트량을 감소시켜 압축 효율을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따라 list0 현재 움직임 벡터를 부호화하기 위한 블록을 나타낸 예시도,
도 2는 본 발명의 일 실시예에 따라 list1 현재 움직임 벡터를 부호화하기 위한 블록을 나타낸 예시도,
도 3는 본 발명의 일 실시예에 따른 움직임 벡터 부호화 장치의 구성을 간략하게 나타낸 블록 구성도,
도 4는 본 발명의 일 실시예에 따른 움직임 벡터 부호화 방법을 설명하기 위한 순서도,
도 5는 본 발명의 일 실시예에 따른 움직임 벡터 복호화 장치의 구성을 간략하게 나타낸 블록 구성도,
도 6은 본 발명의 일 실시예에 따른 움직임 벡터 복호화 방법을 설명하기 위한 순서도,
도 7은 본 발명의 일 실시예에 따른 영상 부호화 장치의 구성을 간략하게 나타낸 블록 구성도,
도 8은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도,
도 9는 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 간략하게 나타낸 블록 구성도,
도 10은 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따라 list0 현재 움직임 벡터를 부호화하기 위한 블록을 나타낸 예시도이다.
도 1을 참조하면, 도 1에 나타낸 모든 블록은 참조 픽처 식별자가 list0인 참조 픽처를 참조하는 블록이다. 블록 D는 현재 부호화할 움직임 벡터인 현재 움직임 벡터(MV: Motion Vector)를 갖는 현재 블록을 나타내고, 블록 A, 블록 B 및 블록 C는 블록 D에 대한 주변 블록을 나타낸다.
도 1에서, MVA0, MVB0, MVC0 및 MVD0는 각각, 블록 A, 블록 B, 블록 C, 블록 D가 갖는 list0 참조 픽처를 참조하는 움직임 벡터(이하, 'list0 움직임 벡터'라 칭함)이고, 각각은 수평 성분(MVA0 x, MVB0 x, MVC0 x 및 MVD0 x)과 수직 성분(MVA0 y, MVB0 y, MVC0 y 및 MVD0 y)을 가지는 것으로 정의한다. 이하에서는 현재 블록인 블록 D의 list0 움직임 벡터 MVD0를 'list0 현재 움직임 벡터'라 한다. list0 현재 움직임 벡터인 MVD0는 (2,0)이고, 주변 블록의 list0 움직임 벡터인 MVA0, MVB0 및 MVC0는 각각 (2,0), (2,1) 및 (2,2)인 것을 가정한다.
전술한 현재 블록(블록 D)의 list0 현재 움직임 벡터에 대한 list0 예측 움직임 벡터(PMVD0: list0 Predicted Motion Vector)를 수학식 1과 같이 계산하며, list0 예측 움직임 벡터(PMVD0)는 수평 성분(PMVD0 x)과 수직 성분(PMVD0 y)을 가지는 것으로 정의한다.
Figure 112014007945756-pat00001
수학식 1을 참조하면, list0 현재 움직임 벡터에 대한 예측 list0 움직임 벡터(PMVD0)는 특정 함수(F())를 이용하여 계산될 수 있는데, 특정 함수(F())의 변수로서 주변 블록(블록 A, 블록 B, 블록 C)의 list0 움직임 벡터(MVA0, MVB0 및 MVC0)가 이용될 수 있다.
도 2는 본 발명의 일 실시예에 따라 list1 현재 움직임 벡터를 부호화하기 위한 블록을 나타낸 예시도이다.
도 2를 참조하면, 도 2에 나타낸 모든 블록들은 참조 픽처 식별자가 list1인 참조 픽처를 참조하는 블록이다. 블록 D는 현재 부호화할 움직임 벡터를 갖는 현재 블록을 나타내며, 도 1에 도시한 블록 D와 동일한 블록이라 가정한다. 블록 A, 블록 B 및 블록 C는 블록 D에 대한 주변 블록을 나타내며, 도 1에서 도시한 블록 A, 블록 B 및 블록 C와 동일한 블록으로 가정한다.
도 2를 참조하면, MVA1, MVB1, MVC1 및 MVD1는, 블록 A, 블록 B, 블록 C, 블록 D 가 갖는 list1 움직임 벡터(Motion Vector: MV)이고, 각각은 수평 성분(MVA1 x, MVB1 x, MVC1 x 및 MVD1 x)과 수직 성분(MVA1 y, MVB1 y, MVC1 y 및 MVD1 y)을 가지는 것으로 정의한다. 여기서, 현재 블록인 블록 D의 list1 움직임 벡터 MVD1를 'list1 현재 움직임 벡터'라 한다. 도 2에 나타낸 바와 같이, list1 현재 움직임 벡터인 MVD1는 (0,2)이고, 주변 블록의 list1 움직임 벡터인 MVA1, MVB1 및 MVC1는 각각 (0,2), (1,1) 및 (2,0)인 것으로 가정한다. 현재 블록(블록 D)의 list1 현재 움직임 벡터에 대한 예측 움직임 벡터를 'list1 예측 움직임 벡터(PMVD1: list1 Predicted Motion Vector)'라 한다. list1 예측 움직임 벡터는 수학식 2와 같이 계산할 수 있으며, 수평 성분(PMVD1 x)과 수직 성분(PMVD1 y)을 가지는 것으로 정의한다.
Figure 112014007945756-pat00002
수학식 2를 참조하면, list1 현재 움직임 벡터에 대한 list1 예측 움직임 벡터는 주변 블록(블록 A, 블록 B, 블록 C)의 움직임 벡터(MVA1, MVB1 및 MVC1)를 특정함수(F())의 변수로 대입하여 계산됨을 확인할 수 있다.
H.264/AVC 표준에서는, 중간값(Median)을 계산하는 함수를 특정 함수(F())로서 이용하여 list0 현재 움직임 벡터에 대한 list0 예측 움직임 벡터와 list1 현재 움직임 벡터에 대한 list1 예측 움직임 벡터를 계산한다. 즉, list0 현재 움직임 벡터에 대한 list0 예측 움직임 벡터(PMVD0)는 주변 블록(블록 A, 블록 B, 블록 C)의 움직임 벡터(MVA0, MVB0 및 MVC0)에 대한 중간값(Median)으로 구해지고, list1 현재 움직임 벡터에 대한 list1 예측 움직임 벡터(PMVD1)는 주변 블록(블록 A, 블록 B, 블록 C)의 움직임 벡터(MVA1, MVB1 및 MVC1)에 대한 중간값(Median)으로 구해진다. 이러한 계산 방식을 수학식으로 나타내면, list0 현재 움직임 벡터(MVD0)에 대한 list0 예측 움직임 벡터(PMVD0)는 수학식 3과 같이 나타낼 수 있고, list1 현재 움직임 벡터(MVD1)에 대한 list1 예측 움직임 벡터(PMVD1)는 수학식 4와 같이 나타낼 수 있다.
Figure 112014007945756-pat00003
Figure 112014007945756-pat00004
수학식 1(또는 수학식 3)을 이용하여 list0 현재 움직임 벡터(MVD0)의 list0 예측 움직임 벡터(PMVD0)를 구하고, 수학식 2(또는 수학식 4)를 이용하여 list1 현재 움직임 벡터(MVD1)의 list1 예측 움직임 벡터(PMVD1)를 구할 수 있다. 수학식 5를 사용하여 압축해야 할 list0 현재 움직임 벡터(MVD0)에서 이에 대한 list0 예측 움직임 벡터(PMVD0)를 차분한 움직임 벡터인 list0 차분 벡터(DMVD0: list0 Differential Motion Vector, 'list0 움직임 벡터 잔차 신호'라고도 함)를 구할 수 있다. 수학식 6을 사용하여 압축해야 할 list1 현재 움직임 벡터(MVD1)에서 이에 대한 list1 예측 움직임 벡터(PMVD1)를 차분한 움직임 벡터인 list1 차분 벡터(DMVD1: list1 Differential Motion Vector, 'list1 움직임 벡터 잔차 신호'라고도 함)를 구할 수 있으며, list0 차분 벡터(DMVD0)와 list1 차분 벡터(DMVD1)는 각각 엔트로피 부호화 등의 미리 정의된 소정의 방법에 의해 부호화되어 전송된다.
Figure 112014007945756-pat00005
Figure 112014007945756-pat00006
도 1 및 도 2에 나타낸 것처럼, list0 현재 움직임 벡터(MVD0)의 값이 (2,0)인 경우, 중간값을 통해 list0 예측 움직임 벡터(PMVD0)를 계산하는 통상적인 움직임 벡터 부호화 방법에 따른 수학식 3을 이용하면, list0 예측 움직임 벡터(PMVD0)는 (2,1)이 된다. 그리고 list1 현재 움직임 벡터(MVD1)의 값이 (0,2)인 경우, 중간값을 통해 list1 예측 움직임 벡터(PMVD1)를 계산하는 통상적인 움직임 벡터 부호화 방법에 따른 수학식 4를 이용하면, list1 예측 움직임벡터(PMVD1)는 (1,1)이 된다.
이와 같이, 중간값을 list0 예측 움직임 벡터 및 list1 예측 움직임 벡터로 하는 통상적인 움직임 벡터 부호화 방법은, 움직임 벡터 부호화 장치와 움직임 벡터 복호화 장치가 사전에 중간값을 이용하여 예측 움직임 벡터를 계산하도록 약속함으로써, 움직임 벡터 부호화 장치에서 어떤 list0 움직임 벡터 및 list1 움직임 벡터가 list0 현재 움직임 벡터 및 list1 현재 움직임 벡터의 list0 예측 움직임 벡터 및 예측 list1 움직임 벡터로 사용되었는지에 대한 '추가적인 정보'를 부호화하여 전송할 필요가 없으므로, 부호화 효율 즉, 압축 효율을 향상시킬 수 있다.
하지만, 중간값을 이용하여 계산된 list0 예측 움직임 벡터(PMVD0)는, 실제의 list0 현재 움직임 벡터(MVD0)와 차이가 있을 수 있고, 중간값을 이용하여 계산된 list1 예측 움직임 벡터(PMVD1)는, 실제의 list1 현재 움직임 벡터(MVD1)와 차이가 있을 수 있다. 도 1과 도 2에 나타낸 예시를 통해, 중간값을 이용하여 계산된 list0 예측 움직임 벡터(PMVD0)인 (2,1)은 list0 현재 움직임 벡터(MVD0)인 (2,0)와 차이가 있음을 알 수 있다. 수학식 5를 이용하여 list0 차분 벡터(DMVD0)를 구하면, 부호화할 list0 차분 벡터(DMVD0)는 (0,-1)이 되고, 중간값을 이용하여 계산된 list1 예측 움직임 벡터(PMVD1)인 (1,1)은 list1 현재 움직임 벡터(MVD1)인 (0,2)와 차이가 있음을 알 수 있으며, 수학식 6을 이용하여 list1 차분 벡터(DMVD1)를 구해보면 부호화할 list1 차분 벡터(DMVD1)는 (-1, 1)이 된다.
하지만, 만약 블록 A의 list0 움직임벡터인 MVA0인 (2,0)을 list0 예측 움직임 벡터(PMVD0)로 사용하면, 실제의 list0 현재 움직임 벡터(MVD0)인 (2,0)과 차이가 발생하지 않고, 수학식 5를 이용하여 list0 차분 벡터(DMVD0)를 구해보면 부호화할 list0 차분 벡터(DMVD0)는 (0,0)이 된다. 만약, 블록 A의 list1 움직임 벡터인 MVA1인 (0,2)을 list1 예측 움직임 벡터(PMVD1)로 사용하면 실제의 list1 현재 움직임 벡터(MVD1)인 (0,2)과 차이가 발생하지 않고, 수학식 6을 이용하여 list1 차분 벡터(DMVD1)를 구해보면 부호화할 list1 차분 벡터(DMVD1)는 (0,0)이 된다.
즉, 중간값을 이용하여 계산된 list0 예측 움직임 벡터(PMVD0)인 (2,1)를 사용하는 것보다, 블록 A의 list0 움직임 벡터인 MVA0인 (2,0)을 list0 예측 움직임 벡터(PMVD0)로 사용하는 것이 list0 차분 벡터(DMVD0)가 (0,0)이 되어 이를 부호화하는 데 소용되는 비트량을 감소시킬 수 있다. 또한, 중간값을 이용하여 계산된 list1 예측 움직임 벡터(PMVD1)인 (1,1)를 사용하는 것보다, 블록 A의 list1 움직임 벡터인 MVA1인 (0,2)을 list1 예측 움직임 벡터(PMVD1)로 사용하는 것이 list1 차분 벡터(DMVD1)가 (0,0)이 되어 이를 부호화하는 데 소용되는 비트량을 더욱 감소시킬 수 있다.
하지만, 중간값을 이용하는 통상적인 움직임 벡터 부호화 방법에서는 list0 현재 움직임 벡터(MVD0)의 list0 예측 움직임 벡터(PMVD0)를 계산하기 위해서 항상 중간값을 사용해야 하므로, 블록 A의 list0 움직임 벡터인 MVA0를 list0 예측 움직임 벡터(PMVD0)로 사용하는 것이 불가능하다. 그리고 list1 현재 움직임 벡터(MVD1)의 list1 예측 움직임 벡터(PMVD1)를 계산하기 위해서 항상 중간값을 사용해야 하므로, 블록 A의 list1 움직임 벡터인 MVA1를 list1 예측 움직임 벡터(PMVD1)로 사용하는 것이 불가능하다.
만약, 블록 A의 list0 움직임 벡터(MVA0)를 list0 예측 움직임 벡터(PMVD0)로 사용한다고 하더라도, MVA0, MVB0 및 MVC0 중에서 어떤 list0 움직임 벡터가 list0 예측 움직임 벡터(PMVD0)로 사용되었는지에 대한 '추가적인 정보'를 함께 전송해야 한다. 블록 A의 list1 움직임 벡터(MVA1)를 list1 예측 움직임 벡터(PMVD1)로 사용한다고 하더라도, MVA1, MVB1 및 MVC1 중에서 어떤 list1 움직임 벡터가 list1 예측 움직임 벡터(PMVD1)로 사용되었는지에 대한 '추가적인 정보'를 함께 전송해야 한다. 그로 인해, 추가적인 정보를 부호화함으로써 압축 효율의 향상 여부를 보장할 수 없는 다른 문제점이 있다.
따라서, 본 발명의 일 실시예에 따른 복수 개의 참조 픽처에 대한 움직임 벡터 부호화 방법은 더욱 정확하게 복수 개의 참조 픽처에 대한 예측 움직임 벡터를 선택할 수 있도록 함으로써, 더욱 정확하게 예측된 움직임 벡터를 이용하여 움직임 벡터를 부호화할 수 있도록 한다. 또한, 본 발명의 일 실시예에 따른 복수 개의 참조 픽처에 대한 움직임 벡터 부호화 방법은 더욱 정확한 예측 움직임 벡터를 선택하여 부호화 효율을 향상시키면서도, 선택된 복수 개의 참조 픽처에 대한 예측 움직임 벡터를 알리기 위해 추가적인 정보를 전송해야 하는 비효율을 감소시킬 수 있다.
이하에서는, 본 발명의 실시예를 설명하는 데 있어서, 도 1 에서 나타낸, 블록들(블록 A, 블록 B, 블록 C 및 블록 D) 및 그에 대한 list0 참조 픽처에 대한 움직임 벡터(이하 'list0 움직임 벡터'라 칭함)인 MVA0, MVB0, MVC0 및 MVD0와 도 2 에서 나타낸, 블록들(블록 A, 블록 B, 블록 C 및 블록 D) 및 그에 대한 list1 참조 픽처에 대한 움직임 벡터(이하 'list1 움직임 벡터'라 칭함)인 MVA1, MVB1, MVC1 및 MVD1를 이용하여 설명한다.
단, 도 1과 도 2에서는, list0 움직임 벡터(MVA0, MVB0, MVC0 및 MVD0)와 list1 움직임 벡터(MVA1, MVB1, MVC1 및 MVD1)를 수직 성분과 수평 성분을 가지는 이차원적인 벡터로 도시하였으나, 이는 설명의 편의를 위한 것일 뿐, 본 발명에 이용되는 움직임 벡터는 반드시 이에 한정되지 않고, n차원 움직임 벡터로 확대하여 적용할 수 있다. 또한, 도 1과 도 2에서는, 현재 블록(블록 D)의 주변 블록을 공간적인 인접성에 따라 3개의 블록 A, 블록 B 및 블록 C로만 나타내었으나, 이는 설명의 편의를 위한 것일 뿐, 본 발명에 이용되는 주변 블록들은 반드시 이에 한정되지 않고, 시간적 또는 공간적으로 주변에 있는 하나 이상의 주변 블록일 수 있다.
또한, 도 1과 도 2에서는, 참조 픽처에 대한 움직임 벡터를 list0 움직임 벡터(MVA0, MVB0, MVC0 및 MVD0)와 list1 움직임 벡터(MVA1, MVB1, MVC1 및 MVD1)로 구분하였으나, B 픽처에서는 list0 및 list1 중 하나 또는 list0와 list1 모두를 참조 픽처로서 가지기 때문에, 반드시 두 개의 참조 픽처(list0와 list1)에 대한 움직임 벡터를 가질 필요는 없다. 더 나아가서, 두 개 이상의 복수 개의 참조 픽처를 가질 수도 있으며, 이 경우 복수 개의 참조 픽처는 list0, list1, …, list n 참조 픽처로 나타낼 수 있고 그에 따른 움직임 벡터를 list0 움직임 벡터, list1 움직임 벡터, …, list n 움직임 벡터 등으로 나타낼 수 있다.
본 발명의 일 실시예에 따른 움직임 벡터 부호화 모드는 예측 가능 모드와 예측 불가능 모드를 포함한다. 일 예로서, 예측 가능 모드란 움직임 벡터 부호화 장치 또는 영상 부호화 장치에 미리 설정된 기준 또는 방법에 따라 현재 블록의 움직임 벡터인 현재 움직임 벡터를 예측하여 결정된 예측 움직임 벡터(이하 '최적 움직임 벡터(Optimum Motion Vector)'라 칭함)를 움직임 벡터 복호화 장치 또는 영상 복호화 장치에서 예측할 수 있음을 식별하기 위한 모드를 말한다. 예측 불가능 모드란 움직임 벡터 복호화 장치 또는 영상 복호화 장치에서 최적 움직임 벡터를 예측할 수 없음을 식별하기 위한 모드를 말한다.
본 발명에서, 최적 움직임 벡터라 함은 움직임 벡터 부호화 장치에서 미리 설정된 기준 또는 방법에 따라 현재 움직임 벡터를 예측하여 결정되는 예측 움직임 벡터를 의미하는 것일 뿐, 이와 같이 결정된 예측 움직임 벡터가 항상 최적의 예측값을 갖는다는 것을 의미하는 것은 아니다. 또한, 디폴트 움직임 벡터(Default Motion Vector)라 함은 움직임 벡터 부호화 장치 또는 영상 부호화 장치와 움직임 벡터 복호화 장치 또는 영상 복호화 장치에 공동으로 기 설정되거나 기 설정된 기준 또는 방법(예를 들면, 중간값(Median) 계산 방법 등)에 따라 생성되는 list0 및 list1 예측 움직임 벡터를 의미하는 것이다.
도 3은 본 발명의 일 실시예에 따른 움직임 벡터 부호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 움직임 벡터 부호화 장치(300)는, 최적 움직임 벡터 결정부(310), 움직임 벡터 부호화 모드 결정부(320), 제 1 움직임 벡터 부호화부(330) 및 제 2 움직임 벡터 부호화부(340)를 포함하여 구성될 수 있다.
최적 움직임 벡터 결정부(310)는 현재 블록의 현재 움직임 벡터를 복수 개의 참조 픽처에 대해 예측하여 복수 개의 참조 픽처에 대한 최적 움직임 벡터를 결정한다. 즉, 최적 움직임 벡터 결정부(310)는 현재 블록의 list0 및 list1 현재 움직임 벡터에 대하여 list0 및 list1 최적 움직임 벡터로 사용할 수 있는 후보 움직임벡터 집합을 선택하고, 선택된 list0 및 list1 후보 움직임 벡터에서 하나의 후보 움직임 벡터를 list0 및 list1 최적 움직임 벡터 집합으로 결정한다. 여기서, list0 및 list1 후보 움직임 벡터 집합은 하나 이상의 후보 움직임 벡터를 포함할 수 있다.
여기서, 최적 움직임 벡터 결정부(310)는 list0 최적 움직임 벡터 집합에 대한 후보 움직임 벡터 집합과 list1 최적 움직임 벡터에 대한 후보 움직임 벡터 집합을 각각 선택하거나, list0 및 list1 최적 움직임 벡터에 대한 후보 움직임 벡터 집합을 공유하여 선택할 수 있다. list0 최적 움직임 벡터에 대한 후보 움직임 벡터 집합과 list1 최적 움직임 벡터에 대한 후보 움직임 벡터 집합을 각각 선택하는 경우, 최적 움직임 벡터 결정부(310)는 list0 최적 움직임 벡터를 선택할 때 list0 참조 픽처를 참조하는 후보 움직임 벡터들 중에서 list0 최적 움직임 벡터에 대한 후보 움직임 벡터 집합을 선택하고, list1 최적 움직임 벡터를 선택할 때 list1 참조 픽처를 참조하는 후보 움직임 벡터들 중에서 list1 최적 움직임 벡터에 대한 후보 움직임 벡터 집합을 선택한다.
list0 및 list1 최적 움직임 벡터에 대한 후보 움직임 벡터 집합을 공유하여 선택하는 경우, 최적 움직임 벡터 결정부(310)는 list0 최적 움직임 벡터를 선택할 때 공유하는 후보 움직임 벡터들(즉, list0 최적 움직임 벡터에 대한 후보 움직임 벡터와 list1 최적 움직임 벡터에 대한 후보 움직임 벡터들) 중에서 list1 참조 픽처를 참조하는 후보 움직임 벡터들을 시간적 거리를 고려하여 적절하게 스케일링하여 list0 최적 움직임 벡터에 대한 후보 움직임 벡터로서 선택하고, list1 최적 움직임 벡터를 선택할 때 공유하는 후보 움직임 벡터 중에서 list0 참조 픽처를 참조하는 후보 움직임 벡터들을 시간적 거리를 고려하여 적절하게 스케일링하여 list1 최적 움직임 벡터에 대한 후보 움직임 벡터 집합으로서 선택한다.
또한, 최적 움직임 벡터 결정부(310)는 현재 블록에 대한 하나 이상의 주변블록을 검색하고, 검색된 하나 이상의 주변 블록의 list0 및 list1 움직임 벡터를 각각 산출하고 취합하여 후보 움직임 벡터 집합으로 선택할 수 있다. 도 1과 도 2에 나타낸 예시를 참조하면, 후보 움직임 벡터 집합은 현재 블록인 블록 D의 좌측, 상단, 우측 상단에 있는 주변 블록인 블록 A, 블록 B 및 블록 C가 가지는 움직임 벡터들로 이루어진 {MVA, MVB, MVC}일 수 있다.
다만, 최적 움직임 벡터 결정부(310)는 구현 방법이나 필요에 따라 더욱 다양한 움직임 벡터들을 후보 움직임 벡터 집합으로 선택할 수 있을 것이다. 예를 들어, 시간축 상으로 이전에 존재하는 참조 픽처에서 현재 블록과 동일한 위치에 있는 블록의 움직임 벡터나 공간축 상으로 좌측 상단에 위치한 블록의 움직임 벡터도 후보 움직임 벡터 집합으로 선택될 수 있으며, 이들 움직임 벡터들을 이용하여 선정된 또 다른 움직임벡터(예를 들어, 하나 이상의 움직임 벡터의 평균값이나 중간값 등)도 포함될 수 있다. 후보 움직임 벡터 집합은 그 정의를 움직임 벡터 부호화 장치와 움직임 벡터 복호화 장치에 기 설정된다는 전제 하에 다양한 방법으로 정의될 수 있으며, 후보 움직임 벡터 집합의 후보 움직임 벡터들 중 일부 또는 전부가 동일한 값을 갖는 경우 서로 다른 값을 갖는 후보 움직임 벡터들만으로 선택될 수 있다.
최적 움직임 벡터 결정부(310)는 전술한 바와 같이, 다양한 방법으로 선택한 후보 움직임 벡터 집합에서 하나의 후보 움직임 벡터를 선택하여 list0 및 list1 최적 움직임 벡터로서 결정한다. 최적 움직임 벡터 결정부(310)는 움직임 벡터 부호화 장치와 움직임 벡터 복호화 장치에 기 설정된 선택 함수를 이용하여 후보 움직임 벡터 각각에 대한 선택 함수값을 계산하고, 계산된 선택 함수값을 기초로 하나의 후보 움직임 벡터를 list0 및 list1 최적 움직임 벡터로 결정한다.
일 예로서, 전술한 선택 함수값은, 선택된 후보 움직임 벡터 집합 중 하나 이상의 후보 움직임 벡터 각각에 대해 list0 및 list1 현재 움직임 벡터와의 차인 list0 및 list1 차분 벡터를 부호화하는데 소요되는 비트량, 선택된 하나 이상의 후보 움직임 벡터 각각에 대해 list0 및 list1 현재 움직임 벡터와의 차이인 list0 및 list1 차분 벡터의 크기 및 움직임 벡터 부호화 모드를 부호화하는데 소요되는 비트량 중 하나 이상을 포함할 수 있다. 만약, list0 및 list1 차분 벡터의 비트량을 선택 함수값으로 이용하는 경우, 최적 움직임 벡터 결정부(310)는 선택된 하나 이상의 후보 움직임 벡터 각각에 대한 list0 및 list1 차분 벡터를 부호화하는데 소요되는 비트량을 계산하고, 계산된 비트량 중 최소의 비트량을 발생시키는 후보 움직임 벡터를 list0 및 list1 최적 움직임 벡터로서 선택할 수 있다.
다른 예로서, 최적 움직임 벡터 결정부(310)는 선택된 하나 이상의 후보 움직임 벡터 중 하나의 움직임 벡터를 선택했을 경우, 발생하는 부호화에 소요되는 비트량과 이때 발생할 복원된 영상의 화질을 함께 고려하는 율-왜곡 최적화(Rate-Distortion Optimization) 방식을 이용하여 list0 및 list1 최적 움직임 벡터를 결정할 수도 있다. 이 경우, 전술한 선택 함수값은 율-왜곡 비용(Rate-Distortion Cost)이 될 수 있다.
또 다른 예로서, 최적 움직임 벡터 결정부(310)는 수학식 7, 수학식 8 및 수학식 9를 통해 정의되는 라그랑제 비용(Lagrangian Cost) 함수를 list0 및 list1 최적 움직임 벡터를 결정하기 위한 선택 함수로 이용할 수 있다. 이 경우, 전술한 선택 함수값은 라그랑제 비용이 될 수 있다.
Figure 112014007945756-pat00007
Figure 112014007945756-pat00008
Figure 112014007945756-pat00009
여기서, J는 라그랑제 비용을 나타내고, J0는 list0 참조 픽처에 대한 라그랑제 비용을 나타내며, J1는 list1 참조 픽처에 대한 라그랑제 비용을 나타내며, D0는 원래의 영상 데이터와 list0 참조 픽처를 이용하여 복원된 영상 데이터 간의 오차를 나타내며, D1는 원래의 영상 데이터와 list1 참조 픽처를 이용하여 복원된 영상 데이터 간의 오차를 나타내며, λ는 라그랑제 승수를 나타낸다. RH은 움직임 벡터 부호화 모드를 부호화하는데 소요되는 비트량을 나타내고, R0 M은 list0 현재 움직임 벡터의 차분 벡터를 부호화하는데 소요되는 비트량을 나타내며, R1 M은 list1 현재 움직임 벡터의 차분 벡터를 부호화하는데 소요되는 비트량을 나타낸다.
w는 가중치값으로서, 구현 방식에 따라서 1 또는 2의 값을 가질 수 있다. 실시예로, list0와 list1 참조 픽처에 대한 움직임 벡터 부호화 모드를 각각 결정할 경우, 움직임 벡터 부호화 모드가 2개가 되므로 w의 값은 2가 될 수 있다. 다른 실시예로, list0와 list1에 대한 움직임 벡터 부호화 모드를 하나로 결정할 경우, 움직임 벡터 부호화 모드가 1개가 되므로 w의 값은 1이 될 수 있다.
수학식 7 내지 수학식 9에서의 J, J0, J1, D0, D1, RH, R0 M, R1 M 은 모두 현재블록이 위치하는 현재 픽처의 번호를 표시하는 n과 현재 블록의 번호를 표시하는 k에 따라 정의되므로, 라그랑제 비용을 이용하여 최적 움직임 벡터를 결정하는 것은 픽처 또는 블록 단위에서 선택적으로 적용될 수 있다. 또한, 최적 움직임 벡터를 결정하는 과정에서 원래의 영상 데이터와 복원된 영상 데이터 간의 오차인 D가 변하지 않는 경우 또는 계산상의 편의를 위한 경우, 라그랑제 비용 J를 산출하는 수학식 7 및 수학식 8에서 D0, D1와 λ를 제거하여 식을 간략화할 수도 있다.
라그랑제 비용을 계산하는 과정에서 수학식 9의 RH는 움직임 벡터 부호화 모드 부호화하는 데에 소요되는 비트량이고, 수학식 7과 수학식 8의 R0 M, R1 M 은 현재 움직임 벡터에 대한 차분 벡터를 부호화하는 데에 소요되는 비트량으로서, 그 계산 방법은 움직임 벡터 부호화 모드에 따라 달라진다. 즉, 움직임 벡터 부호화 모드가 예측 불가능 모드인 경우, R0 M, R1 M 은 기 설정되거나 중간값(Median) 계산과 같이 기 설정된 방법에 의해 생성된 list0 및 list1 예측 움직임 벡터(이하에서는 'list0 및 list1 디폴트 움직임 벡터'라 칭함)와 list0 및 list1 현재 움직임 벡터의 차이인 list0 및 list1 차분 벡터를 부호화하는데 소요되는 비트량일 수 있다. 또한, 움직임 벡터 부호화 모드가 예측 가능 모드인 경우, R0 M, R1 M 은 결정된 list0 및 list1 최적 움직임 벡터와 list0 및 list1 현재 움직임 벡터의 차이인 list0 및 list1 차분 벡터를 부호화하는데 소요되는 비트량일 수 있다.
또한, 최적 움직임 벡터 결정부(310)는 수학식 7 내지 수학식 9를 통해 전술한 라그랑제 비용(Lagrangian Cost) 함수를 선택 함수로서 이용하여 list0 및 list1 최적 움직임 벡터를 결정할 수도 있지만, 수학식 10과 수학식 11과 같은 더욱 일반화된 선택 함수를 이용하여 list0 및 list1 최적 움직임 벡터를 결정할 수도 있다. 단, 수학식 10과 수학식 11은 부호화할 현재 블록의 list0 현재 움직임 벡터를 도 1에 도시한 블록 D의 움직임 벡터인 MVD0로 가정하여 표현되었고, 부호화할 현재 블록의 list1 현재 움직임 벡터를 도 2에 도시한 블록 D의 움직임벡터인 MVD1로 가정하여 표현되었다.
Figure 112014007945756-pat00010
수학식 10에서, PMV0 enc는 결정된 list0 최적 움직임 벡터를 나타내고, PMVC0는 list0 현재 움직임 벡터 MVD0의 list0 최적 움직임 벡터로 결정할 수 있는 후보 움직임 벡터들의 집합인 후보 움직임 벡터 집합(CS: Candidate Set)에 속하는 하나의 원소(즉, 움직임 벡터)를 의미한다. h()는 현재 움직임 벡터 MVD0에 대한 list0 최적 움직임 벡터를 결정하기 위한 선택함수이다.
Figure 112014007945756-pat00011
수학식 11에서, PMV1 enc는 list1 최적 움직임 벡터이고, PMVC1는 list1 현재 움직임 벡터 MVD1에 대한 list1 최적 움직임 벡터로 결정할 수 있는 후보 움직임 벡터들의 집합인 후보 움직임 벡터 집합(CS)에 속하는 하나의 원소(즉, 후보 움직임 벡터)를 의미한다.
수학식 10 및 수학식 11에서, h()는 현재 움직임 벡터 MVD1에 대한 list1 최적 움직임 벡터를 선택하기 위한 선택 함수이다. 일 예로, 선택 함수 h()는 list0 및 list1 현재 움직임 벡터와 차분하여 부호화하는데 소요되는 비트량을 사용하거나, list0 및 list1 현재 움직임 벡터와 차분하여 부호화하는데 소요되는 비트량과 움직임 벡터 부호화 모드를 부호화하는데 소요되는 비트량의 합을 사용할 수 있다. 또한, 계산을 간단히 하기 위해, 실제 소요되는 비트량 대신 list0 및 list1 현재 움직임 벡터와 list0 및 list1 최적 움직임벡터와의 차이인 list0 및 list1 차분 벡터의 크기를 사용할 수도 있다. 더욱 일반적으로는, 선택 함수 h()는 움직임 벡터 부호화 장치와 움직임 벡터 복호화 장치에 기 설정된다는 전제하에 다양하게 정의될 수 있다. 이러한 선택 함수 h()가 주어지면, 최적 움직임 벡터의 후보인 후보 움직임 벡터를 포함하는 후보 움직임 벡터 집합(CS)으로부터 선택 함수 h()를 최적화하는 하나의 후보 움직임 벡터(PMVC0)를 list0 최적 움직임 벡터(PMV0 enc)로 결정할 수 있다.
움직임 벡터 부호화 모드 결정부(320)는 복수 개의 참조 픽처에 대한 최적 움직임 벡터를 움직임 벡터 복호화 장치에서 예측할 수 있는지 여부에 따라 움직임 벡터 부호화 모드를 결정한다. 즉, 움직임 벡터 부호화 모드 결정부(320)는 최적 움직임 벡터 결정부(310)에서 결정한 list0 및 list1 최적 움직임 벡터를 움직임 벡터 복호화 장치에서 예측할 수 있는지 여부에 따라 움직임 벡터 부호화 모드를 예측 가능 모드 또는 예측 불가능 모드로 결정하고, 결정된 움직임 벡터 부호화 모드에 따라 제 1 움직임 벡터 부호화부(330) 또는 제 2 움직임 벡터 부호화(340)로 하여금 list0 및 list1 현재 움직임 벡터를 부호화하도록 제어한다.
여기서, 움직임 벡터 부호화 모드 결정부(320)는 움직임 벡터 부호화 장치와 움직임 벡터 복호화 장치 간에 기 설정된 판단 함수를 이용하여 후보 움직임 벡터 각각에 대한 판단 함수값을 계산하고, 계산된 판단 함수값을 기초로 하나 이상의 후보 움직임 벡터 중 선택한 각각의 후보 움직임 벡터를 list0 및 list1 현재 움직임 벡터에 대한 list0 및 list1 추정 최적 움직임 벡터(Estimated Optimum Motion Vector)로 결정하며, 결정된 list0 및 list1 추정 최적 움직임 벡터와 결정된 list0 및 list1 최적 움직임 벡터를 비교함으로써 list0 및 list1 최적 움직임 벡터가 움직임 벡터 복호화 장치에서 예측할 수 있는지 여부를 결정할 수 있다.
예를 들어, list0 및 list1 최적 움직임벡터(PMV0 enc 및 PMV1 enc)를 이용하여 계산된 list0 및 list1 차분 벡터, list0 및 list1 최적 움직임 벡터의 후보가 될 수 있는 유한한 개수의 후보 움직임 벡터, 움직임 보상에 사용할 참조 픽처, 이미 복원된 주변 블록의 정보, 현재 블록의 화소값을 움직임 보상하여 생성한 예측 블록의 예측 화소값과의 차인 잔차 신호 등을 이용하여, list0 및 list1 최적 움직임 벡터가 움직임 벡터 복호화 장치에서 예측할 수 있는지 여부를 판단할 수 있다.
이를 위해, 움직임 벡터 부호화 모드 결정부(320)는 움직임 벡터 부호화 장치(300)가 계산하여 전송할 list0 현재 움직임 벡터(MVD0)에 대한 list0 차분 벡터인 DMVD0(=MVD0-PMV0 enc), 이미 부호화되고 복호화되어 복원된 주변 블록의 정보, 움직임 보상에 사용할 참조 픽처와 수학식 12와 같은 판단 함수 등을 이용하여 list0 추정 최적 움직임 벡터인 PMV0 dec를 결정하고, 전송할 list1 현재 움직임 벡터(MVD1)에 대한 list1 차분 벡터인 DMVD1(=MVD1-PMV1 enc), 이미 부호화되고 복호화되어 복원된 주변 블록의 정보, 움직임 보상에 사용할 참조 픽처와 수학식 13과 같은 판단 함수를 이용하여 list1 추정 최적 움직임 벡터인 PMV1 dec를 결정할 수 있다.
Figure 112014007945756-pat00012
수학식 12에서, 판단 함수인 g()는, 움직임 벡터 부호화 장치(300)의 움직임 벡터 부호화 모드 결정부(320)가, list0 차분 벡터와 이미 부호화되고 복호화되어 복원된 주변 블록의 정보를 이용하여, 움직임 벡터 복호화 장치 또는 영상 복호화 장치에서 list0 최적 움직임 벡터(PMV0 enc)를 예측할 수 있는지를 판단하기 위한 함수이다. 또한, 판단 함수 g()는 움직임 벡터 복호화 장치에서 list0 추정 최적 움직임 벡터를 결정할 때도 사용될 수 있다.
Figure 112014007945756-pat00013
수학식 13에서, 판단 함수인 g()는, 움직임 벡터 부호화 장치(300)의 움직임 벡터 부호화 모드 결정부(320)가, list1 차분 벡터 및 이미 부호화되고 복호화되어 복원된 주변 블록의 정보를 이용하여, 움직임 벡터 복호화 장치에서 list1 최적 움직임벡터(PMV1 enc)를 예측할 수 있는지를 판단하기 위한 함수이다. 또한, 판단 함수 g()는 후술할 움직임 벡터 복호화 장치 또는 영상 복호화 장치에서 list1 추정 최적 움직임 벡터를 예측할 때도 사용된다. 이러한 판단 함수 g()는 움직임 벡터 부호화 장치(300)와 움직임 벡터 복호화 장치에 기 설정된다는 전제하에 다양한 방법으로 정의될 수 있다.
수학식 12에 의해, 움직임 벡터 부호화 모드 결정부(320)는 움직임 벡터 복호화 장치가 추정할 움직임 벡터인 list0 추정 최적 움직임 벡터 PMV0 dec를 미리 계산하고, 움직임 벡터 복호화 장치가 list0 차분 벡터 DMVD0(=MVD0-PMV0 enc)를 이용하여 list0 최적 움직임 벡터(PMV0 enc)를 올바르게 예측하여 영상 데이터를 올바르게 복원할 수 있는지 여부를 판단한다. 즉, 움직임 벡터 부호화 모드 결정부(320)는 영상 복호화 장치가 수행할 list0 추정 최적 움직임 벡터를 결정하는 과정을 미리 수행하여 그 결과인 list0 추정 최적 움직임 벡터를 움직임 벡터를 부호화할 때 이용한다.
수학식 13에 의해, 움직임 벡터 부호화 모드 결정부(320)는 움직임 벡터 복호화 장치가 추정할 움직임 벡터인 list1 추정 최적 움직임 벡터 PMV1 dec를 미리 계산하고, 움직임 벡터 복호화 장치가 list1 차분 벡터 DMVD1(=MVD1-PMV1 enc)를 이용하여 list1 최적 움직임 벡터(PMV1 enc)를 올바르게 예측하여 영상 데이터를 올바르게 복원할 수 있는지 여부를 판단한다. 즉, 움직임 벡터 부호화 모드 결정부(320)는 영상 복호화 장치가 수행할 list1 추정 최적 움직임 벡터를 찾아내는 과정을 미리 수행하여 그 결과인 list1 추정 최적 움직임 벡터를 움직임 벡터를 부호화할 때 이용한다.
일 예로, 움직임 벡터 부호화 모드 결정부(320)는 수학식 12를 이용하여 계산된 list0 추정 최적 움직임 벡터(PMV0 dec)와 최적 움직임 벡터 결정부(310)에 의해 결정된 list0 최적 움직임 벡터(PMV0 enc)가 동일한 경우, 움직임 벡터 복호화 장치는 움직임 벡터 부호화 장치로부터 제공된 list0 차분 벡터(DMVD0)에 직접 추정한 list0 추정 최적 움직임 벡터(PMV0 dec)를 더하여 현재 움직임 벡터 MVD0를 올바르게 복원할 수 있으며 그에 따라 올바르게 복원된 영상 데이터를 얻어낼 수 있다.
또한, 움직임 벡터 부호화 모드 결정부(320)는 수학식 13을 이용하여 계산된 list1 추정 최적 움직임 벡터(PMV1 dec)가 최적 움직임 벡터 결정부(310)에 의해 결정된 list1 최적 움직임 벡터(PMV1 enc)와 동일한 경우, 움직임 벡터 복호화 장치는 움직임 벡터 부호화 장치로부터 제공된 list1 차분 벡터(DMVD1)에 직접 추정한 list1 추정 최적 움직임 벡터(PMV1 dec)를 더하여 현재 움직임벡터 MVD1를 올바르게 복원할 수 있으며 그에 따라 올바르게 복원된 영상 데이터를 얻어낼 수 있다.
따라서, 움직임 벡터 부호화 모드 결정부(320)는 최적 움직임 벡터 결정부(310)에 의해 결정된 list0 및 list1 예측 움직임 벡터(PMV0 enc 및 PMV1 enc)와 움직임 벡터 복호화 장치가 예측할 것으로 추정되는 list0 및 list1 추정 최적 움직임 벡터(PMV0 dec 및 PMV1 dec)가 동일한 경우에는, 움직임 벡터 복호화 장치에서 list0 및 list1 최적 움직임 벡터(PMV0 enc 및 PMV1 enc)을 예측할 수 있다고 판단하고, 그 이외의 경우에는 예측할 수 없다고 판단할 수 있다.
또한, 경우에 따라서, 움직임 벡터 부호화 모드 결정부(320)는 최적 움직임 벡터 결정부(310)에 의해 결정된 list0 및 list1 최적 움직임 벡터(PMV0 enc 및 PMV1 enc)와 움직임 벡터 복호화 장치가 계산할 것으로 추정되는 list0 및 list1 추정 최적 움직임 벡터(PMV0 dec 및 PMV1 dec) 간의 차이가 소정의 벡터 경계값 이하인 경우에도, 움직임 벡터 복호화 장치에서 list0 및 list1 최적 움직임 벡터(PMV0 enc 및 PMV1 enc)를 예측할 수 있다고 판단하고, 그 이외의 경우는 경우에는 예측할 수 없다고 판단할 수 있다. 여기서, 벡터 경계값은 움직임 벡터의 크기의 단위로 계산식을 통해 또는 경험적으로 자유롭게 설정될 수 있는 값을 말한다.
다른 예로, 영상의 압축율이 높거나 영상의 화소값의 변화가 크지 않거나 영상의 움직임 벡터의 변화가 크지 않은 경우 등에는, 움직임 벡터 부호화 모드 결정부(320)는 비록 list0 최적 움직임 벡터(PMV0 enc)와 list0 추정 최적 움직임 벡터(PMV0 dec)가 동일하지 않거나 소정의 벡터 경계값 이하로 차이가 있더라도, list0 추정 최적 움직임 벡터(PMV0 dec)를 이용하여 복원한 list0 현재 움직임 벡터(즉, MVD0 = DMVD0 + PMV0 dec )를 이용하여 움직임 보상된 영상 데이터와 list0 최적 움직임 벡터(PMV0 enc)를 이용하여 복원한 list0 현재 움직임 벡터(즉, MVD0 = DMVD0 + PMV0 enc )를 이용하여 움직임 보상된 영상 데이터가 동일한 경우, 움직임 벡터 복호화 장치가 list0 추정 최적 움직임 벡터(PMV0 dec)를 이용하여 list0 최적 움직임 벡터(PMV0 enc)를 예측할 수 있다고 판단하고, 그 이외의 경우에는 예측할 수 없다고 판단할 수 있다.
또한, list1 최적 움직임 벡터(PMV1 enc)와 list1 추정 최적 움직임 벡터(PMV1 dec)가 동일하지 않더라도, 움직임 벡터 부호화 모드 결정부(320)는 list1 추정 최적 움직임 벡터(PMV1 dec)를 이용하여 복원한 list1 현재 움직임 벡터(즉, MV'D1 = DMVD1 + PMV1 dec )를 이용하여 움직임 보상된 영상 데이터와 list1 최적 움직임 벡터(PMV1 enc)를 이용하여 복원한 list1 현재 움직임 벡터(즉, MVD1 = DMVD1 + PMV1 enc )를 이용하여 움직임 보상된 영상 데이터가 동일한 경우(예를 들어, 두 개의 복원된 영상 데이터 간의 SAD(Sum of Absolute Difference)가 '0'인 경우), 움직임 벡터 복호화 장치가 list1 추정 최적 움직임 벡터(PMV1 dec)를 이용하여 list1 최적 움직임 벡터(PMV1 enc)를 예측할 수 있다고 판단하고, 그 이외의 경우에는 예측할 수 없다고 판단할 수 있다.
또한, 경우에 따라서, 움직임 벡터 부호화 모드 결정부(320)는, 더욱 압축률을 높이기 위해, list0 추정 최적 움직임 벡터(PMV0 dec)를 이용하여 복원한 list0 현재 움직임 벡터(즉, MVD0 = DMVD0 + PMV0 dec )를 이용하여 움직임 보상된 영상 데이터와 list0 최적 움직임 벡터(PMV0 enc)를 이용하여 복원한 list0 현재 움직임 벡터(즉, MVD0 = DMVD0 + PMV0 enc )를 이용하여 움직임 보상된 영상 데이터가 소정의 데이터 경계값 이하로 차이가 있는 경우(예를 들어, 두 개의 복원된 영상 데이터 간의 SAD(Sum of Absolute Difference)가 소정의 경계값 이하인 경우), 움직임 벡터 복호화 장치가 list0 추정 최적 움직임 벡터(PMV0 dec)를 이용하여 list0 최적 움직임 벡터(PMV0 enc)를 예측할 수 있다고 판단하고, 그 이외의 경우에는 예측할 수 없다고 판단할 수 있다. 여기서, 데이터 경계값이란 데이터의 비트량과 같은 데이터의 크기를 표현할 수 있는 단위로 계산식을 통해 또는 경험적으로 자유롭게 설정될 수 있는 값을 말한다.
또한, list1 최적 움직임 벡터(PMV1 enc)와 list1 추정 최적 움직임 벡터(PMV1 dec)가 동일하지 않더라도, 움직임 벡터 부호화 모드 결정부(320)는 list1 추정 최적 움직임 벡터(PMV1 dec)를 이용하여 복원한 list1 현재 움직임 벡터(즉, MV'D1 = DMVD1 + PMV1 dec )를 이용하여 움직임 보상된 영상 데이터와 list1 최적 움직임 벡터(PMV1 enc)를 이용하여 복원한 list1 현재 움직임 벡터(즉, MVD1 = DMVD1 + PMV1 enc )를 이용하여 움직임 보상된 영상 데이터가 소정의 데이터 경계값 이하로 차이가 있는 경우, 움직임 벡터 복호화 장치가 list1 추정 최적 움직임 벡터(PMV1 dec)를 이용하여 list1 최적 움직임 벡터(PMV1 enc)를 예측할 수 있다고 판단하고, 그 이외의 경우에는 예측할 수 없다고 판단할 수 있다.
list 0 및 list1 추정 최적 움직임 벡터를 계산하기 위해 이용하는 판단 함수는 움직임 벡터 부호화 장치(300)와 움직임 벡터 복호화 장치에 기 설정된다는 전제하에서 다양한 형태의 함수가 적용될 수 있다. 단, 이하에서는 기 설정된 판단 함수가 list0와 list1에서 모두 사용될 수 있으므로 각 참조 픽처를 구분하여 설명하지 않는다.
수학식 12와 수학식 13의 판단 함수 g()로서는, 템플릿 매칭(TM: Template Matching)을 이용한 함수 또는 경계 화소 정합(BM: Boundary Matching) 등을 이용하는 함수가 이용될 수 있다.
일 예로, 판단 함수로서 템플릿 매칭(TM: Template Matching)을 이용한 함수가 이용되는 경우, 탬플릿 매칭 화소 인덱스 집합(TMS: Template Matching Set, 이하 'TMS'라 칭함)는 지정된 블록의 위치를 기준으로, 선택된 화소들의 상대적 위치를 나타내는 인덱스 집합으로 정의될 수 있으며, 예를 들어 지정된 블록의 좌측, 좌측 상단 및 상단에 인접한 주변의 하나 이상의 화소의 위치이다. 필요에 따라서, 다른 방법으로 TMS를 선택할 수 있으나, 통상적으로 TMS가 지시하는 화소의 수가 많으면 더욱 정확한 매칭이 가능하지만 계산량이 많아진다.
템플릿 매칭 방법은, 추정 최적 움직임 벡터로 선택할 수 있는 모든 후보 움직임 벡터 집합(CS)를 선정한 후, 선정된 후보 움직임 벡터 집합 내의 각각의 후보 움직임 벡터가 지정하는 블록(이하 '참조 블록'이라 칭함)에 대해 TMS가 지시하는 화소들과 현재 블록에 대해 TMS가 지시하는 화소들의 차이를 수학식 14(수학식 12와 수학식 13의 일 실시예를 표현한 수학식임)를 이용하여 계산하고 각각의 후보 움직임 벡터에 따른 정합 오류를 계산하여 계산된 정합 오류들 중 가장 최소의 정합 오류를 가지는 것을 추정 최적 움직임 벡터(PMVdec)로 결정한다.
Figure 112014007945756-pat00014
수학식 14에서, f(PMVC1+DMVD1,i)의 (PMVC1+DMVD1)는 인덱스 i(TMS에 포함됨)가 가리키는 참조 픽처 내의 참조 블록 주변의 인덱스 i가 나타내는 화소 위치를 나타내고, f(PMVC1+DMVD1,i)는 이 화소 위치에서의 화소값을 나타낸다. 또한, C(i)는 인덱스 i가 지시하는 현재 블록 주변의 화소값을 나타낸다.
판단 함수 g(PMVC1|DMVD1)는 움직임 벡터 부호화 장치(300)가 움직임 벡터 복호화 장치로 제공하는 차분 벡터(DMVD1)에 후보 움직임 벡터 집합(CS) 중의 한 원소인 후보 움직임 벡터(PMVC1)를 더하여 계산된 움직임 벡터(PMVC1+DMVD1)가 지시하는 참조 블록의 화소값과 이 움직임 벡터(PMVC1+DMVD1)가 지시하는 참조 블록의 움직임 보상을 수행하여 예측한 블록과 현재 블록을 감산한 잔차 블록의 잔차 신호를 더하여 복원된 블록이 얼마나 올바른지 여부를 산정한 값을 제공한다. 이를 산정하기 위해, 수학식 14에서는 차이의 제곱합(Sum of Squared Error)을 이용하였지만, 응용에 따라 절대값 차의 합(SAD: Sum of Absolute Difference) 등 다양한 함수가 이용될 수 있다. 추정 최적 움직임 벡터(PMV1 dec)는 판단 함수 g(PMVC1|DMVD1)의 값이 최소가 되는 후보 움직임 벡터(PMVC1)가 될 수 있다.
즉, 움직임 벡터 부호화 모드 결정부(320)는 선택된 후보 움직임 벡터 집합에 포함된 하나 이상의 후보 움직임 벡터 각각이 지시하는 참조 블록에 대해 TMS가 지시하는 화소들과 현재 블록에 대해 TMS가 지시하는 화소들의 화소값 차이를 계산하고, 계산된 화소값 차이를 기초로 후보 움직임 벡터 각각에 대한 정합 오류를 판단 함수값으로 계산할 수 있다.
다른 예로, 판단 함수로서, 경계 화소 정합을 이용한 함수가 이용되는 경우, 전술한 일 예의 TMS와 유사하게, 경계 매칭 화소 인덱스 집합(BMS: Boundary Matching Index Set, 이하 'BMS'라 칭함)는 현재 블록 내의 가장 좌측 및 가장 상단에 위치한 화소의 위치를 가리키는 인덱스의 집합으로 정의할 수 있으나, 응용에 따라서는 현재 블록 내의 블록 경계에 위치한 전부 또는 일부의 화소들의 위치로 정의할 수도 있다.
경계 화소 정합 방법은, 예측 움직임 벡터로 선택할 수 있는 모든 후보 움직임 벡터 집합(CS)을 선정한 이후, 후보 움직임 벡터 집합(CS) 중 어느 후보 움직임 벡터(PMVC)가 가장 최적인지 여부를 판단하기 위해, 후보 움직임 벡터 집합(CS) 중에서 경계 화소 매칭을 수행하여 경계 화소 정합의 오류를 최소화하는 후보 움직임 벡터(PMVC)를 추정 최적 움직임 벡터(PMVdec)로 결정한다. 이를 위해, 움직임 벡터 부호화 모드 결정부(320)는 수학식 15와 같이 차이의 제곱합으로 각각의 후보 움직임 벡터가 가지는 정합 오류를 계산할 수 있을 뿐만 아니라, 차이의 제곱합이 아닌 절대값의 차이의 합(SAD)등 다른 방법으로 정합 오류를 계산할 수도 있다.
Figure 112014007945756-pat00015
수학식 15에서, C(i)는 후보 움직임 벡터 집합(CS) 중의 한 원소인 후보 움직임 벡터(PMVC1)와 움직임 벡터 부호화 장치(300)로부터 움직임 벡터 복호화 장치로 제공되는 차분 벡터(DMVD !)를 더해 계산된 움직임 벡터(PMVC1+DMVD1)가 지시하는 참조 블록의 화소값과 이 움직임 벡터(PMVC1+DMVD1)가 지시하는 참조 블록의 움직임 보상을 수행하여 예측한 블록과 현재 블록을 감산한 잔차 블록의 잔차 신호를 더하여 복원된 현재 블록의 복원 화소 중 BMS 내의 인덱스 i가 지시하는 화소값을 말한다.
또한, f(i)는 현재 블록에 인접하는 주변 블록 내의 경계 화소 중 BMS의 인덱스 i가 지시하는 화소와 바로 인접하는 화소의 화소값을 나타낸다. 수학식 15를 이용하여 후보 움직임 벡터 집합 내의 각각의 후보 움직임 벡터(PMVC1)에 대해 경계 화소 정합의 정합 오류를 계산하고, 계산된 정합 오류 중 최소의 정합 오류를 발생하는 후보 움직임 벡터를 추정 최적 움직임 벡터(PMV1 dec)로 결정한다. 즉, 추정 최적 움직임 벡터는 움직임 벡터 복호화 장치에서 추정될 예측 움직임 벡터를 말한다.
즉, 움직임 벡터 부호화 모드 결정부(320)는 선택된 후보 움직임 벡터 집합에 포함된 하나 이상의 후보 움직임 벡터 각각에 대한 차분 벡터와 해당 후보 움직임 벡터가 지시하는 참조 블록의 화소값과 해당 후보 움직임 벡터와 차분 벡터를 이용하여 복원되는 움직임 벡터를 이용하여 움직임을 보상하여 생성되는 잔차 블록의 잔차 신호를 더하여 복원되는 현재 블록의 복원 화소 중 BMS 내의 인덱스가 지시하는 화소값 및 현재 블록에 인접하는 주변 블록 내의 경계 화소 중 BMS의 인덱스가 지시하는 화소와 인접한 화소의 화소값의 차이를 기초로, 하나 이상의 후보 움직임 벡터 각각에 대한 정합 오류를 판단 함수값으로 계산할 수 있다.
또한, 움직임 벡터 부호화 모드 결정부(320)는 움직임 벡터 복호화 장치에서 복수 개의 참조 픽처에 대한 최적 움직임 벡터 모두를 예측할 수 있는지 여부에 따라 움직임 벡터 부호화 모드를 결정할 수 있다. 이때, 움직임 벡터 부호화 모드 결정부(320)는 움직임 벡터 복호화 장치에서 복수 개의 참조 픽처에 대한 최적 움직임 벡터를 모두 예측할 수 있는 경우에는 예측 가능 모드를 움직임 벡터 부호화 모드로서 결정할 수 있으며, 움직임 벡터 복호화 장치에서 복수 개의 참조 픽처에 대한 최적 움직임 벡터 중 하나 이상을 예측할 수 없는 경우에는 예측 불가능 모드를 움직임 벡터 부호화 모드로서 결정할 수 있다.
또한, 움직임 벡터 부호화 모드 결정부(320)는 복수 개의 참조 픽처에 대한 최적 움직임 벡터 각각을 움직임 벡터 복호화 장치에서 예측할 수 있는지 여부에 따라 복수 개의 최적 움직임 벡터 각각에 대해 독립적으로 움직임 벡터 부호화 모드를 결정할 수 있다. 이때, 움직임 벡터 부호화 모드 결정부(320)는 복수 개의 참조 픽처에 대한 최적 움직임 벡터 중 움직임 벡터 복호화 장치에서 예측할 수 있는 최적 움직임 벡터에 대해서는 예측 가능 모드를 움직임 벡터 부호화 모드로서 결정할 수 있고, 복수 개의 참조 픽처에 대한 최적 움직임 벡터 중 움직임 벡터 복호화 장치에서 예측할 수 없는 최적 움직임 벡터에 대해서는 예측 불가능 모드를 움직임 벡터 부호화 모드로서 결정할 수 있다.
제 1 움직임 벡터 부호화부(330)는 움직임 벡터 부호화 모드가 예측 가능 모드인 경우, 최적 움직임 벡터 결정부(310)에 의해 결정된 복수 개의 참조 픽처에 대한 최적 움직임 벡터를 복수 개의 참조 픽처에 대한 예측 움직임 벡터로서 결정하고, 복수 개의 참조 픽처에 대한 예측 움직임 벡터와 복수 개의 참조 픽처에 대한 현재 움직임 벡터를 이용하여 복수 개의 참조 픽처에 대한 움직임 정보를 부호화한다. 즉, 제 1 움직임 벡터 부호화부(330)는 움직임 벡터 부호화 모드가 예측 가능 모드인 경우, list0 및 list1 최적 움직임 벡터를 list0 및 list1 현재 움직임 벡터에 대한 list0 및 list1 예측 움직임 벡터로서 결정하고, list0 및 list1 현재 움직임 벡터와 list0 및 list1 최적 움직임 벡터를 이용하여 list0 및 list1 움직임 정보를 생성하고 부호화하고, 움직임 벡터 부호화 모드(즉, 예측 가능 모드)를 부호화한다.
여기서, 제 1 움직임 벡터 부호화부(330)는 list0 및 list1 현재 움직임 벡터와 list0 및 list1 최적 움직임 벡터의 차이인 list0 및 list1 차분 벡터를 계산하고, 계산된 list0 및 list1 차분 벡터를 부호화함으로써, list0 및 list1 최적 움직임 벡터를 이용하여 list0 및 list1 현재 움직임 벡터를 부호화할 수 있다. 즉, list0 및 list1 움직임 정보로서, list0 및 list1 차분 벡터를 생성하여 부호화할 수 있다. 또한, 제 1 움직임 벡터 부호화부(330)는 list0 및 list1 움직임 정보로서 list0 및 list1 차분 벡터를 부호화하는 것뿐만 아니라, list0 및 list1 현재 움직임 벡터를 list0 및 list1 움직임 정보로서 생성하고 list0 및 list1 최적 움직임 벡터의 특성(예를 들면, 방향, 크기 등)에 따라 list0 및 list1 움직임 정보 즉, list0 및 list1 현재 움직임 벡터를 다르게 부호화(예를 들면, 서로 다른 가변 길이 부호화 테이블을 이용하여 부호화하는 등)하는 등 다양한 방식으로 부호화할 수 있다.
제 2 움직임 벡터 부호화부(340)는 움직임 벡터 부호화 모드가 예측 불가능 모드인 경우, 기 설정된 복수 개의 참조 픽처에 대한 디폴트 움직임 벡터를 복수 개의 참조 픽처에 대한 예측 움직임 벡터로서 결정하고, 복수 개의 참조 픽처에 대한 예측 움직임 벡터와 복수 개의 참조 픽처에 대한 현재 움직임 벡터를 이용하여 복수 개의 참조 픽처에 대한 움직임 정보를 생성하고 부호화한다. 즉, 제 2 움직임 벡터 부호화부(340)는 움직임 벡터 부호화 모드가 예측 불가능 모드인 경우, 기 설정된 list0 및 list1 디폴트 움직임 벡터를 list0 및 list1 현재 움직임 벡터에 대한 list0 및 list1 예측 움직임 벡터로서 결정하고, list0 및 list1 현재 움직임 벡터와 list0 및 list1 디폴트 움직임 벡터를 이용하여 list0 및 list1 움직임 정보를 생성하고 부호화하고, 움직임 벡터 부호화 모드(즉, 예측 불가능 모드)를 부호화한다.
여기서, 제 2 움직임 벡터 부호화부(340)는 list0 및 list1 움직임 정보로서 list0 및 list1 현재 움직임 벡터와 list0 및 list1 디폴트 움직임 벡터의 차이인 list0 및 list1 차분 벡터를 계산하고, 계산된 list0 및 list1 차분 벡터를 부호화함으로써, list0 및 list1 디폴트 움직임 벡터를 이용하여 list0 및 list1 현재 움직임 벡터를 부호화할 수 있다. 또한, 제 2 움직임 벡터 부호화부(340)는 list0 및 list1 차분 벡터를 부호화하는 것뿐만 아니라, list0 및 list1 디폴트 움직임 벡터의 특성(예를 들면, 방향, 크기 등)에 따라 list0 및 list1 현재 움직임 벡터를 다르게 부호화(예를 들면, 서로 다른 가변 길이 부호화 테이블을 이용하여 부호화하는 등)하는 등 다양한 방식으로 부호화할 수 있다.
도 3에서는 제 1 움직임 벡터 부호화부(330)와 제 2 움직임 벡터 부호화부(340)가 각각 독립적으로 구현되는 것으로 도시하고 설명했지만, 각 기능을 통합한 하나의 움직임 벡터 부호화부로 구현될 수도 있다. 이 경우, 통합된 하나의 움직임 벡터 부호화부는 움직임 벡터 부호화 모드에 따라 복수 개의 참조 픽처에 대한 최적 움직임 벡터 또는 복수 개의 참조 픽처에 대한 디폴트 움직임 벡터를 이용하여 복수 개의 참조 픽처에 대한 현재 움직임 벡터를 부호화한다.
도 4는 본 발명의 일 실시예에 따른 움직임 벡터 부호화 방법을 설명하기 위한 순서도이다.
움직임 벡터 부호화 장치(300)는 복수 개의 참조 픽처에 대한 현재 움직임 벡터를 부호화하기 위해, 복수 개의 참조 픽처에 대한 최적 움직임 벡터를 결정한다(S410). 즉, 움직임 벡터 부호화 장치(300)는 list0 및 list1 현재 움직임 벡터를 부호화하기 위해 list0 및 list1 최적 움직임 벡터를 결정한다.
복수 개의 참조 픽처에 대한 최적 움직임 벡터를 결정한 움직임 벡터 부호화 장치(300)는 움직임 벡터 복호화 장치에서 복수 개의 참조 픽처에 대한 최적 움직임 벡터를 예측할 수 있는지 여부를 판단하여(S420), 움직임 벡터 복호화 장치에서 복수 개의 참조 픽처에 대한 최적 움직임 벡터를 예측할 수 있다고 판단하는 경우에는, list0 및 list1 최적 움직임 벡터를 list0 및 list1 예측 움직임 벡터로서 결정하고(S430), 예측 가능 모드를 움직임 벡터 부호화 모드로서 결정하며(S440), 움직임 벡터 복호화 장치에서 복수 개의 참조 픽처에 대한 최적 움직임 벡터를 예측할 수 없다고 판단하는 경우에는 기 설정된 list0 및 list1 디폴트 움직임 벡터를 list0 및 list1 예측 움직임 벡터로서 결정하고(S432), 예측 불가능 모드를 움직임 벡터 부호화 모드로서 결정한다(S442). 즉, 움직임 벡터 부호화 장치(300)는 움직임 벡터 복호화 장치가 list0 및 list1 최적 움직임 벡터를 예측할 수 있는지 여부를 판단하여, 예측할 수 있다고 판단한 경우에는 예측 가능 모드를 움직임 벡터 부호화 모드로서 결정하고 list0 및 list1 최적 움직임 벡터를 list0 및 list1 예측 움직임 벡터로서 결정하며, 예측할 수 없다고 판단한 경우에는 예측 불가능 모드를 움직임 벡터 부호화 모드로서 결정하고 list0 및 list1 디폴트 움직임 벡터를 list0 및 list1 예측 움직임 벡터로서 결정한다.
복수 개의 참조 픽처에 대한 예측 움직임 벡터를 결정한 움직임 벡터 부호화 장치(300)는 단계 S430 또는 단계 S432에서 결정된 복수 개의 참조 픽처에 대한 예측 움직임 벡터와 복수 개의 참조 픽처에 대한 현재 움직임 벡터를 이용하여 복수 개의 참조 픽처에 대한 움직임 정보를 생성하고 부호화한다(S450). 즉, 움직임 벡터 부호화 장치(300)는 list0 및 list1 예측 움직임 벡터와 list0 및 list1 현재 움직임 벡터를 이용하여 list0 및 list1 움직임 정보를 생성하고 부호화한다.
움직임 벡터 부호화 장치(300)는 단계 S440 또는 단계 S442에서 결정된 움직임 벡터 부호화 모드를 부호화하며(S460). 부호화된 복수 개의 참조 픽처에 대한 움직임 정보 및 부호화된 움직임 벡터 부호화 모드를 포함하는 움직임 벡터 부호화 데이터를 생성하여 출력한다(S470).
한편, 단계 S410에서, 움직임 벡터 부호화 장치(300)는 후보 움직임 벡터 집합을 선택하고 후보 움직임 벡터 집합에서 하나의 후보 움직임 벡터를 선택하여 list0 및 list1 최적 움직임 벡터로서 결정하는 방법과, 단계 S420에서, 움직임 벡터 부호화 장치(300)가 영상 복호화 장치에서 list0 및 list1 최적 움직임 벡터를 예측할 수 있는지 여부를 판단하는 방법과, 단계 S450에서, 움직임 벡터 부호화 장치(300)가 list0 및 list1 현재 움직임 벡터와 list0 및 list1 예측 움직임 벡터를 이용하여 list0 및 list1 움직임 정보를 생성하고 부호화하는 방법에 대해서는 도 3을 통해 이미 전술하였으므로 상세한 설명은 생략한다.
이상에서 전술한 바와 같이, 부호화된 움직임 벡터 부호화 데이터는 후술할 움직임 벡터 복호화 장치에서 복호화될 수 있다.
도 5는 본 발명의 일 실시예에 따른 움직임 벡터 복호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 복호화 장치(500)는 복호화부(510), 제 1 예측 움직임 벡터 결정부(520), 제 2 예측 움직임 벡터 결정부(530) 및 움직임 벡터 복원부(540)를 포함하여 구성될 수 있다.
복호화부(510)는 입력되는 움직임 벡터 부호화 데이터에 포함된 부호화된 움직임 벡터 부호화 모드와 복수 개의 참조 픽처에 대한 움직임 정보를 복원한다. 즉, 복호화부(510)는 움직임 벡터 부호화 데이터로부터 부호화된 움직임 벡터 부호화 모드와 부호화된 list0 및 list1 움직임 정보를 추출하고 복호화하여 움직임 벡터 부호화 모드와 list0 및 list1 움직임 정보를 복원한다.
또한, 복호화부(510)는 복원된 움직임 벡터 부호화 모드를 분석하여 움직임 벡터 부호화 모드가 예측 가능 모드인 경우에는 제 1 예측 움직임 벡터 결정부(520)를 활성화시키거나 제 1 예측 움직임 벡터 결정부(520)로 하여금 list0 및 list1 최적 움직임 벡터를 결정하여 결정된 list0 및 list1 최적 움직임 벡터를 list0 및 list1 예측 움직임 벡터로서 결정하도록 제어할 수 있다. 복호화부(510)는 복원된 움직임 벡터 부호화 모드를 분석하여 움직임 벡터 부호화 모드가 예측 불가능 모드인 경우에는 제 2 예측 움직임 벡터 결정부(530)를 활성화시키거나 제 2 예측 움직임 벡터 결정부(530)로 하여금 list0 및 list1 최적 움직임 벡터를 결정하여 결정된 list0 및 list1 최적 움직임 벡터를 list0 및 list1 예측 움직임 벡터로서 결정하도록 제어할 수 있다.
복호화부(510)는 움직임 벡터 부호화 모드가 하나인 경우 전술한 바와 같이, 제 1 예측 움직임 벡터 결정부(520)와 제 2 예측 움직임 벡터 결정부(530)를 활성화시키거나 제어하는데, 움직임 벡터 부호화 모드는 두 개 이상 각각 있을 수 있다. 즉, 도 3을 통해 전술한 바와 같이, 복수 개의 참조 픽처에 대해 각각 움직임 벡터 부호화 모드가 있을 수 있고, 복수 개의 참조 픽처에 대해 하나의 움직임 벡터 부호화 모드가 있을 수 있다.
예를 들어, 움직임 벡터 부호화 장치(300)에서 list0 및 list1 참조 픽처에 대해 각각 움직임 벡터 부호화 모드를 부호화했다면, 움직임 벡터 부호화 데이터에는 list0 및 list1에 대한 움직임 벡터 부호화 모드가 있을 것이고, 복호화부(510)는 list0 및 list1에 대한 움직임 벡터 부호화 모드 각각을 분석하여 각각에 따라 다르게 제 1 예측 움직임 벡터 결정부(520) 및 제 2 예측 움직임 벡터 결정부(520)를 활성화시키거나 제어할 수 있다. 즉, list0 및 list1에 대한 움직임 벡터 부호화 모드가 모두 예측 가능 모드 또는 예측 불가능 모드라면, 제 1 예측 움직임 벡터 결정부(520)로 하여금 list0 및 list1 추정 최적 움직임 벡터를 결정하여 list0 및 list1 예측 움직임 벡터로서 결정하도록 하거나 제 2 예측 움직임 벡터 결정부(530)로 하여금 list0 및 list1 디폴트 움직임 벡터를 list0 및 list1 예측 움직임 벡터로서 결정하도록 할 수 있으며, list0 및 list1에 대한 움직임 벡터 부호화 모드 중 list0에 대한 움직임 벡터 부호화 모드가 예측 가능 모드이고 list1에 대한 움직임 벡터 부호화 모드가 예측 불가능 모드라면, 제 1 예측 움직임 벡터 결정부(520)로 하여금 list0 추정 최적 움직임 벡터를 결정하여 list0 예측 움직임 벡터로서 결정하도록 할 수 있으며, 제 2 예측 움직임 벡터 결정부(530)로 하여금 list1 디폴트 움직임 벡터를 list1 예측 움직임 벡터로서 결정하도록 할 수 있다.
제 1 예측 움직임 벡터 결정부(520)는 복원된 움직임 벡터 부호화 모드가 예측 가능 모드인 경우, 복수 개의 참조 픽처에 대한 추정 최적 움직임 벡터를 결정하고 결정된 복수 개의 참조 픽처에 대한 추정 최적 움직임 벡터를 복수 개의 참조 픽처에 대한 예측 움직임 벡터로 결정한다. 제 2 예측 움직임 벡터 결정부(530)는 복원된 움직임 벡터 부호화 모드가 예측 불가능 모드인 경우, 기 설정된 복수 개의 참조 픽처에 대한 디폴트 움직임 벡터를 복수 개의 참조 픽처에 대한 예측 움직임 벡터로 결정한다.
즉, 제 1 예측 움직임 벡터 결정부(520)는 움직임 벡터 부호화 모드가 예측 가능 모드인 경우, list0 및 list1 추정 최적 움직임 벡터를 결정하고 결정된 list0 및 list1 추정 최적 움직임 벡터를 list0 및 list1 예측 움직임 벡터로 결정한다. 제 2 예측 움직임 벡터 결정부(530)는 복원된 움직임 벡터 부호화 모드가 예측 불가능 모드인 경우, 기 설정되거나 기 설정된 기준에 따라 생성한 list0 및 list1 디폴트 움직임 벡터를 list0 및 list1 예측 움직임 벡터로 결정한다. 여기서, 제 1 예측 움직임 벡터 결정부(520)가 list0 및 list1 추정 최적 움직임 벡터를 결정하는 방법에 대해서는 도 3을 통해 전술한 움직임 벡터 부호화 장치(300) 또는 최적 움직임 벡터 결정부(310)가 판단 함수를 이용하여 list0 및 list1 추정 최적 움직임 벡터를 결정하는 방법과 동일 또는 유사하므로 상세한 설명을 생략한다.
도 5에서는 제 1 예측 움직임 벡터 결정부(520)와 제 2 예측 움직임 벡터 결정부(530)가 독립적으로 구성되는 것으로 도시하고 설명했지만, 각 기능을 통합한 하나의 예측 움직임 벡터 결정부로서 구성될 수도 있다. 이 경우, 하나로 구성되는 예측 움직임 벡터 결정부는 움직임 벡터 부호화 모드에 따라 현재 블록의 현재 움직임 벡터를 복수 개의 참조 픽처에 대해 예측하여 결정되는 복수 개의 참조 픽처에 대한 추정 최적 움직임 벡터 또는 움직임 벡터 부호화 장치와 기 설정된 복수 개의 참조 픽처에 대한 디폴트 움직임 벡터를 복수 개의 참조 픽처에 대한 예측 움직임 벡터로서 결정할 수 있다.
움직임 벡터 복원부(540)는 제 1 예측 움직임 벡터 결정부(520) 및 제 2 예측 움직임 벡터 결정부(530) 중 하나 이상에서 결정한 list0 및 list1 예측 움직임 벡터와 복호화부(510)에서 복원한 list0 및 list1 움직임 정보를 이용하여 list0 및 list1 현재 움직임 벡터를 복원하여 출력한다. 여기서, list0 및 list1 움직임 정보가 list0 및 list1 차분 벡터인 경우에는 list0 및 list1 차분 벡터에 list0 및 list1 예측 움직임 벡터를 더하여 list0 및 list1 현재 움직임 벡터를 복원할 수 있지만, 이에 한정되지 않고, 움직임 벡터 부호화 장치(300)에서 list0 및 list1 움직임 정보를 생성한 방식의 역으로 list0 및 list1 현재 움직임 벡터를 복원할 수 있으며, 이 경우 움직임 벡터 부호화 장치(300)이나 제 1 부호화부(330) 또는 제 2 부호화부(340)와 움직임 벡터 복호화 장치(500)나 움직임 벡터 복원부(540)에 그 방식이 설정될 수 있다.
도 6은 본 발명의 일 실시예에 따른 움직임 벡터 복호화 방법을 설명하기 위한 순서도이다.
움직임 벡터 복호화 장치(500)는 입력되는 움직임 벡터 부호화 데이터를 복호화하여 움직임 벡터 부호화 모드와 list0 및 list1 움직임 정보를 복원하고(S610), 움직임 벡터 부호화 모드가 예측 가능 모드인지 여부를 판단하여(S620), 움직임 벡터 부호화 모드가 예측 가능 모드인 경우에는 list0 및 list1 추정 최적 움직임 벡터를 결정하여 list0 및 list1 예측 움직임 벡터로서 결정하고(S630), 움직임 벡터 부호화 모드가 예측 불가능 모드인 경우에는 list0 및 list1 디폴트 움직임 벡터를 list0 및 list1 예측 움직임 벡터로서 결정한다(S632).
움직임 벡터 복호화 장치(500)는 단계 S610에서 복원한 움직임 벡터 부호화 모드와 단계 S630 또는 단계 S632에서 결정된 list0 및 list1 예측 움직임 벡터를 이용하여 list0 및 list1 현재 움직임 벡터를 복원한다(S640).
여기서, 움직임 벡터 복호화 장치(500)가 움직임 벡터 부호화 모드를 분석하여 list0 및 list1 추정 최적 움직임 벡터를 결정하여 list0 및 list1 예측 움직임 벡터로서 결정하거나 list0 및 list1 디폴트 움직임 벡터를 list0 및 list1 예측 움직임 벡터로서 결정하는 방법과 움직임 벡터 부호화 모드와 list0 및 list1 예측 움직임 벡터를 이용하여 list0 및 list1 현재 움직임 벡터를 복원하는 방법에 대해서는 도 5를 통해 전술한 바와 같으므로, 상세한 설명은 생략한다.
이상에서 전술한 본 발명의 일 실시예에 따른 움직임 벡터 부호화/복호화 장치는 영상을 부호화하는 영상 부호화 장치와 영상을 복호화하는 영상 복호화 장치에서 활용될 수 있다.
도 7은 본 발명의 일 실시예에 따른 영상 부호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 부호화 장치(700)는 블록 모드 결정부(710), 예측부(720), 감산부(730), 제 1 부호화부(740), 제 2 부호화부(750), 부호화 데이터 생성부(760), 복호화부(770), 가산부(780) 및 참조 픽처 저장부(790)를 포함하여 구성될 수 있다. 이러한 영상 부호화 장치(700)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
블록 모드 결정부(710)는 영상에서 현재 부호화하고자 하는 현재 블록에 선택될 수 있는 블록 모드들에 대해 소정의 최적 기준(예를 들어, 율-왜곡 최적화 기준)을 적용하여 현재 블록에 대한 블록 모드(예를 들어, 최소의 율-왜곡 비용을 갖는 블록 모드)를 결정한다. 영상 부호화 장치(700)에 블록 모드가 기 설정되어 있다면, 블록 모드 결정부(710)는 반드시 영상 부호화 장치(700)에 포함되지 않고 선택적으로 생략될 수 있다.
예측부(720)는 현재 블록을 예측하여 예측 블록을 생성하고 출력한다. 즉, 예측부(720)는 영상에서 부호화하고자 하는 현재 블록의 각 화소의 화소값(Pixel Value)을 예측하여 예측된 각 화소의 예측 화소값(Predicted Pixel Value)을 갖는 예측 블록(Predicted Block)을 생성한다. 이러한 예측부(720)는 인터 예측을 수행하는 경우에는 도시한 바와 같이, 움직임 벡터 부호화부(722) 및 움직임 보상부(724)를 포함하여 구성될 수 있으며, 복수 개의 참조 픽처에 대한 현재 블록의 현재 움직임 벡터를 예측하여 결정한 복수 개의 참조 픽처에 대한 최적 움직임 벡터를 움직임 벡터 복호화 장치에서 예측할 수 있는지 여부에 따라 최적 움직임 벡터 또는 움직임 벡터 복호화 장치와 기 설정된 복수 개의 참조 픽처에 대한 디폴트 움직임 벡터를 이용하여 복수 개의 참조 픽처에 대한 움직임 정보를 생성하고 부호화함으로써 움직임 벡터 부호화 데이터를 생성하고, 복수 개의 참조 픽처에 대한 현재 움직임 벡터를 이용하여 현재 블록의 예측 블록을 생성한다.
움직임 벡터 부호화부(722)는 도 3을 통해 전술한 본 발명의 일 실시예에 따른 움직임 벡터 부호화 장치(300)로 구현될 수 있으며, 이에 대해서는 도 3을 통해 전술하였으므로, 상세한 설명을 생략한다. 다만, 움직임 벡터 부호화부(722)는 복수 개의 참조 픽처에 대한 현재 블록의 움직임 벡터인 복수 개의 참조 픽처에 대한 현재 움직임 벡터를 결정할 수 있으며, 복수 개의 참조 픽처에 대한 현재 움직임 벡터를 결정할 때, 율-왜곡 최적화 등의 다양한 기법을 이용하여 결정할 수 있다.
움직임 보상부(724)는 움직임 벡터 부호화부(722)로부터 출력되는 참조 픽처에 대한 인덱스 정보에 의해 지시되는 참조 픽처에 움직임 벡터 부호화부(722)로부터 출력되는 복수 개의 참조 픽처에 대한 현재 움직임 벡터를 이용하여 현재 블록의 예측 블록을 생성하고 출력한다.
감산부(730)는 현재 블록에서 예측 블록을 감산하여 잔차 블록(Residual Block)을 생성한다. 즉, 감산부(730)는 부호화하고자 하는 현재 블록의 각 화소의 화소값과 예측부(720)에서 예측한 예측 블록의 각 화소의 예측 화소값의 차이를 계산하여 블록 형태의 잔차 신호(Residual Signal)를 갖는 잔차 블록을 생성한다.
제 1 부호화부(740)는 잔차 블록을 변환 및 양자화하여 양자화된 잔차 블록을 출력한다. 즉, 제 1 부호화부(740)는 잔차 블록의 잔차 신호를 주파수 영역으로 변환하여 잔차 블록의 각 화소값을 주파수 계수로 변환하고, 주파수 계수를 갖는 잔차 블록을 양자화(Quantization)한다. 여기서, 제 1 부호화부(740)는 하다마드 변환(Hadamard Transform), 이산 코사인 변환 기반 변환(DCT based Transform: Discrete Cosine Transform Based Transform) 등과 같은 공간축의 화상 신호를 주파수축으로 변환하는 다양한 변환 기법을 이용하여 잔차 신호를 주파수 영역으로 변환할 수 있는데, 주파수 영역으로 변환된 잔차 신호가 주파수 계수가 된다. 또한, 제 1 부호화부(740)는 변환된 잔차 블록을 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization, 이하 'DZUTQ'라 칭함), 양자화 가중치 매트릭스(Quantization Weighted Matrix) 또는 이를 개량한 양자화 기법 등을 사용하여 양자화할 수 있다.
한편, 이상에서는 제 1 부호화부(740)가 잔차 블록을 변환하고 양자화하는 것으로 설명했지만, 잔차 블록의 잔차 신호를 변환하여 주파수 계수를 갖는 잔차 블록을 생성하고 양자화 과정을 수행하지 않을 수 있으며, 잔차 블록의 잔차 신호를 주파수 계수로 변환하지 않고 양자화 과정만을 수행할 수 있을 뿐만 아니라, 심지어는 변환과 양자화 과정을 모두 수행하지 않을 수 있다. 변환과 양자화 과정을 수행하지 않는 경우에는 본 발명의 일 실시예에 따른 영상 부호화 장치(740)에서 제 1 부호화부(740)는 생략될 수 있을 것이다.
제 2 부호화부(750)는 제 1 부호화부(740)로부터 출력되는 잔차 블록을 부호화하여 잔차 블록 부호화 데이터를 생성하고 출력한다. 즉, 제 2 부호화부(750)는 잔차 블록의 양자화 주파수 계수, 주파수 계수 또는 잔차 신호를 지그재그 스캔과 같은 다양한 스캔 방식에 따라 스캔하여 양자화 주파수 계수열, 주파수 계수열 또는 신호열을 생성하고 엔트로피 부호화(Entropy Coding) 기법 등 다양한 부호화 기법을 이용하여 부호화한다. 한편, 이러한 제 1 부호화부(740)와 제 2 부호화부(750)의 기능이 통합되어 하나의 부호화부로서 구현될 수도 있다.
부호화 데이터 생성부(760)는 부호화부(750)로부터 출력되는 잔차 블록 부호화 데이터와 움직임 벡터 부호화부(722)로부터 출력되는 움직임 벡터 부호화 데이터를 포함하는 부호화 데이터를 생성하여 출력한다. 또한, 부호화 데이터 생성부(760)는 블록 모드 결정부(710)로부터 출력되거나 기 설정된 현재 블록에 대한 블록 모드에 대한 정보를 부호화 데이터에 추가로 포함시켜 출력할 수 있다. 이러한 부호화 데이터 생성부(760)는 멀티플렉서(MUX: Multiplexer)로 구현될 수 있다.
복호화부(770)는 제 1 부호화부(740)에 의해 양자화된 잔차 블록을 역 양자화(Inverse Quantization)하고 역 변환(Inverse Transform)한다. 즉, 복호화부(770)는 앙자화된 잔차 블록의 양자화 주파수 계수들을 역 양자화하여 주파수 계수를 갖는 잔차 블록을 생성하고, 역 양자화된 잔차 블록을 역 변환하여 화소값을 갖는 잔차 블록 즉, 복원된 잔차 블록을 생성한다. 여기서, 복호화부(770)는 제 1 부호화부(740)에서 사용한 변환 방식과 양자화 방식을 역으로 사용하여 역 변환 및 역 양자화할 수 있다. 또한, 제 1 부호화부(740)에서 변환만을 수행하고 양자화를 수행하지 않은 경우, 복호화부(770)는 역 변환만을 수행하고 역 양자화를 수행하지 않으며, 제 1 부호화부(740)에서 양자화만을 수행하고 변환을 수행하지 않은 경우에는 역 양자화만을 수행하고 역 변환을 수행하지 않을 수 있다. 만약, 제 1 부호화부(740)에서 변환 및 양자화를 모두 수행하지 않거나 제 1 부호화부(740)가 영상 부호화 장치(700)에 구성되지 않고 생략된 경우, 복호화부(770)도 역 변환 및 역 양자화를 모두 수행하지 않거나 영상 부호화 장치(700)에 구성되지 않고 생략될 수 있다.
가산부(780)는 예측부(720)에서 예측된 예측 블록과 복호화부(770)에 의해 복원된 잔차 블록을 가산하여 현재 블록을 복원한다. 참조 픽처 저장부(790)는 가산부(780)로부터 출력되는 복원된 현재 블록을 픽처 단위로 참조 픽처로서 저장하여 예측부(720)가 현재 블록의 다음 블록이나 향후 다른 블록을 부호화할 때 참조 픽처로서 사용할 수 있도록 한다.
도 7에서는 도시하지 않았지만, 전술한 본 발명의 일 실시예에 따른 영상 부호화 장치(700)는 H.264/AVC 표준에 기초하여, 인트라 예측(Intra Prediction)을 위한 인트라 예측부, 복원된 현재 블록을 디블로킹 필터링(Deblocking Filtering)하는 디블록킹 필터부 등을 추가로 포함할 수 있다. 또한, 제 1 부호화부(740) 및 복호화부(770)는 H.264/AVC 표준에 기초하여, 특정 픽처(예를 들어, 인트라 픽춰)에 대한 변환 및 양자화(또는 역 변환 및 역 양자화) 연산을 추가로 수행할 수도 있다. 여기서, 디블로킹 필터링이란 영상을 블록 단위로 부호화하면서 발생하는 블록 왜곡을 감소시키는 작업을 말하며, 블록 경계와 매크로블록 경계에 디블로킹 필터를 적용하거나 매크로블록 경계에만 디블로킹 필터를 적용하거나 디블로킹 필터를 사용하지 않는 방법 중 하나를 선택적으로 사용할 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
영상 부호화 장치(700)는 복수 개의 참조 픽처에 대한 현재 블록의 현재 움직임 벡터를 예측하여 결정한 복수 개의 참조 픽처에 대한 최적 움직임 벡터를 움직임 벡터 복호화 장치에서 예측할 수 있는지 여부에 따라 움직임 벡터 부호화 모드를 결정한다(S810). 즉, 영상 부호화 장치(700)는 도 3을 통해 전술한 바와 같이, list0 및 list1 최적 예측 움직임 벡터를 결정하고 영상 복호화 장치에서 list0 및 list1 최적 예측 움직임 벡터를 결정할 수 있는지 여부를 판단하여 움직임 벡터 부호화 모드를 결정한다. 이때, 움직임 벡터 부호화 모드는 도 3을 통해 전술한 바와 같이, 예측 가능 모드와 예측 불가능 모드로 결정될 수 있으며, 복수 개의 참조 픽처에 대해 각각 결정되거나 하나로 결정될 수도 있다.
영상 부호화 장치(700)는 움직임 벡터 부호화 모드에 따라 복수 개의 참조 픽처에 대한 최적 움직임 벡터 또는 복수 개의 참조 픽처에 대한 디폴트 움직임 벡터를 이용하여 복수 개의 참조 픽처에 대한 움직임 정보를 생성한다(S820). 즉, 영상 부호화 장치(700)는 도 3을 통해 전술한 바와 같이, 움직임 벡터 부호화 모드에 따라 list0 및 list1 최적 움직임 벡터 또는 list0 및 list1 디폴트 움직임 벡터를 이용하여 list0 및 list1 움직임 정보를 생성한다.
영상 부호화 장치(700)는 복수 개의 참조 픽처에 대한 움직임 정보와 움직임 벡터 부호화 모드를 부호화하여 움직임 벡터 부호화 데이터를 생성하고(S830), 복수 개의 참조 픽처에 대한 현재 움직임 벡터를 이용하여 현재 블록의 예측 블록을 생성하며(S840), 현재 블록과 예측 블록을 감산하여 생성한 잔차 블록을 부호화하여 잔차 블록 부호화 데이터를 생성하며(S850), 움직임 부호화 데이터와 잔차 블록 부호화 데이터를 포함하는 부호화 데이터를 생성하여 출력한다.
이상에서 전술한 바와 같이, 영상 부호화 장치(700)에 의해 부호화 데이터로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등의 통신 인터페이스를 통해 후술할 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
도 9는 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 복호화 장치(900)는 정보 추출부(910), 제 1 복호화부(920), 제 2 복호화부(930), 예측부(940), 가산부(950) 및 참조 픽처 저장부(960)를 포함하여 구성될 수 있다. 이러한 영상 복호화 장치(900)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
정보 추출부(910)는 부호화 데이터를 입력받아 블록 모드에 대한 정보(예를 들면, 식별자)를 추출하고 추출된 블록 모드에 대한 정보를 출력한다. 또한, 정보 추출부(910)는 블록 모드가 움직임 벡터 생략 모드인 경우(예를 들면, 블록 모드가 인트라 16x16 모드, 인트라 4x4 모드 등인 경우), 부호화 데이터로부터 움직임 벡터 부호화 데이터를 추출하지 않고 잔차 블록 부호화 데이터만을 추출하여 출력할 수 있다. 반면, 블록 모드가 움직임 벡터 생략 모드가 아닌 경우(예를 들면, 블록 모드가 인터 16x16 모드, 인터 4x4 모드, P8x8 모드 등인 경우), 정보 추출부(910)는 부호화 데이터로부터 움직임 벡터 부호화 데이터와 잔차 블록 부호화 데이터를 추출하여 출력한다. 이때, 정보 추출부(910)는 부호화 데이터로부터 참조 픽처에 대한 인덱스 정보를 추가로 추출하여 출력할 수 있다.
제 1 복호화부(920)는 정보 추출부(910)로부터 출력되는 잔차 블록 부호화 데이터를 복호화한다. 즉, 제 1 복호화부(920)는 엔트로피 부호화 기법 등을 이용하여 잔차 블록 부호화 데이터의 이진 데이터를 복호화하여 양자화 주파수 계수열을 생성하고 역 지그재그 스캔 등 다양한 스캔 방식에 의해 역 스캔하여 양자화 주파수 계수열을 갖는 잔차 블록을 생성한다. 만약, 잔차 블록 부호화 데이터의 이진 데이터가 주파수 계수가 부호화된 이진 데이터라면, 제 1 복호화부(920)에 의해 복호화된 잔차 블록은 주파수 계수를 갖는 잔차 블록이 될 것이고, 잔차 블록 부호화 데이터의 이진 데이터가 변환되지 않고 양자화되지 않은 잔차 신호가 부호화된 이진 데이터라면, 제 1 복호화부(920)에 의해 복호화된 잔차 블록은 잔차 신호를 갖는 잔차 블록이 될 것이다.
제 2 복호화부(930)는 제 1 복호화부(920)에 의해 복호화된 잔차 블록을 역 양자화하고 역 변환하여 잔차 블록을 복원한다. 즉, 제 2 복호화부(930)는 제 1 복호화부(920)로부터 출력되는 복호화된 잔차 블록의 양자화 주파수 계수를 역 양자화하고 역 양자화된 주파수 계수를 역 변환하여 잔차 신호를 갖는 잔차 블록을 복원한다. 만약, 제 2 복호화부(930)는 제 1 복호화부(920)에 의해 복호화된 잔차 블록이 양자화 주파수 계수를 갖는다면, 역 양자화와 역 변환을 모두 수행하지만, 제 1 복호화부(920)에 의해 복호화된 잔차 블록이 주파수 계수를 갖는다면, 역 양자화는 수행하지 않고 역 변환만을 수행할 수 있으며, 제 1 복호화부(920)에 의해 복호화된 잔차 블록이 잔차 신호만을 갖는다면, 역 양자화와 역 변환을 모두 수행하지 않거나, 영상 복호화 장치(900)에서 제 2 복호화부(930)는 구성되지 않고 생략될 수도 있을 것이다. 한편, 도 9에서는 제 1 복호화부(920)와 제 2 복호화부(930)가 독립적으로 구성되는 것으로 도시하고 설명했지만, 각 기능을 통합한 하나의 복호화부(미도시)로 구성될 수도 있을 것이다.
예측부(940)는 현재 블록을 예측하여 예측 블록을 생성한다. 이러한 예측부(940)는 움직임 벡터 복호화부(942) 및 움직임 보상부(944)를 포함하여 구성될 수 있으며, 정보 추출부(910)로부터 출력되는 움직임 벡터 부호화 데이터를 복호화하여 움직임 벡터 부호화 모드 및 복수 개의 참조 픽처에 대한 움직임 정보를 복원하고, 복원된 움직임 정보와 움직임 벡터 부호화 모드에 따라 복수 개의 참조 픽처에 대한 현재 움직임 벡터를 예측하여 결정한 복수 개의 참조 픽처에 대한 추정 최적 움직임 벡터 또는 움직임 벡터 부호화 장치와 기 설정된 디폴트 움직임 벡터를 이용하여 복수 개의 참조 픽처에 대한 현재 움직임 벡터를 복원하며, 복원된 복수 개의 참조 픽처에 대한 현재 움직임 벡터를 이용하여 현재 블록의 예측 블록을 생성한다.
움직임 벡터 복호화부(942)는 도 5를 통해 전술한 본 발명의 일 실시예에 따른 움직임 벡터 복호화 장치(500)와 같이 구현될 수 있다. 즉, 움직임 벡터 복호화부(942)는 움직임 벡터 부호화 데이터를 복호화하여 움직임 벡터 부호화 모드 및 list0 및 list1 움직임 정보를 복원하고, 움직임 벡터 부호화 모드가 예측 가능 모드인지 또는 예측 불가능 모드인지 여부에 따라서, list0 및 list1 추정 최적 움직임 벡터를 결정하여 list0 및 list1 예측 움직임 벡터로서 결정하거나 기 설정된 list0 및 list1 디폴트 움직임 벡터를 list0 및 list1 예측 움직임 벡터로서 결정하며, list0 및 list1 예측 움직임 벡터와 list0 및 list1 움직임 정보를 이용하여 list0 및 list1 현재 움직임 벡터를 복원한다.
움직임 보상부(944)는 참조 픽처 저장부(960)에 저장된 참조 픽처에서 움직임 벡터 복호화부(942)에 의해 복원된 list0 및 list1 현재 움직임 벡터에 의해 지시되는 참조 블록을 현재 블록의 예측 블록으로서 예측하여 예측 블록을 생성한다. 여기서, 움직임 벡터 복호화부(942)는 참조 픽처를 이용하는 데 있어서, 정보 추출부(910)로부터 참조 픽처에 대한 인덱스 정보가 출력되면, 참조 픽처 저장부(960)에 저장된 많은 참조 픽처 중에서 참조 픽처에 대한 인덱스 정보에 의해 식별되는 참조 픽처를 이용할 수 있다.
가산부(950)는 제 2 복호화부(930)로부터 출력되는 복원된 잔차 블록을 예측부(940)에서 예측되어 출력되는 예측 블록과 가산하여 현재 블록을 복원한다. 이와 같이 복원된 현재 블록은 픽처 단위로 누적되어 복원 영상으로서 출력되거나 참조 픽처로서 참조 픽처 저장부(960)에 저장되며, 다음 블록을 예측하는 데 활용될 수 있다.
도 9에서는 도시하지 않았지만, 전술한 본 발명의 일 실시예에 따른 영상 복호화 장치(900)는 H.264/AVC 표준에 기초하여, 인트라 예측을 위한 인트라 예측부, 복원된 현재 블록을 디블로킹 필터링(Deblocking Filtering)하는 디블록킹 필터부 등을 추가로 포함할 수 있다. 또한, 제 2 복호화부(930)는 H.264/AVC 표준에 기초하여, 특정 픽처(예를 들어, 인트라 픽춰)에 대한 역 변환 및 역 양자화 연산을 추가로 수행할 수도 있다.
도 10은 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
유무선 통신망 또는 케이블 등을 통해 영상에 대한 부호화 데이터를 수신하여 저장한 영상 복호화 장치(900)는 사용자의 선택 또는 실행 중인 다른 프로그램의 알고리즘에 따라 영상을 재생하기 위해, 영상을 복호화하여 복원한다.
이를 위해, 영상 복호화 장치(900)는 입력되는 부호화 데이터를 복호화하여 잔차 블록, 움직임 벡터 부호화 모드 및 복수 개의 참조 픽처에 대한 움직임 정보를 복원하고(S1010), 복원된 움직임 벡터 부호화 모드에 따라 복수 개의 참조 픽처에 대한 추정 최적 움직임 벡터 또는 복수 개의 참조 픽처에 대한 디폴트 움직임 벡터를 이용하여 복수 개의 참조 픽처에 대한 현재 움직임 벡터를 복원한다(S1020).
즉, 영상 복호화 장치(900)는 입력되는 부호화 데이터를 복호화하여 잔차 블록, 움직임 벡터 부호화 모드 및 list0 및 list1 움직임 정보를 복원하고, 복원된 움직임 벡터 부호화 모드에 따라 list0 및 list1 추정 최적 움직임 벡터 또는 list0 및 list1 디폴트 움직임 벡터를 이용하여 list0 및 list1 현재 움직임 벡터를 복원한다.
영상 복호화 장치(900)는 복원된 복수 개의 참조 픽처에 대한 현재 움직임 벡터 즉, list0 및 list1 현재 움직임 벡터를 이용하여 현재 블록을 예측하여 예측 블록을 생성하고(S1030), 복원된 잔차 블록과 예측 블록을 가산하여 현재 블록을 복원한다(S1040).
도 4, 도 6, 도 8 및 도 10과 그에 대한 설명에 나타낸 각 단계의 순서는 본 발명의 일 실시예에 따른 순서에 불과할 뿐, 본 발명의 본질적인 특성을 벗어나지 않는 범위 내에서 각 단계의 순서는 변경되어 구현될 수도 있다.
또한, 전술한 설명에서는, 움직임 벡터 부호화 모드는 예측 가능 모드와 예측 불가능 모드로 구분되는 것으로 설명했지만, 반드시 이에 한정되는 것은 아니며, 기 설정된 복수 개의 참조 픽처에 대한 디폴트 움직임 벡터를 복수 개의 참조 픽처에 대한 예측 움직임 벡터로 사용하는 모드와 기 설정된 기준 또는 방법에 따라 복수 개의 참조 픽처에 대한 최적 움직임 벡터를 복수 개의 참조 픽처에 대한 예측 움직임 벡터로 사용하는 모드로 구분될 수 있을 것이다.
전술한 본 발명의 일 실시예에 따르면, 움직임 벡터 부호화 장치(300) 또는 영상 부호화 장치(700)에서 복수 개의 참조 픽처에 대한 예측 모드를 선택하여 결정할 수 있도록 함으로써, 복수 개의 참조 픽처에 대한 현재 움직임 벡터와 동일 또는 더욱 유사한 움직임 벡터를 복수 개의 참조 픽처에 대한 예측 움직임 벡터로서 이용하여 복수 개의 참조 픽처에 대한 현재 움직임 벡터를 부호화하는 데 소요되는 비트량을 최소화할 수 있으며, 그에 따라 부호화 효율 또는 압축 효율을 향상시킬 수 있다.
또한, 본 발명의 일 실시예에 따르면, 더욱 정확한 복수 개의 참조 픽처에 대한 예측 움직임 벡터를 이용하여 부호화 효율을 향상시키면서도, 영상 부호화 장치(300) 또는 움직임 벡터 부호화 장치(300)는 선택된 복수 개의 참조 픽처에 대한 예측 움직임 벡터를 직접 복호화 장치로 알리지 않고, 움직임 벡터 복호화 장치(500) 또는 영상 복호화 장치(700)에서 직접 구할 수 있도록 움직임 정보나 움직임 벡터 부호화 모드와 같은 정보만을 전송하거나 그를 찾기 위한 함수를 공유함으로써, 복수 개의 참조 픽처에 대한 예측 움직임 벡터를 알리기 위해 발생하는 추가적인 비트량의 증가를 줄일 수 있으므로, 부호화 효율 및 복호화 효율을 더욱 향상시킬 수 있다.
또한, 본 발명의 일 실시예를 영상 처리 서비스 등에 적용하면, 적은 비트량으로 영상을 부호화할 수 있어서, 사용자에게 만족도 높은 서비스를 제공해줄 수 있다. 특히, 유선 환경에 비해 상대적으로 작은 대역폭, 큰 데이터 손실 및 지연 등을 가질 수 있는 무선 이동 환경에서는 더욱 큰 효과를 기대할 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명은 영상을 부호화하고 복호화하는 영상 처리 분야에 적용되어, 복수 개의 참조 픽처에 대한 현재 움직임 벡터의 예측 움직임 벡터를 더욱 정확하게 예측하고, 움직임 벡터를 부호화하는 데 소요되는 비트량을 감소시켜 압축 효율을 향상시킬 수 있는 효과를 발생하는 매우 유용한 발명이다.

Claims (10)

  1. 인터 예측을 사용하여 현재 블록을 예측하기 위한 영상 복호화 방법에 있어서,
    부호화 데이터로부터, 현재 블록의 움직임벡터를 결정하는 복수의 모드 중에서 하나의 모드를 선택하는 데에 사용되는 모드 정보를 획득하는 단계;
    상기 모드 정보가 제1모드를 지시하면, 상기 부호화 데이터를 복호화하여 제1차분 움직임벡터, 제1참조 픽처 인덱스, 제2차분 움직임벡터 및 제2참조 픽처 인덱스를 생성하는 단계;
    상기 현재 블록의 적어도 하나의 주변 블록을 이용하여, 제1참조 픽처 리스트를 참조하는 상기 현재 블록의 제1움직임벡터를 생성하기 위한 후보 움직임벡터들의 제1집합 및 제2참조 픽처 리스트를 참조하는 상기 현재 블록의 제2움직임벡터를 생성하기 위한 후보 움직임벡터들의 제2집합을 유도하는 단계;
    상기 제1집합으로부터 제1후보 움직임벡터를 선택하고 상기 제2집합으로부터 제2후보 움직임벡터를 선택하는 단계;
    상기 제1후보 움직임벡터와 상기 제1차분 움직임벡터에 근거하여 상기 현재블록의 제1움직임벡터를 생성하고, 상기 제2후보 움직임벡터와 상기 제2차분 움직임벡터에 근거하여 상기 현재블록의 제2움직임벡터를 생성하는 단계; 및
    상기 제1움직임벡터, 상기 제1참조 픽처 리스트에서 상기 제1참조 픽처 인덱스에 의해 지시되는 제1참조 픽처, 상기 제2움직임벡터 및 상기 제2참조 픽처 리스트에서 상기 제2참조 픽처 인덱스에 의해 지시되는 제2참조 픽처를 이용하여 상기 현재 블록의 예측 블록을 생성하는 단계를 포함하되,
    상기 제1집합을 유도하는 단계는, 상기 적어도 하나의 주변블록으로부터 유도되는 두 개의 후보 움직임벡터가 동일한 경우 그 중 하나만을 제1집합에 포함시키는 과정을 포함하고,
    상기 제2집합을 유도하는 단계는, 상기 적어도 하나의 주변블록으로부터 유도되는 두 개의 후보 움직임벡터가 동일한 경우 그 중 하나만을 상기 제2집합에 포함시키는 과정을 포함하는 것을 특징으로 하는 영상 복호화 방법.
  2. 제1항에 있어서,
    상기 적어도 하나의 주변 블록은, 상기 현재 블록의 좌측, 상단, 좌측 상단 및 우측 상단에 위치한 제1블록들을 포함하는 것을 특징으로 하는 영상 복호화 방법.
  3. 제1항에 있어서,
    상기 적어도 하나의 주변 블록은, 상기 제1참조 픽처 리스트와 상기 제2참조 픽처 리스트 중 어느 하나에 포함된 참조 픽처 내에 위치하는 제2블록을 포함하고, 상기 참조 픽처 내에서 상기 제2블록의 위치는 상기 현재 블록을 포함하는 현재 픽처 내에서의 상기 현재 블록의 위치에 근거하여 결정되는 것을 특징으로 하는 영상 복호화 방법.
  4. 제1항에 있어서,
    상기 제1후보 움직임벡터 및 상기 제2후보 움직임벡터는 상기 부호화 데이터에 포함된 정보에 근거하여 선택되는 것을 특징으로 하는 영상 복호화 방법.
  5. 제1항에 있어서,
    상기 모드 정보가 제2모드를 지시하면, 기정의된 제1움직임벡터와 기정의된 제2움직임벡터를 이용하여 상기 예측 블록을 생성하는 단계를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
  6. 인터 예측을 사용하여 현재 블록을 예측하기 위한 영상 복호화 장치에 있어서,
    부호화 데이터로부터, 상기 현재 블록의 움직임벡터를 결정하는 복수의 모드 중에서 하나의 모드를 선택하는 데에 사용되는 모드 정보를 획득하는 정보 추출부;
    상기 모드 정보가 제1모드를 지시하면, 상기 부호화 데이터를 복호화하여 제1차분 움직임벡터, 제1참조 픽처 인덱스, 제2차분 움직임벡터 및 제2참조 픽처 인덱스를 획득하고,
    상기 현재 블록의 적어도 하나의 주변 블록을 이용하여, 제1참조 픽처 리스트를 참조하는 상기 현재 블록의 제1움직임벡터를 생성하기 위한 후보 움직임벡터들의 제1집합과 제2참조 픽처 리스트를 참조하는 상기 현재 블록의 제2움직임벡터를 생성하기 위한 후보 움직임벡터들의 제2집합을 유도하며,
    상기 제1집합으로부터 제1후보 움직임벡터를 선택하고 상기 제2집합으로부터 제2후보 움직임벡터를 선택하며,
    상기 제1후보 움직임벡터와 상기 제1차분 움직임벡터에 근거하여 상기 현재 블록의 제1움직임벡터를 생성하고 상기 제2후보 움직임벡터와 상기 제2차분 움직임벡터에 근거하여 상기 현재 블록의 제2움직임벡터를 생성하는 움직임벡터 복호화부; 및
    상기 제1움직임벡터, 상기 제1참조 픽처 리스트에서 상기 제1참조 픽처 인덱스에 의해 지시되는 제1참조 픽처, 상기 제2움직임벡터 및 상기 제2참조 픽처 리스트에서 상기 제2참조 픽처 인덱스에 의해 지시되는 제2참조 픽처를 사용하여 상기 현재 블록의 예측 블록을 생성하는 움직임 보상부를 포함하되,
    상기 움직임벡터 복호화부가 상기 제1집합을 유도하는 과정은 상기 적어도 하나의 주변블록으로부터 유도되는 두 개의 후보 움직임벡터가 동일한 경우 그 중 하나만을 제1집합에 포함시키는 과정을 포함하고,
    상기 제2집합을 유도하는 과정은 상기 적어도 하나의 주변블록으로부터 유도되는 두 개의 후보 움직임벡터가 동일한 경우 그 중 하나만을 상기 제2집합에 포함시키는 과정을 포함하는 것을 특징으로 하는 영상 복호화 장치.
  7. 제6항에 있어서,
    상기 적어도 하나의 주변 블록은, 상기 현재 블록의 좌측, 상단, 좌측 상단 및 우측 상단에 위치한 제1블록들을 포함하는 것을 특징으로 하는 영상 복호화 장치.
  8. 제6항에 있어서,
    상기 적어도 하나의 주변 블록은, 상기 제1참조 픽처 리스트와 상기 제2참조 픽처 리스트 중 어느 하나에 포함된 참조 픽처 내에 위치하는 제2블록을 포함하고, 상기 참조 픽처 내에서 상기 제2블록의 위치는 상기 현재 블록을 포함하는 현재 픽처 내에서의 상기 현재 블록의 위치에 근거하여 결정되는 것을 특징으로 하는 영상 복호화 장치.
  9. 제6항에 있어서,
    상기 움직임벡터 복호화부는, 상기 부호화 데이터에 포함된 정보에 근거하여 상기 제1후보 움직임벡터와 상기 제2후보 움직임벡터를 선택하는 것을 특징으로 하는 영상 복호화 장치.
  10. 제6항에 있어서,
    상기 움직임 보상부는, 상기 모드 정보가 제2모드를 지시하면, 기정의된 제1움직임벡터와 기정의된 제2움직임벡터를 이용하여 상기 예측 블록을 생성하는 것을 특징으로 하는 영상 복호화 장치.
KR1020140009248A 2014-01-24 2014-01-24 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법 KR101575605B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140009248A KR101575605B1 (ko) 2014-01-24 2014-01-24 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140009248A KR101575605B1 (ko) 2014-01-24 2014-01-24 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020080100553A Division KR101377527B1 (ko) 2008-10-14 2008-10-14 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140027435A KR20140027435A (ko) 2014-03-06
KR101575605B1 true KR101575605B1 (ko) 2015-12-10

Family

ID=50641375

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140009248A KR101575605B1 (ko) 2014-01-24 2014-01-24 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101575605B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020047515A1 (en) * 2018-08-31 2020-03-05 Hulu, LLC Historical motion vector prediction with reset list

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000138935A (ja) 1998-10-29 2000-05-16 Fujitsu Ltd 動きベクトル符号化装置および復号装置
US20050053292A1 (en) 2003-09-07 2005-03-10 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US20070098077A1 (en) 2001-09-14 2007-05-03 Shijun Sun Adaptive filtering based upon boundary strength

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000138935A (ja) 1998-10-29 2000-05-16 Fujitsu Ltd 動きベクトル符号化装置および復号装置
US20070098077A1 (en) 2001-09-14 2007-05-03 Shijun Sun Adaptive filtering based upon boundary strength
US20050053292A1 (en) 2003-09-07 2005-03-10 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020047515A1 (en) * 2018-08-31 2020-03-05 Hulu, LLC Historical motion vector prediction with reset list
US11089297B2 (en) 2018-08-31 2021-08-10 Hulu, LLC Historical motion vector prediction with reset list
US11792390B2 (en) 2018-08-31 2023-10-17 Hulu, LLC Reset of historical motion vector prediction

Also Published As

Publication number Publication date
KR20140027435A (ko) 2014-03-06

Similar Documents

Publication Publication Date Title
KR101377527B1 (ko) 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101590511B1 (ko) 움직임 벡터 부호화/복호화 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101441905B1 (ko) 후보 예측 움직임 벡터 집합 선택을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101830352B1 (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
KR101377660B1 (ko) 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101444675B1 (ko) 영상 부호화 및 복호화 방법과 장치
KR101601813B1 (ko) 인터 예측을 이용한 영상 복호화 방법 및 장치
KR101418104B1 (ko) 움직임 벡터 해상도 조합을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101449683B1 (ko) 움직임 벡터 해상도 제한을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101527148B1 (ko) 인터 예측 장치 및 그를 이용한 영상 부호화/복호화 장치와방법
KR101575605B1 (ko) 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101575635B1 (ko) 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101575645B1 (ko) 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101575616B1 (ko) 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101590493B1 (ko) 인터 예측을 이용한 영상 부호화 및 복호화 방법과 장치
KR101582493B1 (ko) 움직임 벡터 부호화/복호화 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101582495B1 (ko) 움직임 벡터 부호화/복호화 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101422058B1 (ko) 움직임 벡터 부호화/복호화 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101483174B1 (ko) 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101693284B1 (ko) 전역움직임을 기반하여 결정된 부호화구조를 이용한 영상 부호화/복호화 방법 및 장치
KR101582504B1 (ko) 인터 예측을 이용한 영상 부호화 및 복호화 방법과 장치
KR101575636B1 (ko) 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101673026B1 (ko) 경쟁 기반 인터리브드 움직임 벡터코딩 방법 및 장치와 이를 이용한 영상 부호화/복호화 방법 및 장치
KR101445835B1 (ko) 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR20140049613A (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181203

Year of fee payment: 4