KR101590493B1 - 인터 예측을 이용한 영상 부호화 및 복호화 방법과 장치 - Google Patents

인터 예측을 이용한 영상 부호화 및 복호화 방법과 장치 Download PDF

Info

Publication number
KR101590493B1
KR101590493B1 KR1020140071721A KR20140071721A KR101590493B1 KR 101590493 B1 KR101590493 B1 KR 101590493B1 KR 1020140071721 A KR1020140071721 A KR 1020140071721A KR 20140071721 A KR20140071721 A KR 20140071721A KR 101590493 B1 KR101590493 B1 KR 101590493B1
Authority
KR
South Korea
Prior art keywords
motion vector
block
motion
unit
decoding
Prior art date
Application number
KR1020140071721A
Other languages
English (en)
Other versions
KR20140093910A (ko
Inventor
김하윤
전병우
문주희
이영렬
김해광
양정엽
원광현
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020140071721A priority Critical patent/KR101590493B1/ko
Publication of KR20140093910A publication Critical patent/KR20140093910A/ko
Application granted granted Critical
Publication of KR101590493B1 publication Critical patent/KR101590493B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Abstract

본 발명은 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치에 관한 것이다.
본 발명은 움직임 벡터를 부호화하는 장치에 있어서, 복수 개의 움직임 벡터를 추정하되, 복수 개의 움직임 벡터 중 하나의 움직임 벡터를 현재 블록의 움직임 벡터로서 추정하고, 복수 개의 움직임 벡터 중 나머지 움직임 벡터를 영상 복호화 장치와 기 정의된 하나 이상의 추정 기준에 따라 추정하는 움직임 벡터 추정부; 및 복수 개의 움직임 벡터를 이용하여 생성한 움직임 정보를 부호화하는 움직임 벡터 부호화부를 포함하는 것을 특징으로 하는 움직임 벡터 부호화 장치를 제공한다.
본 발명에 의하면, 더욱 정확한 움직임 벡터를 사용하여 추정하여 사용하면서도 움직임 벡터를 부호화하기 위한 비트량을 줄일 수 있어, 압축 효율을 향상시킬 수 있다.

Description

인터 예측을 이용한 영상 부호화 및 복호화 방법과 장치{Method and Apparatus for Encoding and Decoding Video by Using Inter Prediction}
본 발명은 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치에 관한 것이다. 더욱 상세하게는, 영상을 부호화하거나 복호화하는 데 있어서, 움직임을 추정(Estimation)하여 보상하기 위한 움직임 벡터를 효율적으로 부호화하거나 복호화하여 압축 효율을 향상시키는 방법 및 장치에 관한 것이다.
근래에 멀티미디어 기술은 비약적으로 발전하고 있으며, 이에 따라 오디오, 이미지, 동영상 등을 포함한 고품질의 멀티미디어 데이터들에 대한 수요도 증가하고 있다. 이러한 추세의 일환으로, 제한된 네트워크 환경에서 멀티미디어 데이터들을 전송하거나 저장하고 다시 읽고(Retrieve)자하는 수요를 충족시키기 위해 고효율의 영상 압축에 관한 국제 표준이 제정되었다. 특히, 동영상 압축에 관한 국제표준으로 ISO/IEC JTC1/SC29 MPEG 그룹 및 ITU-T VCEG 그룹이 제정한 H.264/AVC MPEG-4 Part.10 표준은, 높은 압축 효율을 달성하기 위해, 가변적인 블록 크기에서의 움직임 추정 및 보상(Variable Block Size Motion Estimation and Compensation), 인트라 예측(Intra prediction) 부호화 등 다양한 예측 부호화 방법들을 사용한다.
움직임 추정을 통해서 움직임 벡터를 생성하고 움직임 벡터를 이용하여 움직임 보상을 수행하는데, 영상 부호화 및 복호화 분야에서 통상적으로 사용되고 있는 움직임 벡터의 부호화 및 복호화 방법은 공간적으로 위치한 주변 블록의 움직임 벡터를 예측값(Predicted Value)으로 사용하여 추정(Estimation)된 블록의 움직임 벡터에 대해 예측 부호화를 수행하는 것이다. 즉, 현재 블록의 움직임 벡터는 주변 블록의 움직임 벡터와 밀접한 상관 관계가 있기 때문에, 주변 블록의 움직임 벡터를 이용하여 현재 움직임 벡터에 대한 예측값을 계산하여 예측 움직임 벡터(PMV: Predicted Motion Vector)로서 생성한 후, 현재 블록의 움직임 벡터의 값 자체를 부호화하지 않고 예측 움직임 벡터와의 차이값만을 부호화함으로써 움직임 벡터를 부호화하기 위해 필요한 비트량을 줄여 부호화 효율을 높이고 있다.
따라서, 이러한 통상적인 움직임 벡터 부호화 방법에서는 효율적인 압축을 위하여 예측 움직임 벡터가 현재 블록의 움직임 벡터와 유사할수록 압축 효율을 높일 수 있다. 하지만, 현재 블록의 움직임 벡터와 가장 유사한 예측 움직임 벡터를 이용하기 위해서는, 예측 움직임 벡터로서 어떤 값을 이용하는지에 대한 정보를 함께 부호화해야 하기 때문에, 비트량이 증가하여 압축 효율이 감소되는 문제점이 있다.
전술한 문제점을 해결하기 위해 본 발명은, 영상을 부호화하거나 복호화하는 데 있어서, 움직임을 추정(Estimation)하여 보상하기 위한 움직임 벡터를 효율적으로 부호화하거나 복호화하여 압축 효율을 향상시키는 데 주된 목적이 있다.
전술한 목적을 달성하기 위해 본 발명은, 움직임 벡터를 부호화하는 장치에 있어서, 복수 개의 움직임 벡터를 추정하되, 복수 개의 움직임 벡터 중 하나의 움직임 벡터를 현재 블록의 움직임 벡터로서 추정하고, 복수 개의 움직임 벡터 중 나머지 움직임 벡터를 영상 복호화 장치와 기 정의된 하나 이상의 추정 기준에 따라 추정하는 움직임 벡터 추정부; 및 복수 개의 움직임 벡터를 이용하여 생성한 움직임 정보를 부호화하는 움직임 벡터 부호화부를 포함하는 것을 특징으로 하는 움직임 벡터 부호화 장치를 제공한다.
또한, 본 발명의 다른 목적에 의하면, 움직임 벡터를 부호화하는 방법에 있어서, 복수 개의 움직임 벡터를 추정하되, 복수 개의 움직임 벡터 중 하나의 움직임 벡터를 현재 블록의 움직임 벡터로서 추정하고, 복수 개의 움직임 벡터 중 나머지 움직임 벡터를 영상 복호화 장치와 기 정의된 하나 이상의 추정 기준에 따라 추정하는 움직임 벡터 추정 단계; 및 복수 개의 움직임 벡터를 이용하여 생성한 움직임 정보를 부호화하는 움직임 정보 부호화 단계를 포함하는 움직임 벡터 부호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 부호화하는 장치에 있어서, 복수 개의 움직임 벡터를 추정하여 생성한 움직임 정보를 부호화하며, 복수 개의 움직임 벡터 중 하나의 움직임 벡터를 현재 블록의 움직임 벡터로서 이용하여 현재 블록의 예측 블록을 생성하는 예측부; 현재 블록과 예측 블록을 감산하여 잔차 블록을 생성하는 감산부; 잔차 블록을 부호화하는 부호화부; 및 부호화된 움직임 정보 및 부호화된 잔차 블록을 포함하는 부호화 데이터를 생성하여 출력하는 부호화 데이터 생성부를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 부호화하는 방법에 있어서, 복수 개의 움직임 벡터를 추정하여 생성한 움직임 정보를 부호화하며, 복수 개의 움직임 벡터 중 하나의 움직임 벡터를 현재 블록의 움직임 벡터로서 이용하여 현재 블록의 예측 블록을 생성하는 예측 단계; 현재 블록과 예측 블록을 감산하여 잔차 블록을 생성하는 감산 단계; 잔차 블록을 부호화하는 부호화 단계; 및 부호화된 움직임 정보 및 부호화된 잔차 블록을 포함하는 부호화 데이터를 생성하여 출력하는 부호화 데이터 생성 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 움직임 벡터를 복호화하는 장치에 있어서, 영상 부호화 장치와 기 정의된 하나 이상의 추정 기준에 따라 하나 이상의 움직임 벡터를 추정하는 움직임 벡터 추정부; 부호화된 움직임 정보를 복호화하여 복원하는 움직임 정보 복원부; 및 복원된 움직임 정보와 추정된 하나 이상의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터를 복원하는 움직임 벡터 복원부를 포함하는 것을 특징으로 하는 움직임 벡터 복호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 움직임 벡터를 복호화하는 방법에 있어서, 영상 부호화 장치와 기 정의된 하나 이상의 추정 기준에 따라 하나 이상의 움직임 벡터를 추정하는 움직임 벡터 추정 단계; 부호화된 움직임 정보를 복호화하여 복원하는 움직임 정보 복원 단계; 및 복원된 움직임 정보와 추정된 하나 이상의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터를 복원하는 움직임 벡터 복원 단계를 포함하는 것을 특징으로 하는 움직임 벡터 복호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 장치에 있어서, 부호화 데이터로부터 부호화된 잔차 블록 및 부호화된 움직임 정보를 추출하는 정보 추출부; 부호화된 잔차 블록을 복호화하여 복원하는 복호화부; 영상 부호화 장치와 기 정의된 하나 이상의 추정 기준에 따라 하나 이상의 움직임 벡터를 추정하고 부호화된 움직임 정보를 복호화하여 복원하며, 복원된 움직임 정보와 추정된 하나 이상의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터를 복원하고 복원된 현재 블록의 움직임 벡터를 이용하여 현재 블록의 예측 블록을 생성하는 예측부; 및 복원된 잔차 블록과 예측 블록을 가산하여 현재 블록을 복원하는 가산부를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 방법에 있어서, 부호화 데이터로부터 부호화된 잔차 블록 및 부호화된 움직임 정보를 추출하는 정보 추출 단계; 부호화된 잔차 블록을 복호화하여 복원하는 복호화 단계; 영상 부호화 장치와 기 정의된 하나 이상의 추정 기준에 따라 하나 이상의 움직임 벡터를 추정하고 부호화된 움직임 정보를 복호화하여 복원하며, 복원된 움직임 정보와 추정된 하나 이상의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터를 복원하고 복원된 현재 블록의 움직임 벡터를 이용하여 현재 블록의 예측 블록을 생성하는 예측 단계; 및 복원된 잔차 블록과 예측 블록을 가산하여 현재 블록을 복원하는 가산 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 더욱 정확한 움직임 벡터를 사용하여 움직임을 추정하여 보상하기 위한 움직임 벡터를 부호화하는 데 따른 비트량을 줄일 수 있어, 압축 효율을 향상시킬 수 있다.
도 1은 H.264/AVC 표준에 따라 움직임 벡터를 부호화하는 과정을 설명하기 위한 예시도,
도 2는 엔트로피 부호화를 위한 심볼당 비트수를 나타낸 예시도,
도 3은 본 발명의 일 실시예에 따른 영상 부호화 장치의 구성을 간략하게 나타낸 블록 구성도,
도 4는 본 발명의 일 실시예에 따른 움직임 벡터 부호화 장치의 구성을 간략하게 나타낸 블록 구성도,
도 5는 본 발명의 일 실시예에 따라 제 1 움직임 벡터를 추정하는 과정을 설명하기 위한 예시도,
도 6은 본 발명의 일 실시예에 따라 제 2 움직임 벡터를 추정하는 과정을 설명하기 위한 예시도,
도 7은 본 발명의 일 실시예에 따른 움직임 벡터 부호화 방법을 설명하기 위한 순서도,
도 8은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도,
도 9는 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 간략하게 나타낸 블록 구성도,
도 10은 본 발명의 일 실시예에 따른 움직임 벡터 복호화 장치의 구성을 간략하게 나타낸 블록 구성도,
도 11은 본 발명의 일 실시예에 따른 움직임 벡터 복호화 방법을 설명하기 위한 순서도,
도 12는 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 H.264/AVC 표준에 따라 움직임 벡터를 부호화하는 과정을 설명하기 위한 예시도이다.
도 1에서, 블록 D는 움직임 벡터를 부호화하고자 하는 현재 블록이고, 블록 A, 블록 B 및 블록 C는 블록 D에 대한 주변 블록을 나타낸다.
Figure 112014055108323-pat00001
,
Figure 112014055108323-pat00002
,
Figure 112014055108323-pat00003
및
Figure 112014055108323-pat00004
는 각각 블록 A, 블록 B, 블록 C, 블록 D가 갖는 움직임 벡터이고, 각각은 수평성분 (
Figure 112014055108323-pat00005
,
Figure 112014055108323-pat00006
,
Figure 112014055108323-pat00007
및
Figure 112014055108323-pat00008
)과 수직성분 (
Figure 112014055108323-pat00009
,
Figure 112014055108323-pat00010
,
Figure 112014055108323-pat00011
및
Figure 112014055108323-pat00012
)을 가지는 것으로 정의한다. 그리고 현재 블록의 움직임 벡터
Figure 112014055108323-pat00013
는 (2,0)이고, 주변 블록의 움직임 벡터인
Figure 112014055108323-pat00014
,
Figure 112014055108323-pat00015
및
Figure 112014055108323-pat00016
는 각각 (2,0), (2,1) 및 (2,2)인 것으로 가정한다. 또한, 전술한 현재 블록의 움직임 벡터에 대한 예측 움직임 벡터(PMV: Predicted Motion Vector)
Figure 112014055108323-pat00017
를 수학식 1과 같이 계산하며, 예측 움직임 벡터
Figure 112014055108323-pat00018
는 역시 각각은 수평성분(
Figure 112014055108323-pat00019
)과 수직성분(
Figure 112014055108323-pat00020
)을 가지는 것으로 정의한다.
Figure 112014055108323-pat00021
수학식 1을 참조하면, 현재 블록의 움직임 벡터에 대한 예측 움직임 벡터는 주변 블록(블록 A, 블록 B, 블록 C)의 움직임 벡터의 중간값을 계산하는 Median(□)에 의해 계산됨을 확인할 수 있다. 수학식 1을 이용하여 현재 움직임 벡터
Figure 112014055108323-pat00022
의 예측 움직임 벡터
Figure 112014055108323-pat00023
가 구해지면, 수학식 2를 사용하여 부호화해야 할 현재 블록의 움직임 벡터에서 예측 움직임 벡터를 차분한 차분 움직임 벡터
Figure 112014055108323-pat00024
를 구할 수 있으며, 이 차분 움직임 벡터는 엔트로피 부호화 등의 미리 정의된 소정의 방법에 의해 부호화되어 저장(또는 전송)된다.
Figure 112014055108323-pat00025
도 1에 예시되어 있는 것처럼, 현재 움직임 벡터
Figure 112014055108323-pat00026
가 (2,0)인 경우, 수학식 1에 의한 중간값을 사용한 예측 움직임 벡터는 (2,1)이 되며, 수학식 2에 의해 차분 움직임 벡터
Figure 112014055108323-pat00027
는 (0, 1)이 된다.
도 2는 엔트로피 부호화를 위한 심볼당 비트수를 나타낸 예시도이다.
도 1을 통해 전술한 차분 움직임 벡터
Figure 112014055108323-pat00028
를 도 2에 도시한 엔트로피 부호화를 위한 테이블을 이용하여 부호화하면, 모두 4 비트(수평 성분에 대해 1 비트, 수직 성분에 대해 3 비트)가 필요하다. 반면,
Figure 112014055108323-pat00029
인 (2,0)을 예측 움직임 벡터로 사용하면 차분 움직임 벡터
Figure 112014055108323-pat00030
가 (0,0)이 되어, 이를 부호화하는데 소요되는 비트량은 모두 2 비트(수평 성분에 대해 1 비트, 수직 성분에 대해 1 비트)가 된다. 따라서, 중간값을 사용한 예측 움직임 벡터를 사용하는 방법에 비해 2 비트를 감소시킬 수 있다.
하지만, 전술한 바와 같이,
Figure 112014055108323-pat00031
를 예측 움직임 벡터로 사용하기 위해서는
Figure 112014055108323-pat00032
중에서 어떤 움직임 벡터가 예측 움직임 벡터(PMV)로 사용되었는지에 대한 정보를 함께 전송해야 하기 때문에, 압축 효율의 향상 여부를 보장할 수 없다. 따라서, 더욱 높은 부호화 효율을 달성하기 위해서는 어떤 예측값(Predicted Value)이 사용되었는지에 대한 정보를 추가하지 않으면서도, 더욱 정확한 예측값을 사용하여 움직임 벡터를 부호화하는 방법이 필요하다.
도 3은 본 발명의 일 실시예에 따른 영상 부호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 부호화 장치(300)는 블록 모드 결정부(310), 예측부(320), 감산부(330), 제 1 부호화부(340), 제 2 부호화부(350), 부호화 데이터 생성부(360), 복호화부(370), 가산부(380) 및 참조 픽처 저장부(390)를 포함하여 구성될 수 있다. 이러한 영상 부호화 장치(300)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
블록 모드 결정부(310)는 영상에서 현재 부호화하고자 하는 현재 블록에 선택될 수 있는 블록 모드들에 대해 소정의 최적 기준(예를 들어, 율-왜곡 최적화 기준)을 적용하여 현재 블록에 대한 블록 모드(예를 들어, 최소의 율-왜곡 비용을 갖는 블록 모드)를 결정한다. 영상 부호화 장치(300)에 블록 모드가 기 설정되어 있다면, 블록 모드 결정부(310)는 반드시 영상 부호화 장치(300)에 포함되지 않고 선택적으로 생략될 수 있다.
예측부(320)는 현재 블록을 예측하여 예측 블록을 생성하고 출력한다. 즉, 예측부(320)는 영상에서 부호화하고자 하는 현재 블록의 각 화소의 화소값(Pixel Value)을 예측하여 예측된 각 화소의 예측 화소값(Predicted Pixel Value)을 갖는 예측 블록(Predicted Block)을 생성한다. 이러한 예측부(320)는 인터 예측을 수행하는 경우에는 도시한 바와 같이, 움직임 벡터 부호화부(322) 및 움직임 보상부(324)를 포함하여 구성될 수 있다.
움직임 벡터 부호화부(322)는 블록 모드 결정부(310)로부터 출력되는 현재 블록에 대한 블록 모드 또는 기 설정된 블록 모드에 대응하는 블록 단위(예를 들어, 16×16 블록, 16×8 블록, 8×16 블록, 8×8 블록, 8×4 블록, 4×8 블록, 4×4 블록)로 참조 픽처 저장부(390)에 저장된 하나 이상의 참조 픽처를 참조하여 제 1 움직임 벡터와 제 2 움직임 벡터를 추정(Estimation)하고, 추정된 제 1 움직임 벡터와 제 2 움직임 벡터를 이용하여 움직임 정보를 생성하고 부호화하여 출력한다. 이때, 움직임 벡터 부호화부(322)는 제 1 움직임 벡터와 제 2 움직임 벡터를 추정하는 데 사용한 참조 픽처를 식별하기 위한 정보인 참조 픽처에 대한 인덱스 정보를 출력할 수 있다.
여기서, 움직임 벡터 부호화부(322)는 블록 모드 결정부(310)로부터 출력되는 참조 픽처에 대한 인덱스 정보를 이용하거나 기 설정된 참조 픽처에 대한 인덱스 정보를 이용할 수 있고, 참조 픽처에 대한 인덱스 정보에 의해 지시되는 참조 픽처를 참조하여 제 1 움직임 벡터와 제 2 움직임 벡터를 추정할 수 있다. 또한, 움직임 벡터 부호화부(322)는 블록 모드 결정부(310)로부터 블록 모드만이 출력되거나 참조 픽처에 대한 인덱스정보가 기 설정되지 않은 경우, 현재 부호화하고자 하는 현재 픽처와 시간적으로 주변에 위치하되 부호화에 사용할 수 있는 참조 픽처들에서 블록 모드에 따른 블록들에 대해 각각 현재 블록과의 오차값을 연산하고, 최소의 오차값을 갖는 블록을 포함하는 참조 픽처를 기준으로 제 1 움직임 벡터와 제 2 움직임 벡터를 추정할 수도 있다. 움직임 벡터 부호화부(322)에 대해서는 후술하는 과정에서 도 4를 통해 상세히 설명한다.
움직임 보상부(324)는 움직임 벡터 부호화부(322)로부터 출력되는 참조 픽처에 대한 인덱스 정보에 의해 지시되는 참조 픽처에 움직임 벡터 부호화부(322)로부터 출력되는 현재 블록의 움직임 벡터인 제 2 움직임 벡터를 이용하여 현재 블록의 예측 블록을 생성하고 출력한다.
감산부(330)는 현재 블록에서 예측 블록을 감산하여 잔차 블록(Residual Block)을 생성한다. 즉, 감산부(330)는 부호화하고자 하는 현재 블록의 각 화소의 화소값과 예측부(320)에서 예측한 예측 블록의 각 화소의 예측 화소값의 차이를 계산하여 블록 형태의 잔차 신호(Residual Signal)를 갖는 잔차 블록을 생성한다.
제 1 부호화부(340)는 잔차 블록을 변환 및 양자화하여 양자화된 잔차 블록을 출력한다. 즉, 제 1 부호화부(340)는 잔차 블록의 잔차 신호를 주파수 영역으로 변환하여 잔차 블록의 각 화소값을 주파수 계수로 변환하고, 주파수 계수를 갖는 잔차 블록을 양자화(Quantization)한다. 여기서, 제 1 부호화부(340)는 하다마드 변환(Hadamard Transform), 이산 코사인 변환 기반 변환(DCT based Transform: Discrete Cosine Transform Based Transform) 등과 같은 공간축의 화상 신호를 주파수축으로 변환하는 다양한 변환 기법을 이용하여 잔차 신호를 주파수 영역으로 변환할 수 있는데, 주파수 영역으로 변환된 잔차 신호가 주파수 계수가 된다. 또한, 제 1 부호화부(340)는 변환된 잔차 블록을 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization, 이하 'DZUTQ'라 칭함), 양자화 가중치 매트릭스(Quantization Weighted Matrix) 또는 이를 개량한 양자화 기법 등을 사용하여 양자화할 수 있다.
한편, 이상에서는 제 1 부호화부(340)가 잔차 블록을 변환하고 양자화하는 것으로 설명했지만, 잔차 블록의 잔차 신호를 변환하여 주파수 계수를 갖는 잔차 블록을 생성하고 양자화 과정을 수행하지 않을 수 있으며, 잔차 블록의 잔차 신호를 주파수 계수로 변환하지 않고 양자화 과정만을 수행할 수 있을 뿐만 아니라, 심지어는 변환과 양자화 과정을 모두 수행하지 않을 수 있다. 변환과 양자화 과정을 수행하지 않는 경우에는 본 발명의 일 실시예에 따른 영상 부호화 장치(340)에서 제 1 부호화부(340)는 생략될 수 있을 것이다.
제 2 부호화부(350)는 제 1 부호화부(340)로부터 출력되는 잔차 블록을 부호화한다. 즉, 제 2 부호화부(350)는 잔차 블록의 양자화 주파수 계수, 주파수 계수 또는 잔차 신호를 지그재그 스캔과 같은 다양한 스캔 방식에 따라 스캔하여 양자화 주파수 계수열, 주파수 계수열 또는 신호열을 생성하고 엔트로피 부호화(Entropy Coding) 기법 등 다양한 부호화 기법을 이용하여 부호화한다. 한편, 이러한 제 1 부호화부(340)와 제 2 부호화부(350)의 기능이 통합되어 하나의 부호화부로서 구현될 수도 있다.
부호화 데이터 생성부(360)는 부호화부(350)로부터 출력되는 부호화된 잔차 블록과 움직임 벡터 부호화부(322)로부터 출력되는 부호화된 움직임 정보를 포함하는 부호화 데이터를 생성하여 출력한다. 또한, 부호화 데이터 생성부(360)는 블록 모드 결정부(310)로부터 출력되거나 기 설정된 현재 블록에 대한 블록 모드에 대한 정보를 부호화 데이터에 추가로 포함시켜 출력할 수 있다. 이러한 부호화 데이터 생성부(360)는 멀티플렉서(MUX: Multiplexer)로 구현될 수 있다.
복호화부(370)는 제 1 부호화부(340)에 의해 양자화된 잔차 블록을 역 양자화(Inverse Quantization)하고 역 변환(Inverse Transform)한다. 즉, 복호화부(370)는 앙자화된 잔차 블록의 양자화 주파수 계수들을 역 양자화하여 주파수 계수를 갖는 잔차 블록을 생성하고, 역 양자화된 잔차 블록을 역 변환하여 화소값을 갖는 잔차 블록 즉, 복원된 잔차 블록을 생성한다. 여기서, 복호화부(370)는 제 1 부호화부(340)에서 사용한 변환 방식과 양자화 방식을 역으로 사용하여 역 변환 및 역 양자화할 수 있다. 또한, 제 1 부호화부(340)에서 변환만을 수행하고 양자화를 수행하지 않은 경우, 복호화부(370)는 역 변환만을 수행하고 역 양자화를 수행하지 않으며, 제 1 부호화부(340)에서 양자화만을 수행하고 변환을 수행하지 않은 경우에는 역 양자화만을 수행하고 역 변환을 수행하지 않을 수 있다. 만약, 제 1 부호화부(340)에서 변환 및 양자화를 모두 수행하지 않거나 제 1 부호화부(340)가 영상 부호화 장치(300)에 구성되지 않고 생략된 경우, 복호화부(370)도 역 변환 및 역 양자화를 모두 수행하지 않거나 영상 부호화 장치(300)에 구성되지 않고 생략될 수 있다.
가산부(380)는 예측부(320)에서 예측된 예측 블록과 복호화부(370)에 의해 복원된 잔차 블록을 가산하여 현재 블록을 복원한다. 참조 픽처 저장부(390)는 가산부(380)로부터 출력되는 복원된 현재 블록을 픽처 단위로 참조 픽처로서 저장하여 예측부(320)가 현재 블록의 다음 블록이나 향후 다른 블록을 부호화할 때 참조 픽처로서 사용할 수 있도록 한다.
도 3에서는 도시하지 않았지만, 전술한 본 발명의 일 실시예에 따른 영상 부호화 장치(300)는 H.264/AVC 표준에 기초하여, 인트라 예측(Intra Prediction)을 위한 인트라 예측부, 복원된 현재 블록을 디블로킹 필터링(Deblocking Filtering)하는 디블록킹 필터부 등을 추가로 포함할 수 있다. 또한, 제 1 부호화부(340) 및 복호화부(370)는 H.264/AVC 표준에 기초하여, 특정 픽처(예를 들어, 인트라 픽춰)에 대한 변환 및 양자화(또는 역 변환 및 역 양자화) 연산을 추가로 수행할 수도 있다. 여기서, 디블로킹 필터링이란 영상을 블록 단위로 부호화하면서 발생하는 블록 왜곡을 감소시키는 작업을 말하며, 블록 경계와 매크로블록 경계에 디블로킹 필터를 적용하거나 매크로블록 경계에만 디블로킹 필터를 적용하거나 디블로킹 필터를 사용하지 않는 방법 중 하나를 선택적으로 사용할 수 있다.
도 4는 본 발명의 일 실시예에 따른 움직임 벡터 부호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 움직임 벡터 부호화 장치는 도 3을 통해 전술한 본 발명의 일 실시예에 따른 영상 부호화 장치(300)에서는 움직임 벡터 부호화부(322)로 구현될 수 있으므로, 이하에서는 설명의 편의를 위해, 움직임 벡터 부호화부(322)라 칭한다.
본 발명의 일 실시예에 따른 움직임 벡터 부호화부(322)는 제 1 움직임 벡터 추정부(410), 제 2 움직임 벡터 추정부(420) 및 움직임 정보 부호화부(430)를 포함하여 구성될 수 있다.
제 1 움직임 벡터 추정부(410)는 제 1 움직임 벡터를 예측하기 위한 소정의 탐색 범위 내에 포함된 움직임 벡터들 중에서 영상 부호화 장치(300)와 후술할 영상 복호화 장치가 사전에 공유 또는 정의하고 있어 영상 복호화 장치에서도 스스로 제 1 움직임 벡터를 예측할 수 있는 소정의 제 1 추정 기준에 따라 제 1 움직임 벡터를 예측한다. 이러한 소정의 제 1 추정 기준의 일 예로서, 도 5에 도시한 바와 같은 인접 화소 정합(TM: Template Matching) 방법이 사용될 수 있다. 인접 화소 정합 방법은 수학식 3에 의해 계산될 수 있다.
Figure 112014055108323-pat00033
수학식 3에서, 탐색 범위 SR1은 제 1 움직임 벡터 예측을 위한 참조 픽처상의 영역의 크기를 나타낸다. 예를 들어, 도 5를 참조하면, 수평 방향으로 8 화소 및 수직 방향으로 8 화소로 정의된 탐색 범위를 생각할 수 있다. 또한, 수학식 3에서, TMS(Template Matching Set)는 인접 화소 정합을 위해 사용하는 화소의 상대적 위치를 지정하는 인덱스 j들의 집합이다. 인접 화소 정합 방법은 TMS 내의 유한한 개수의 인덱스 j에 대해, 움직임 추정(Estimation)을 위한 탐색 범위 SR1 내에 포함되어 있는 후보 움직임 벡터
Figure 112014055108323-pat00034
를 이용해 얻어진 참조 픽처상의 참조 블록 주변의 인덱스 j가 지시하는 해당 화소값
Figure 112014055108323-pat00035
과 현재 블록 주변의 인덱스 j가 지시하는 해당 화소값
Figure 112014055108323-pat00036
의 차이를 추정 오류로 판단한다. 현재 픽처의 해당 화소값
Figure 112014055108323-pat00037
는 이미 부호화 및 복호화 과정을 완료한 복원 영상이므로 영상 부호화 장치(300) 및 영상 복호화 장치에서 모두 알 수 있는 정보이다.
REF1 및 CUR1와 같이, 영상 복호화 장치가 알 수 있고, 제 1 움직임 벡터의 예측에 사용되는 조건을 소정의 복호화 조건 C dec 라 한다. 즉, 탐색 범위 내에서 가장 작은 추정 오류를 갖도록 하는 후보 움직임 벡터를 영상 복호화 장치에서 추정(Estimation) 수 있는 제 1 움직임 벡터
Figure 112014055108323-pat00038
로 추정한다. 수학식 3에서는 추정 오류를 계산하기 위해 차이의 제곱합(SSD: Sum of Squared Difference)을 사용하였으나, 본 발명을 적용할 응용 및 목적에 따라 차이의 평균합(SAD: Sum of Absolute Difference) 등의 다른 방법도 적용이 가능하다.
또한, 영상 부호화 장치에서 추정한 제 1 움직임 벡터에 대해, 영상 복호화 장치에서도 기 복원된 소정의 복호화 조건 C dec (예를 들어, 참조 픽처와 현재 픽처에서 현재 블록에 대응되는 기 복원된 주변 화소값)을 이용하여 동일한 제 1 움직임 벡터를 추정할 수 있다면, 도 5에 도시한 인접 화소 정합 방법 이외의 여타의 다른 추정 기준도 소정의 추정 기준으로서 사용이 가능하다. 예를 들어, 전술한 H.264/AVC 표준에서 사용하는 중간값 계산 방법을 사용해 제 1 움직임 벡터를 추정할 경우, 도 1에 나타낸 현재 블록의 제 1 움직임 벡터는 주변 블록의 움직임 벡터를 이용하여 수학식 4와 같이 계산될 수 있으며, 수학식 4의
Figure 112014055108323-pat00039
은 영상 복호화 장치에서, 기 복원된 소정의 복호화 조건 C dec 을 이용하여 동일한 값으로 추정이 가능하다. 이때, C dec 는 현재 블록의 인접한 블록의 기 복원된 움직임 벡터로 정한 경우이다.
Figure 112014055108323-pat00040
즉, 영상 부호화 장치와 영상 복호화 장치가 사전에 정의하고 있다는 전제 하에서, 본 발명을 적용할 응용 및 목적에 따라 중간값 계산 방법, 경계 화소 정합(BM: Boundary Matching) 방법 등의 다양한 방법으로 제 1 추정 기준이 정의될 수 있다.
제 2 움직임 벡터 추정부(420)는 제 2 움직임 벡터를 추정하기 위한 탐색 범위 내에 포함되어 있는 움직임 벡터들 중에서 소정의 제 2 추정 기준에 따라 영상 부호화 장치(300)에서 추정할 수 있는 제 2 움직임 벡터를 결정한다. 제 2 움직임 벡터 추정부(420)는 도 6에 예를 들어 도시한 바와 같이, 영상 부호화 장치(300)에서만 이용할 수 있는 제 2 추정 기준을 이용하여 현재 블록에 대한 움직임 벡터를 추정함으로써 제 2 움직임 벡터를 추정한다. 이러한 제 2 추정 기준은 수학식 5와 같은 율-왜곡 최적화 기준이 이용될 수 있지만, 이외의 다른 기준들도 사용할 수 있다.
Figure 112014055108323-pat00041
수학식 5에서,
Figure 112014055108323-pat00042
는 제 2 움직임 벡터를 추정하기 위한 탐색 범위 SR2에 포함된 후보 움직임 벡터이고,
Figure 112014055108323-pat00043
는 후보 움직임 벡터 중에서 제 2 추정 기준을 나타내는 f enc (□)를 최소로 만드는 제 2 움직임 벡터를 나타낸다. 여기서, 제 1 움직임 벡터를 추정하기 위한 탐색 범위 SR1과 제 2 움직임 벡터를 추정하기 위한 탐색 범위 SR2가 반드시 서로 동일할 필요는 없다. 전술한 바와 같이, 소정의 제 2 추정 기준 f enc (□)는 율-왜곡 최적화 함수 J(□)가 바람직하다. J(□)는 왜곡 함수 D(□)와 율 함수 R(□)로 표현될 수 있다.
본 발명의 일 실시예에서 소정의 부호화 조건 C enc 는 제 2 움직임 벡터를 결정하는데 영향을 미치는 요소를 말한다. 도 6 및 수학식 5를 참조하면, 현재 픽처의 화소값, 참조 픽처로 사용되는 참조 블록의 화소값 등이 부호화 조건 C enc 에 해당한다. 본 발명의 일 실시예에서 왜곡 함수 D(□)와 율 함수 R(□)는 수학식 6을 통해 계산될 수 있으며, 율 함수 R(□)에 사용되는
Figure 112014055108323-pat00044
는 제 1 움직임 벡터의 추정을 수행한 후에 얻어지는제 1 움직임 벡터를 의미한다.
Figure 112014055108323-pat00045
수학식 6에서, 수학식 6에서 MES(Motion Etsimation Set)는 블록 매칭(Block Matching)을 위해 사용되는 화소의 위치를 지정하는 인덱스 j들의 집합으로 제 2 움직임 벡터를 구하려는 현재 블록 내의 화소들의 위치를 나타낸다. 통상적으로 MES는 현재 블록(또는 참조 블록) 내의 모든 화소를 나타내는 것으로 정의하나, 빠른 매칭 등 응용에 따라, 이 중 일부만의 화소 위치를 나타내는 것으로 제한할 수도 있다.
단, 소정의 제 2 추정 기준은 전술한 일 실시예와 같이 정의될 수도 있지만, 반드시 이에 한정되지 않고 본 발명을 적용할 응용 및 목적에 따라 다양한 방법으로 정의될 수 있다. 예를 들어, 영상 부호화 장치(300)의 복잡도를 감소시키기 위해 율 함수 R(□)를 생략하거나, 율 함수 R(□)에 사용되는
Figure 112014055108323-pat00046
를 제 1 움직임 벡터 추정을 수행한 후에 출력되는 1 움직임 벡터가 아닌, 중간값과 같이 소정의 정해진 디폴트 값으로 사용할 수도 있다. 이 경우, 제 1 움직임 벡터 추정부(410)로부터 출력되는 제 1 움직임 벡터를 제 2 움직임 벡터 추정부(420)가 사용하지 않아도 되므로, 본 발명의 본질적인 특성을 벗어나지 않는 범위 내에서 제 1 움직임 벡터 추정부(410)와 제 2 움직임 벡터 추정부(420)의 순서를 변경하여 구현할 수 있다.
이 뿐만 아니라, 제 1 움직임 벡터 추정부(410)에서 사용하는 소정의 제 1 추정 기준과 제 2 움직임 벡터 추정부(420)에서 사용하는 소정의 제 2 추정 기준은, 각각 본 발명을 적용할 응용 및 목적에 따라, f enc (□)와 f dec (□)가 다양한 형태로 적용될 수 있다. 하지만, 전술한 바와 같이, f enc (□)와 f dec (□)가 얼마나 동일한 결과를 도출할 수 있는지의 정도가 본 발명의 성능에 영향을 주는 요소가 될 수 있다.
따라서, 정의된 f enc (□)와 f dec (□)가 동일한 결과를 도출할 수 있는 정도에 따라 더욱 효과적인 f dec (□)가 정의될 수 있다. 또한, 정의된 f enc (□)에 따라 f dec (□)가 동일한 결과를 도출할 수 있는 정도가 임의의 단위(예를 들어, 영상 부호화 및 복호화 방법에 있어서 픽처 단위, 슬라이스 단위)에 의해 변화하는 경우, 다양한 소정의 추정 기준 중에서 더욱 효과적인 f dec (□)를 예측적으로 또는 예상하여 사용할 수도 있다. 예를 들어, (n-1) 번째 픽처는 주변 화소 정합 방법이 f dec (□)와 동일한 결과를 도출할 수 있는 가장 효과적인 f enc (□)로 예상 또는 예측되었으나, n 번째 픽처는 경계 화소 정합 방법이 f enc (□)와 동일한 결과를 도출할 수 있는 가장 효과적인 f dec (□)로 예상 또는 예측될 수 있다. 이 경우, 영상 부호화 장치(300)는 영상 복호화 장치와 사전에 임의의 조건을 정의해 f dec (□)를 추정 기준으로 사용할 수 있으며, 영상 복호화 장치와 사전에 임의의 조건을 정의하지 않는 경우, 어떤 f dec (□)를 사용하였는지에 대한 정보 임의의 단위를 기준으로 영상 복호화 장치에 전달할 수도 있다.
한편, 도 4에서는 제 1 움직임 벡터 추정부(410)와 제 2 움직임 벡터 추정부(420)가 각각 독립적으로 구성되는 것으로 전술하였지만, 제 1 움직임 벡터 추정부(410)와 제 2 움직임 벡터 추정부(420)를 포함하는 움직임 벡터 추정부(미도시)로서 구현될 수도 있다.
움직임 정보 부호화부(430)는 제 1 움직임 벡터 추정부(410)로부터 출력되는 제 1 움직임 벡터와 제 2 움직임 벡터 추정부(420)로부터 출력되는 제 2 움직임 벡터를 이용하여 움직임 정보를 생성하고, 엔트로피 부호화 등의 미리 정의된 소정의 부호화 기법을 이용하여 부호화하여 저장 또는 출력한다.
여기서, 움직임 정보 부호화부(430)는 제 1 움직임 벡터와 제 2 움직임 벡터를 이용하여 생성한 움직임 정보를 부호화할 때, 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 다양한 방법을 이용할 수 있다. 일 예로서, 움직임 정보 부호화부(430)는, 수학식 7과 같이, 제 1 움직임 벡터와 제 2 움직임 벡터의 차이를 움직임 정보로서 생성하여 부호화화거나 제 2 움직임 벡터만을 움직임 정보로서 생성하여 부호화할 수도 있다.
Figure 112014055108323-pat00047
다른 예로서, 움직임 정보 부호화부(430)는 일 예에서 전술한 바와 같이, 생성된 제 1 움직임 벡터와 제 2 움직임 벡터의 차이나 제 2 움직임 벡터를 부호화할 때, 엔트로피 부호화를 수행하되, 제 1 움직임 벡터를 기초로 서로 다른 가변 길이 부호화(VLC: Variable Length Coding) 테이블을 이용하여 부호화할 수 있다. 즉, 제 1 움직임 벡터를 분석하여 제 1 움직임 벡터의 특성(예를 들면, 크기, 방향 등)을 파악하고, 파악된 제 1 움직임 벡터의 특성으로 영상의 특성을 파악하여, 영상의 특성에 적합하게 움직임 벡터를 부호화할 수 있도록 고정된 가변 길이 부호화 테이블이 아닌 그 특성에 따라 다른 가변 길이 부호화 테이블을 이용하여 부호화할 수 있다. 이와 같이, 제 1 움직임 벡터를 기초로 서로 다른 가변 길이 부호화 테이블을 이용하여 부호화하는 것을 조건부 엔트로피 부호화라 한다.
조건부 엔트로피 부호화는 구체적으로 후술하는 예와 같이 구현될 수 있다. 예를 들어, 제 1 움직임 벡터의 여러 특성 중에 크기를 특성의 기준으로 설정하면, 제 1 움직임 벡터의 크기에 따라 복수 개의 가변 길이 부호화 테이블 중 서로 다른 가변 길이 테이블을 선택적으로 이용하여 움직임 정보를 부호화할 수 있다. 만약, 제 1 움직임 벡터의 크기를 구분할 수 있는 기준으로서 제 1 경계값 및 제 2 경계값을 미리 설정하였고, 이용할 수 있는 복수 개의 가변 길이 부호화 테이블이 제 1 가변 길이 부호화 테이블 내지 제 3 가변 길이 부호화 테이블이라 가정하면, 제 1 움직임 벡터의 크기의 절대값이 제 1 경계값 미만인 경우에는 제 1 가변 길이 부호화 테이블을 이용하여 움직임 정보를 부호화할 수 있고, 제 1 움직임 벡터의 크기의 절대값이 제 1 경계값 이상이고 제 2 경계값 미만인 경우에는 제 2 가변 길이 부호화 테이블을 이용하여 움직임 정보를 부호화할 수 있으며, 제 1 움직임 벡터의 크기의 절대값이 제 2 경계값 이상인 경우에는 제 3 가변 길이 부호화 테이블을 이용하여 움직임 정보를 부호화할 수 있다. 이때, 사용할 수 있는 복수 개의 가변 길이 부호화 테이블은 움직임 벡터의 크기에 따라 움직임 벡터를 효율적으로 부호화할 수 코드를 나타낸 테이블이 될 수 있으며, 이러한 테이블은 도출되는 수학식으로서 결정되거나 경험적으로 결정될 수도 있다.
도 7은 본 발명의 일 실시예에 따른 움직임 벡터 부호화 방법을 설명하기 위한 순서도이다.
움직임 벡터 부호화 장치 즉, 도 3에 나타낸 움직임 벡터 부호화부(322)는 영상 복호화 장치와 기 정의된 제 1 추정 기준에 따라 현재 블록의 제 1 움직임 벡터를 추정한다(S710). 즉, 움직임 벡터 부호화부(322)는 제 1 움직임 벡터를 추정하기 위한 탐색 범위 내에 포함되어 있는 움직임 벡터들 중에서 영상 부호화 장치(300)와 영상 복호화 장치가 사전에 공유(또는 정의)하고 있는 소정의 제 1 추정 기준에 따라 영상 복호화 장치에서 추정할 수 있는 제 1 움직임 벡터를 추정할 수 있다.
또한, 움직임 벡터 부호화부(322)는 영상 복호화 장치와 기 정의되지 않은 제 2 추정 기준에 따라 현재 블록의 제 2 움직임 벡터를 추정한다(S720). 즉, 움직임 벡터 부호화부(322)는 제 2 움직임 벡터를 추정하기 위한 탐색 범위 내에 포함되어 있는 움직임 벡터들 중에서 소정의 제 2 추정 기준에 따라 영상 부호화 장치(300)에서만 추정할 수 있는 제 2 움직임 벡터를 추정할 수 있다.
또한, 움직임 벡터 부호화부(322)는 제 1 움직임 벡터와 제 2 움직임 벡터를 이용하여 현재 블록의 움직임 정보를 생성하고 부호화한다(S730). 즉, 움직임 벡터 부호화부(322)는 단계 S710에서 추정된 제 1 움직임 벡터와 단계 S720에서 추정된 제 2 움직임 벡터를 이용하여 움직임 정보를 생성하고 부호화하여 저장(또는 출력)할 수 있다. 여기서, 제 1 움직임 벡터와 제 2 움직임 벡터를 추정하고 움직임 정보를 생성하여 부호화하는 과정에 대해서는 도 4를 통해 전술한 바와 동일하므로 그에 대한 상세한 설명은 생략한다.
단, 도 7에서는 S710 단계, S720 단계의 순서로 수행하는 것으로 도시하고 설명했지만, 이는 본 발명의 일 실시예일 뿐, 본 발명의 본질적인 특성을 벗어나지 않는 범위 내에서 그 순서를 변경하여 구현할 수도 있다. 예를 들어, 도 7에서는 S710 단계 이후 S720 단계가 수행되는 것으로 도시되었으나, 본 발명을 적용할 응용 및 목적에 따라 S720 단계 이후 S710 단계가 수행될 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
본 발명의 일 실시예에 따른 영상 부호화 장치(300)는 부호화하고자 하는 영상이 입력되면 영상의 블록 모드를 결정하여 영상을 매크로블록 또는 매크로블록의 서브 블록 등 블록 단위로 구분하고 인터 예측 모드 또는 인트라 예측 모드 등의 다양한 부호화 모드 중 최적의 부호화 모드를 결정하여 결정된 부호화 모드에 따라 부호화하고자 하는 현재 블록을 예측하여 부호화한다.
이때, 부호화 모드로서 인터 예측 모드가 결정되어 인터 예측을 수행하는 경우, 영상 부호화 장치(300)는 현재 블록의 제 1 움직임 벡터와 제 2 움직임 벡터를 추정하고(S810), 추정된 제 1 움직임 벡터와 제 2 움직임 벡터를 이용하여 움직임 정보를 생성하고 부호화하며(S820), 움직임 정보를 이용하여 현재 블록의 움직임을 보상함으로써 현재 블록의 예측 블록을 생성한다(S830). 여기서, 단계 S810 및 단계 S820은 도 7을 통해 전술한 바와 같이, 수행될 수 있다.
또한, 영상 부호화 장치(300)는 현재 블록과 예측 블록을 가산하여 생성한 잔차 블록을 변환 및 양자화하고(S840), 양자화된 잔차 블록을 부호화하며(S850), 부호화된 잔차 블록과 부호화된 움직임 정보를 포함하는 부호화 데이터를 생성하여 출력한다(S860). 이때, 영상 부호화 장치(300)는 기 결정된 블록 모드를 추가로 포함하는 부호화 데이터를 생성할 수 있다. 여기서, 예측 블록을 이용하여 잔차 블록을 생성하고, 잔차 블록을 변환 및 양자화하고 부호화하는 과정에 대해서는 도 3을 통해 전술한 바와 동일하므로, 상세한 설명은 생략한다.
또한, 단계 S840에서는 잔차 블록을 변환하고 양자화하는 것으로 설명하였지만, 변환 및 양자화를 모두 수행하지 않거나 하나의 과정만을 선택적으로 수행할 수도 있으며, 이 경우, 단계 S850에서도 변환 및 양자화를 모두 수행되지 않거나 하나의 과정만을 선택적으로 수행된 잔차 블록을 부호화할 수도 있다.
이상에서 전술한 바와 같이, 영상 부호화 장치(300)에 의해 부호화 데이터로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등의 통신 인터페이스를 통해 후술할 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
도 9는 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 복호화 장치(900)는 정보 추출부(910), 제 1 복호화부(920), 제 2 복호화부(930), 예측부(940), 가산부(950) 및 참조 픽처 저장부(960)를 포함하여 구성될 수 있다. 이러한 영상 복호화 장치(900)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
정보 추출부(910)는 부호화 데이터를 입력받아 블록 모드에 대한 정보(예를 들면, 식별자)를 추출하고 추출된 블록 모드에 대한 정보를 출력한다. 또한, 정보 추출부(910)는 블록 모드가 움직임 벡터 생략 모드인 경우(예를 들면, 블록 모드가 인트라 16x16 모드, 인트라 4x4 모드 등인 경우), 부호화 데이터로부터 움직임 정보를 추출하지 않고 부호화된 잔차 블록을 추출하여 출력할 수 있다. 반면, 블록 모드가 움직임 벡터 생략 모드가 아닌 경우(예를 들면, 블록 모드가 인터 16x16 모드, 인터 4x4 모드, P8x8 모드 등인 경우), 정보 추출부(910)는 부호화 데이터로부터 부호화된 움직임 정보와 부호화된 잔차 블록을 추출하여 출력한다. 이때, 정보 추출부(910)는 부호화 데이터로부터 참조 픽처에 대한 인덱스 정보를 추가로 추출하여 출력할 수 있다.
제 1 복호화부(920)는 정보 추출부(910)로부터 출력되는 부호화된 잔차 블록을 복호화한다. 즉, 제 1 복호화부(920)는 엔트로피 부호화 기법 등을 이용하여 부호화된 잔차 블록의 이진 데이터를 복호화하여 양자화 주파수 계수열을 생성하고 역 지그재그 스캔 등 다양한 스캔 방식에 의해 역 스캔하여 양자화 주파수 계수열을 갖는 잔차 블록을 생성한다. 만약, 부호화된 잔차 블록의 이진 데이터가 주파수 계수가 부호화된 이진 데이터라면, 제 1 복호화부(920)에 의해 복호화된 잔차 블록은 주파수 계수를 갖는 잔차 블록이 될 것이고, 부호화된 잔차 블록의 이진 데이터가 변환되지 않고 양자화되지 않은 잔차 신호가 부호화된 이진 데이터라면, 제 1 복호화부(920)에 의해 복호화된 잔차 블록은 잔차 신호를 갖는 잔차 블록이 될 것이다.
제 2 복호화부(930)는 제 1 복호화부(920)에 의해 복호화된 잔차 블록을 역 양자화하고 역 변환하여 잔차 블록을 복원한다. 즉, 제 2 복호화부(930)는 제 1 복호화부(920)로부터 출력되는 복호화된 잔차 블록의 양자화 주파수 계수를 역 양자화하고 역 양자화된 주파수 계수를 역 변환하여 잔차 신호를 갖는 잔차 블록을 복원한다. 만약, 제 2 복호화부(930)는 제 1 복호화부(920)에 의해 복호화된 잔차 블록이 양자화 주파수 계수를 갖는다면, 역 양자화와 역 변환을 모두 수행하지만, 제 1 복호화부(920)에 의해 복호화된 잔차 블록이 주파수 계수를 갖는다면, 역 양자화는 수행하지 않고 역 변환만을 수행할 수 있으며, 제 1 복호화부(920)에 의해 복호화된 잔차 블록이 잔차 신호만을 갖는다면, 역 양자화와 역 변환을 모두 수행하지 않거나, 영상 복호화 장치(900)에서 제 2 복호화부(930)는 구성되지 않고 생략될 수도 있을 것이다. 한편, 도 9에서는 제 1 복호화부(920)와 제 2 복호화부(930)가 독립적으로 구성되는 것으로 도시하고 설명했지만, 각 기능을 통합한 하나의 복호화부(미도시)로 구성될 수도 있을 것이다.
예측부(940)는 현재 블록을 예측하여 예측 블록을 생성한다. 이러한 예측부(940)는 움직임 벡터 복호화부(942) 및 움직임 보상부(944)를 포함하여 구성될 수 있다. 움직임 벡터 복호화부(942)는 참조 픽처 저장부(960)에 저장된 참조 픽처에서 정보 추출부(910)로부터 출력되는 블록 모드에 대한 정보에 따른 블록 모드에 대응하는 블록 단위로 제 1 움직임 벡터를 추정하고, 정보 추출부(910)로부터 출력되는 부호화된 움직임 정보를 복호화하여 움직임 정보를 복원하며, 복원된 움직임 정보와 추정된 제 1 움직임 벡터를 이용하여 현재 블록의 움직임 벡터인 제 2 움직임 벡터를 복원한다. 이와 같이, 복원된 제 2 움직임 벡터가 현재 블록의 움직임 벡터가 된다. 움직임 보상부(944)는 참조 픽처 저장부(960)에 저장된 참조 픽처에서 복원된 제 2 움직임 벡터 즉, 현재 블록의 움직임 벡터에 의해 지시되는 참조 블록을 현재 블록의 예측 블록으로서 예측하여 예측 블록을 생성한다. 여기서, 움직임 벡터 복호화부(942)는 참조 픽처를 이용하는 데 있어서, 정보 추출부(910)로부터 참조 픽처에 대한 인덱스 정보가 출력되면, 참조 픽처 저장부(960)에 저장된 많은 참조 픽처 중에서 참조 픽처에 대한 인덱스 정보에 의해 식별되는 참조 픽처를 이용할 수 있다.
가산부(950)는 제 2 복호화부(930)로부터 출력되는 복원된 잔차 블록을 예측부(940)에서 예측되어 출력되는 예측 블록과 가산하여 현재 블록을 복원한다. 이와 같이 복원된 현재 블록은 픽처 단위로 누적되어 복원 영상으로서 출력되거나 참조 픽처로서 참조 픽처 저장부(960)에 저장되며, 다음 블록을 예측하는 데 활용될 수 있다.
도 9에서는 도시하지 않았지만, 전술한 본 발명의 일 실시예에 따른 영상 복호화 장치(900)는 H.264/AVC 표준에 기초하여, 인트라 예측을 위한 인트라 예측부, 복원된 현재 블록을 디블로킹 필터링(Deblocking Filtering)하는 디블록킹 필터부 등을 추가로 포함할 수 있다. 또한, 제 2 복호화부(930)는 H.264/AVC 표준에 기초하여, 특정 픽처(예를 들어, 인트라 픽춰)에 대한 역 변환 및 역 양자화 연산을 추가로 수행할 수도 있다.
도 10은 본 발명의 일 실시예에 따른 움직임 벡터 복호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 움직임 벡터 복호화 장치는 도 9를 통해 전술한 본 발명의 일 실시예에 따른 영상 복호화 장치(900)에서는 움직임 벡터 복호화부(942)로 구현될 수 있으므로, 이하에서는 설명의 편의를 위해, 움직임 벡터 복호화부(942)라 칭한다.
본 발명의 일 실시예에 따른 움직임 벡터 복호화부(942)는 움직임 벡터 추정부(1010), 움직임 정보 복호화부(1020) 및 움직임 벡터 복원부(1030)를 포함하여 구성된다.
움직임 벡터 추정부(1010)는 제 1 움직임 벡터를 추정하기 위한 탐색 범위 내에 포함되어 있는 움직임 벡터 중에서 영상 부호화 장치(300)와 영상 복호화 장치(900)가 사전에 공유(또는 정의)하고 있는 소정의 제 1 추정 기준에 따라 제 1 움직임 벡터를 추정한다. 여기서, 소정의 제 1 추정 기준은, 영상 부호화 장치(300)와 영상 복호화 장치(900)가 사전에 공유(또는 정의)하고 있다는 전제 하에서, 도 4 내지 도 6을 통해 전술한 인접 화소 정합 방법, 중간값 계산 방법, 경계 화소 정합 방법 등 다양한 방법으로 정의될 수 있다.
움직임 정보 복호화부(1020)는 정보 추출부(910)로부터 출력되는 엔트로피 부호화, 조건부 엔트로피 부호화 등 다양한 부호화 기법을 이용하여 부호화된 움직임 정보를 복호화함으로써 움직임 정보를 복원한다. 여기서, 조건부 엔트로피 부호화는 도 4를 통해 전술한 조건부 엔트로피 부호화와 동일하며, 복호화할 때에는 제 1 움직임 벡터를 기초로 서로 다른 가변 길이 부호화 테이블을 이용하여 복호화하므로, 이에 대한 상세한 설명은 생략한다.
움직임 벡터 복원부(1030)는 움직임 벡터 추정부(1010)로부터 출력되는 제 1 움직임 벡터와 움직임 정보 복호화부(1020)로부터 출력되는 움직임 정보를 이용하여 제 2 움직임 벡터를 복원한다. 예를 들어, 움직임 벡터 복원부(1030)는 수학식 8에 제 1 움직임 벡터와 움직임 정보를 대입하여 제 2 움직임 벡터를 복원하거나 복원된 움직임 정보만을 제 2 움직임 벡터로서 복원할 수 있는데, 반드시 이에 한정되는 것이 아니라, 영상 부호화 장치(300)와 영상 복호화 장치(900)가 사전에 공유(또는 정의)한다는 전제 하에서 본 발명의 본질적인 특성을 벗어나지 않는 범위 내에서 다양한 방법으로 제 2 움직임 벡터를 복원할 수 있을 것이다. 이와 같이, 복원된 제 2 움직임 벡터가 현재 블록의 움직임 벡터가 된다.
Figure 112014055108323-pat00048
도 11은 본 발명의 일 실시예에 따른 움직임 벡터 복호화 방법을 설명하기 위한 순서도이다.
본 발명의 일 실시예에 따른 움직임 벡터 복호화 장치 즉, 움직임 벡터 복호화부(942)는 제 1 움직임 벡터를 추정하기 위한 탐색 범위 내에 포함된 움직임 벡터 중에서 영상 부호화 장치(300)와 영상 복호화 장치(900)가 사전에 공유 또는 정의하고 있는 소정의 제 1 추정 기준에 따라 제 1 움직임 벡터를 추정하고(S1110), 정보 추출부(910)로부터 출력되는 부호화된 움직임 정보를 복호화하여 움직임 정보를 복원하며(S1120), 복원된 움직임 정보와 추정된 제 1 움직임 벡터를 이용하여 제 2 움직임 벡터 즉, 현재 블록의 움직임 벡터를 복원한다(S1130).
도 12는 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
유무선 통신망 또는 케이블 등을 통해 영상에 대한 비트스트림을 수신하여 저장한 영상 복호화 장치(900)는 사용자의 선택 또는 실행 중인 다른 프로그램의 알고리즘에 따라 영상을 재생하기 위해, 영상을 복호화하여 복원한다.
이를 위해, 영상 복호화 장치(900)는 부호화 데이터로부터 부호화된 잔차 블록과 부호화된 움직임 정보를 추출하고(S1210), 부호화된 잔차 블록을 복호화하여 잔차 블록을 복원한다(S1220). 또한, 영상 복호화 장치(900)는 영상 부호화 장치(300)와 기 정의된 제 1 추정 기준에 따라 현재 블록의 제 1 움직임 벡터를 추정하고(S1230), 부호화된 움직임 정보를 복호화하여 움직임 정보를 복원하며(S1240), 복원된 움직임 정보와 추정된 제 1 움직임 벡터를 이용하여 제 2 움직임 벡터를 복원한다(S1250). 여기서, 복원된 제 2 움직임 벡터가 현재 블록의 움직임 벡터가 된다.
영상 복호화 장치(900)는 복원된 제 2 움직임 벡터를 이용하여 참조 픽처에서 현재 블록의 움직임을 보상함으로써 현재 블록의 예측 블록을 생성하고(S1260), 복원된 잔차 블록과 예측 블록을 가산하여 현재 블록을 복원한다(S1270). 복원된 현재 블록은 픽처 단위로 누적되어 저장되어 복원 영상으로 출력되거나 참조 픽처로서 저장된다.
이상에서는 본 발명의 일 실시예를 통해, 영상 부호화 장치(300) 또는 움직임 벡터 부호화 장치가 영상 복호화 장치(900)와 사전에 공유 또는 정의된 제 1 추정 기준에 따라 제 1 움직임 벡터를 추정하고, 영상 부호화 장치(300)만이 추정할 수 있는 즉, 영상 부호화 장치(300)가 영상 복호화 장치(900)와 사전에 공유 또는 정의되지 않은 제 2 추정 기준에 따라 제 2 움직임 벡터를 추정하여(이때, 추정되는 제 2 움직임 벡터가 현재 블록의 최적의 움직임 벡터가 될 수 있으며, 현재 블록의 움직임 벡터가 될 수 있다.), 제 1 움직임 벡터와 제 2 움직임 벡터를 이용하여 움직임 정보를 생성하고 부호화하는 것으로 설명했다. 또한, 영상 복호화 장치(900) 또는 움직임 벡터 복호화 장치가 영상 부호화 장치(300)와 사전에 공유 또는 정의된 제 1 추정 기준에 따라 제 1 움직임 벡터를 추정하고 부호화된 움직임 정보를 복호화하여 복원된 움직임 정보와 제 1 움직임 벡터를 이용하여 제 2 움직임 벡터를 현재 블록의 움직임 벡터로서 복원하는 것으로 설명했다.
하지만, 이러한 본 발명의 일 실시예는 후술하는 다른 실시예와 같이 일반화될 수 있는데, 본 발명의 다른 실시예는 움직임 벡터를 부호화하는 데 있어서, 일 실시예와 같이, 제 1 움직임 벡터와 제 2 움직임 벡터인 두 개의 움직임 벡터만을 추정하여 그를 이용한 움직임 정보를 부호화하는 것이 아니라, 복수 개의 움직임 벡터를 예측하되 제 1 움직임 벡터는 하나 이상 복수 개로 추정하고 제 2 움직임 벡터는 최적의 움직임 벡터 하나만을 추정하여 움직임 정보를 부호화하는 것이다. 물론, 움직임 벡터를 복호화할 때도 마찬가지로 제 1 움직임 벡터를 하나 이상 복수 개로 추정하고 복원된 움직임 정보와 예측된 하나 이상의 움직임 벡터를 이용하여 하나의 움직임 벡터인 현재 블록의 움직임 벡터를 복원한다.
즉, 본 발명의 다른 실시예에 따른 움직임 벡터 부호화 장치는 움직임 벡터를 부호화하는 장치로서, 복수 개의 움직임 벡터를 추정하되, 복수 개의 움직임 벡터 중 하나의 움직임 벡터를 현재 블록의 움직임 벡터로서 추정하고, 복수 개의 움직임 벡터 중 나머지 움직임 벡터를 영상 복호화 장치와 기 정의된 하나 이상의 추정 기준에 따라 추정하는 움직임 벡터 추정부 및 복수 개의 움직임 벡터를 이용하여 생성한 움직임 정보를 부호화하는 움직임 벡터 부호화부를 포함하여 구성될 수 있다.
여기서, 움직임 벡터 추정부는 인접 화소 정합 방법, 중간값 계산 방법 및 경계 화소 정합 방법 중 하나 이상을 하나 이상의 추정 기준으로서 이용하여 나머지 움직임 벡터를 추정할 수 있으며, 율-왜곡 최적화 방법을 이용하여 하나의 움직임 벡터를 추정할 수 있다.
또한, 움직임 정보 부호화부는 하나의 움직임 벡터와 나머지 움직임 벡터의 차이를 움직임 정보로서 생성할 수 있고, 나머지 움직임 벡터를 기초로 서로 다른 가변 길이 부호화 테이블을 이용하여 움직임 정보를 부호화할 수 있다. 일 예로서, 움직임 정보 부호화부는 나머지 움직임 벡터의 크기의 절대값이 기 설정된 제 1 경계값 미만인 경우에는 제 1 가변 길이 부호화 테이블을 이용하고, 나머지 움직임 벡터의 크기의 절대값이 제 1 경계값 이상이고 기 설정된 제 2 경계값 미만인 경우에는 제 2 가변 길이 부호화 테이블을 이용하며, 나머지 움직임 벡터의 크기의 절대값이 제 2 경계값 이상인 경우에는 제 3 가변 길이 부호화 테이블을 이용할 수 있다.
본 발명의 다른 실시예에 따른 움직임 벡터 부호화 방법은 복수 개의 움직임 벡터를 예측하되, 복수 개의 움직임 벡터 중 하나의 움직임 벡터를 현재 블록의 움직임 벡터로서 추정하고, 복수 개의 움직임 벡터 중 나머지 움직임 벡터를 영상 복호화 장치와 기 정의된 하나 이상의 추정 기준에 따라 추정하는 움직임 벡터 추정 단계 및 복수 개의 움직임 벡터를 이용하여 생성한 움직임 정보를 부호화하는 움직임 정보 부호화 단계를 포함하여 수행될 수 있다.
본 발명의 다른 실시예에 따른 영상 부호화 장치는 복수 개의 움직임 벡터를 추정하여 생성한 움직임 정보를 부호화하며, 복수 개의 움직임 벡터 중 하나의 움직임 벡터를 현재 블록의 움직임 벡터로서 이용하여 현재 블록의 예측 블록을 생성하는 예측부, 현재 블록과 예측 블록을 감산하여 잔차 블록을 생성하는 감산부, 잔차 블록을 부호화하는 부호화부, 부호화된 움직임 정보 및 부호화된 잔차 블록을 포함하는 부호화 데이터를 생성하여 출력하는 부호화 데이터 생성부를 포함하여 구성될 수 있다.
여기서, 예측부는 영상 복호화 장치와 기 정의하지 않은 추정 기준에 따라 복수 개의 움직임 벡터 중 하나의 움직임 벡터를 추정하고, 영상 복호화 장치와 기 정의한 추정 기준에 따라 복수 개의 움직임 벡터 중 나머지 움직임 벡터를 추정할 수 있다. 복수 개의 움직임 벡터 중 하나의 움직임 벡터는 영상 복호화 장치에서 추정할 수 없는 움직임 벡터일 수 있으며, 나머지 움직임 벡터는 영상 복호화 장치에서 추정할 수 있는 움직임 벡터일 수 있다.
본 발명의 다른 실시예에 따른 영상 부호화 방법은 복수 개의 움직임 벡터를 추정하여 생성한 움직임 정보를 부호화하며, 복수 개의 움직임 벡터 중 하나의 움직임 벡터를 현재 블록의 움직임 벡터로서 이용하여 현재 블록의 예측 블록을 생성하는 예측 단계; 현재 블록과 예측 블록을 감산하여 잔차 블록을 생성하는 감산 단계; 잔차 블록을 부호화하는 부호화 단계 및 부호화된 움직임 정보 및 부호화된 잔차 블록을 포함하는 부호화 데이터를 생성하여 출력하는 부호화 데이터 생성 단계를 포함하여 수행될 수 있다.
본 발명의 다른 실시예에 따른 움직임 벡터 복호화 장치는 영상 부호화 장치와 기 정의된 하나 이상의 추정 기준에 따라 하나 이상의 움직임 벡터를 추정하는 움직임 벡터 추정부, 부호화된 움직임 정보를 복호화하여 복원하는 움직임 정보 복원부 및 복원된 움직임 정보와 추정된 하나 이상의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터를 복원하는 움직임 벡터 복원부를 포함하여 구성될 수 있다.
여기서, 움직임 벡터 추정부는 하나 이상의 추정 기준으로서, 인접 화소 정합 방법, 중간값 계산 방법 및 경계 화소 정합 방법 중 하나 이상을 이용할 수 있다. 움직임 정보 복원부는 하나 이상의 움직임 벡터를 기초로 서로 다른 가변 길이 부호화 테이블을 이용하여 움직임 정보를 복호화할 수 있으며, 하나 이상의 움직임 벡터의 크기의 절대값이 기 설정된 제 1 경계값 미만인 경우에는 제 1 가변 길이 부호화 테이블을 이용하고, 하나 이상의 움직임 벡터의 크기의 절대값이 제 1 경계값 이상이고 기 설정된 제 2 경계값 미만인 경우에는 제 2 가변 길이 부호화 테이블을 이용하며, 하나 이상의 움직임 벡터의 크기의 절대값이 제 2 경계값 이상인 경우에는 제 3 가변 길이 부호화 테이블을 이용할 수 있다. 움직임 벡터 복원부는 복원된 움직임 정보와 추정된 하나 이상의 움직임 벡터의 합을 현재 블록의 움직임 벡터로서 복원할 수 있다.
본 발명의 다른 실시예에 따른 움직임 벡터 복호화 방법은, 영상 부호화 장치와 기 정의된 하나 이상의 추정 기준에 따라 하나 이상의 움직임 벡터를 추정하는 움직임 벡터 추정 단계, 부호화된 움직임 정보를 복호화하여 복원하는 움직임 정보 복원 단계 및 복원된 움직임 정보와 추정된 하나 이상의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터를 복원하는 움직임 벡터 복원 단계를 포함하여 수행될 수 있다.
본 발명의 다른 실시예에 따른 영상 복호화 장치는 부호화 데이터로부터 부호화된 잔차 블록 및 부호화된 움직임 정보를 추출하는 정보 추출부, 부호화된 잔차 블록을 복호화하여 복원하는 복호화부, 영상 부호화 장치와 기 정의된 하나 이상의 추정 기준에 따라 하나 이상의 움직임 벡터를 추정하고 부호화된 움직임 정보를 복호화하여 복원하며, 복원된 움직임 정보와 추정된 하나 이상의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터를 복원하고 복원된 현재 블록의 움직임 벡터를 이용하여 현재 블록의 예측 블록을 생성하는 예측부 및 복원된 잔차 블록과 예측 블록을 가산하여 현재 블록을 복원하는 가산부를 포함하여 구성될 수 있다.
본 발명의 다른 실시예에 따른 영상 복호화 방법은 부호화 데이터로부터 부호화된 잔차 블록 및 부호화된 움직임 정보를 추출하는 정보 추출 단계, 부호화된 잔차 블록을 복호화하여 복원하는 복호화 단계, 영상 부호화 장치와 기 정의된 하나 이상의 추정 기준에 따라 하나 이상의 움직임 벡터를 추정하고 부호화된 움직임 정보를 복호화하여 복원하며, 복원된 움직임 정보와 추정된 하나 이상의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터를 복원하고 복원된 현재 블록의 움직임 벡터를 이용하여 현재 블록의 예측 블록을 생성하는 예측 단계 및 복원된 잔차 블록과 예측 블록을 가산하여 현재 블록을 복원하는 가산 단계를 포함하여 수행될 수 있다.
이상에서 전술한 바와 같이, 본 발명의 실시예에 따르면, 영상 부호화 장치와 영상 복호화 장치에서 모두 추정할 수 있는 하나 이상의 움직임 벡터를 기초로 영상 부호화 장치(300)에서만 추정할 수 있는 최적의 움직임 벡터인 현재 블록의 움직임 벡터를 부호화할 수 있으므로, 더욱 정확한 추정값을 사용하여 움직임 벡터를 부호화할 수 있으면서도 어떤 움직임 벡터가 사용되었는지에 대한 정보를 추가로 부호화할 필요가 없으므로, 움직임 벡터를 부호화하기 위한 비트량을 감소시킬 수 있으며, 그에 따라 압축 효율을 향상시킬 수 있다.
또한, 본 발명의 실시예에 따르면, 영상 부호화 장치와 영상 복호화 장치가 모두 하나 이상의 움직임 벡터를 추정할 수 있는 소정의 추정 기준을 공유 또는 정의함으로써, 하나 이상의 움직임 벡터를 추정하기 위한 정보를 추가로 부호화할 필요가 없으므로, 움직임 벡터를 부호화하기 위한 비트량을 감소시킬 수 있으며, 그에 따라 압축 효율을 향상시킬 수 있다.
또한, 본 발명의 실시예에 따르면, 영상 복호화 장치가 스스로 추정할 수 있는 하나 이상의 움직임 벡터(예를 들면, 일 실시예에서는 제 1 움직임 벡터)를 기초로 영상의 특성을 파악하고, 파악된 영상의 특성을 고려할 때 가장 효율적으로 움직임 벡터를 부호화할 수 있는 가변 길이 부호화 테이블을 선택적으로 사용하여 움직임 벡터 또는 움직임 정보를 부호화함으로써, 다양한 영상 특성에 적응적으로 대응할 수 있다. 반면, 기존의 움직임 벡터를 부호화하는 방법에서는 영상의 특성을 고려하지 않고 정해진 움직임 벡터와 예측 벡터와의 차분값을 미리 정해진 고정된 가변 길이 부호화 테이블을 이용하여 부호화하기 때문에, 다양한 영상 특성에 적응적으로 대응할 수 없다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명은 영상을 부호화하거나 복호화하는 방법 및 장치 분야에 적용되어, 더욱 정확한 움직임 벡터를 사용하여 추정하면서도 움직임 벡터를 부호화하기 위한 비트량을 줄일 수 있어, 압축 효율을 향상시킬 수 있는 효과를 발생하는 매우 유용한 발명이다.

Claims (5)

  1. 인터 예측을 사용하는 영상 복호화 장치에 있어서,
    부호화 데이터로부터 블록 모드 정보와 잔차 데이터를 획득하고 복호화하는 정보 추출부;
    상기 블록 모드 정보에 의해 식별되는 각 블록 단위로 인터 예측을 수행하여 예측 블록을 생성하는 예측부;
    역양자화 및 역변환을 위한 하나 이상의 조건을 식별하고, 상기 복호화된 잔차 데이터에 대한 역양자화 및 역변환을 모두 스킵하고 상기 복호화된 잔차 데이터로부터 직접 잔차 블록을 복원하는 과정, 상기 복호화된 잔차 데이터를 역양자화하되 역변환을 스킵함으로써 잔차 블록을 복원하는 과정, 및 상기 복호화된 잔차 데이터에 대한 역양자화 및 역변환을 모두 수행하여 잔차 블록을 복원하는 과정 중 어느 하나의 과정을 상기 식별된 하나 이상의 조건에 근거하여 선택함으로써, 상기 복호화된 잔차 데이터로부터 잔차 블록을 복원하는 복호화부; 및
    상기 예측 블록의 각 화소값과 상기 복원된 잔차 블록의 대응하는 화소값을 가산하는 가산부
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  2. 제1항에 있어서,
    상기 복호화부는 상기 부호화 데이터에 포함된 정보에 근거하여 상기 하나 이상의 조건을 식별하는 것을 특징으로 하는 영상 복호화 장치.
  3. 제1항에 있어서,
    상기 정보 추출부는, 상기 블록 모드 정보에 의해 식별되는 각 블록에 대한 움직임 정보를 획득하되, 상기 움직임 정보는 차분 움직임벡터와 참조 픽처 인덱스를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  4. 제3항에 있어서, 상기 예측부는,
    하나 이상의 후보 움직임벡터 중에서 하나의 후보 움직임벡터를 선택하고,
    상기 선택된 후보 움직임벡터와 상기 차분 움직임벡터를 가산하여 현재 움직임벡터를 복원하며,
    상기 현재 움직임벡터와 상기 참조 픽처 인덱스에 의해 지시되는 참조 픽처를 이용하여 상기 블록 모드 정보에 의해 식별되는 블록을 예측하는 것을 특징으로 하는 영상 복호화 장치.
  5. 제4항에 있어서,
    상기 예측부는 상기 부호화 데이터의 슬라이스 헤더에 포함된 정보에 근거하여 상기 하나 이상의 후보 움직임벡터를 결정하는 것을 특징으로 하는 영상 복호화 장치.
KR1020140071721A 2014-06-12 2014-06-12 인터 예측을 이용한 영상 부호화 및 복호화 방법과 장치 KR101590493B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140071721A KR101590493B1 (ko) 2014-06-12 2014-06-12 인터 예측을 이용한 영상 부호화 및 복호화 방법과 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140071721A KR101590493B1 (ko) 2014-06-12 2014-06-12 인터 예측을 이용한 영상 부호화 및 복호화 방법과 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020140009245A Division KR101575636B1 (ko) 2014-01-24 2014-01-24 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140093910A KR20140093910A (ko) 2014-07-29
KR101590493B1 true KR101590493B1 (ko) 2016-02-02

Family

ID=51739874

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140071721A KR101590493B1 (ko) 2014-06-12 2014-06-12 인터 예측을 이용한 영상 부호화 및 복호화 방법과 장치

Country Status (1)

Country Link
KR (1) KR101590493B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102572286B1 (ko) 2016-12-05 2023-08-29 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050053292A1 (en) 2003-09-07 2005-03-10 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US20070098077A1 (en) 2001-09-14 2007-05-03 Shijun Sun Adaptive filtering based upon boundary strength

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070098077A1 (en) 2001-09-14 2007-05-03 Shijun Sun Adaptive filtering based upon boundary strength
US20050053292A1 (en) 2003-09-07 2005-03-10 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video

Also Published As

Publication number Publication date
KR20140093910A (ko) 2014-07-29

Similar Documents

Publication Publication Date Title
KR101377660B1 (ko) 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US10051284B2 (en) Method and apparatus for encoding/decoding the motion vectors of a plurality of reference pictures, and apparatus and method for image encoding/decoding using same
KR101830352B1 (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
KR101441903B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101418104B1 (ko) 움직임 벡터 해상도 조합을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101601813B1 (ko) 인터 예측을 이용한 영상 복호화 방법 및 장치
KR20100019088A (ko) 인터 예측 장치 및 그를 이용한 영상 부호화/복호화 장치와방법
KR101590493B1 (ko) 인터 예측을 이용한 영상 부호화 및 복호화 방법과 장치
KR101582504B1 (ko) 인터 예측을 이용한 영상 부호화 및 복호화 방법과 장치
KR101575636B1 (ko) 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101733748B1 (ko) 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101575635B1 (ko) 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101575605B1 (ko) 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101524664B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101483174B1 (ko) 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101693284B1 (ko) 전역움직임을 기반하여 결정된 부호화구조를 이용한 영상 부호화/복호화 방법 및 장치
KR101575645B1 (ko) 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101575616B1 (ko) 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101533441B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101733754B1 (ko) 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101533435B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101479525B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101445835B1 (ko) 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191216

Year of fee payment: 5