KR102450324B1 - 영상 부호화 및 복호화 방법과 이를 이용한 장치 - Google Patents

영상 부호화 및 복호화 방법과 이를 이용한 장치 Download PDF

Info

Publication number
KR102450324B1
KR102450324B1 KR1020227002213A KR20227002213A KR102450324B1 KR 102450324 B1 KR102450324 B1 KR 102450324B1 KR 1020227002213 A KR1020227002213 A KR 1020227002213A KR 20227002213 A KR20227002213 A KR 20227002213A KR 102450324 B1 KR102450324 B1 KR 102450324B1
Authority
KR
South Korea
Prior art keywords
block
motion vector
current block
sample
prediction
Prior art date
Application number
KR1020227002213A
Other languages
English (en)
Other versions
KR20220013470A (ko
Inventor
박준영
김상철
박승욱
임재현
전용준
전병문
최영희
성재원
김정선
김진경
정태일
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20220013470A publication Critical patent/KR20220013470A/ko
Application granted granted Critical
Publication of KR102450324B1 publication Critical patent/KR102450324B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

본 발명에 따른 시간적 움직임 벡터 예측자 도출 방법은, 현재 블록에 대한 참조 픽쳐를 선택하는 단계, 참조 픽쳐 내에서, 소정의 저장 단위 블록에 대응하는 예측 블록을, 현재 블록에 대한 참조 예측 유닛으로 결정하는 단계 및 결정된 참조 예측 유닛의 움직임 정보로부터 시간적 움직임 벡터 예측자를 도출하는 단계를 포함한다. 본 발명에 의하면 영상 압축 효율이 향상될 수 있다.

Description

영상 부호화 및 복호화 방법과 이를 이용한 장치{METHOD FOR ENCODING AND DECODING IMAGE AND DEVICE USING SAME}
본 발명은 영상 처리에 관한 것으로서, 보다 상세하게는 인터 예측 방법 및 장치에 관한 것이다.
최근 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비해 상대적으로 전송되는 정보량 또는 비트량이 증가하기 때문에 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 데이터를 전송하거나 기존의 저장 매체를 이용해 영상 데이터를 저장하는 경우, 전송 비용과 저장 비용이 증가된다. 이러한 문제들을 해결하기 위해서 고효율의 영상 압축 기술들이 이용될 수 있다.
영상 압축 기술에는 현재 픽쳐의 이전 및/또는 이후 픽쳐로부터 현재 픽쳐에 포함된 픽셀값을 예측하는 인터 예측(inter prediction) 기술, 현재 픽쳐 내의 픽셀 정보를 이용하여 현재 픽쳐에 포함된 픽셀값을 예측하는 인트라 예측(intra prediction) 기술, 출현 빈도가 높은 값에 짧은 코드워드를 할당하고 출현 빈도가 낮은 값에 긴 코드워드를 할당하는 엔트로피 부호화 기술 등 다양한 기술이 존재한다. 이러한 영상 압축 기술을 이용해 영상 데이터가 효과적으로 압축되어 전송 또는 저장될 수 있다.
본 발명의 기술적 과제는 영상 압축 효율을 향상시키는 영상 부호화 방법 및 장치를 제공함에 있다.
본 발명의 다른 기술적 과제는 영상 압축 효율을 향상시키는 영상 복호화 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 영상 압축 효율을 향상시키는 인터 예측 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 영상 압축 효율을 향상시키는 시간적 움직임 벡터 예측자 도출 방법 및 장치를 제공함에 있다.
1. 본 발명의 일 실시 형태는 시간적 움직임 벡터 예측자 도출 방법이다. 상기 방법은 현재 블록에 대한 참조 픽쳐를 선택하는 단계, 상기 참조 픽쳐 내에서, 소정의 저장 단위 블록에 대응하는 예측 블록을, 상기 현재 블록에 대한 참조 예측 유닛(colPu)으로 결정하는 단계 및 상기 결정된 참조 예측 유닛의 움직임 정보로부터 시간적 움직임 벡터 예측자(TMVP: Temporal Motion Vector Predictor)를 도출하는 단계를 포함하고, 상기 참조 예측 유닛의 움직임 정보는, 상기 참조 예측 유닛이 커버하는 대표 픽셀에 위치한 움직임 정보이고, 상기 대표 픽셀은, 상기 소정의 저장 단위 블록 내의 움직임 정보를 대표하여 저장되는, 대표 움직임 정보가 위치한 픽셀이다.
2. 1에 있어서, 상기 소정의 저장 단위 블록은, 동일 위치 블록의 우측 하단 코너에 위치한, 우측 하단 코너 블록일 수 있고, 상기 동일 위치 블록은, 상기 참조 픽쳐 내에서 상기 현재 블록과 동일한 위치에 있는 블록이다.
3. 2에 있어서, 상기 참조 픽쳐 내에서, 상기 우측 하단 코너 블록에 대응하는 예측 블록이 인트라 모드로 코딩되거나 유효하지 않은 경우, 상기 소정의 저장 단위 블록은, 상기 동일 위치 블록의 우측 하단 센터에 위치한, 우측 하단 센터 블록일 수 있다.
4. 2에 있어서, 상기 우측 하단 코너 블록이, 상기 현재 블록이 속한 LCU(Largest Coding Unit)의 외부에 위치하는 경우, 상기 소정의 저장 단위 블록은, 상기 동일 위치 블록의 우측 하단 센터에 위치한, 우측 하단 센터 블록일 수 있다.
5. 청구항 2에 있어서, 상기 참조 픽쳐 내에서, 상기 우측 하단 코너 블록에 대응하는 예측 블록이 인트라 모드로 코딩되거나 유효하지 않은 경우, 상기 소정의 저장 단위 블록은, 상기 동일 위치 블록의 좌측 상단 센터에 위치한, 좌측 상단 센터 블록일 수 있다.
6. 1에 있어서, 상기 소정의 저장 단위 블록은, 동일 위치 블록의 좌측 상단 센터에 위치한, 좌측 상단 센터 블록일 수 있고, 상기 동일 위치 블록은 상기 참조 픽쳐 내에서 상기 현재 블록과 동일한 위치에 있는 블록이다.
7. 1에 있어서, 상기 소정의 저장 단위 블록은, 동일 위치 블록의 우측 하단 센터에 위치한, 우측 하단 센터 블록일 수 있고, 상기 동일 위치 블록은 상기 참조 픽쳐 내에서 상기 현재 블록과 동일한 위치에 있는 블록이다.
8. 본 발명의 다른 실시 형태는 시간적 움직임 벡터 예측자 도출 방법이다. 상기 방법은 현재 블록에 대한 참조 픽쳐를 선택하는 단계, 상기 참조 픽쳐 내의 소정의 복수의 저장 단위 블록을, 소정의 순서로 스캔하는 단계, 상기 소정의 복수의 저장 단위 블록 중에서, 가용한 움직임 정보를 포함하고 스캔의 우선 순위가 가장 높은 저장 단위 블록을 선택하는 단계, 참조 픽쳐 내에서, 상기 선택된 저장 단위 블록에 대응하는 예측 유닛을 참조 예측 유닛(colPu)으로 결정하는 단계 및 상기 결정된 참조 예측 유닛의 움직임 정보로부터 시간적 움직임 벡터 예측자(TMVP: Temporal Motion Vector Predictor)를 도출하는 단계를 포함하고, 상기 참조 예측 유닛의 움직임 정보는, 상기 참조 예측 유닛이 커버하는 대표 픽셀에 위치한 움직임 정보이고, 상기 대표 픽셀은, 상기 선택된 저장 단위 블록 내의 움직임 정보를 대표하여 저장되는, 대표 움직임 정보가 위치한 픽셀이다.
9. 본 발명의 또 다른 실시 형태는 인터 예측 방법이다. 상기 방법은 현재 블록에 대한 참조 픽쳐를 선택하는 단계, 상기 참조 픽쳐 내에서, 소정의 저장 단위 블록에 대응하는 예측 블록을, 상기 현재 블록에 대한 참조 예측 유닛(colPu)으로 결정하는 단계, 상기 결정된 참조 예측 유닛의 움직임 정보로부터 시간적 움직임 벡터 예측자(TMVP: Temporal Motion Vector Predictor)를 도출하는 단계 및 상기 도출된 시간적 움직임 벡터 예측자를 이용하여, 상기 현재 블록에 대한 예측 블록을 생성하는 단계를 포함하고, 상기 참조 예측 유닛의 움직임 정보는, 상기 참조 예측 유닛이 커버하는 대표 픽셀에 위치한 움직임 정보이고, 상기 대표 픽셀은, 상기 소정의 저장 단위 블록 내의 움직임 정보를 대표하여 저장되는, 대표 움직임 정보가 위치한 픽셀이다.
10. 9에 있어서, 상기 소정의 저장 단위 블록은, 동일 위치 블록의 우측 하단 코너에 위치한, 우측 하단 코너 블록일 수 있고, 상기 동일 위치 블록은, 상기 참조 픽쳐 내에서 상기 현재 블록과 동일한 위치에 있는 블록이다.
11. 10에 있어서, 상기 참조 픽쳐 내에서, 상기 우측 하단 코너 블록에 대응하는 예측 블록이 인트라 모드로 코딩되거나 유효하지 않은 경우, 상기 소정의 저장 단위 블록은, 상기 동일 위치 블록의 우측 하단 센터에 위치한, 우측 하단 센터 블록일 수 있다.
12. 10에 있어서, 상기 우측 하단 코너 블록이, 상기 현재 블록이 속한 LCU(Largest Coding Unit)의 외부에 위치하는 경우, 상기 소정의 저장 단위 블록은, 상기 동일 위치 블록의 우측 하단 센터에 위치한, 우측 하단 센터 블록일 수 있다.
본 발명에 따른 영상 부호화 방법에 의하면 영상 압축 효율이 향상될 수 있다.
본 발명에 따른 영상 복호화 방법에 의하면 영상 압축 효율이 향상될 수 있다.
본 발명에 따른 인터 예측 방법에 의하면 영상 압축 효율이 향상될 수 있다.
본 발명에 따른 시간적 움직임 벡터 예측자 도출 방법에 의하면 영상 압축 효율이 향상될 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 예측부를 개략적으로 도시한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 영상 복호화 장치를 개략적으로 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 영상 복호화 장치의 예측부를 개략적으로 나타낸 개념도이다.
도 5는 인터 예측 모드에서 AMVP(Advanced Motion Vector Predictor)가 적용되는 경우, 움직임 벡터 도출 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 6은 움직임 벡터 예측자 후보 리스트 생성 방법의 일 실시예를 개략적으로 나타내는 개념도이다.
도 7은 저장 단위 블록의 일 실시예를 개략적으로 나타내는 개념도이다.
도 8은 저장 단위 블록의 다른 실시예를 개략적으로 나타내는 개념도이다.
도 9는 시간적 움직임 정보 압축 방법의 일 실시예를 개략적으로 나타내는 개념도이다.
도 10은 시간적 움직임 정보 압축 방법의 다른 실시예를 설명하기 위한 개념도이다.
도 11은 시간적 움직임 정보 압축 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다.
도 12는 시간적 움직임 정보 압축 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다.
도 13은 시간적 움직임 정보 압축 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다.
도 14는 시간적 움직임 정보 압축 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다.
도 15는 시간적 움직임 정보 압축 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다.
도 16은 참조 픽쳐에 포함된 동일 위치 블록의 일 실시예를 개략적으로 나타내는 개념도이다.
도 17은 시간적 움직임 벡터 예측자 도출 방법의 일 실시예를 개략적으로 나타내는 개념도이다.
도 18은 시간적 움직임 벡터 예측자가 위치할 수 있는 시간적 참조 블록의 실시예를 개략적으로 나타내는 개념도이다.
도 19는 시간적 움직임 벡터 예측자 도출 방법의 다른 실시예를 개략적으로 나타내는 개념도이다.
도 20은 시간적 움직임 벡터 예측자 도출 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다.
도 21은 시간적 움직임 벡터 예측자 도출 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다.
도 22는 시간적 움직임 벡터 예측자 도출 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다.
도 23은 본 발명에 따른 인터 예측 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 영상 부호화/복호화 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리 범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 개략적으로 도시한 블록도이다. 도 1을 참조하면, 영상 부호화 장치(100)는 픽쳐 분할부(105), 예측부(110), 변환부(115), 양자화부(120), 재정렬부(125), 엔트로피 부호화부(130), 역양자화부(135), 역변환부(140), 필터부(145) 및 메모리(150)를 포함한다.
픽쳐 분할부(105)는 입력된 픽쳐를 적어도 하나의 처리 단위로 분할할 수 있다. 이때, 처리 단위는 예측 유닛(Prediction Unit: PU)일 수도 있고, 변환 유닛(Transform Unit: TU)일 수도 있으며, 부호화 유닛(Coding Unit: CU)일 수도 있다.
예측부(110)는 후술하는 바와 같이, 인터 예측을 수행하는 인터 예측부와 인트라 예측을 수행하는 인트라 예측부를 포함할 수 있다. 예측부(110)는, 픽쳐 분할부(105)에서의 픽쳐의 처리 단위에 대하여 예측을 수행하여 예측 블록을 생성할 수 있다. 예측부(110)에서 픽쳐의 처리 단위는 부호화 유닛일 수도 있고, 변환 유닛일 수도 있고, 예측 유닛일 수도 있다. 또한, 해당 처리 단위에 대하여 실시되는 예측이 인터 예측인지 인트라 예측인지를 결정하고, 각 예측 방법의 구체적인 내용(예컨대, 예측 모드 등)를 정할 수 있다. 이때, 예측이 수행되는 처리 단위와 예측 방법 및 구체적인 내용이 정해지는 처리 단위는 다를 수 있다. 예컨대, 예측의 방법과 예측 모드 등은 예측 유닛 단위로 결정되고, 예측의 수행은 변환 유닛 단위로 수행될 수도 있다. 생성된 예측 블록과 원본 블록 사이의 잔차값(잔차 블록: residual block)은 변환부(115)로 입력될 수 있다. 또한, 예측을 위해 사용한 예측 모드 정보, 움직임 벡터(motion vector) 정보 등은 잔차값과 함께 엔트로피 부호화부(130)에서 부호화되어 복호화기에 전달될 수 있다.
변환부(115)는 변환 단위로 잔차 블록에 대한 변환(transform)을 수행하고 변환 계수를 생성한다. 변환부(115)에서의 변환 단위는 변환 유닛일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다. 이때, 변환 단위의 크기는 소정의 최대 및 최소 크기의 범위 내에서 정해질 수 있다. 변환부(115)는 잔차 블록을 DCT(Discrete Cosine Transform) 및/또는 DST(Discrete Sine Transform)를 이용하여 변환할 수 있다.
양자화부(120)는 변환부(115)에서 변환된 잔차값들을 양자화하여 양자화 계수를 생성할 수 있다. 양자화부(120)에서 산출된 값은 역양자화부(135)와 재정렬부(125)에 제공될 수 있다.
재정렬부(125)는 양자화부(120)로부터 제공된 양자화 계수를 재정렬한다. 양자화 계수를 재정렬함으로써 엔트로피 부호화부(130)에서의 부호화의 효율을 높일 수 있다. 재정렬부(125)는 계수 스캐닝(Coefficient Scanning) 방법을 통해 2차원 블록 형태의 양자화 계수들을 1차원의 벡터 형태로 재정렬할 수 있다. 재정렬부(125)에서는 양자화부에서 전송된 계수들의 확률적인 통계를 기반으로 계수 스캔닝의 순서를 변경함으로써 엔트로피 부호화부(130)에서의 엔트로피 부호화 효율을 높일 수도 있다.
엔트로피 부호화부(130)는 재정렬부(125)에 의해 재정렬된 양자화 계수들에 대한 엔트로피 부호화를 수행할 수 있다. 엔트로피 부호화부(130)는 재정렬부(125) 및 예측부(110)로부터 전달받은 부호화 유닛의 양자화 계수 정보 및 블록 타입 정보, 예측 모드 정보, 분할 단위 정보, 예측 유닛 정보 및 전송 단위 정보, 움직임 벡터 정보, 참조 픽쳐 정보, 블록의 보간 정보, 필터링 정보 등 다양한 정보를 부호화할 수 있다.
엔트로피 부호화에는 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법들이 사용될 수 있다. 예를 들어, 엔트로피 부호화부(130)에는 가변길이 부호화(VLC: Variable Length Coding, 이하 'VLC'라 함.) 테이블과 같은 엔트로피 부호화를 수행하기 위한 테이블이 저장될 수 있고, 엔트로피 부호화부(130)는 저장된 VLC 테이블을 이용하여 엔트로피 부호화를 수행할 수 있다. 또한 다른 예로서 CABAC 엔트로피 부호화 방법에서, 엔트로피 부호화부(130)는 심볼을 이진화하여 빈(bin)으로 변환한 후 빈의 발생 확률에 따라 빈에 대한 산술 부호화(arithmetic encoding)를 수행하여 비트스트림을 생성할 수도 있다.
엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼(symbol)에 낮은 값의 인덱스(index) 및 이에 대응하는 짧은 코드워드(codeword)가 할당되고, 낮은 발생 확률을 갖는 심볼에 높은 값의 인덱스 및 이에 대응하는 긴 코드워드가 할당될 수 있다. 따라서 부호화 대상 심볼들에 대한 비트량이 감소될 수 있고, 엔트로피 부호화에 의해 영상 압축 성능이 향상될 수 있다.
역양자화부(135)는 양자화부(120)에서 양자화된 값들을 역양자화하고, 역변환부(140)는 역양자화부(135)에서 역양자화된 값들을 역변환할 수 있다. 역양자화부(135) 및 역변환부(140)에서 생성된 잔차값(Residual)은 예측부(110)에서 예측된 예측 블록과 합쳐져 복원 블록(Reconstructed Block)이 생성될 수 있다.
필터부(145)는 디블록킹 필터 및/또는 ALF(Adaptive Loop Filter)를 복원된 픽쳐에 적용할 수 있다.
디블록킹 필터는 복원된 픽쳐에서 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는, 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. ALF는 고효율을 적용하는 경우에만 수행될 수도 있다.
한편, 인터 예측에 사용되는 복원 블록에 대해서 필터부(145)는 필터링을 적용하지 않을 수 있다.
메모리(150)는 필터부(145)를 통해 산출된 복원 블록 또는 픽쳐를 저장할 수 있다. 메모리(150)에 저장된 복원 블록 또는 픽쳐는 인터 예측을 수행하는 예측부(110)에 제공될 수 있다.
부호화 유닛(Coding Unit: CU)은 픽쳐의 부호화/복호화가 수행되는 단위로서, 쿼드 트리 구조(Quad Tree Structure)를 기반으로 깊이(Depth)를 가지며 분할될 수 있다. 부호화 유닛은 64x64, 32x32, 16x16, 8x8 등의 여러 크기를 가질 수 있다.
부호화기는 최대 부호화 유닛(Largest Coding Unit: LCU)과 최소 부호화 유닛(Smallest Coding Unit: SCU)에 관한 정보를 복호화기에 전송할 수도 있다. 최대 부호화 유닛 및/또는 최소 부호화 유닛에 관한 정보와 함께 분할 가능한 회수에 관한 정보(깊이 정보)가 복호화기에 전송될 수 있다. 부호화 유닛이 쿼드 트리 구조를 기반으로 분할되는지에 관한 정보는 분할 플래그(Split Flag)와 같은 플래그 정보를 통해 부호화기로부터 복호화기로 전달될 수 있다.
하나의 부호화 유닛은 복수 개의 예측 유닛으로 분할될 수 있다. 인트라 예측이 수행되는 경우에는 예측 유닛 단위로 예측 모드가 결정되어 예측 유닛 단위로 예측이 수행될 수 있다. 이 때, 예측 유닛 단위로 예측 모드가 정해지고 변환 유닛 단위로 인트라 예측이 수행될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 예측부를 개략적으로 도시한 개념도이다. 도 2를 참조하면 예측부(200)는 인터 예측부(210) 및 인트라 예측부(220) 를 포함할 수 있다.
인터 예측부(210)는 현재 픽쳐의 이전 픽쳐 또는 이후 픽쳐 중 적어도 하나의 픽쳐의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 또한, 인트라 예측부(220)는 현재 픽쳐 내의 픽셀 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 예측부(210)는 예측 유닛에 대하여, 참조 픽쳐를 선택하고 예측 유닛과 동일한 크기의 참조 블록을 정수 픽셀 샘플 단위로 선택할 수 있다. 이어서, 인터 예측부(210)는 1/2 픽셀 샘플 단위와 1/4 픽셀 샘플 단위와 같이 정수 이하 샘플 단위로 현재 예측 유닛과 가장 유사하여 잔차 신호가 최소화되며 부호화되는 움직임 벡터 크기 역시 최소가 될 수 있는 예측 블록을 생성할 수 있다. 이때, 움직임 벡터는 정수 픽셀 이하의 단위로 표현될 수 있으며, 예컨대 루마 픽셀에 대해서는 1/4 픽셀 단위로, 크로마 픽셀에 대해서는 1/8 픽셀 단위로 표현될 수 있다.
인터 예측부(210)가 선택한 참조 픽쳐의 인덱스와 움직임 벡터에 관한 정보는 부호화되어 복호화기에 전달될 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상 복호화 장치를 개략적으로 나타낸 블록도이다. 도 3을 참조하면, 영상 복호화기(300)는 엔트로피 복호화부(310), 재정렬부(315), 역양자화부(320), 역변환부(325), 예측부(330), 필터부(335) 및 메모리(340)를 포함할 수 있다.
영상 부호화기에 영상 비트 스트림이 입력된 경우, 입력된 비트 스트림은 영상 부호화기에서 영상 정보가 처리된 절차에 따라서 복호화될 수 있다.
엔트로피 복호화부(310)는 입력된 비트스트림에 대하여 엔트로피 복호화를 수행할 수 있으며, 엔트로피 복호화 방법은 상술한 엔트로피 부호화 방법과 유사하다. 예컨대, 영상 부호화기에서 엔트로피 부호화를 수행하기 위해 CAVLC 등의 가변 길이 부호화(VLC: Variable Length Coding, 이하 'VLC' 라 함)가 사용된 경우에는 엔트로피 복호화부(310)도 부호화기에서 사용한 VLC 테이블과 동일한 VLC 테이블을 구현하여 엔트로피 복호화를 수행할 수 있다. 영상 부호화기에서 엔트로피 부호화를 수행하기 위해, CABAC이 이용된 경우에도, 엔트로피 복호화부(310)는 이에 대응하여 CABAC을 이용한 엔트로피 복호화를 수행할 수 있다.
엔트로피 복호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼(symbol)에 낮은 값의 인덱스(index) 및 이에 대응하는 짧은 코드워드(codeword)가 할당되고, 낮은 발생 확률을 갖는 심볼에 높은 값의 인덱스 및 이에 대응하는 긴 코드워드가 할당될 수 있다. 따라서 부호화 대상 심볼들에 대한 비트량이 감소될 수 있고, 엔트로피 부호화에 의해 영상 압축 성능이 향상될 수 있다.
엔트로피 복호화부(310)에서 복호화된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(330)로 제공되고 엔트로피 복호화부에서 엔트로피 복호화가 수행된 잔차값은 재정렬부(315)로 입력될 수 있다.
재정렬부(315)는, 엔트로피 복호화부(310)에서 엔트로피 복호화된 비트 스트림을 영상 부호화기에서 재정렬한 방법을 기초로 재정렬할 수 있다. 재정렬부(315)는 1차원 벡터 형태로 표현된 계수들을 다시 2차원의 블록 형태의 계수로 복원하여 재정렬할 수 있다. 재정렬부(315)는 부호화기에서 수행된 계수 스캐닝에 관련된 정보를 제공받고 해당 부호화부에서 수행된 스캐닝 순서에 기초하여 역으로 스캐닝하는 방법을 통해 재정렬을 수행할 수 있다.
역양자화부(320)는 부호화기에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다.
역변환부(325)는, 영상 부호화기에서 수행된 양자화 결과에 대해 부호화기의 변환부가 수행한 DCT 및 DST에 대해, 역DCT 및/또는 역DST를 수행할 수 있다. 역변환은 부호화기에서 결정된 전송 단위 또는 영상의 분할 단위를 기초로 수행될 수 있다. 부호화기의 변환부에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 복호화기의 역변환부(325)는 부호화기의 변환부에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.
예측부(330)는 엔트로피 복호화부(310)에서 제공된 예측 블록 생성 관련 정보와 메모리(340)에서 제공된 이전에 복호화된 블록 및/또는 픽쳐 정보를 기초로 예측 블록을 생성할 수 있다. 복원 블록은 예측부(330)에서 생성된 예측 블록과 역변환부(325)에서 제공된 잔차 블록을 이용해 생성될 수 있다.
복원된 블록 및/또는 픽쳐는 필터부(335)로 제공될 수 있다. 필터부(335)는 복원된 블록 및/또는 픽쳐에 디블록킹 필터링, SAO(Sample Adaptive Offset) 및/또는 적응적 루프 필터링(ALF) 등을 적용할 수 있다.
메모리(340)는 복원된 픽쳐 또는 블록을 저장하여 참조 픽쳐 또는 참조 블록으로 사용할 수 있도록 할 수 있고 또한 복원된 픽쳐를 출력부로 제공할 수 있다.
도 4는 본 발명의 일 실시예에 따른 영상 복호화 장치의 예측부를 개략적으로 나타낸 개념도이다.
도 4를 참조하면, 예측부(400)는 인트라 예측부(410) 및 인터 예측부(420)를 포함할 수 있다.
인트라 예측부(410)는 해당 예측 유닛에 대한 예측 모드가 인트라 예측(intra prediction) 모드(화면 내 예측 모드)인 경우에, 현재 픽쳐 내의 픽셀 정보를 기초로 예측 블록을 생성할 수 있다.
인터 예측부(420)는 해당 예측 유닛에 대한 예측 모드가 인터 예측(inter prediction) 모드(화면 간 예측 모드)인 경우에, 영상 부호화기에서 제공된 현재 예측 유닛의 인터 예측에 필요한 정보, 예컨대 움직임 벡터, 참조 픽쳐 인덱스 등에 관한 정보를 이용해 현재 예측 유닛이 포함된 현재 픽쳐의 이전 픽쳐 또는 이후 픽쳐 중 적어도 하나의 픽쳐에 포함된 정보를 기초로 현재 예측 유닛에 대한 인터 예측을 수행할 수 있다.
이때, 움직임 정보는, 부호화기로부터 수신되는 부호화 유닛의 스킵 플래그, 머지 플래그 등이 확인된 경우, 이에 대응하여 유도될 수 있다.
이하, 발명의 구성 또는 표현에 따라 "영상" 또는 "화면"이 "픽쳐"와 같은 의미를 나타낼 수 있는 경우,"픽쳐"는 "영상" 또는 "화면"으로 기술될 수 있다. 또한 인터 예측(inter prediction)과 화면 간 예측은 동일한 의미를 가지며, 인트라 예측(intra prediction)과 화면 내 예측은 동일한 의미를 가진다.
인터 예측 모드의 경우에 부호화기 및 복호화기는 현재 블록의 움직임 정보를 도출하고, 도출된 움직임 정보에 기반하여 현재 블록에 대한 인터 예측을 수행할 수 있다.
도 5는 인터 예측 모드에서 AMVP(Advanced Motion Vector Predictor)가 적용되는 경우, 움직임 벡터 도출 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 5를 참조하면, 부호화기 및 복호화기는 현재 블록에 대한 움직임 벡터 예측자 후보 리스트를 생성할 수 있다(S510). 여기서, 움직임 벡터 예측자(MVP: Motion Vector Predictor)는 현재 블록의 움직임 벡터에 대한 예측값을 나타낼 수 있다. 이하, 움직임 벡터 예측자 및 MVP는 동일한 의미를 가진다.
부호화기 및 복호화기는 현재 블록에 인접하고 이용 가능한(available) 주변 블록 및/또는 각 참조 픽쳐에 포함된 시간적(temporal) 참조 블록의 움직임 벡터를 이용하여 움직임 벡터 예측자 후보 리스트를 생성할 수 있다. 상기 시간적 참조 블록은 현재 블록과 동일 위치에 있는(co-located) 각 참조 픽쳐의 블록(이하, 설명의 편의를 위해 ‘동일 위치 블록’(co-located block)이라 함)을 기반으로 도출될 수 있다. 시간적 참조 블록을 도출하는 방법의 구체적인 실시예는 후술하기로 한다.
부호화기 및 복호화기는 움직임 벡터 예측자 후보 리스트에 포함된 움직임 벡터 예측자 후보들 중 현재 블록에 대한 움직임 벡터 예측자를 선택할 수 있다(S520).
부호화기는 움직임 벡터 예측자 후보 리스트에 포함된 움직임 벡터 예측자 후보들에 대해 움직임 벡터 경쟁(Motion Vector Competition: MVC, 이하 ‘MVC’라 함)을 적용하여, 현재 블록에 대한 최적의 움직임 벡터 예측자를 선택할 수 있다. 움직임 벡터 예측자가 선택되면, 부호화기는 비트 스트림을 통해 움직임 벡터 예측자 인덱스를 복호화기로 전송할 수 있다. 여기서, 움직임 벡터 예측자 인덱스는, 움직임 벡터 예측자 후보 리스트에 포함된 움직임 벡터 예측자 후보들 중에서 선택된, 현재 블록의 움직임 벡터 예측자를 지시하는 인덱스를 의미한다.
복호화기는 부호화기로부터 움직임 벡터 예측자 인덱스를 수신할 수 있다. 복호화기는, 수신된 움직임 벡터 예측자 인덱스를 이용하여, 움직임 벡터 예측자 후보 리스트에 포함된 움직임 벡터 예측자 후보들 중 현재 블록에 대한 움직임 벡터 예측자를 선택할 수 있다.
복호화기는 선택된 움직임 벡터 예측자를 이용하여 현재 블록의 움직임 벡터를 도출할 수 있다(S530).
현재 블록에 대한 움직임 벡터 예측자가 선택되면, 부호화기는 현재 블록의 움직임 벡터와 움직임 벡터 예측자의 차분을 구할 수 있다. 이하, 움직임 벡터와 움직임 벡터 예측자의 차분은 움직임 벡터 차분(Motion Vector Difference: MVD)이라 한다. 부호화기는 움직임 벡터 자체가 아닌, 움직임 벡터 차분에 대한 정보를 복호화기로 전송할 수 있다. 이 때, 움직임 벡터 차분이 작을수록 부호화기에서 복호화기로 전송되는 정보량이 감소될 수 있다.
복호화기는 부호화기로부터 움직임 벡터 차분에 대한 정보를 수신할 수 있다. 현재 블록에 대한 움직임 벡터 예측자가 선택되면, 복호화기는 선택된 움직임 벡터 예측자와 움직임 벡터 차분을 더하여 현재 블록의 움직임 벡터를 구할 수 있다.
도 6은 움직임 벡터 예측자 후보 리스트 생성 방법의 일 실시예를 개략적으로 나타내는 개념도이다.
이하, 현재 블록의 좌측 하단 코너 블록(A0, 610) 및 현재 블록의 좌측에 인접한 블록들 중 최하단에 위치한 블록(A1, 620)을 포함하는 하나의 그룹을 좌측 후보 블록 그룹이라 한다. 또한 이하, 현재 블록의 우측 상단 코너 블록(B0, 630), 현재 블록의 상단에 인접한 블록들 중 최우측에 위치한 블록(B1, 640) 및 현재 블록의 좌측 상단 코너 블록(B2, 650)을 포함하는 하나의 그룹을 상단 후보 블록 그룹이라 한다.
부호화기 및 복호화기는 좌측 후보 블록 그룹에서 하나의 움직임 벡터 예측자 후보를 도출할 수 있다. 여기서, 좌측 후보 블록 그룹에서 도출된 움직임 벡터 예측자 후보는 MVA로 나타내어질 수 있다. 예를 들어, 부호화기 및 복호화기는 좌측 후보 블록 그룹에 포함된 블록들을 A0 -> A1 순서로 스캔하면서, 현재 블록과 참조 픽쳐 인덱스가 동일하고 이용 가능한 첫 번째 블록의 움직임 벡터를 현재 블록의 움직임 벡터 예측자 후보(MVA)로 선택할 수 있다.
부호화기 및 복호화기는 상단 후보 블록 그룹에서 하나의 움직임 벡터 예측자 후보를 도출할 수 있다. 여기서, 상단 후보 블록 그룹에서 도출된 움직임 벡터 예측자 후보는 MVB로 나타내어질 수 있다. 예를 들어, 부호화기 및 복호화기는 상단 후보 블록 그룹에 포함된 블록들을 B0 -> B1 -> B2 순서로 스캔하면서, 현재 블록과 참조 픽쳐 인덱스가 동일하고 이용 가능한 첫 번째 블록의 움직임 벡터를 현재 블록의 움직임 벡터 예측자 후보(MVB)로 선택할 수 있다.
또한, 부호화기 및 복호화기는 참조 픽쳐 내의 시간적 참조 블록(Col, 660)의 움직임 벡터를 현재 블록의 움직임 벡터 예측자 후보로 선택할 수 있다. 여기서, 시간적 참조 블록(660)의 움직임 벡터는 MVcol로 나타내어질 수 있다.
상술한 실시예에서, 좌측 후보 블록 그룹에서 도출된 움직임 벡터 예측자 후보 및 상단 후보 블록 그룹에서 도출된 움직임 벡터 예측자 후보는 공간적 움직임 벡터 예측자(spatial motion vector predictor)로 불릴 수 있다. 또한, 참조 픽쳐 내의 시간적 참조 블록으로부터 도출된 움직임 벡터 예측자 후보는 시간적 움직임 벡터 예측자(TMVP: Temporal Motion Vector Predictor)로 불릴 수 있다. 따라서, 움직임 벡터 예측자 후보에는 공간적 움직임 벡터 예측자 및 시간적 움직임 벡터 예측자가 있을 수 있으며, 움직임 벡터 예측자 후보 리스트는 공간적 움직임 벡터 예측자 및/또는 시간적 움직임 벡터 예측자를 포함할 수 있다.
부호화기 및 복호화기는 상술한 방법에 의해 선택된 움직임 벡터 예측자 후보들 중 중복된 후보를 제거할 수 있다. 부호화기 및 복호화기는 남은 움직임 벡터 예측자 후보들을 이용하여 움직임 벡터 예측자 후보 리스트를 구성할 수 있다.
움직임 벡터 예측이 수행되는 경우, 공간적 움직임 벡터 예측자뿐만 아니라 시간적 움직임 벡터 예측자(TMVP: Temporal Motion Vector Predictor)도 움직임 벡터 예측자 후보로 사용될 수 있다. 상술한 바와 같이, 시간적 움직임 벡터 예측자는 참조 픽쳐(예를 들어, 현재 픽쳐와 인접하거나 현재 픽쳐와의 시간적 거리가 가까운 픽쳐) 내의 시간적 참조 블록으로부터 도출된 움직임 벡터 예측자 후보를 의미할 수 있다. 이하, 시간적 움직임 벡터 예측자를 포함하여, 참조 픽쳐 내의 움직임 벡터는 시간적 움직임 벡터(temporal motion vector)라 한다. 또한, 참조 픽쳐 내의 움직임 정보(예를 들어, 움직임 벡터 및 참조 픽쳐 인덱스)는 시간적 움직임 정보라 한다.
현재 블록에 대한 시간적 움직임 벡터 예측자를 도출하기 위해서는, 이전에 복호화된 픽쳐의 움직임 정보가 저장되어 있어야 한다. 따라서, 복호화된 픽쳐 및/또는 블록이 메모리(참조 픽쳐 버퍼 및/또는 복호화 픽쳐 버퍼(DPB: Decoded Picture Buffer))에 저장될 때, 복호화된 움직임 정보가 복호화된 픽쳐 및/또는 블록과 함께 저장될 수 있다. 움직임 정보가 저장되는 메모리는 움직임 벡터 메모리 및/또는 움직임 벡터 버퍼로도 불릴 수 있다.
*일례로 움직임 정보는, 최소 단위 블록마다 각각 저장될 수 있다. 여기서, 최소 단위 블록은 움직임 정보가 저장되는 최소 저장 단위의 블록을 의미한다. 이하, 움직임 정보가 저장되는 최소 저장 단위의 블록은 최소 단위 블록이라 하며, 일례로 최소 단위 블록의 크기는 4x4일 수 있다.
그러나 픽쳐의 크기가 큰 경우, 움직임 정보를 저장하기 위해 요구되는 메모리의 크기가 커질 수 있다. 움직임 정보에 대한 그래뉼러리티(granularity) 및 B 슬라이스 내의 하나의 블록에 대해 두 개의 움직임 벡터가 사용될 수 있다는 점을 고려할 때, 움직임 정보 저장을 위한 메모리의 크기는 중요하다. 따라서, 소요되는 메모리의 크기 및 메모리 액세스 대역폭(memory access bandwidth)을 감소시키기 위해 시간적 움직임 정보 압축(compression) 기술이 사용될 수 있다.
시간적 움직임 정보 압축 기술의 일 실시예로, 복호화된 움직임 정보보다 큰 그래뉼러리티로 움직임 정보를 저장하기 위해 미디언 필터(median filter)가 사용될 수 있다. 미디언 필터가 움직임 벡터에 적용되는 경우, 움직임 벡터의 각 성분에 대해 필터링 및/또는 압축이 수행될 수 있다. 상기 미디언 필터를 이용한 움직임 정보 압축 프로세스는 적응적 루프 필터를 거친 복호화된 픽쳐가 메모리에 저장되기 전에 수행될 수 있다.
미디언 필터는 소정의 저장 단위 및/또는 소정의 방법에 의해 도출되는 저장 단위를 기반으로 적용될 수 있다. 여기서, 저장 단위는 움직임 정보가 압축되어 저장되는 단위를 의미할 수 있다. 이하, 움직임 정보가 압축되어 저장되는 단위를 나타내는 블록은 저장 단위 블록이라 한다.
상기 소정의 저장 단위는 최소 단위 블록의 크기(예를 들어, 4x4)보다 큰 소정의 크기의 블록일 수 있다. 또한, 상기 저장 단위는 부호화기로부터 전송된 압축 정보를 이용하여 도출될 수도 있다. 여기서, 상기 압축 정보에는 압축 플래그 및 압축 비율 정보 등이 있을 수 있다. 상기 압축 플래그는 움직임 정보 압축이 적용되는지 여부를 지시하는 플래그를 나타내고, 상기 압축 비율 정보는 움직임 정보의 압축 비율을 나타낼 수 있다. 압축 정보를 전송하는 방법 및 압축 정보를 이용하여 저장 단위를 도출하는 방법은, 후술되는 미디언 필터를 사용하지 않는 움직임 정보 압축 기술에서와 동일하므로 생략하기로 한다.
상술한 움직임 정보 압축 과정에서는 움직임 정보가 낮은 해상도(resolution)로 저장될 수 있으므로, 움직임 정보 저장을 위한 메모리의 크기가 감소될 수 있다.
시간적 움직임 정보 압축 기술의 다른 실시예로, 미디언 필터가 사용되지 않는 움직임 정보 저장 방법이 제공될 수 있다.
상기 방법에서는, 저장 단위 블록 내의 움직임 벡터 중에서 대표 움직임 벡터가 선택될 수 있고, 선택된 대표 움직임 벡터가 상기 저장 단위 블록 내의 모든 최소 단위 블록에 할당될 수 있다. 따라서, 움직임 정보가 낮은 해상도로 저장될 수 있고, 움직임 정보 저장을 위한 메모리의 크기가 감소될 수 있다. 미디언 필터가 아닌 대표 움직임 벡터가 사용되는 경우, 미디언 필터가 사용되는 경우에 비해 코딩 효율이 조금 더 낮을 수 있으나, 계산량 및/또는 복잡도가 감소될 수 있다. 이하, 미디언 필터가 사용되지 않는 움직임 정보 저장 방법의 실시예들이 서술된다.
도 7은 저장 단위 블록의 일 실시예를 개략적으로 나타내는 개념도이다.
저장 단위 블록 내의 임의의 픽셀의 좌표가 (x, y)이고, 저장 단위 블록의 너비는 W, 높이는 H라는 변수로 정의된다고 가정한다. 저장 단위 블록에 포함되는 최소 단위 블록의 개수 및 크기는 도 7의 실시예에 한정되는 것은 아니며, 예를 들어, 저장 단위 블록에 포함되는 최소 단위 블록의 개수는 16보다 크거나 작을 수 있다.
이하, 후술되는 도 8 내지 도 15의 실시예에서는, ((x>>log2W)<<log2W, (y>>log2H)<<log2H)에 존재하는 픽셀을 포함하는 최소 단위 블록은 좌측 상단 블록(710), (((x>>log2W)<<log2W)+W-1, (y>>log2H)<<log2H)에 존재하는 픽셀을 포함하는 최소 단위 블록은 우측 상단 블록(720), ((x>>log2W)<<log2W, ((y>>log2H)<<log2H)+H-1)에 존재하는 픽셀을 포함하는 최소 단위 블록은 좌측 하단 블록(730), (((x>>log2W)<<log2W)+W-1, ((y>>log2H)<<log2H)+H-1)에 존재하는 픽셀을 포함하는 최소 단위 블록은 우측 하단 블록(740)이라는 용어로 정의되어 사용된다.
또한, (((x>>log2W)<<log2W)+W/2-1, ((y>>log2H)<<log2H)+H/2-1)에 존재하는 픽셀을 포함하는 최소 단위 블록은 좌측 상단 센터 블록(750), (((x>>log2W)<<log2W)+W/2, ((y>>log2H)<<log2H)+H/2-1)에 존재하는 픽셀을 포함하는 최소 단위 블록은 우측 상단 센터 블록(760), (((x>>log2W)<<log2W)+W/2-1, ((y>>log2H)<<log2H)+H/2)에 존재하는 픽셀을 포함하는 최소 단위 블록은 좌측 하단 센터 블록(770), (((x>>log2W)<<log2W)+W/2, ((y>>log2H)<<log2H)+H/2)에 존재하는 픽셀을 포함하는 최소 단위 블록은 우측 하단 센터 블록(780)이라는 용어로 정의되어 사용된다.
여기서, 각각의 블록들(좌측 상단 블록(710), 우측 상단 블록(720), 좌측 하단 블록(730), 우측 하단 블록(740), 좌측 상단 센터 블록(750), 우측 상단 센터 블록(760), 좌측 하단 센터 블록(770), 우측 하단 센터 블록(780))은, 상술된 바와 같이, 이에 포함된 픽셀의 좌표에 의해 특정될 수 있다. 예를 들어, 저장 단위 블록의 크기가 16x16인 경우, 좌측 상단 블록은 ((x>>4)<<4, (y>>4)<<4)에 의해 특정될 수 있다.
도 8은 저장 단위 블록의 다른 실시예를 개략적으로 나타내는 개념도이다.
저장 단위 블록은 움직임 정보가 압축, 저장되는 단위를 나타낼 수 있다. 저장 단위 블록은 최소 단위 블록(예를 들어, 4x4 크기의 블록)보다 큰 소정의 크기의 블록일 수 있으며, 예를 들어, 16x16 크기의 블록이 저장 단위 블록으로 사용될 수 있다. 이 때, 일례로 저장 단위 블록에 포함된 16개의 최소 단위 블록은 각각 하나의 움직임 정보를 가질 수 있다.
또한, 저장 단위는 부호화기로부터 전송된 압축 정보를 이용하여 도출될 수도 있다. 여기서, 상기 압축 정보에는 압축 플래그 및 압축 비율 정보 등이 있을 수 있다. 상기 압축 플래그는 움직임 정보 압축 과정이 적용되는지 여부를 지시할 수 있고, 상기 압축 비율 정보는 움직임 정보의 압축 비율을 나타낼 수 있다.
상기 압축 정보는 SPS(Sequence Parameter Set), PPS(Picture Parameter Set) 또는 슬라이스 헤더(slice header)에 포함되어 부호화기로부터 복호화기로 전송될 수 있다. 다음 표 1은 압축 정보가 정의된 SPS의 일 실시예를 나타낸다. 표 1의 실시예에서는 상기 압축 정보가 SPS에서 정의되지만, 이는 PPS 또는 슬라이스 헤더에서 정의될 수도 있다.
[표 1]
Figure 112022007635896-pat00001
여기서, motion_vertor_buffer_comp_flag는 상기 압축 플래그에 해당될 수 있다. 예를 들어, motion_vertor_buffer_comp_flag가 1인 경우, 상기 압축 플래그는 움직임 벡터 메모리 압축 과정이 수행됨을 지시할 수 있다.
motion_vector_buffer_comp_ratio_log2는 상기 압축 비율 정보에 해당될 수 있으며, SPS 내에 motion_vector_buffer_comp_ratio_log2가 존재하지 않는 경우, motion_vector_buffer_comp_ratio_log2의 값이 0으로 추정(infer)될 수 있다. 이 때, 움직임 벡터 메모리 압축 비율은 일례로 다음 수학식 1에 의해 나타내어질 수 있다.
[수학식 1]
MVBufferCompRatio = 1 << motion_vector_buffer_comp_ratio_log2
또는
motion_vector_buffer_comp_ratio
= 1 << motion_vector_buffer_comp_ratio_log2
여기서, MVBufferCompRatio 및 motion_vector_buffer_comp_ratio는 움직임 벡터 메모리 압축 비율을 나타낼 수 있다. 예를 들어, motion_vector_buffer_comp_ratio_log2 값이 2인 경우, MVBufferCompRatio 및 motion_vector_buffer_comp_ratio 값은 4일 수 있다.
도 8을 참조하면, 일 실시예로 motion_vertor_buffer_comp_flag가 1이고 motion_vector_buffer_comp_ratio가 4인 경우, 저장 단위 블록은 가로 4줄, 세로 4줄씩 4x4 (MVBufferCompRatio-by-MVBufferCompRatio 또는 motion_vector_buffer_comp_ratio-by-motion_vector_buffer_comp_ratio) 형태로 배열된 총 16개의 최소 단위 블록으로 구성될 수 있다. 여기서, 저장 단위 블록은 항상 정방형의 모양을 가질 수 있다. 이 때, 저장 단위 블록을 구성하는 16개의 최소 단위 블록은, 각각 4x4 크기의 블록일 수 있고 각각 하나의 움직임 벡터를 가질 수 있다. 이 때 저장 단위 블록의 전체 크기는 16x16이고, 하나의 저장 단위 블록은 16개의 움직임 벡터를 가질 수 있다.
다음 표 2는 압축 정보가 정의된 SPS(또는 PPS 또는 슬라이스 헤더)의 다른 실시예를 나타낸다.
[표 2]
Figure 112022007635896-pat00002
여기서, motion_data_buffer_comp_flag는 움직임 정보 메모리 압축 과정이 적용되는지 여부를 지시하는 압축 플래그에 해당될 수 있다. 예를 들어, motion_data_buffer_comp_flag가 1인 경우, 상기 압축 플래그는 움직임 정보 메모리 압축 과정이 수행됨을 지시할 수 있다.
motion_data_buffer_comp_ratio_log2는 움직임 정보의 압축 비율을 나타내는 압축 비율 정보에 해당될 수 있다. 이 때, 움직임 벡터 메모리 압축 비율은 수학식 1에서와 동일한 방식으로 도출될 수 있으며, 저장 단위 블록은 항상 정방형의 모양을 가질 수 있다. 예를 들어, motion_data_buffer_comp_ratio_log2가 1이면 저장 단위 블록의 크기가 8x8, motion_data_buffer_comp_ratio_log2가 2이면 저장 단위 블록의 크기가 16x16, motion_data_buffer_comp_ratio_log2가 3이면 저장 단위 블록의 크기가 32x32일 수 있다. 다른 예로, motion_data_buffer_comp_ratio_log2는 로그 스케일(log scale)이 아닌 정수(integer) 단위로 정의될 수도 있다. 예를 들어, motion_data_buffer_comp_ratio_log2가 1이면 저장 단위 블록의 크기가 8x8, motion_data_buffer_comp_ratio_log2가 2이면 저장 단위 블록의 크기가 12x12, motion_data_buffer_comp_ratio_log2가 3이면 저장 단위 블록의 크기가 16x16일 수도 있다.
다음 표 3은 압축 정보가 정의된 SPS(또는 PPS 또는 슬라이스 헤더)의 또 다른 실시예를 나타낸다.
[표 3]
Figure 112022007635896-pat00003
여기서, motion_data_buffer_comp_ratio_x_log2 및 motion_data_buffer_comp_ratio_y_log2는 움직임 정보의 압축 비율을 나타내는 압축 비율 정보에 해당될 수 있다. motion_data_buffer_comp_ratio_x_log2는 움직임 정보의 x축 방향(가로 방향) 압축 비율을 나타낼 수 있고, motion_data_buffer_comp_ratio_y_log2는 움직임 정보의 y축 방향(세로 방향) 압축 비율을 나타낼 수 있다. 표 3의 실시예에서는, x축 방향의 압축 비율과 y축 방향의 압축 비율이 분리되어 정의되므로, 저장 단위 블록은 정방형이 아닌 직사각형(rectangular) 모양을 가질 수 있다.
상술한 실시예들에서 압축 정보는 SPS, PPS 또는 슬라이스 헤더 내에서 정의되나, 구현 및/또는 필요에 따라 압축 정보는 프로파일(profile) 및/또는 레벨(level)에서 정의될 수도 있다.
저장 단위 블록 및/또는 최소 단위 블록은 상술한 바와 같이 다양한 방법으로 정해질 수 있다. 이하 후술되는 시간적 움직임 정보 압축 방법의 실시예들에서는, 설명의 편의상 저장 단위 블록의 크기는 16x16, 최소 단위 블록의 크기는 4x4라 가정한다. 또한, 하나의 저장 단위 블록은 4x4 형태로 배열된 16개의 최소 단위 블록으로 구성된다고 가정한다.
도 9는 시간적 움직임 정보 압축 방법의 일 실시예를 개략적으로 나타내는 개념도이다. 도 9에서, (X0,Y0)~(X15,Y15)는 움직임 벡터를 나타내고, ref_idx n(n은 0 이상의 정수)은 참조 픽쳐 인덱스를 나타낸다. 시간적 움직임 정보 압축 과정은, 적응적 루프 필터를 거친 복호화된 픽쳐가 메모리에 저장되기 전에 수행될 수 있다.
도 9의 실시예에서, 저장 단위 블록(910, 920)은 가로 4줄, 세로 4줄씩 4x4 형태로 배열된 총 16개의 최소 단위 블록으로 구성된다고 가정한다. 여기서, 상기 16개의 최소 단위 블록 각각은 하나의 움직임 정보를 가질 수 있고, 하나의 저장 단위 블록은 16개의 움직임 정보를 가질 수 있다. 상기 저장 단위 블록은 소정의 크기를 가진 블록으로 결정될 수도 있고, 부호화기로부터 전송된 압축 비율 정보에 의해 결정될 수도 있다. 예를 들어, 도 9의 실시예는 표 1의 실시예에서 motion_vector_buffer_comp_ratio가 4인 경우에 해당될 수 있다.
도 9의 910을 참조하면, 복호화된 최소 단위 블록 각각은 하나의 움직임 벡터 및 하나의 참조 픽쳐 인덱스를 가질 수 있다. 또한, 하나의 저장 단위 블록에 포함된 최소 단위 블록들은 서로 다른 움직임 정보를 가질 수 있다.
도 9의 920을 참조하면, 부호화기 및 복호화기는 저장 단위 블록 내의 움직임 벡터 중에서, 좌측 상단(top left) 블록(TL)의 움직임 벡터(X0,Y0)를 현재 저장 단위 블록에 대한 대표 움직임 벡터로 선택할 수 있다. 이 때, 선택된 대표 움직임 벡터가 상기 저장 단위 블록 내의 모든 최소 단위 블록에 할당될 수 있다. 즉, 상기 선택된 대표 움직임 벡터가, 현재 저장 단위 블록 내의 16개의 움직임 벡터를 대표하여 메모리(움직임 벡터 버퍼)에 저장될 수 있다. 한편, 현재 픽쳐가 B 픽쳐인 경우, 참조 픽쳐 리스트0(L0)의 참조 픽쳐 및 참조 픽쳐 리스트1(L1)의 참조 픽쳐가 인터 예측에 사용될 수 있으므로, L0, L1 각각에 대한 움직임 정보가 모두 저장될 수 있다.
좌측 상단 블록이 인트라 모드로 부호화 및/또는 복호화된 경우, 좌측 상단 블록에 움직임 벡터가 존재하지 않을 수도 있다. 이러한 경우, (0,0)의 움직임 벡터가 상기 저장 단위 블록 내의 모든 최소 단위 블록에 할당될 수 있다. 이 때에는, (0,0)의 움직임 벡터가, 현재 저장 단위 블록 내의 16개의 움직임 벡터를 대표하여 메모리(움직임 벡터 버퍼)에 저장될 수 있다.
상술한 시간적 움직임 정보 압축 방법에서는, 움직임 벡터가 낮은 해상도(resolution)로 저장될 수 있으므로, 움직임 벡터 저장을 위한 메모리 크기가 감소될 수 있다. 그러나, 좌측 상단 블록의 움직임 벡터, 즉 편향된 위치의 움직임 벡터가 일괄적으로 저장 단위 블록 내의 모든 최소 단위 블록에 할당되므로, 코딩 효율의 저하가 발생할 수 있다. 또한, 좌측 상단 블록이 인트라 모드로 코딩된 경우, 좌측 상단 블록 외의 블록들 중에 인터 모드로 코딩된 블록이 존재하는지 여부에 관계 없이 (0,0)의 움직임 벡터가 저장된다는 문제점이 있을 수 있다. 또한, 상술한 시간적 움직임 정보 압축 방법에서, 부호화기 및 복호화기는 저장 단위 블록 내의 각각의 움직임 벡터에 대응되는 참조 픽쳐 인덱스를 고려하지 않고, 동일한 움직임 벡터를 모든 최소 단위 블록에 할당하므로, 왜곡이 발생할 수 있다.
도 10은 시간적 움직임 정보 압축 방법의 다른 실시예를 설명하기 위한 개념도이다.
도 10은 하나의 저장 단위 블록을 나타낼 수 있다. 상기 저장 단위 블록은 복수의 최소 단위 블록으로 구성될 수 있다. 여기서, 최소 단위 블록 각각은 하나의 움직임 정보를 가질 수 있다. 일례로 상기 최소 단위 블록의 크기는 4x4이고, 상기 저장 단위 블록의 크기는 16x16일 수 있다. 이 때, 저장 단위 블록은 가로 4줄, 세로 4줄씩 4x4 형태로 배열된 총 16개의 최소 단위 블록으로 구성될 수 있다. 저장 단위 블록 및 최소 단위 블록의 크기는 상기 실시예에 한정되지 않으며, 저장 단위 블록은 NxN(N은 자연수) 형태로 배열된 최소 단위 블록으로 구성될 수 있다. 도 10에서, (X0,Y0)~(X15,Y15)는 움직임 벡터를 나타내고, ref_idx n(n은 0 이상의 정수)은 참조 픽쳐 인덱스를 나타낸다.
부호화기 및 복호화기는 저장 단위 블록 내의 움직임 벡터 중에서, 소정의 최소 단위 블록의 움직임 벡터를 현재 저장 단위 블록에 대한 대표 움직임 벡터로 선택할 수 있다. 이 때, 부호화기 및 복호화기는 좌측 상단 블록이 아닌 다른 특정 위치의 블록에 있는 움직임 벡터를 대표 움직임 벡터로 선택할 수 있다.
일 실시예로, 부호화기 및 복호화기는 우측 상단(right top) 블록(RT)의 움직임 벡터(X3,Y3), 좌측 하단(bottom left) 블록(BL)의 움직임 벡터(X12,Y12) 또는 우측 하단(bottom right) 블록(BR)의 움직임 벡터(X15,Y15)를 현재 저장 단위 블록에 대한 대표 움직임 벡터로 선택할 수 있다. 또한, 부호화기 및 복호화기는 좌측 상단 센터 블록(Center_LT 또는 C0)의 움직임 벡터, 우측 상단 센터 블록(Center_RT 또는 C1)의 움직임 벡터, 좌측 하단 센터 블록(Center_BL 또는 C2)의 움직임 벡터 또는 우측 하단 센터 블록(Center_BR 또는 C3)의 움직임 벡터를 현재 저장 단위 블록에 대한 대표 움직임 벡터로 선택할 수도 있다.
대표 움직임 벡터에 대응하는 최소 단위 블록의 위치는 상술한 실시예에 한하지 않으며, 저장 단위 블록 내 임의의 어떠한 최소 단위 블록의 움직임 벡터도, 상기 저장 단위 블록을 대표하는 대표 움직임 벡터로 정해질 수 있다. 예를 들어, 4x4 형태로 배열된 최소 단위 블록의 x축상의 위치를 block_x, y축상의 위치를 block_y라 하면, (block_x, block_y)(block_x = 0,1,2 또는 3, block_y = 0,1,2 또는 3)의 위치에 해당되는 어떤 블록의 움직임 벡터도 대표 움직임 벡터로 정해질 수 있다.
다른 실시예로, 대표 움직임 벡터에 대응하는 최소 단위 블록의 위치는, 움직임 벡터의 압축 비율에 따라 적응적으로 결정될 수도 있다. 여기서, 움직임 벡터의 압축 비율은 일례로 motion_vector_buffer_comp_ratio에 의해 나타내어질 수 있다.
예를 들어, motion_vector_buffer_comp_ratio가 4인 경우, 우측 하단 블록의 움직임 벡터를 현재 저장 단위 블록에 대한 대표 움직임 벡터로 선택할 수 있다. 또한, motion_vector_buffer_comp_ratio가 8 또는 16인 경우, 우측 하단 센터 블록의 움직임 벡터를 현재 저장 단위 블록에 대한 대표 움직임 벡터로 선택할 수 있다. 각각의 압축 비율에 따른 대표 움직임 벡터 선택 방법은 상기 예에 한정되지 않으며, 구현 및/또는 필요에 따라 달라질 수 있다.
선택된 대표 움직임 벡터의 위치는 움직임 벡터 저장을 위한 대표 위치에 해당될 수 있으며, 대표 움직임 벡터는 저장 단위 블록 전체를 대표할 수 있다. 즉, 선택된 대표 움직임 벡터는 상기 저장 단위 블록 내의 모든 최소 단위 블록에 할당될 수 있으며, 상기 선택된 대표 움직임 벡터가, 현재 저장 단위 블록 내의 모든 움직임 벡터를 대표하여 메모리(움직임 벡터 버퍼)에 저장될 수 있다.
상술한 실시예는 움직임 벡터를 중심으로 서술되고 있으나, 이에 한정되지 않고 일반적인 움직임 정보에 적용될 수 있다. 여기서, 움직임 정보에는 움직임 벡터를 비롯하여 참조 픽쳐 인덱스, 예측 모드 정보(예를 들어, 예측 모드에는 L0 예측, L1 예측, 단예측(Uni prediction), 쌍예측(Bi prediction) 등이 있을 수 있다.) 등이 있을 수 있다.
도 11은 시간적 움직임 정보 압축 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다. 도 11의 1110 및 1120은 각각 저장 단위 블록을 나타낼 수 있다. 도 11에서, mv_n (n=0...15)은 움직임 벡터를 나타내고, ref_m (m=0...15)은 참조 픽쳐 인덱스를 나타낸다. mv_n 및 ref_m은 각각 z-스캔 순서(z-scan order)로 최소 단위 블록에 할당되어 있다고 가정한다.
도 11의 1110을 참조하면, 부호화기 및 복호화기는 저장 단위 블록 내의 움직임 벡터 중에서, 좌측 상단 블록(1113)의 움직임 벡터(mv_0)를 상기 저장 단위 블록에 대한 대표 움직임 벡터로 선택할 수 있다. 그러나, 후술되는 바와 같이, 시간적 움직임 벡터 예측자 도출시에, 동일 위치 블록 내의 우측 하단 센터에 위치한 블록이 시간적 참조 블록으로 결정될 수 있고, 상기 결정된 시간적 참조 블록의 움직임 벡터가 시간적 움직임 벡터 예측자로 결정될 수 있다. 이 때, 좌측 상단 블록(1113)의 움직임 벡터(mv_0)를 저장 단위 블록에 대한 대표 움직임 벡터로 선택하는 것은 비효율적일 수 있다. 따라서, 부호화기 및 복호화기는 좌측 상단 블록(1113)의 움직임 벡터(mv_0) 대신, 우측 하단 센터 블록(1116)의 움직임 벡터(mv_12)를 저장 단위 블록에 대한 대표 움직임 벡터로 선택할 수 있다.
도 11의 1120을 참조하면, 선택된 대표 움직임 벡터(mv_12)의 위치는 움직임 벡터 저장을 위한 대표 위치에 해당될 수 있으며, 대표 움직임 벡터는 저장 단위 블록 전체를 대표할 수 있다. 즉, 선택된 대표 움직임 벡터(mv_12)는 상기 저장 단위 블록 내의 모든 최소 단위 블록에 할당될 수 있으며, 상기 선택된 대표 움직임 벡터가, 현재 저장 단위 블록 내의 모든 움직임 벡터를 대표하여 메모리(움직임 벡터 버퍼)에 저장될 수 있다.
도 12는 시간적 움직임 정보 압축 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다.
도 12의 1210, 1220에서, mv_n (n=0...15)은 움직임 벡터를 나타내고, ref_m (m=0...15)은 참조 픽쳐 인덱스를 나타낸다. mv_n 및 ref_m은 각각 z-스캔 순서(z-scan order)로 최소 단위 블록에 할당되어 있다고 가정한다. 또한, 도 12의 1230에서, (X0,Y0)~(X15,Y15)는 움직임 벡터를 나타내고, ref_idx n(n은 0 이상의 정수)은 참조 픽쳐 인덱스를 나타낸다.
도 12의 1210을 참조하면, 부호화기 및 복호화기는 저장 단위 블록 내의 움직임 벡터 중에서, 좌측 상단 블록의 움직임 벡터(mv_0)를 상기 저장 단위 블록에 대한 대표 움직임 벡터로 선택할 수 있다. 선택된 대표 움직임 벡터(mv_0)는 상기 저장 단위 블록 내의 모든 최소 단위 블록에 할당될 수 있으며, 상기 선택된 대표 움직임 벡터가, 현재 저장 단위 블록 내의 모든 움직임 벡터를 대표하여 메모리(움직임 벡터 버퍼)에 저장될 수 있다.
도 12의 1210에서, 부호화기 및 복호화기는 저장 단위 블록 내의 각각의 움직임 벡터에 대응되는 참조 픽쳐 인덱스를 고려하지 않고, 동일한 움직임 벡터를 모든 최소 단위 블록에 할당한다. 이 때, 참조 픽쳐 인덱스 메모리의 변경 없이 움직임 벡터 메모리만이 압축될 수 있다. 따라서, 움직임 벡터와 참조 픽쳐 인덱스 간에 불일치(inconsistency)가 발생할 수 있으며, 왜곡이 발생할 수 있다. 이러한 불일치는 시간적 움직임 벡터 예측자의 정확도를 감소시키고 움직임 벡터 스케일링의 성능을 하락시킬 수 있다. 따라서, 참조 픽쳐 인덱스를 위한 메모리 크기를 감소시키고 코딩 효율을 향상시키기 위해, 참조 픽쳐 인덱스 메모리를 움직임 벡터와 함께 압축하는 시간적 움직임 정보 압축 방법이 제공될 수 있다.
도 12의 1220을 참조하면, 1210에서와 동일하게 부호화기 및 복호화기는 저장 단위 블록 내의 움직임 벡터 중에서, 좌측 상단 블록의 움직임 벡터(mv_0)를 상기 저장 단위 블록에 대한 대표 움직임 벡터로 선택할 수 있다. 또한, 부호화기 및 복호화기는 저장 단위 블록 내의 참조 픽쳐 인덱스 중에서, 좌측 상단 블록의 참조 픽쳐 인덱스(ref_0)를 상기 저장 단위 블록에 대한 대표 참조 픽쳐 인덱스로 선택할 수 있다. 즉, 부호화기 및 복호화기는 대표 움직임 벡터에 대응하는 최소 단위 블록이 가진 참조 픽쳐 인덱스를 대표 참조 픽쳐 인덱스로 선택할 수 있고, 참조 픽쳐 인덱스는 움직임 벡터와 동일한 방법으로 압축될 수 있다.
선택된 대표 움직임 벡터(mv_0) 및 대표 참조 픽쳐 인덱스(ref_0)는 상기 저장 단위 블록 내의 모든 최소 단위 블록에 할당될 수 있으며, 상기 선택된 대표 움직임 벡터 및 대표 참조 픽쳐 인덱스가, 현재 저장 단위 블록 내의 모든 움직임 벡터 및 모든 대표 참조 픽쳐 인덱스를 대표하여 메모리에 저장될 수 있다.
도 12의 1230을 참조하면, 부호화기 및 복호화기는 좌측 상단 블록 내의 움직임 벡터(X0,Y0) 및 참조 픽쳐 인덱스(ref_idx 2)를 각각 저장 단위 블록에 대한 대표 움직임 벡터 및 대표 참조 픽쳐 인덱스로 선택할 수 있다. 선택된 대표 움직임 벡터 및 대표 참조 픽쳐 인덱스는 상기 저장 단위 블록 내의 모든 최소 단위 블록에 할당될 수 있으며, 상기 선택된 대표 움직임 벡터 및 대표 참조 픽쳐 인덱스가, 상기 저장 단위 블록 내의 모든 움직임 벡터 및 모든 대표 참조 픽쳐 인덱스를 대표하여 메모리에 저장될 수 있다.
상술한 1220, 1230에서는 움직임 벡터뿐만 아니라 참조 픽쳐 인덱스가 함께 압축되어 저장되므로, 왜곡이 감소될 수 있다. 또한, 1220, 1230의 실시예는 상술한 도 9 내지 도 11의 실시예와 결합하여 적용될 수도 있다. 즉, 도 9 내지 도 11의 실시예에서도, 대표 움직임 벡터에 대응하는 최소 단위 블록이 가진 참조 픽쳐 인덱스가 대표 참조 픽쳐 인덱스로 선택될 수 있고, 참조 픽쳐 인덱스는 움직임 벡터와 동일한 방법으로 압축될 수 있다.
도 13은 시간적 움직임 정보 압축 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다.
상술한 도 9 내지 도 12의 실시예에서, 저장 단위 블록을 대표하는 대표 움직임 정보를 도출하기 위해 선택되는 최소 단위 블록은, 가용한(available) 움직임 정보를 포함하지 않을 수 있다. 최소 단위 블록이 가용한 움직임 정보를 포함하지 않는 경우로는, 최소 단위 블록이 가용하지 않은 경우, 최소 단위 블록이 인트라 모드로 코딩된 경우 및 최소 단위 블록에 대응하는 참조 픽쳐 리스트(예를 들어, 참조 픽쳐 리스트0, 참조 픽쳐 리스트1)에 유효한 움직임 벡터가 존재하지 않는 경우 등이 있을 수 있다.
대표 움직임 정보를 도출하기 위해 선택된 최소 단위 블록이 가용한 움직임 정보를 포함하지 않는 경우, 도 9에서 상술된 바와 같이 부호화기 및 복호화기는 (0,0)의 움직임 벡터를, 상기 저장 단위 블록 내의 모든 움직임 벡터를 대표하여 메모리에 저장할 수 있다. 그러나, 이 경우에는 선택된 최소 단위 블록이 가용한 움직임 정보를 포함하지 않으면, 저장 단위 블록 내에 가용하거나 인터 모드로 코딩된 블록이 존재하는 경우에도, (0,0)의 움직임 벡터가 모든 최소 단위 블록에 할당된다는 문제점이 발생할 수 있다. 따라서, 가용한 움직임 정보를 갖는 최소 단위 블록을 선택하여 대표 움직임 정보를 결정하는, 시간적 움직임 정보 압축 방법이 제공될 수 있다.
일 실시예로 부호화기 및 복호화기는 소정의 순서로 저장 단위 블록 내의 최소 단위 블록을 스캔하면서, 스캔되는 최소 단위 블록이 가용한 움직임 정보를 갖는지 여부를 체크할 수 있다. 이 때, 부호화기 및 복호화기는 가용한 움직임 정보를 갖는 최소 단위 블록 중에서, 스캔 순서가 가장 빠른 블록의 움직임 정보를 상기 저장 단위 블록의 대표 움직임 정보로 선택할 수 있다. 즉, 부호화기 및 복호화기는 가용한 움직임 정보를 갖는 최소 단위 블록을 찾을 때까지 상기 스캔을 수행할 수 있다.
또한, 부호화기 및 복호화기는 상기 스캔 과정에서, 최소 단위 블록이 가용한 움직임 정보를 갖는지 여부(예를 들어, 상기 최소 단위 블록이 인터 모드에서 코딩되었는지 여부 등)뿐만 아니라, 최소 단위 블록이 가진 참조 픽쳐 인덱스 값이 0인지 여부를 함께 체크할 수도 있다. 이 때, 부호화기 및 복호화기는 상기 조건을 충족시키는 최소 단위 블록을 찾을 때까지 스캔을 수행하여, 상기 조건을 충족시키는 첫 번째 최소 단위 블록(스캔의 우선 순위가 가장 높은 최소 단위 블록)의 움직임 정보를 저장 단위 블록의 대표 움직임 정보로 선택할 수 있다.
*상술한 방법에 의해 선택된 대표 움직임 정보의 위치는 움직임 정보 저장을 위한 대표 위치에 해당될 수 있으며, 대표 움직임 정보는 저장 단위 블록 전체를 대표할 수 있다. 즉, 선택된 대표 움직임 정보는 상기 저장 단위 블록 내의 모든 최소 단위 블록에 할당될 수 있으며, 상기 선택된 대표 움직임 정보가, 현재 저장 단위 블록 내의 모든 움직임 정보를 대표하여 메모리에 저장될 수 있다. 예를 들어, 스캔 과정에서 최소 단위 블록이 가진 참조 픽쳐 인덱스 값이 0인지 여부가 함께 체크된 경우, 현재 저장 단위 블록 내의 모든 참조 픽쳐 인덱스를 대표하여, 0의 참조 픽쳐 인덱스 값이 메모리에 저장될 수 있다.
스캔 대상 최소 단위 블록 및 스캔 순서는 다양하게 정해질 수 있다. 도 13의 각 저장 단위 블록 내의 최소 단위 블록에 표시된 번호는 상기 스캔 순서를 나타낸다.
도 13의 1310을 참조하면, 부호화기 및 복호화기는 저장 단위 블록 내의 최소 단위 블록 모두를 스캔할 수 있다. 일례로, 도 13의 1313에 도시된 바와 같이, 상기 스캔 순서는 래스터 스캔 순서(raster scan order)일 수 있다. 또한 도 13의 1316, 1319에 도시된 바와 같이, 부호화기 및 복호화기는 저장 단위 블록의 센터 주변 블록부터 시작하여 점차 저장 단위 블록의 경계 쪽으로 스캔을 수행할 수도 있다.
계산량 및 복잡도를 감소시키기 위해, 부호화기 및 복호화기는 저장 단위 블록 내의 최소 단위 블록 중에서 제한된 개수의 블록만을 스캔할 수도 있다. 일례로, 도 13의 1320에 도시된 바와 같이, 부호화기 및 복호화기는 좌측 상단 센터 블록, 우측 상단 센터 블록, 좌측 하단 센터 블록 및 우측 하단 센터 블록만을 소정의 순서로 스캔할 수 있다. 또한, 도 13의 1330에 도시된 바와 같이, 부호화기 및 복호화기는 좌측 상단 블록, 우측 상단 블록, 좌측 하단 블록 및 우측 하단 블록만을 소정의 순서로 스캔할 수도 있다.
상술한 실시예는 움직임 벡터에 적용될 수 있으며, 이에 한정되지 않고 움직임 정보 모두에 적용될 수도 있다. 여기서, 움직임 정보에는 움직임 벡터, 참조 픽쳐 인덱스 등이 있을 수 있다. 예를 들어, 대표 움직임 벡터에 대응하는 최소 단위 블록이 가진 참조 픽쳐 인덱스가 대표 참조 픽쳐 인덱스로 선택될 수 있고, 참조 픽쳐 인덱스는 움직임 벡터와 동일한 방법으로 압축될 수 있다.
도 14는 시간적 움직임 정보 압축 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다. 도 14의 실시예에서는, 저장 단위 블록 내의 우측 하단 센터 블록의 움직임 벡터가 대표 움직임 벡터로 선택된다고 가정한다.
대표 움직임 정보를 도출하기 위해 선택된 최소 단위 블록이 가용한 움직임 정보를 포함하지 않는 경우, 부호화기 및 복호화기는 (0,0)의 움직임 벡터를 상기 저장 단위 블록 내의 모든 움직임 벡터를 대표하여 메모리에 저장할 수 있으나, 도 13에서 상술한 바와 같은 문제점이 발생할 수 있다.
도 14의 1410을 참조하면, 우측 하단 센터 블록(1415)은 인트라 모드로 코딩된 블록이다. 따라서, 우측 하단 센터 블록(1415)은 가용한 움직임 정보를 포함하지 않을 수 있다. 이 때, (0,0)의 움직임 벡터가 모든 움직임 벡터를 대표하여 메모리에 저장될 수도 있다. 그러나, 저장 단위 블록 내에 가용한 움직임 정보를 갖는 최소 단위 블록이 존재함에도 불구하고 (0,0)의 움직임 벡터가 모든 최소 단위 블록에 할당되어, 코딩 효율이 저하되는 문제점이 발생할 수 있다. 따라서, (0,0)의 움직임 벡터 대신 가용한 움직임 정보를 갖는 최소 단위 블록이 움직임 정보 압축에 사용될 수 있다.
상술한 문제점을 해결하기 위해, 부호화기 및 복호화기는 소정의 순서로 저장 단위 블록 내의 최소 단위 블록을 스캔하면서, 스캔되는 최소 단위 블록이 가용한 움직임 정보를 갖는지 여부를 체크할 수 있다. 예를 들어, 부호화기 및 복호화기는 우측 하단 센터 블록, 좌측 상단 센터 블록, 우측 상단 센터 블록 및 좌측 하단 센터 블록의 순서로 4개의 최소 단위 블록을 스캔할 수 있다. 이 때, 부호화기 및 복호화기는 가용한 움직임 정보를 갖는 갖는 최소 단위 블록 중에서, 가장 스캔 순서가 빠른 블록의 움직임 정보를 상기 저장 단위 블록의 대표 움직임 정보로 선택할 수 있다. 즉, 부호화기 및 복호화기는 가용한 움직임 정보를 갖는 최소 단위 블록을 찾을 때까지 상기 스캔을 수행할 수 있다.
*도 14의 1420을 참조하면, 우측 하단 센터 블록은 인트라 모드로 코딩된 블록이므로, 가용한 움직임 정보를 포함하지 않을 수 있다. 따라서, 부호화기 및 복호화기는 스캔 순서상 우측 하단 센터 블록 다음에 위치하는 좌측 상단 센터 블록(1425)의 움직임 벡터(mv_3)를 현재 저장 단위 블록의 대표 움직임 벡터로 선택할 수 있다.
도 14의 1430을 참조하면, 선택된 대표 움직임 벡터(mv_3)의 위치는 움직임 벡터 저장을 위한 대표 위치에 해당될 수 있으며, 대표 움직임 벡터는 저장 단위 블록 전체를 대표할 수 있다. 즉, 선택된 대표 움직임 벡터(mv_3)는 상기 저장 단위 블록 내의 모든 최소 단위 블록에 할당될 수 있으며, 상기 선택된 대표 움직임 벡터가, 현재 저장 단위 블록 내의 모든 움직임 벡터를 대표하여 메모리(움직임 벡터 버퍼)에 저장될 수 있다.
도 15는 시간적 움직임 정보 압축 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다. 도 15는 저장 단위 블록(1510) 및 상기 저장 단위 블록(1510)의 주변 블록을 도시한다. 상기 주변 블록은 상기 저장 단위 블록(1510)에 인접한 블록(1,2,3,4,6,7,8,9,11,12,13,14,16,17,18,19) 및 상기 저장 단위 블록(1510)의 외부 코너에 위치한 블록(0,5,10,15)을 포함할 수 있다. 이하, 도 15의 실시예에서, 주변 블록은 저장 단위 블록(1510)의 주변 블록을 의미할 수 있다.
상술한 도 9 내지 도 14의 실시예에 따라, 저장 단위 블록(1510)을 대표하는 대표 움직임 정보를 도출하기 위해, 부호화기 및 복호화기에 의해 선택되는 최소 단위 블록은, 가용한(available) 움직임 정보를 포함하지 않을 수 있다. 이러한 경우, 결과적으로 (0,0)의 움직임 벡터가 모든 움직임 벡터를 대표하여 메모리에 저장되는 경우가 발생할 수 있다. 최소 단위 블록이 가용한 움직임 정보를 포함하지 않는 경우로는, 최소 단위 블록이 가용하지 않은 경우, 최소 단위 블록이 인트라 모드로 코딩된 경우 및 최소 단위 블록에 대응하는 참조 픽쳐 리스트(예를 들어, 참조 픽쳐 리스트0, 참조 픽쳐 리스트1)에 유효한 움직임 벡터가 존재하지 않거나 참조 픽쳐 리스트의 움직임 벡터가 유효하지 않은 경우 등이 있을 수 있다.
예를 들어, 도 9의 실시예에서 저장 단위 블록 내의 좌측 상단 블록이 인트라 모드로 코딩된 경우, 상기 좌측 상단 블록은 가용한 움직임 정보를 포함하지 않을 수 있다. 또한, 도 10 내지 도 12의 실시예에서, 부호화기 및 복호화기에 의해 선택되는 최소 단위 블록이 가용한 움직임 정보를 포함하지 않을 수 있다. 또한, 도 13 및 도 14의 실시예에서, 부호화기 및 복호화기에 의해 스캔되는 최소 단위 블록들이 모두 가용한 움직임 정보를 포함하지 않을 수 있다.
상술한 경우에, 부호화기 및 복호화기는 (0,0)의 움직임 벡터를 대표 움직임 벡터로 선택하는 대신, 주변 블록의 움직임 정보를 이용하여 현재 저장 단위 블록에 대한 대표 움직임 벡터를 결정할 수 있다.
일 실시예로, 저장 단위 블록(1510)의 주변 블록 중에서 하나의 블록만이 가용한 움직임 정보를 갖는다고 가정한다. 이 때, 부호화기 및 복호화기는 상기 가용한 움직임 정보를 갖는 주변 블록의 움직임 정보를, 현재 저장 단위 블록(1510)의 대표 움직임 정보로 사용할 수 있다.
다른 실시예로, 상기 저장 단위 블록(1510)의 주변 블록 중에서 두 개 이상의 블록이 가용한 움직임 정보를 갖는다고 가정한다.
이 때, 일례로 부호화기 및 복호화기는 도 15의 주변 블록에 할당된 번호 순서대로 주변 블록을 스캔하면서, 참조 픽쳐 인덱스가 0인 첫 번째 주변 블록을 현재 저장 단위 블록(1510)의 대표 움직임 정보로 사용할 수 있다. 여기서, 스캔 순서는 도 15에 도시된 순서에 한정되지 않으며, 구현 및/또는 필요에 따라 달라질 수 있다.
다른 예로, 부호화기 및 복호화기는 주변 블록의 움직임 정보(예를 들어, 움직임 벡터) 값의 미디언(median) 값을 구한 후, 상기 미디언 값을 현재 저장 단위 블록(1510)의 대표 움직임 정보로 사용할 수 있다. 이 때, 가용한 움직임 정보를 포함하지 않는 주변 블록은 미디언 값 도출시에 사용되지 않고 제외될 수 있다. 또한 부호화기 및 복호화기는 가용한 움직임 정보를 포함하지 않는 주변 블록에 소정의 움직임 정보 값을 할당할 수 있으며, 상기 소정의 움직임 정보 값이 할당된 주변 블록 및 가용한 움직임 정보를 포함하는 주변 블록을 함께 이용하여 미디언 값을 도출할 수도 있다. 일례로, 가용한 움직임 정보를 포함하지 않는 주변 블록에는 (0,0)의 움직임 벡터가 할당될 수 있고, 상기 (0,0)의 움직임 벡터가 미디언 값 도출에 사용될 수 있다.
또 다른 예로, 부호화기 및 복호화기는 저장 단위 블록(1510) 픽셀과 주변 블록 픽셀의 픽셀 차이값에 기반하여 상기 저장 단위 블록(1510)의 대표 움직임 정보를 결정할 수 있다.
예를 들어, 0번 블록의 경우, 0번 블록의 가장 우측 하단 픽셀 및 저장 단위 블록(1510)의 가장 좌측 상단 픽셀의 픽셀값 차분에 의해, 5번 블록의 경우, 5번 블록의 가장 좌측 하단 픽셀 및 저장 단위 블록(1510)의 가장 우측 상단 픽셀의 픽셀값 차분에 의해 도출된 최종 픽셀 차이값이 대표 움직임 정보 결정에 사용될 수 있다. 또한 10번 블록의 경우, 10번 블록의 가장 좌측 상단 픽셀 및 저장 단위 블록(1510)의 가장 우측 하단 픽셀의 픽셀값 차분에 의해, 15번 블록의 경우, 15번 블록의 가장 우측 상단 픽셀 및 저장 단위 블록(1510)의 가장 좌측 하단 픽셀의 픽셀값 차분에 의해 도출된 최종 픽셀 차이값이 대표 움직임 정보 결정에 사용될 수 있다.
또한, 1,2,3,4,6,7,8,9,11,12,13,14,16,17,18,19번 블록의 경우에도 각각 대표 움직임 정보 결정에 사용되는 최종 픽셀 차이값이 도출될 수 있다. 여기서, N(N은 1,2,3,4,6,7,8,9,11,12,13,14,16,17,18 또는 19)번 블록과 저장 단위 블록(1510)이 접하는 경계는 N번 경계라 한다. 이 때, 상기 N번 블록 내의 픽셀 중 N번 경계에 가장 가까이 위치한 M(M은 양의 정수, 예를 들어, M은 4, 8, 16, 32 등일 수 있다.)개의 픽셀의 픽셀값을 합한 값 및 상기 저장 단위 블록(1510) 내의 픽셀 중 N번 경계에 가장 가까이 위치한 M개의 픽셀의 픽셀값을 합한 값 사이의 차이값이 구해질 수 있다. 부호화기 및 복호화기는 상기 구해진 차이값을 M으로 나누어 평균 차이값(everage difference)을 도출할 수 있고, 상기 도출된 평균 차이값을 N번 블록의 최종 픽셀 차이값으로 사용할 수 있다.
상술한 방법에 의해 각 주변 블록에 대해 저장 단위 블록(1510)과의 최종 픽셀 차이값이 구해지면, 부호화기 및 복호화기는 주변 블록 중에서 최종 픽셀 차이값이 가장 작은 블록의 움직임 정보를 현재 저장 단위 블록(1510)의 대표 움직임 정보로 결정할 수 있다. 최종 픽셀 차이값이 가장 작은 블록이 복수 개인 경우 및/또는 주변 블록들의 최종 픽셀 차이값이 동일한 경우, 부호화기 및 복호화기는 도 15에서 할당된 번호가 가장 작은 주변 블록의 움직임 정보를 현재 저장 단위 블록(1510)의 대표 움직임 정보로 결정할 수 있다.
또 다른 실시예로, 저장 단위 블록(1510)의 주변 블록이 모두 가용한 움직임 정보를 갖지 않는 경우가 있을 수 있다. 이 때, 부호화기 및 복호화기는 (0,0)의 움직임 벡터를 대표 움직임 벡터로 선택할 수 있다.
대표 움직임 정보가 결정되면, 선택된 대표 움직임 정보는 저장 단위 블록(1510) 내의 모든 최소 단위 블록에 할당될 수 있다. 따라서, 상기 선택된 대표 움직임 정보가, 현재 저장 단위 블록(1510) 내의 모든 움직임 정보를 대표하여 메모리에 저장될 수 있다.
상술한 실시예는 움직임 벡터에 적용될 수 있으며, 이에 한정되지 않고 움직임 정보 모두에 적용될 수도 있다. 여기서, 움직임 정보에는 움직임 벡터, 참조 픽쳐 인덱스 등이 있을 수 있다. 예를 들어, 대표 움직임 벡터에 대응하는 최소 단위 블록이 가진 참조 픽쳐 인덱스가 대표 참조 픽쳐 인덱스로 선택될 수 있고, 참조 픽쳐 인덱스는 움직임 벡터와 동일한 방법으로 압축될 수 있다.
한편, 상술한 바와 같이, 움직임 벡터 예측이 수행되는 경우 시간적 움직임 벡터 예측자(TMVP: Temporal Motion Vector Predictor)가 움직임 벡터 예측자 후보로 사용될 수 있다. 시간적 움직임 벡터 예측자는 참조 픽쳐 내의 '시간적 참조 블록'의 움직임 벡터로부터 구해질 수 있다. 여기서, 시간적 참조 블록은, 시간적 움직임 벡터 예측자로 사용되는 움직임 벡터를 포함하는, 참조 픽쳐 내의 저장 단위 블록을 의미할 수 있다. 시간적 참조 블록은 현재 블록 및/또는 현재 블록과 동일 위치에 있는(co-located), 각 참조 픽쳐의 ‘동일 위치 블록’을 기반으로 도출될 수 있다. 이하, 후술되는 실시예들에서, 현재 블록은 현재 픽쳐 내의 예측 대상 블록을 의미하며, 상기 현재 블록은 예를 들어 예측 유닛(PU: Prediction Unit)에 해당될 수 있다.
도 7에서 상술된, 저장 단위 블록 내의 최소 단위 블록의 위치를 나타내는 용어들(좌측 상단 블록, 우측 상단 블록, 좌측 하단 블록, 우측 하단 블록, 좌측 상단 센터 블록, 우측 상단 센터 블록, 좌측 하단 센터 블록, 우측 하단 센터 블록)은, 이하 후술되는 실시예들에서는, 현재 블록 및/또는 동일 위치 블록 내의 저장 단위 블록의 위치를 나타내는 용어로 사용될 수 있다. 다음 도 16의 실시예에서는, 동일 위치 블록 내의 저장 단위 블록의 위치에 따른 용어가 정의된다.
도 16은 참조 픽쳐에 포함된 동일 위치 블록의 일 실시예를 개략적으로 나타내는 개념도이다. 도 16은 현재 블록에 대한 동일 위치 블록(1600)을 도시한다. 동일 위치 블록(1600)을 구성하는 각각의 블록은 저장 단위 블록을 나타낼 수 있다. 즉, 동일 위치 블록 내의 각각의 블록은 움직임 정보가 압축되어 저장되는 단위를 나타낼 수 있으며, 동일 위치 블록 내의 각각의 블록에는 하나의 움직임 정보가 저장되어 있을 수 있다. 일례로, 상기 저장 단위 블록의 크기는 16x16일 수 있다.
상술한 바와 같이, 동일 위치 블록(1600)은 현재 블록과 동일한 위치에 있는, 참조 픽쳐 내의 블록을 의미할 수 있다. 현재 블록 및 동일 위치 블록(1600) 내의 가장 좌측 상단 픽셀의 위치는 (xP,yP)이고, 현재 블록 및 동일 위치 블록(1600)의 너비는 nPSW, 높이는 nPSH라는 변수로 정의된다고 가정한다.
이하, 본 발명의 실시예에서는 (xP, yP)에 존재하는 픽셀을 포함하는 저장 단위 블록, 즉 동일 위치 블록(1600)의 좌측 상단에 위치한 저장 단위 블록은 좌측 상단 블록(1610), (xP+nPSW-1, yP)에 존재하는 픽셀을 포함하는 저장 단위 블록, 즉 동일 위치 블록(1600)의 우측 상단에 위치한 저장 단위 블록은 우측 상단 블록(1620), (xP, yP+nPSH-1)에 존재하는 픽셀을 포함하는 저장 단위 블록, 즉 동일 위치 블록(1600)의 좌측 하단에 위치한 저장 단위 블록은 좌측 하단 블록(1630), (xP+nPSW-1, yP+nPSH-1)에 존재하는 픽셀을 포함하는 저장 단위 블록, 즉 동일 위치 블록(1600)의 우측 하단에 위치한 저장 단위 블록은 우측 하단 블록(1640)이라는 용어로 정의되어 사용된다. 또한, (xP+nPSW, yP+nPSH)에 존재하는 픽셀을 포함하는 저장 단위 블록, 즉 동일 위치 블록(1600)의 우측 하단 코너에 위치한 저장 단위 블록은 우측 하단 코너 블록(1650)이라는 용어로 정의되어 사용된다.
또한, (xP+nPSW/2-1, yP+nPSH/2-1)에 존재하는 픽셀을 포함하는 저장 단위 블록, 즉 동일 위치 블록(1600)의 좌측 상단 센터에 위치한 저장 단위 블록은 좌측 상단 센터 블록(1660), (xP+nPSW/2, yP+nPSH/2-1)에 존재하는 픽셀을 포함하는 저장 단위 블록, 즉 동일 위치 블록(1600)의 우측 상단 센터에 위치한 저장 단위 블록은 우측 상단 센터 블록(1670), (xP+nPSW/2-1, yP+nPSH/2)에 존재하는 픽셀을 포함하는 저장 단위 블록, 즉 동일 위치 블록(1600)의 좌측 하단 센터에 위치한 저장 단위 블록은 좌측 하단 센터 블록(1680), (xP+nPSW/2, yP+nPSH/2)에 존재하는 픽셀을 포함하는 저장 단위 블록, 즉 동일 위치 블록(1600)의 우측 하단 센터에 위치한 저장 단위 블록은 우측 하단 센터 블록(1690)이라는 용어로 정의되어 사용된다.
여기서, 각각의 블록들(좌측 상단 블록(1610), 우측 상단 블록(1620), 좌측 하단 블록(1630), 우측 하단 블록(1640), 우측 하단 코너 블록(1650), 좌측 상단 센터 블록(1660), 우측 상단 센터 블록(1670), 좌측 하단 센터 블록(1680), 우측 하단 센터 블록(1690))은, 상술된 바와 같이, 이에 포함된 픽셀의 좌표에 의해 특정될 수 있다. 예를 들어, 우측 하단 센터 블록(1690)은 (xP+nPSW/2, yP+nPSH/2)에 의해 특정될 수 있다.
또한, 상술한 실시예에서 각각의 블록들은 동일 위치 블록을 기준으로 서술되고 있으나, 현재 블록과 참조 픽쳐 내의 동일 위치 블록은 공간적으로 동일한 위치에 있으므로, 상술한 픽셀의 좌표 및 용어들은 현재 블록에 대해서도 적용될 수 있다. 이하, 후술되는 실시예들에서는 동일 위치 블록을 기준으로 저장 단위 블록의 위치가 서술되나, 상기 저장 단위 블록의 위치는 현재 블록을 기준으로 동일하게 정해질 수 있다.
한편, 부호화기 및 복호화기는 참조 픽쳐 내의 소정의 위치 및/또는 소정의 프로세스에 의해 정해진 위치의 블록을 현재 블록에 대한 시간적 참조 블록으로 선택할 수 있다. 여기서, 상기 시간적 참조 블록의 위치는 현재 블록 및/또는 이에 대한 동일 위치 블록을 기준으로 정해질 수 있다. 부호화기 및 복호화기는 선택된 시간적 참조 블록의 움직임 벡터를 도출할 수 있고, 도출된 움직임 벡터를 시간적 움직임 벡터 예측자로 결정할 수 있다. 이 때, 상기 시간적 참조 블록은 저장 단위에 해당되므로, 부호화기 및 복호화기는 상기 시간적 참조 블록과 동일한 움직임 정보를 갖는 예측 유닛으로부터 시간적 움직임 정보 예측자를 도출할 수도 있다.
시간적 참조 블록은 하나의 저장 단위를 나타낼 수 있으므로, 도 16에서 상술한 바와 같이, 상기 시간적 참조 블록에 포함된 픽셀의 좌표에 의해 특정될 수 있다. 예를 들어, 우측 하단 센터 블록이 시간적 참조 블록으로 결정되는 경우, 상기 시간적 참조 블록은 (xP+nPSW/2, yP+nPSH/2)에 의해 특정될 수 있다.
한편, 시간적 참조 블록은 하나의 저장 단위를 나타낼 수 있으므로, 시간적 참조 블록에는 대표 움직임 정보가 저장되는 최소 단위 블록이 존재할 수 있다. 대표 움직임 정보가 저장되는 위치는, 도 7에서 상술한 바와 같이, 상기 최소 단위 블록에 포함되는 픽셀의 좌표에 의해 특정될 수 있다. 예를 들어, 저장 단위 블록의 크기가 16x16이고, 저장 단위 블록 내의 좌측 상단에 위치한 최소 단위 블록의 움직임 정보가, 대표 움직임 정보로 사용된다고 가정한다. 이 때, 상기 시간적 참조 블록을 특정하기 위한 픽셀의 좌표를 (xPCtr, yPCtr)이라 하면, 상기 대표 움직임 정보의 위치는 ((xPCtr>>4)<<4, (yPCtr>>4)<<4)에 의해 특정될 수 있다.
이 때, 참조 픽쳐 내에, 상기 대표 움직임 정보가 특정되는 좌표를 커버(cover)하는 예측 유닛이 존재할 수 있다. 이하, 본 발명의 실시예에서 상기 예측 유닛은 colPu라 한다. 상기 colPu의 움직임 정보는 상기 선택된 시간적 참조 블록의 움직임 정보와 동일하므로, 부호화기 및 복호화기는 colPu의 움직임 벡터를 카피하여, 현재 블록의 시간적 움직임 벡터 예측자로 사용할 수 있다.
이하, 시간적 움직임 벡터 예측자 도출 방법의 실시예들이 서술되며, 상술한 내용은 후술되는 시간적 움직임 벡터 예측자 도출 방법들에 대해서도 적용될 수 있다. 또한, 설명의 편의를 위해 움직임 벡터의 저장 단위 즉, 저장 단위 블록의 크기는 16x16이라 가정한다.
도 17은 시간적 움직임 벡터 예측자 도출 방법의 일 실시예를 개략적으로 나타내는 개념도이다.
도 17의 1710을 참조하면, 현재 픽쳐(1730)는 현재 부호화/복호화 대상 픽쳐를 나타내고, 현재 블록(1740)을 포함할 수 있다. 상기 현재 블록(1740)에 대한 시간적 움직임 벡터 예측자는, 참조 픽쳐(1750) 내의 시간적 참조 블록으로부터 도출될 수 있다.
*일 실시예로, 부호화기 및 복호화기는 동일 위치 블록(1760) 내의 좌측 상단 센터 블록(1770)을 현재 블록(1740)에 대한 시간적 참조 블록으로 선택할 수 있다. 이 때, 상기 결정된 시간적 참조 블록의 움직임 벡터가 현재 블록(1740)에 대한 시간적 움직임 벡터 예측자로 결정될 수 있다.
그러나, 이 경우에 시간적 움직임 벡터 예측자를 도출하기 위해 선택된 시간적 참조 블록이 가용한(available) 움직임 정보를 포함하지 않을 수 있다. 시간적 참조 블록이 가용한 움직임 정보를 포함하지 않는 경우로는, 상기 시간적 참조 블록이 가용하지 않은 경우 및 상기 시간적 참조 블록이 인트라 모드로 코딩된 경우 등이 있을 수 있다.
시간적 움직임 벡터 예측자를 도출하기 위해 선택된 시간적 참조 블록이 가용한 움직임 정보를 포함하지 않는 경우, 부호화기 및 복호화기는 (0,0)의 움직임 벡터를 시간적 움직임 벡터 예측자로 결정할 수도 있다. 그러나, 이 경우에는 동일 위치 블록(1760) 내에 가용하거나 인터 모드로 코딩된 블록이 존재하는 경우에도, (0,0)의 움직임 벡터가 시간적 움직임 벡터 예측자로 결정되어, 부정확한 움직임 정보가 사용된다는 문제점이 발생할 수 있다.
도 17의 1720을 참조하면, 동일 위치 블록(1760) 내의 좌측 상단 센터 블록(1770)은 인트라 모드로 코딩된 블록이고, 우측 상단 센터 블록(1780)은 인터 모드로 코딩되고 가용한 움직임 정보를 포함하는 블록일 수 있다. 이 때, 상기 좌측 상단 센터 블록(1770)이 시간적 참조 블록으로 선택되는 경우, 좌측 상단 센터 블록(1770)은 가용한 움직임 정보를 포함하지 않으므로, (0,0)의 움직임 벡터가 시간적 움직임 벡터 예측자로 결정될 수 있다. 그러나, (0,0)의 움직임 벡터는 부정확한 움직임 정보일 수 있고, 우측 상단 센터 블록(1780)에 가용한 움직임 정보가 저장되어 있으므로, 부호화기 및 복호화기는 부정확한 움직임 정보인 (0,0)의 움직임 벡터를 시간적 움직임 벡터 예측자로 사용하지 않을 수 있다.
도 18은 시간적 움직임 벡터 예측자가 위치할 수 있는 시간적 참조 블록의 실시예를 개략적으로 나타내는 개념도이다. 도 18은 현재 블록 및 동일 위치 블록이 오버랩(overlap)되어 나타내어진 블록(1810)을 도시한다.
도 18을 참조하면, 시간적 움직임 벡터 예측자가 도출되는 시간적 참조 블록에는 좌측 상단 센터 블록(1820, C0), 우측 하단 센터 블록(1830, C3), 우측 하단 블록(1840, BR) 및 우측 하단 코너 블록(1850, H) 등이 있을 수 있다.
또한, X로 표시된 영역에 위치한 블록들도, 시간적 움직임 벡터 예측자가 위치하는 시간적 참조 블록으로 선택될 수 있다. X로 표시된 영역에 위치한 블록에는, 좌측 상단 블록(1861), 우측 상단 블록(1863), 좌측 하단 블록(1865), 우측 상단 센터 블록(1867) 및 좌측 하단 센터 블록(1869) 등이 있을 수 있다.
*도 19는 시간적 움직임 벡터 예측자 도출 방법의 다른 실시예를 개략적으로 나타내는 개념도이다.
도 19의 1910, 1920, 1930은 각각 현재 블록에 대한 동일 위치 블록을 도시한다. 여기서, 동일 위치 블록은, 상술한 바와 같이, 현재 블록과 동일 위치에 있는, 참조 픽쳐의 블록을 의미할 수 있다. 또한, 동일 위치 블록을 구성하는 각각의 블록은 저장 단위 블록을 나타낼 수 있다. 즉, 동일 위치 블록 내의 각각의 블록은 움직임 정보가 압축되어 저장되는 단위를 나타낼 수 있으며, 동일 위치 블록 내의 각각의 블록에는 하나의 움직임 정보가 저장되어 있을 수 있다. 도 8에서 상술한 바와 같이, 저장 단위 블록의 크기는 소정의 크기로 정해질 수 있고, 부호화기로부터 전송된 압축 정보를 이용하여 도출될 수도 있다. 이 때, 압축 정보는 SPS(Sequence Parameter Set), PPS(Picture Parameter Set) 또는 슬라이스 헤더(slice header)에 포함되어 부호화기로부터 복호화기로 전송될 수 있다. 도 19의 실시예에서, 움직임 정보의 저장 단위, 즉 저장 단위 블록의 크기는 16x16이라 가정한다.
한편, 상술한 바와 같이, 부호화기 및 복호화기는 동일 위치 블록 내의 소정의 위치의 블록을 현재 블록에 대한 시간적 참조 블록으로 선택할 수 있다. 부호화기 및 복호화기는 선택된 시간적 참조 블록의 움직임 벡터를 도출할 수 있고, 도출된 움직임 벡터를 시간적 움직임 벡터 예측자로 결정할 수 있다.
도 19의 1910은 현재 블록의 크기가 64x64인 경우의 동일 위치 블록을 도시한다. 도 19의 1910을 참조하면, 일례로, 시간적 움직임 벡터 예측자를 도출하기 위해 선택되는 소정의 위치의 블록은 동일 위치 블록의 좌측 상단 센터 블록(0번 블록)일 수 있다. 즉, 부호화기 및 복호화기는 상기 좌측 상단 센터 블록(0번 블록)을 현재 블록에 대한 시간적 참조 블록으로 선택할 수 있다. 이 경우에는, 좌측 상단 센터 블록(0번 블록)의 움직임 벡터가 시간적 움직임 벡터 예측자로 사용될 수 있다.
다른 예로, 시간적 움직임 벡터 예측자를 도출하기 위해 선택되는 소정의 위치의 블록은 동일 위치 블록의 우측 상단 센터 블록(1번 블록)일 수도 있다. 이 때, 부호화기 및 복호화기는 상기 우측 상단 센터 블록(1번 블록)을 현재 블록에 대한 시간적 참조 블록으로 선택할 수 있다. 또 다른 예로, 시간적 움직임 벡터 예측자를 도출하기 위해 선택되는 소정의 위치의 블록은 동일 위치 블록의 좌측 하단 센터 블록(2번 블록)일 수도 있다. 이 때, 부호화기 및 복호화기는 상기 좌측 하단 센터 블록(2번 블록)을 현재 블록에 대한 시간적 참조 블록으로 선택할 수 있다. 또 다른 예로, 시간적 움직임 벡터 예측자를 도출하기 위해 선택되는 소정의 위치의 블록은 동일 위치 블록의 우측 하단 센터 블록(3번 블록)일 수도 있다. 이 때, 부호화기 및 복호화기는 상기 우측 하단 센터 블록(3번 블록)을 현재 블록에 대한 시간적 참조 블록으로 선택할 수 있다. 상술한 각각의 예에서, 선택된 시간적 참조 블록의 움직임 벡터는 현재 블록에 대한 시간적 움직임 벡터 예측자로 사용될 수 있다.
일 실시예로, 우측 하단 센터 블록(3번 블록)이 시간적 참조 블록으로 사용되고, 저장 단위 블록 내의 우측 하단 센터에 위치한 최소 단위 블록의 움직임 정보가 대표 움직임 정보로 사용되는 경우를 가정한다. 이 때, colPu를 유도하는 방법의 구체적인 실시예는 다음과 같다.
부호화기 및 복호화기는 동일 위치 블록 내의 우측 하단 센터 블록을 시간적 참조 블록으로 선택할 수 있다. 이 때, 시간적 참조 블록의 위치는 현재 블록 및 동일 위치 블록에 포함된 픽셀의 좌표에 의해 특정될 수 있고, 상기 우측 하단 센터 블록은 (xP+(nPSW>>1), yP+(nPSW>>1))에 의해 특정될 수 있다. 이는 다음과 같이 나타내어질 수 있다.
Figure 112022007635896-pat00004
여기서, xPCtr, yPCtr은 시간적 참조 블록에 대해 특정되는 좌표를 나타낼 수 있다. xP, yP는 현재 블록 내의 가장 좌측 상단 픽셀의 좌표를 나타내며, nPSW는 현재 블록의 너비, nPSH는 현재 블록의 높이를 나타낼 수 있다.
시간적 참조 블록이 특정되면, 부호화기 및 복호화기는 상기 시간적 참조 블록 내의 대표 움직임 벡터가 저장되는 최소 단위 블록의 위치를 특정할 수 있다. 이 때, 상기 최소 단위 블록의 위치는 ((xPCtr>>4)<<4 + 8, (yPCtr>>4)<<4 + 8)에 의해 특정될 수 있다. 이 때, colPu는 상기 ((xPCtr>>4)<<4 + 8, (yPCtr>>4)<<4 + 8) 좌표를 포함하는, 참조 픽쳐 내의 예측 유닛으로 특정될 수 있다. 이는 다음과 같이 나타내어질 수 있다.
Figure 112022007635896-pat00005
이 때, colPu 내의 가장 좌측 상단 좌표는, 다음과 같이 (xPCol, xPCol)로 나타내어질 수 있다.
Figure 112022007635896-pat00006
도 19의 1920은 현재 블록의 크기가 64x32인 경우의 동일 위치 블록을 도시한다. 도 19의 1920에서 현재 블록에 대한 시간적 움직임 벡터 예측자는, 도 19의 1910에서와 동일 또는 유사한 방법으로 도출될 수 있다.
일례로, 시간적 움직임 벡터 예측자를 도출하기 위해 선택되는 소정의 위치의 블록은 동일 위치 블록의 좌측 상단 센터 블록(0번 블록)일 수 있다. 이 때, 부호화기 및 복호화기는 상기 좌측 상단 센터 블록(0번 블록)을 현재 블록에 대한 시간적 참조 블록으로 선택할 수 있다. 다른 예로, 시간적 움직임 벡터 예측자를 도출하기 위해 선택되는 소정의 위치의 블록은 동일 위치 블록의 우측 상단 센터 블록(1번 블록)일 수도 있다. 이 때, 부호화기 및 복호화기는 상기 우측 상단 센터 블록(1번 블록)을 현재 블록에 대한 시간적 참조 블록으로 선택할 수 있다. 또 다른 예로, 시간적 움직임 벡터 예측자를 도출하기 위해 선택되는 소정의 위치의 블록은 동일 위치 블록의 좌측 하단 센터 블록(2번 블록)일 수도 있다. 이 때, 부호화기 및 복호화기는 상기 좌측 하단 센터 블록(2번 블록)을 현재 블록에 대한 시간적 참조 블록으로 선택할 수 있다. 또 다른 예로, 시간적 움직임 벡터 예측자를 도출하기 위해 선택되는 소정의 위치의 블록은 동일 위치 블록의 우측 하단 센터 블록(3번 블록)일 수도 있다. 이 때, 부호화기 및 복호화기는 상기 우측 하단 센터 블록(3번 블록)을 현재 블록에 대한 시간적 참조 블록으로 선택할 수 있다. 상술한 각각의 예에서, 선택된 시간적 참조 블록의 움직임 벡터는 현재 블록에 대한 시간적 움직임 벡터 예측자로 사용될 수 있다.
도 19의 1930은 현재 블록의 크기가 64x64인 경우의 동일 위치 블록을 도시한다. 도 19의 1930을 참조하면, 일례로, 시간적 움직임 벡터 예측자를 도출하기 위해 선택되는 소정의 위치의 블록은 동일 위치 블록의 좌측 상단 블록(4번 블록)일 수 있다. 즉, 부호화기 및 복호화기는 상기 좌측 상단 블록(4번 블록)을 현재 블록에 대한 시간적 참조 블록으로 선택할 수 있다. 이 경우에는, 좌측 상단 블록(4번 블록)의 움직임 벡터가 시간적 움직임 벡터 예측자로 사용될 수 있다.
다른 예로, 시간적 움직임 벡터 예측자를 도출하기 위해 선택되는 소정의 위치의 블록은 동일 위치 블록의 우측 하단 블록(5번 블록)일 수 있다. 즉, 부호화기 및 복호화기는 상기 우측 하단 블록(5번 블록)을 현재 블록에 대한 시간적 참조 블록으로 선택할 수 있다. 이 경우에는, 우측 하단 블록(5번 블록)의 움직임 벡터가 시간적 움직임 벡터 예측자로 사용될 수 있다.
일 실시예로, 우측 하단 블록(5번 블록)이 시간적 참조 블록으로 사용되고, 저장 단위 블록 내의 우측 하단에 위치한 최소 단위 블록의 움직임 정보가 대표 움직임 정보로 사용되는 경우를 가정한다. 이 때, colPu를 유도하는 방법의 구체적인 실시예는 다음과 같다.
부호화기 및 복호화기는 동일 위치 블록 내의 우측 하단 블록을 시간적 참조 블록으로 선택할 수 있다. 이 때, 시간적 참조 블록의 위치는 현재 블록 및 동일 위치 블록에 포함된 픽셀의 좌표에 의해 특정될 수 있고, 상기 우측 하단 블록은 (xP+nPSW-1, yP+nPSW-1)에 의해 특정될 수 있다. 이는 다음과 같이 나타내어질 수 있다.
Figure 112022007635896-pat00007
여기서, xPRb, yPRb는 시간적 참조 블록에 대해 특정되는 좌표를 나타낼 수 있다.
시간적 참조 블록이 특정되면, 부호화기 및 복호화기는 상기 시간적 참조 블록 내의 대표 움직임 벡터가 저장되는 최소 단위 블록의 위치를 특정할 수 있다. 이 때, 상기 최소 단위 블록의 위치는 ((xPRb>>4)<<4 + 12, (yPRb>>4)<<4 + 12)에 의해 특정될 수 있다. 이 때, colPu는 상기 ((xPRb>>4)<<4 + 12, (yPRb>>4)<<4 + 12) 좌표를 포함하는, 참조 픽쳐 내의 예측 유닛으로 특정될 수 있다. 이는 다음과 같이 나타내어질 수 있다.
Figure 112022007635896-pat00008
이 때, colPu 내의 가장 좌측 상단 좌표는, 다음과 같이 (xPCol, xPCol)로 나타내어질 수 있다.
Figure 112022007635896-pat00009
도 20은 시간적 움직임 벡터 예측자 도출 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다.
도 20을 참조하면, 현재 픽쳐(2010)는 현재 부호화/복호화 대상 픽쳐를 나타내고, 현재 픽쳐(2010)는 현재 블록(2020)을 포함할 수 있다. 상기 현재 블록(2020)에 대한 시간적 움직임 벡터 예측자는, 참조 픽쳐(2030)로부터 도출될 수 있다.
상기 참조 픽쳐(2030)를 구성하는 각각의 블록은 저장 단위 블록을 나타낼 수 있다. 즉, 참조 픽쳐(2030)를 구성하는 각각의 블록은 움직임 정보가 압축되어 저장되는 단위를 나타낼 수 있으며, 참조 픽쳐(2030)를 구성하는 각각의 블록에는 하나의 움직임 정보가 저장되어 있을 수 있다. 일례로, 상기 저장 단위 블록의 크기는 16x16일 수 있다.
상기 참조 픽쳐(2030)는 현재 블록에 대한 동일 위치 블록(2040)을 포함할 수 있다. 부호화기 및 복호화기는 동일 위치 블록(2040) 내의 소정의 위치의 저장 단위 블록을 현재 블록(2020)에 대한 시간적 참조 블록으로 선택할 수 있으며, 상기 시간적 참조 블록의 위치는 현재 블록(2020)에 대한 시간적 움직임 벡터 예측자의 위치에 해당될 수 있다.
일 실시예로, 시간적 움직임 벡터 예측자를 도출하기 위해 선택되는 소정의 위치의 블록은, 동일 위치 블록(2040)의 좌측 상단 센터 블록(2050)일 수 있다. 즉, 부호화기 및 복호화기는 상기 좌측 상단 센터 블록(2050)을 현재 블록(2020)에 대한 시간적 참조 블록으로 선택할 수 있다. 이 경우에는, 좌측 상단 센터 블록(2050)의 움직임 벡터가 현재 블록(2020)에 대한 시간적 움직임 벡터 예측자로 사용될 수 있다.
다른 실시예로, 시간적 움직임 벡터 예측자를 도출하기 위해 선택되는 소정의 위치의 블록은, 좌측 상단 센터 블록(2050)이 아닌, 동일 위치 블록(2040)의 우측 하단 센터 블록(2060)일 수 있다. 즉, 부호화기 및 복호화기는 상기 우측 하단 센터 블록(2060)을 현재 블록에 대한 시간적 참조 블록으로 선택할 수 있다. 이 경우에는, 우측 하단 센터 블록(2060)의 움직임 벡터가 현재 블록(2020)에 대한 시간적 움직임 벡터 예측자로 사용될 수 있다.
도 21은 시간적 움직임 벡터 예측자 도출 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다. 도 21의 2110 및 2120은 각각 현재 블록 및 동일 위치 블록이 오버랩(overlap)되어 나타내어진 블록을 도시한다.
도 21에서, 동일 위치 블록을 구성하는 각각의 블록은 저장 단위 블록을 나타낼 수 있다. 즉, 동일 위치 블록 내의 각각의 블록은 움직임 정보가 압축되어 저장되는 단위를 나타낼 수 있으며, 동일 위치 블록 내의 각각의 블록에는 하나의 움직임 정보가 저장되어 있을 수 있다. 도 21의 실시예에서는, 설명의 편의를 위해 움직임 정보의 저장 단위, 즉 저장 단위 블록의 크기는 16x16이고, 현재 블록 및 동일 위치 블록의 크기는 64x64라 가정한다.
부호화기 및 복호화기는 도 17 내지 도 20의 실시예에서 상술한 바와 같이, 고정된 소정의 위치의 블록을 현재 블록에 대한 시간적 참조 블록으로 선택할 수 있으며, 이 경우, 선택된 시간적 참조 블록의 움직임 벡터가 시간적 움직임 벡터 예측자로 사용될 수 있다. 그러나, 상술한 도 17 내지 도 20의 실시예에서, 시간적 움직임 벡터 예측자를 도출하기 위해 선택되는 시간적 참조 블록은 가용한 움직임 정보를 포함하지 않을 수 있다. 시간적 참조 블록이 가용한 움직임 정보를 포함하지 않는 경우로는, 상기 시간적 참조 블록이 인트라 모드로 코딩된 경우 및 상기 시간적 참조 블록에 대응하는 참조 픽쳐 리스트에 유효한(available) 움직임 벡터가 존재하지 않는 경우 등이 있을 수 있다.
도 9에서 상술한 바와 같이, 시간적 참조 블록이 가용한 움직임 정보를 포함하지 않는 경우에도, 상기 시간적 참조 블록에 대해, (0,0)의 움직임 벡터가 메모리에 저장되어 있을 수 있다. 이 때, 부호화기 및 복호화기는 (0,0)의 움직임 벡터를 시간적 움직임 벡터 예측자로 결정할 수도 있다. 그러나, 이 경우에는 동일 위치 블록 내에 가용한 움직임 정보가 저장된 저장 단위 블록이 존재하는 경우에도, (0,0)의 움직임 벡터가 시간적 움직임 벡터 예측자로 결정되어, 부정확한 움직임 정보가 사용된다는 문제점이 발생할 수 있다. 따라서, 가용한 움직임 정보를 갖는 시간적 참조 블록을 선택하여 시간적 움직임 벡터 예측자를 결정하는, 시간적 움직임 벡터 예측자 도출 방법이 제공될 수 있다.
일 실시예로 부호화기 및 복호화기는 동일 위치 블록 내의 소정의 복수의 저장 단위 블록(이하, 시간적 참조 블록 후보라 함. 시간적 참조 블록의 움직임 벡터는 시간적 움직임 벡터 예측자로 사용될 수 있으므로, 상기 시간적 참조 블록 후보는 시간적 움직임 벡터 예측자 후보로 불릴 수도 있음.)을 소정의 순서로 스캔하면서, 스캔되는 저장 단위 블록이 가용한 움직임 정보를 갖는지(예를 들어, 상기 시간적 참조 블록 후보가 인트라 모드로 코딩된 블록인지, 상기 시간적 참조 블록 후보에 대응하는 참조 픽쳐 리스트에 유효한(available) 움직임 벡터가 존재하는지) 여부를 체크할 수 있다. 이 때, 부호화기 및 복호화기는 가용한 움직임 정보를 갖는 시간적 참조 블록 후보 중에서, 스캔 순서가 가장 빠른 후보를 현재 블록에 대한 시간적 참조 블록으로 선택할 수 있으며, 선택된 블록의 움직임 벡터를 시간적 움직임 벡터 예측자로 사용할 수 있다. 즉, 부호화기 및 복호화기는 가용한 움직임 정보를 갖는 시간적 참조 블록 후보를 찾을 때까지 상기 스캔을 수행할 수 있으며, 상기 조건을 충족시키는 첫 번째 시간적 참조 블록 후보의 움직임 벡터를, 현재 블록에 대한 시간적 움직임 벡터 예측자로 결정할 수 있다.
만일, 스캔 대상이 되는, 시간적 참조 블록 후보 모두가 가용한 움직임 정보를 포함하지 않으면(예를 들어, 시간적 참조 블록 후보 모두가 인트라 모드로 코딩되거나 가용하지 않은 경우), 부호화기 및 복호화기는 스캔 순서상 첫 번째 시간적 참조 블록 후보(스캔의 우선 순위가 가장 높은 시간적 참조 블록 후보)를 현재 블록에 대한 시간적 참조 블록으로 결정할 수 있다. 이 때, 일례로, 선택된 시간적 참조 블록에는 (0,0)의 움직임 벡터가 저장되어 있을 수 있으며, (0,0)의 움직임 벡터가 시간적 움직임 벡터 예측자로 사용될 수 있다.
시간적 참조 블록 후보 및 스캔 순서는 다양하게 정해질 수 있다. 도 21의 각 저장 단위 블록에 표시된 번호는 상기 스캔 순서를 나타낼 수 있다.
도 21의 2110을 참조하면, 부호화기 및 복호화기는 현재 블록에 대응하는 동일 위치 블록 내의 저장 단위 블록 중에서 4개의 블록을 시간적 참조 블록 후보로 사용할 수 있다. 여기서, 상기 4개의 블록은 좌측 상단 센터 블록(0번 블록), 우측 상단 센터 블록(1번 블록), 우측 하단 센터 블록(2번 블록), 좌측 하단 센터 블록(3번 블록)일 수 있다.
일례로, 부호화기 및 복호화기는 0번 블록->1번 블록->2번 블록->3번 블록의 순서로 스캔을 수행할 수 있다. 시간적 참조 블록 후보를 스캔하는 순서는 도 21의 2110에 도시된 번호 순서와 다르게 정해질 수도 있다. 예를 들어, 부호화기 및 복호화기는 2번 블록->3번 블록->0번 블록->1번 블록의 순서로 스캔을 수행할 수도 있다.
도 21의 2120을 참조하면, 부호화기 및 복호화기는 현재 블록에 대응하는 동일 위치 블록 내의 저장 단위 블록 중에서 16개의 블록을 시간적 참조 블록 후보로 사용할 수 있다.
일례로, 부호화기 및 복호화기는 0번 블록->1번 블록->2번 블록->3번 블록->4번 블록->5번 블록->6번 블록->7번 블록->8번 블록->9번 블록->10번 블록->11번 블록->12번 블록->13번 블록->14번 블록->15번 블록의 순서로 스캔을 수행할 수 있다. 시간적 참조 블록 후보를 스캔하는 순서는 도 21의 2120에 도시된 번호 순서와 다르게 정해질 수도 있다. 예를 들어, 부호화기 및 복호화기는 2번 블록->3번 블록->0번 블록->1번 블록->10번 블록->11번 블록->12번 블록->13번 블록->14번 블록->15번 블록->4번 블록->5번 블록->6번 블록->7번 블록->8번 블록->9번 블록의 순서로 스캔을 수행할 수도 있다.
시간적 참조 블록 후보 및/또는 시간적 움직임 벡터 예측자 후보의 위치는 현재 블록 및 동일 위치 블록의 내부에 한정되지 않고, 현재 블록 및/또는 동일 위치 블록의 경계 외부에 존재할 수도 있다. 또한, 현재 블록 및/또는 동일 위치 블록의 외부에 존재하는 시간적 참조 블록 후보의 스캔 순서(우선 순위)가, 현재 블록 및/또는 동일 위치 블록의 내부에 존재하는 시간적 참조 블록 후보의 스캔 순서(우선 순위)보다 더 빠를(높을) 수 있다. 이에 대한 실시예는 도 22에서 후술하기로 한다.
시간적 참조 블록 후보(또는 시간적 움직임 벡터 예측자 후보)의 개수와 위치 및 스캔 순서는 상술한 실시예에 한정되지 않으며, 구현 및/또는 필요에 따라 다르게 정해질 수 있다. 또한 예를 들어, 현재 블록 및 동일 위치 블록의 크기가 32x32이고 저장 단위 블록의 크기가 16x16인 경우, 시간적 참조 블록 후보 및/또는 시간적 움직임 벡터 예측자 후보의 최대 개수는 4개일 수 있다. 또한, 현재 블록 및 동일 위치 블록의 크기가 저장 단위 블록의 크기보다 작은 경우에는, 상술한 스캔 방법이 사용되지 않을 수 있다.
도 22는 시간적 움직임 벡터 예측자 도출 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다. 도 22의 2210 및 2220은 각각 현재 블록 및 동일 위치 블록이 오버랩(overlap)되어 나타내어진 블록을 도시한다.
도 22에서, 동일 위치 블록을 구성하는 각각의 블록은 저장 단위 블록을 나타낼 수 있다. 도 22에서, 동일 위치 블록을 구성하는 각각의 블록은 저장 단위 블록을 나타낼 수 있다. 즉, 동일 위치 블록 내의 각각의 블록은 움직임 정보가 압축되어 저장되는 단위를 나타낼 수 있으며, 동일 위치 블록 내의 각각의 블록에는 하나의 움직임 정보가 저장되어 있을 수 있다. 도 21의 실시예에서는, 설명의 편의를 위해 움직임 정보의 저장 단위, 즉 저장 단위 블록의 크기는 16x16이고, 현재 블록 및 동일 위치 블록의 크기는 64x64라 가정한다.
상술한 바와 같이, 부호화기 및 복호화기는 동일 위치 블록의 내부 및/또는 외부에 위치한 저장 단위 블록을 현재 블록에 대한 시간적 참조 블록으로 선택할 수 있다. 부호화기 및 복호화기는 선택된 시간적 참조 블록의 움직임 벡터를 도출할 수 있고, 도출된 움직임 벡터를 시간적 움직임 벡터 예측자로 결정할 수 있다. 이 때, 부호화기 및 복호화기는 상기 시간적 참조 블록과 동일한 움직임 정보를 갖는, 참조 픽쳐 내의 예측 유닛(colPu)으로부터 시간적 움직임 정보 예측자를 도출할 수도 있다.
일 실시예로 도 22의 2210을 참조하면, 부호화기 및 복호화기는 우측 하단 코너 블록(2214, 0번 블록) 및 좌측 상단 센터 블록(2212, 1번 블록)을 현재 블록에 대한 시간적 참조 블록 후보 및/또는 시간적 움직임 벡터 예측자 후보로 사용할 수 있다. 이 때, 부호화기 및 복호화기는 상기 시간적 참조 블록 후보를 우측 하단 코너 블록(2214) -> 좌측 상단 센터 블록(2212)의 순서로 스캔하여, 유효한(available) 첫 번째 블록(스캔의 우선 순위가 높은 블록)의 움직임 벡터를 현재 블록에 대한 시간적 움직임 벡터 예측자로 사용할 수 있다.
우선, 부호화기 및 복호화기는 우측 하단 코너 블록(2214)이 유효한지 여부를 체크할 수 있다. 우측 하단 코너 블록(2214)이 유효하지 않은(not available) 경우의 예로서, 우측 하단 코너 블록(2214)이 가용한 움직임 정보를 포함하지 않는 경우, 우측 하단 코너 블록(2214) 및/또는 이에 대응하는 colPu가 인트라 모드로 코딩된 경우 및 상기 colPu가 유효하지 않은 경우 등이 있을 수 있다.
우측 하단 코너 블록(2214)이 유효한 경우, 부호화기 및 복호화기는 상기 우측 하단 코너 블록(2214)을 시간적 참조 블록으로 선택할 수 있다. 이 때에는, 우측 하단 코너 블록(2214)의 움직임 벡터가 시간적 움직임 벡터 예측자로 결정될 수 있다. 우측 하단 코너 블록(2214)이 유효하지 않은 경우, 부호화기 및 복호화기는 좌측 상단 센터 블록(2212, 1번 블록)을 시간적 참조 블록으로 선택할 수 있다. 이 때에는, 좌측 상단 센터 블록(2212)의 움직임 벡터가 시간적 움직임 벡터 예측자로 결정될 수 있다.
상술한 바와 같이, 우측 하단 코너 블록(2214) 및 좌측 상단 센터 블록(2212)이 시간적 참조 블록 후보 및/또는 시간적 움직임 벡터 예측자 후보로 사용되는 경우, colPu를 유도하는 방법의 구체적인 실시예는 다음과 같다. 후술되는 실시예에서는, 저장 단위 블록 내의 가장 좌측 상단에 위치한 최소 단위 블록의 움직임 정보가 대표 움직임 정보로 사용된다고 가정한다.
우선, 부호화기 및 복호화기는 우측 하단 코너 블록(2214)에 대응하는 colPu를 도출할 수 있다. 이를 위해, 부호화기 및 복호화기는 현재 블록 및/또는 동일 위치 블록에 포함된 픽셀의 좌표에 의해, 우측 하단 코너 블록(2214)을 특정할 수 있다. 이 때, 우측 하단 코너 블록(2214)은 (xP+nPSW, yP+nPSW)의 좌표에 의해 특정될 수 있다. 이는 다음과 같이 나타내어질 수 있다.
Figure 112022007635896-pat00010
여기서, xPRb, yPRb는 시간적 참조 블록에 대해 특정되는 좌표를 나타낼 수 있다. xP, yP는 현재 블록 내의 가장 좌측 상단 픽셀의 좌표를 나타내며, nPSW는 현재 블록의 너비, nPSH는 현재 블록의 높이를 나타낼 수 있다.
우측 하단 코너 블록(2214)이 특정되면, 부호화기 및 복호화기는 대표 움직임 벡터가 저장되는, 우측 하단 코너 블록(2214) 내의 최소 단위 블록의 위치를 특정할 수 있다. 여기서, 상기 최소 단위 블록의 위치는 ((xPRb>>4)<<4, (yPRb>>4)<<4)의 좌표에 의해 특정될 수 있다. 이 때, colPu는 상기 ((xPRb>>4)<<4, (yPRb>>4)<<4) 좌표를 포함하는, 참조 픽쳐 내의 예측 유닛으로 특정될 수 있다. 이는 다음과 같이 나타내어질 수 있다.
Figure 112022007635896-pat00011
여기서, 상기 colPu가 인터 모드로 코딩되고 유효한 경우, 상기 colPu의 움직임 벡터가 현재 블록에 대한 시간적 움직임 벡터 예측자로 사용될 수 있다. 이는 우측 하단 코너 블록(2214)이 시간적 참조 블록으로 선택되는 경우에 해당될 수 있다. 그러나, 상기 colPu가 인트라 모드로 코딩되거나 유효하지 않은 경우, 부호화기 및 복호화기는 현재 블록 및 동일 위치 블록에 포함된 픽셀의 좌표에 의해, 좌측 상단 센터 블록(2212)을 특정할 수 있다. 이 때, 좌측 상단 센터 블록(2212)은 (xP+(nPSW>>1)-1, yP+(nPSW>>1)-1)의 좌표에 의해 특정될 수 있다. 이는 다음과 같이 나타내어질 수 있다.
Figure 112022007635896-pat00012
여기서, xPCtr, yPCtr은 시간적 참조 블록에 대해 특정되는 좌표를 나타낼 수 있다.
좌측 상단 센터 블록(2212)이 특정되면, 부호화기 및 복호화기는 대표 움직임 벡터가 저장되는, 좌측 상단 센터 블록(2212) 내의 최소 단위 블록의 위치를 특정할 수 있다. 여기서, 상기 최소 단위 블록의 위치는 ((xPCtr>>4)<<4, (yPCtr>>4)<<4)의 좌표에 의해 특정될 수 있다. 이 때, colPu는 상기 ((xPCtr>>4)<<4, (yPCtr>>4)<<4) 좌표를 포함하는, 참조 픽쳐 내의 예측 유닛으로 특정될 수 있다. 이는 좌측 상단 센터 블록(2212)이 시간적 참조 블록으로 선택되는 경우에 해당될 수 있으며, 다음과 같이 나타내어질 수 있다.
Figure 112022007635896-pat00013
이 때, colPu 내의 가장 좌측 상단 좌표는, 다음과 같이 (xPCol, xPCol)로 나타내어질 수 있다.
Figure 112022007635896-pat00014
다른 실시예로 도 22의 2220을 참조하면, 부호화기 및 복호화기는 우측 하단 코너 블록(2224, 0번 블록) 및 우측 하단 센터 블록(2222, 1번 블록)을 현재 블록에 대한 시간적 참조 블록 후보 및/또는 시간적 움직임 벡터 예측자 후보로 사용할 수 있다. 이 때, 부호화기 및 복호화기는 상기 시간적 참조 블록 후보를 우측 하단 코너 블록(2224) -> 우측 하단 센터 블록(2222)의 순서로 스캔하여, 유효한(available) 첫 번째 블록(스캔의 우선 순위가 높은 블록)의 움직임 벡터를 현재 블록에 대한 시간적 움직임 벡터 예측자로 사용할 수 있다.
우선, 부호화기 및 복호화기는 우측 하단 코너 블록(2224)이 유효한지 여부를 체크할 수 있다. 우측 하단 코너 블록(2224)이 유효하지 않은(not available) 경우의 예로서, 우측 하단 코너 블록(2224)이 가용한 움직임 정보를 포함하지 않는 경우, 우측 하단 코너 블록(2224) 및/또는 이에 대응하는 colPu가 인트라 모드로 코딩된 경우 및 상기 colPu가 유효하지 않은 경우 등이 있을 수 있다.
우측 하단 코너 블록(2224)이 유효한 경우, 부호화기 및 복호화기는 상기 우측 하단 코너 블록(2224)을 시간적 참조 블록으로 선택할 수 있다. 이 때에는, 우측 하단 코너 블록(2224)의 움직임 벡터가 시간적 움직임 벡터 예측자로 결정될 수 있다. 우측 하단 코너 블록(2224)이 유효하지 않은 경우, 부호화기 및 복호화기는 우측 하단 센터 블록(2222, 1번 블록)을 시간적 참조 블록으로 선택할 수 있다. 이 때에는, 우측 하단 센터 블록(2222)의 움직임 벡터가 시간적 움직임 벡터 예측자로 결정될 수 있다.
상술한 바와 같이, 우측 하단 코너 블록(2224) 및 우측 하단 센터 블록(2222)이 시간적 참조 블록 후보 및/또는 시간적 움직임 벡터 예측자 후보로 사용되는 경우, colPu를 유도하는 방법의 구체적인 실시예는 다음과 같다. 후술되는 실시예에서는, 저장 단위 블록 내의 가장 좌측 상단에 위치한 최소 단위 블록의 움직임 정보가 대표 움직임 정보로 사용된다고 가정한다.
우선, 부호화기 및 복호화기는 우측 하단 코너 블록(2224)에 대응하는 colPu를 도출할 수 있다. 이를 위해, 부호화기 및 복호화기는 현재 블록 및 동일 위치 블록에 포함된 픽셀의 좌표에 의해, 우측 하단 코너 블록(2224)을 특정할 수 있다. 이 때, 우측 하단 코너 블록(2224)은 (xP+nPSW), yP+nPSW)의 좌표에 의해 특정될 수 있다. 이는 다음과 같이 나타내어질 수 있다.
Figure 112022007635896-pat00015
우측 하단 코너 블록(2224)이 특정되면, 부호화기 및 복호화기는 대표 움직임 벡터가 저장되는, 우측 하단 코너 블록(2224) 내의 최소 단위 블록의 위치를 특정할 수 있다. 여기서, 상기 최소 단위 블록의 위치는 ((xPRb>>4)<<4, (yPRb>>4)<<4)의 좌표에 의해 특정될 수 있다. 이 때, colPu는 상기 ((xPRb>>4)<<4, (yPRb>>4)<<4) 좌표를 포함하는, 참조 픽쳐 내의 예측 유닛으로 특정될 수 있다. 이는 다음과 같이 나타내어질 수 있다.
Figure 112022007635896-pat00016
여기서, 상기 colPu가 인터 모드로 코딩되고 유효한 경우, 상기 colPu의 움직임 벡터가 현재 블록에 대한 시간적 움직임 벡터 예측자로 사용될 수 있다. 이는 우측 하단 코너 블록(2224)이 시간적 참조 블록으로 선택되는 경우에 해당될 수 있다. 그러나, 상기 colPu가 인트라 모드로 코딩되거나 유효하지 않은 경우, 부호화기 및 복호화기는 현재 블록 및 동일 위치 블록에 포함된 픽셀의 좌표에 의해, 우측 하단 센터 블록(2222)을 특정할 수 있다. 이 때, 우측 하단 센터 블록(2222)은 (xP+(nPSW>>1), yP+(nPSW>>1))의 좌표에 의해 특정될 수 있다. 이는 다음과 같이 나타내어질 수 있다.
Figure 112022007635896-pat00017
우측 하단 센터 블록(2222)이 특정되면, 부호화기 및 복호화기는 대표 움직임 벡터가 저장되는, 우측 하단 센터 블록(2222) 내의 최소 단위 블록의 위치를 특정할 수 있다. 여기서, 상기 최소 단위 블록의 위치는 ((xPCtr>>4)<<4, (yPCtr>>4)<<4)의 좌표에 의해 특정될 수 있다. 이 때, colPu는 상기 ((xPCtr>>4)<<4, (yPCtr>>4)<<4) 좌표를 포함하는, 참조 픽쳐 내의 예측 유닛으로 특정될 수 있다. 이는 우측 하단 센터 블록(2222)이 시간적 참조 블록으로 선택되는 경우에 해당될 수 있으며, 다음과 같이 나타내어질 수 있다.
Figure 112022007635896-pat00018
이 때, colPu 내의 가장 좌측 상단 좌표는, 다음과 같이 (xPCol, xPCol)로 나타내어질 수 있다.
Figure 112022007635896-pat00019
또 다른 실시예로, 부호화기 및 복호화기는 시간적 참조 블록 후보의 유효성을 체크할 때, 상기 시간적 참조 블록 후보 및/또는 colPu의 위치(또는 좌표)가 현재 블록이 속한 LCU 내의 좌표에 해당되는지 여부를 함께 체크할 수 있다. 시간적 참조 블록 후보 및/또는 colPu의 위치(또는 좌표)가 현재 블록이 속한 LCU에 포함되지 않는 경우, 부호화기 및 복호화기는 상기 시간적 참조 블록 후보 및/또는 colPu를 유효하지 않은 것으로 취급할 수 있다.
상술한 2210 및 2220의 동일 위치 블록의 실시예들에서, 부호화기 및 복호화기는 우측 하단 코너 블록이 유효한지 여부를 체크할 수 있다. 우측 하단 코너 블록이 유효한 경우에는, 우측 하단 코너 블록의 움직임 벡터가 시간적 움직임 벡터 예측자로 사용되고, 우측 하단 코너 블록이 유효하지 않은 경우에는, 좌측 상단 센터 블록 또는 우측 하단 센터 블록의 움직임 벡터가 시간적 움직임 벡터 예측자로 사용될 수 있다. 이 때, 우측 하단 코너 블록 및/또는 이에 대응되는 colPu의 위치(또는 좌표)가 현재 블록이 속한 LCU의 경계 외부에 있는 경우, 부호화기 및 복호화기는 우측 하단 코너 블록 및/또는 이에 대응되는 colPu가 유효하지 않은 것으로 취급할 수 있다. 즉, 우측 하단 코너 블록 및/또는 이에 대응되는 colPu의 위치(또는 좌표)가 현재 블록이 속한 LCU의 경계 외부에 있는 경우, 부호화기 및 복호화기는 좌측 상단 센터 블록 또는 우측 하단 센터 블록의 움직임 벡터를 시간적 움직임 벡터 예측자로 결정할 수 있다.
상술한 바와 같이 LCU를 기준으로 시간적 참조 블록 후보 및/또는 colPu의 유효성을 체크하는 경우, colPu를 유도하는 방법의 구체적인 실시예는 다음과 같다. 후술되는 실시예에서는, 저장 단위 블록 내의 가장 좌측 상단에 위치한 최소 단위 블록의 움직임 정보가 대표 움직임 정보로 사용된다고 가정한다.
우선, 부호화기 및 복호화기는 우측 하단 코너 블록에 대응하는 colPu를 도출할 수 있다. 이는 다음과 같이 나타내어질 수 있다.
Figure 112022007635896-pat00020
여기서, 상기 colPu가 인터 모드로 코딩되고 유효하며 현재 블록이 속한 LCU 내의 좌표에 위치하는 경우, 상기 colPu의 움직임 벡터가 현재 블록에 대한 시간적 움직임 벡터 예측자로 사용될 수 있다. 이는 우측 하단 코너 블록이 시간적 참조 블록으로 선택되는 경우에 해당될 수 있다.
그러나, 상기 colPu가 인트라 모드로 코딩되거나, 유효하지 않거나 또는 colPu의 위치(또는 좌표)가 현재 블록이 속한 LCU의 경계 외부에 있는 경우, 부호화기 및 복호화기는 좌측 상단 센터 블록(또는 우측 하단 센터 블록)에 대응하는 colPu를 도출할 수 있다. 이는 상기 좌측 상단 센터 블록(또는 상기 우측 하단 센터 블록)이 시간적 참조 블록으로 선택되는 경우에 해당될 수 있으며, 다음과 같이 나타내어질 수 있다.
Figure 112022007635896-pat00021
이 때, colPu 내의 가장 좌측 상단 좌표는, 다음과 같이 (xPCol, xPCol)로 나타내어질 수 있다.
Figure 112022007635896-pat00022
LCU를 기준으로 시간적 참조 블록 후보 및/또는 colPu의 유효성을 체크하는 경우, colPu를 유도하는 방법의 또 다른 실시예는 다음과 같다.
우선, 우측 하단 코너 블록의 위치(또는 좌표)가 현재 블록이 속한 LCU의 내부에 존재하는 경우, 부호화기 및 복호화기는 우측 하단 코너 블록에 대응하는 colPu를 도출할 수 있다. 우측 하단 코너 블록의 위치(또는 좌표)가 현재 블록이 속한 LCU의 경계 외부에 있는 경우, colPu는 유효하지 않은 것으로 처리될 수 있다. 이는 다음과 같이 나타내어질 수 있다.
Figure 112022007635896-pat00023
여기서, 상기 colPu가 인터 모드로 코딩되고 유효한 경우, 상기 colPu의 움직임 벡터가 현재 블록에 대한 시간적 움직임 벡터 예측자로 사용될 수 있다. 이는 우측 하단 코너 블록이 시간적 참조 블록으로 선택되는 경우에 해당될 수 있다. 그러나, 상기 colPu가 인트라 모드로 코딩되거나 유효하지 않은 경우, 부호화기 및 복호화기는 우측 하단 센터 블록에 대응하는 colPu를 도출할 수 있다. 이는 상기 상기 우측 하단 센터 블록이 시간적 참조 블록으로 선택되는 경우에 해당될 수 있으며, 다음과 같이 나타내어질 수 있다.
Figure 112022007635896-pat00024
이 때, colPu 내의 가장 좌측 상단 좌표는, 다음과 같이 (xPCol, xPCol)로 나타내어질 수 있다.
Figure 112022007635896-pat00025
도 23은 본 발명에 따른 인터 예측 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 23을 참조하면, 부호화기 및 복호화기는 참조 픽쳐의 시간적 움직임 정보를 저장할 수 있다(S2310). 이 때, 부호화기 및 복호화기는 소요되는 메모리의 크기를 감소시키기 위해, 시간적 움직임 정보를 압축하여 저장할 수 있다. 시간적 움직임 정보 압축 방법의 실시예들은 도 7 내지 도 15에서 상술한 바 있으므로, 생략하기로 한다.
또한, 부호화기 및 복호화기는 참조 픽쳐에서, 현재 블록에 대한 시간적 참조 블록을 선택할 수 있다(S2320). 여기서, 시간적 참조 블록은, 시간적 움직임 벡터 예측자로 사용되는 움직임 벡터를 포함하는, 참조 픽쳐 내의 저장 단위 블록을 의미할 수 있다.
상기 시간적 참조 블록의 위치는 현재 블록 및/또는 현재 블록에 대한 동일 위치 블록을 기준으로 정해질 수 있다. 부호화기 및 복호화기는 참조 픽쳐 내의 소정의 위치의 블록을 현재 블록에 대한 시간적 참조 블록으로 선택할 수 있고, 소정의 복수의 시간적 참조 블록 후보 중에서 시간적 참조 블록을 선택할 수도 있다. 선택된 시간적 참조 블록은 블록 자체가 아닌, 상기 시간적 참조 블록에 포함된 픽셀의 좌표로 특정될 수도 있다. 시간적 참조 블록 도출 방법의 실시예들은 도 16 내지 도 22의 실시예에서 상술한 바 있으므로, 생략하기로 한다.
시간적 참조 블록이 선택 및/또는 특정되면, 부호화기 및 복호화기는 상기 시간적 참조 블록을 이용하여, 현재 블록에 대한 시간적 움직임 벡터 예측자를 도출할 수 있다(S2330).
부호화기 및 복호화기는 상기 시간적 참조 블록의 움직임 벡터를 도출할 수 있다. 이 때, 도출된 움직임 벡터가 시간적 움직임 벡터 예측자로 결정될 수 있다. 상기 시간적 참조 블록은 저장 단위에 해당될 수 있으므로, 부호화기 및 복호화기는 시간적 참조 블록과 동일한 움직임 정보를 갖는 예측 유닛(예를 들어, colPu)으로부터 시간적 움직임 정보 예측자를 도출할 수도 있다.
현재 블록에 대한 시간적 움직임 벡터 예측자가 도출되면, 부호화기 및 복호화기는 도출된 시간적 움직임 벡터 예측자를 이용하여, 현재 블록에 대한 인터 예측을 수행할 수 있다(S2340).
상술한 실시예들에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당업자라면 순서도에 나타낸 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능합을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (7)

  1. 디코딩 장치에 의하여 수행되는 영상 디코딩 방법으로,
    참조 픽처 내에서, 특정 위치 (x, y)를 커버하는 예측 블록인 현재 블록에 대한 참조 예측 유닛(colPu)을 결정하는 단계;
    상기 참조 예측 유닛의 움직임 정보를 기반으로 상기 현재 블록에 대한 시간적 움직임 벡터 예측자를 도출하는 단계;
    상기 시간적 움직임 벡터 예측자를 기반으로 상기 현재 블록의 예측 샘플을 도출하는 단계;
    수신된 레지듀얼 정보를 기반으로 상기 현재 블록의 레지듀얼 샘플을 도출하는 단계;
    상기 예측 샘플 및 상기 레지듀얼 샘플을 기반으로 복원 샘플을 생성하는 단계를 포함하되,
    상기 참조 예측 유닛을 결정하는 단계는,
    상기 현재 블록의 우하단 주변 샘플이 상기 현재 블록이 속한 LCU(Largest Coding Unit)의 외부에 위치하는지 여부를 판단하되, 상기 우하단 주변 샘플은 상기 현재 블록에 인접하고 상기 현재 블록의 우측 하단에 위치한 샘플인 단계;
    상기 우하단 샘플이 상기 LCU의 외부에 위치하는 경우, 상기 특정 위치 (x, y)를 위치 ((xPCtr>>4)<<4, (yPCtr>>4)<<4) 로 지정하되, 위치 (xPCtr, yPCtr)는 동일 위치 블록의 4개의 센터 샘플들 중 우하단에 위치하는 샘플의 위치이고, 상기 동일 위치 블록은 상기 참조 픽처 내에서 상기 현재 블록과 동일한 위치 및 사이즈의 블록인 단계; 및
    상기 참조 픽처 내에서, 상기 지정된 특정 위치를 커버하는 상기 참조 예측 유닛을 결정하는 단계를 포함하는 것을 특징으로 하는 영상 디코딩 방법.
  2. 제1항에 있어서,
    xPCtr=xP+(nPSW>>1), yPCtr=yP+(nPSH>>1)이고, xP, yP는 각각 상기 현재 블록의 x좌표 및 y좌표와 같고, nPSW, nPSH는 각각 상기 현재 블록의 너비 및 높이와 같은 것을 특징으로 하는 영상 디코딩 방법.
  3. 제1항에 있어서,
    상기 우하단 주변 샘플의 좌표는 (xPRB, yPRB)이고, 여기서 xPRB=xP+nPSW, yPRB=yP+nPSH이고, xP, yP는 각각 상기 현재 블록의 x좌표 및 y좌표와 같고, nPSW, nPSH는 각각 상기 현재 블록의 너비 및 높이와 같은 것을 특징으로 하는 영상 디코딩 방법.
  4. 인코딩 장치에 의하여 수행되는 영상 인코딩 방법으로,
    참조 픽처 내에서, 특정 위치 (x, y)를 커버하는 예측 블록인 현재 블록에 대한 참조 예측 유닛(colPu)을 결정하는 단계;
    상기 참조 예측 유닛의 움직임 정보를 기반으로 상기 현재 블록에 대한 시간적 움직임 벡터 예측자를 도출하는 단계;
    상기 시간적 움직임 벡터 예측자를 기반으로 상기 현재 블록의 예측 샘플을 도출하는 단계;
    상기 예측 샘플을 기반으로 상기 현재 블록의 레지듀얼 샘플을 도출하는 단계;
    상기 현재 블록의 예측 관련 정보 및 레지듀얼 정보를 포함하는 비트스트림을 생성하는 단계를 포함하되,
    상기 참조 예측 유닛을 결정하는 단계는,
    상기 현재 블록의 우하단 주변 샘플이 상기 현재 블록이 속한 LCU(Largest Coding Unit)의 외부에 위치하는지 여부를 판단하되, 상기 우하단 주변 샘플은 상기 현재 블록에 인접하고 상기 현재 블록의 우측 하단에 위치한 샘플인 단계;
    상기 우하단 샘플이 상기 LCU의 외부에 위치하는 경우, 상기 특정 위치 (x, y)를 위치 ((xPCtr>>4)<<4, (yPCtr>>4)<<4) 로 지정하되, 위치 (xPCtr, yPCtr)는 동일 위치 블록의 4개의 센터 샘플들 중 우하단에 위치하는 샘플의 위치이고, 상기 동일 위치 블록은 상기 참조 픽처 내에서 상기 현재 블록과 동일한 위치 및 사이즈의 블록인 단계; 및
    상기 참조 픽처 내에서, 상기 지정된 특정 위치를 커버하는 상기 참조 예측 유닛을 결정하는 단계를 포함하는 것을 특징으로 하는 영상 인코딩 방법.
  5. 컴퓨터 판독 가능한 디지털 저장 매체로서, 상기 디저털 저장 매체는 특정 방법에 의하여 생성된 비트스트림을 저장하고, 상기 특정 방법은,
    참조 픽처 내에서, 특정 위치 (x, y)를 커버하는 예측 블록인 현재 블록에 대한 참조 예측 유닛(colPu)을 결정하는 단계;
    상기 참조 예측 유닛의 움직임 정보를 기반으로 상기 현재 블록에 대한 시간적 움직임 벡터 예측자를 도출하는 단계;
    상기 시간적 움직임 벡터 예측자를 기반으로 상기 현재 블록의 예측 샘플을 도출하는 단계;
    상기 예측 샘플을 기반으로 상기 현재 블록의 레지듀얼 샘플을 도출하는 단계;
    상기 현재 블록의 예측 관련 정보 및 레지듀얼 정보를 포함하는 상기 비트스트림을 생성하는 단계를 포함하되,
    상기 참조 예측 유닛을 결정하는 단계는,
    상기 현재 블록의 우하단 주변 샘플이 상기 현재 블록이 속한 LCU(Largest Coding Unit)의 외부에 위치하는지 여부를 판단하되, 상기 우하단 주변 샘플은 상기 현재 블록에 인접하고 상기 현재 블록의 우측 하단에 위치한 샘플인 단계;
    상기 우하단 샘플이 상기 LCU의 외부에 위치하는 경우, 상기 특정 위치 (x, y)를 위치 ((xPCtr>>4)<<4, (yPCtr>>4)<<4) 로 지정하되, 위치 (xPCtr, yPCtr)는 동일 위치 블록의 4개의 센터 샘플들 중 우하단에 위치하는 샘플의 위치이고, 상기 동일 위치 블록은 상기 참조 픽처 내에서 상기 현재 블록과 동일한 위치 및 사이즈의 블록인 단계; 및
    상기 참조 픽처 내에서, 상기 지정된 특정 위치를 커버하는 상기 참조 예측 유닛을 결정하는 단계를 포함하는 것을 특징으로 하는 디지털 저장 매체.
  6. 영상에 대한 데이터 전송 방법에 있어서,
    현재 블록의 예측 관련 정보 및 레지듀얼 정보를 포함하는 영상 정보의 비트스트림을 획득하는 단계;
    상기 예측 관련 정보 및 상기 레지듀얼 정보를 포함하는 상기 영상 정보의 상기 비트스트림을 포함하는 상기 데이터를 전송하는 단계를 포함하되,
    상기 예측 관련 정보는 상기 현재 블록의 우하단 주변 샘플이 상기 현재 블록이 속한 LCU(Largest Coding Unit)의 외부에 위치하는지 여부를 판단하되, 상기 우하단 주변 샘플은 상기 현재 블록에 인접하고 상기 현재 블록의 우측 하단에 위치한 샘플이고, 상기 우하단 샘플이 상기 LCU의 외부에 위치하는 경우, 특정 위치 (x, y)를 위치 ((xPCtr>>4)<<4, (yPCtr>>4)<<4) 로 지정하되, 위치 (xPCtr, yPCtr)는 동일 위치 블록의 4개의 센터 샘플들 중 우하단에 위치하는 샘플의 위치이고, 상기 동일 위치 블록은 참조 픽처 내에서 상기 현재 블록과 동일한 위치 및 사이즈의 블록이고, 상기 참조 픽처 내에서, 상기 특정 위치 (x, y)를 커버하는 예측 블록인 상기 현재 블록에 대한 참조 예측 유닛(colPu)을 결정하고, 상기 참조 예측 유닛의 움직임 정보를 기반으로 상기 현재 블록에 대한 시간적 움직임 벡터 예측자를 도출하고, 상기 시간적 움직임 벡터 예측자를 기반으로 상기 현재 블록의 예측 샘플을 도출하여 생성되고,
    상기 레지듀얼 정보는 상기 예측 샘플을 기반으로 상기 현재 블록의 레지듀얼 샘플을 도출하여 생성되는 것을 특징으로 하는 데이터 전송 방법.
  7. 삭제
KR1020227002213A 2011-02-09 2012-02-09 영상 부호화 및 복호화 방법과 이를 이용한 장치 KR102450324B1 (ko)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201161440871P 2011-02-09 2011-02-09
US61/440,871 2011-02-09
US201161454567P 2011-03-20 2011-03-20
US61/454,567 2011-03-20
US201161476776P 2011-04-19 2011-04-19
US61/476,776 2011-04-19
KR1020217024620A KR102355509B1 (ko) 2011-02-09 2012-02-09 영상 부호화 및 복호화 방법과 이를 이용한 장치
PCT/KR2012/000959 WO2012108700A2 (ko) 2011-02-09 2012-02-09 영상 부호화 및 복호화 방법과 이를 이용한 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020217024620A Division KR102355509B1 (ko) 2011-02-09 2012-02-09 영상 부호화 및 복호화 방법과 이를 이용한 장치

Publications (2)

Publication Number Publication Date
KR20220013470A KR20220013470A (ko) 2022-02-04
KR102450324B1 true KR102450324B1 (ko) 2022-10-04

Family

ID=46639066

Family Applications (7)

Application Number Title Priority Date Filing Date
KR1020227002213A KR102450324B1 (ko) 2011-02-09 2012-02-09 영상 부호화 및 복호화 방법과 이를 이용한 장치
KR1020207001224A KR102114282B1 (ko) 2011-02-09 2012-02-09 영상 부호화 및 복호화 방법과 이를 이용한 장치
KR1020197007830A KR102068826B1 (ko) 2011-02-09 2012-02-09 영상 부호화 및 복호화 방법과 이를 이용한 장치
KR1020217002354A KR102287971B1 (ko) 2011-02-09 2012-02-09 영상 부호화 및 복호화 방법과 이를 이용한 장치
KR1020137000267A KR101961960B1 (ko) 2011-02-09 2012-02-09 영상 부호화 및 복호화 방법과 이를 이용한 장치
KR1020217024620A KR102355509B1 (ko) 2011-02-09 2012-02-09 영상 부호화 및 복호화 방법과 이를 이용한 장치
KR1020207014188A KR102209693B1 (ko) 2011-02-09 2012-02-09 영상 부호화 및 복호화 방법과 이를 이용한 장치

Family Applications After (6)

Application Number Title Priority Date Filing Date
KR1020207001224A KR102114282B1 (ko) 2011-02-09 2012-02-09 영상 부호화 및 복호화 방법과 이를 이용한 장치
KR1020197007830A KR102068826B1 (ko) 2011-02-09 2012-02-09 영상 부호화 및 복호화 방법과 이를 이용한 장치
KR1020217002354A KR102287971B1 (ko) 2011-02-09 2012-02-09 영상 부호화 및 복호화 방법과 이를 이용한 장치
KR1020137000267A KR101961960B1 (ko) 2011-02-09 2012-02-09 영상 부호화 및 복호화 방법과 이를 이용한 장치
KR1020217024620A KR102355509B1 (ko) 2011-02-09 2012-02-09 영상 부호화 및 복호화 방법과 이를 이용한 장치
KR1020207014188A KR102209693B1 (ko) 2011-02-09 2012-02-09 영상 부호화 및 복호화 방법과 이를 이용한 장치

Country Status (10)

Country Link
US (7) US9866861B2 (ko)
EP (2) EP2675169B1 (ko)
KR (7) KR102450324B1 (ko)
CN (5) CN107277540B (ko)
DK (1) DK2675169T3 (ko)
ES (1) ES2738215T3 (ko)
HU (1) HUE044727T2 (ko)
PL (1) PL2675169T3 (ko)
PT (1) PT2675169T (ko)
WO (1) WO2012108700A2 (ko)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9635382B2 (en) * 2011-01-07 2017-04-25 Texas Instruments Incorporated Method, system and computer program product for determining a motion vector
AU2011362447B2 (en) * 2011-03-14 2015-09-24 Hfi Innovation Inc. Method and apparatus for deriving temporal motion vector prediction
USRE47366E1 (en) 2011-06-23 2019-04-23 Sun Patent Trust Image decoding method and apparatus based on a signal type of the control parameter of the current block
EP2725791B1 (en) 2011-06-23 2023-08-23 Sun Patent Trust Image decoding method, image encoding method
CN103535036B (zh) 2011-06-24 2017-04-05 太阳专利托管公司 解码方法和解码装置
CA2830046C (en) 2011-06-24 2018-09-04 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
BR112013030347B1 (pt) 2011-06-27 2022-06-28 Sun Patent Trust Método de decodificação de imagem, método de codificação de imagem, aparelho de decodificação de imagem, aparelho de codificação de imagem e aparelho de codificação e de decodificação de imagem
KR102062284B1 (ko) 2011-06-28 2020-01-03 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
WO2013001767A1 (ja) 2011-06-29 2013-01-03 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
WO2013001769A1 (ja) 2011-06-30 2013-01-03 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
EP2728869B1 (en) 2011-06-30 2021-11-10 Sun Patent Trust Image decoding method
BR112013031540B1 (pt) 2011-07-11 2022-04-26 Sun Patent Trust Método de decodificação de imagem, método de codificação de imagem, aparelho de decodificação de imagem, aparelho de codificação de imagem, e aparelho de codificação e decodificação de imagem
US9900615B2 (en) * 2011-12-28 2018-02-20 Microsoft Technology Licensing, Llc Representative motion information for temporal motion prediction in video encoding and decoding
WO2014036259A1 (en) * 2012-08-29 2014-03-06 Vid Scale, Inc. Method and apparatus of motion vector prediction for scalable video coding
WO2014106346A1 (en) * 2013-01-07 2014-07-10 Mediatek Singapore Pte. Ltd. Method of signalling additional collocated picture for 3dvc
KR20140121315A (ko) 2013-04-04 2014-10-15 한국전자통신연구원 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
WO2014163418A1 (ko) * 2013-04-04 2014-10-09 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
GB2512829B (en) * 2013-04-05 2015-05-27 Canon Kk Method and apparatus for encoding or decoding an image with inter layer motion information prediction according to motion information compression scheme
WO2014163458A1 (ko) * 2013-04-05 2014-10-09 삼성전자주식회사 인터 레이어 복호화 및 부호화 방법 및 장치를 위한 인터 예측 후보 결정 방법
CN104346770A (zh) * 2013-07-24 2015-02-11 联咏科技股份有限公司 数据插补方法及数据插补系统
US10142640B2 (en) 2013-11-12 2018-11-27 Mediatek Inc. Method and apparatus for using small-sized buffer in compression/decompression with block prediction
WO2015099506A1 (ko) * 2013-12-26 2015-07-02 삼성전자 주식회사 서브블록 기반 예측을 수행하는 인터 레이어 비디오 복호화 방법 및 그 장치 및 서브블록 기반 예측을 수행하는 인터 레이어 비디오 부호화 방법 및 그 장치
KR102260146B1 (ko) * 2014-03-31 2021-06-03 인텔렉추얼디스커버리 주식회사 시점 간 움직임 병합 후보 유도 방법 및 장치
US20150373343A1 (en) * 2014-06-20 2015-12-24 Qualcomm Incorporated Representation format update in multi-layer codecs
CN110582001B (zh) 2014-09-30 2022-10-14 微软技术许可有限责任公司 用于视频编码的基于散列的编码器判定
EP3238448A4 (en) * 2014-12-22 2018-09-12 Thomson Licensing Method of encoding video picture, method of decoding video picture, apparatus for encoding video picture, apparatus for decoding video picture and computer program product
KR102430315B1 (ko) * 2015-09-10 2022-08-09 삼성디스플레이 주식회사 영상 처리 장치 및 영상 처리 방법
KR102587638B1 (ko) * 2016-06-09 2023-10-10 인텔 코포레이션 비디오 코딩을 위해 이웃 블록 패턴을 이용하는 모션 추정 방법 및 시스템
CN116708785A (zh) * 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
CN116567217A (zh) * 2016-08-11 2023-08-08 Lx 半导体科技有限公司 图像编码/解码方法以及图像数据的发送方法
CN107613305B (zh) * 2017-10-12 2020-04-07 杭州当虹科技股份有限公司 一种hevc中p、b帧快速运动估计方法
CN116962717A (zh) * 2018-03-14 2023-10-27 Lx 半导体科技有限公司 图像编码/解码方法、存储介质和发送方法
CN116668677A (zh) * 2018-05-10 2023-08-29 Lg电子株式会社 解码设备、编码设备和数据发送设备
CN112954349A (zh) * 2018-06-21 2021-06-11 株式会社Kt 用于处理视频信号的方法和设备
US11451807B2 (en) * 2018-08-08 2022-09-20 Tencent America LLC Method and apparatus for video coding
US11122288B2 (en) 2018-12-06 2021-09-14 Qualcomm Incorporated Spatio-temporal motion vector prediction patterns for video coding
US11166015B2 (en) * 2019-03-06 2021-11-02 Tencent America LLC Method and apparatus for video coding
WO2020224639A1 (en) * 2019-05-09 2020-11-12 Beijing Bytedance Network Technology Co., Ltd. Improvement on hmvp table
CN111713109B (zh) * 2019-06-25 2023-04-14 深圳市大疆创新科技有限公司 视频处理方法、装置和设备
KR102357294B1 (ko) * 2020-04-08 2022-02-08 삼성전자주식회사 움직임 벡터를 획득하기 위한 비디오 복호화 방법 및 장치, 움직임 벡터를 획득하기 위한 비디오 부호화 방법 및 장치
US11202085B1 (en) * 2020-06-12 2021-12-14 Microsoft Technology Licensing, Llc Low-cost hash table construction and hash-based block matching for variable-size blocks

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9519921D0 (en) 1995-09-29 1995-11-29 Philips Electronics Nv Graphics image manipulation
JP3351705B2 (ja) * 1997-04-25 2002-12-03 日本ビクター株式会社 動き補償符号化装置、動き補償符号化方法、及び記録媒体への記録方法
KR100252342B1 (ko) * 1997-08-12 2000-04-15 전주범 움직임 벡터 부호화 방법 및 그 장치
KR100238893B1 (ko) 1997-09-30 2000-01-15 전주범 참조 움직임 벡터수에 기초한 움직임 벡터 부호화 방법 및 그 장치
US20040001546A1 (en) * 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
JP4346868B2 (ja) * 2002-06-17 2009-10-21 株式会社日立製作所 動画符号化装置、及び動画記録再生装置、及び動画再生装置、及び動画符号化方法ならびに動画記録再生方法
CN1689335A (zh) * 2002-10-07 2005-10-26 皇家飞利浦电子股份有限公司 用于无约束和基于提升的运动补偿时间过滤的有效运动矢量预测
AU2003263533A1 (en) 2002-10-07 2004-04-23 Koninklijke Philips Electronics N.V. Efficient motion-vector prediction for unconstrained and lifting-based motion compensated temporal filtering
US7609762B2 (en) 2003-09-07 2009-10-27 Microsoft Corporation Signaling for entry point frames with predicted first field
US7577198B2 (en) 2003-09-07 2009-08-18 Microsoft Corporation Number of reference fields for an interlaced forward-predicted field
US7839930B2 (en) 2003-11-13 2010-11-23 Microsoft Corporation Signaling valid entry points in a video stream
US7782954B2 (en) * 2003-09-07 2010-08-24 Microsoft Corporation Scan patterns for progressive video content
US8014450B2 (en) 2003-09-07 2011-09-06 Microsoft Corporation Flexible range reduction
US7369709B2 (en) 2003-09-07 2008-05-06 Microsoft Corporation Conditional lapped transform
US8009739B2 (en) 2003-09-07 2011-08-30 Microsoft Corporation Intensity estimation/compensation for interlaced forward-predicted fields
US7852919B2 (en) 2003-09-07 2010-12-14 Microsoft Corporation Field start code for entry point frames with predicted first field
US7599438B2 (en) * 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
US7567617B2 (en) 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
KR101038822B1 (ko) * 2003-09-07 2011-06-03 마이크로소프트 코포레이션 인터레이스형 비디오의 코딩 및 디코딩
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7688894B2 (en) 2003-09-07 2010-03-30 Microsoft Corporation Scan patterns for interlaced video content
US7092576B2 (en) 2003-09-07 2006-08-15 Microsoft Corporation Bitplane coding for macroblock field/frame coding type information
US7616692B2 (en) 2003-09-07 2009-11-10 Microsoft Corporation Hybrid motion vector prediction for interlaced forward-predicted fields
US7577200B2 (en) 2003-09-07 2009-08-18 Microsoft Corporation Extended range variable length coding/decoding of differential motion vector information
US7317839B2 (en) 2003-09-07 2008-01-08 Microsoft Corporation Chroma motion vector derivation for interlaced forward-predicted fields
US7623574B2 (en) 2003-09-07 2009-11-24 Microsoft Corporation Selecting between dominant and non-dominant motion vector predictor polarities
US7924921B2 (en) 2003-09-07 2011-04-12 Microsoft Corporation Signaling coding and display options in entry point headers
US7620106B2 (en) 2003-09-07 2009-11-17 Microsoft Corporation Joint coding and decoding of a reference field selection and differential motion vector information
ES2767933T3 (es) 2003-09-07 2020-06-19 Microsoft Technology Licensing Llc Capa de sectores en códec de vídeo
US8625680B2 (en) 2003-09-07 2014-01-07 Microsoft Corporation Bitstream-controlled post-processing filtering
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US8213779B2 (en) 2003-09-07 2012-07-03 Microsoft Corporation Trick mode elementary stream and receiver system
US7961786B2 (en) 2003-09-07 2011-06-14 Microsoft Corporation Signaling field type information
US8085844B2 (en) 2003-09-07 2011-12-27 Microsoft Corporation Signaling reference frame distances
US7606308B2 (en) 2003-09-07 2009-10-20 Microsoft Corporation Signaling macroblock mode information for macroblocks of interlaced forward-predicted fields
JP4263976B2 (ja) * 2003-09-24 2009-05-13 株式会社東芝 オンチップマルチコア型耐タンパプロセッサ
JP4338654B2 (ja) * 2004-03-18 2009-10-07 三洋電機株式会社 動きベクトル検出装置及び方法、及びその動きベクトル検出装置を利用可能な画像符号化装置
WO2006004331A1 (en) * 2004-07-07 2006-01-12 Samsung Electronics Co., Ltd. Video encoding and decoding methods and video encoder and decoder
US9071844B2 (en) * 2005-12-16 2015-06-30 Texas Instruments Incorporated Motion estimation with motion vector penalty
KR20100014552A (ko) * 2007-03-23 2010-02-10 엘지전자 주식회사 비디오 신호의 인코딩/디코딩 방법 및 장치
KR20080107965A (ko) * 2007-06-08 2008-12-11 삼성전자주식회사 객체 경계 기반 파티션을 이용한 영상의 부호화, 복호화방법 및 장치
KR101712915B1 (ko) * 2007-10-16 2017-03-07 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
CN101557514B (zh) * 2008-04-11 2011-02-09 华为技术有限公司 一种帧间预测编解码方法、装置及系统
JP2010004142A (ja) * 2008-06-18 2010-01-07 Hitachi Kokusai Electric Inc 動画像符号化装置、復号化装置、符号化方法及び復号化方法
KR100985268B1 (ko) * 2008-07-18 2010-10-04 엘지전자 주식회사 모션벡터 결정방법
JP2010258738A (ja) * 2009-04-24 2010-11-11 Sony Corp 画像処理装置および方法、並びにプログラム
KR20110008653A (ko) 2009-07-20 2011-01-27 삼성전자주식회사 움직임 벡터 예측 방법과 이를 이용한 영상 부호화/복호화 장치 및 방법
US8711940B2 (en) * 2010-11-29 2014-04-29 Mediatek Inc. Method and apparatus of motion vector prediction with extended motion vector predictor
US9137544B2 (en) * 2010-11-29 2015-09-15 Mediatek Inc. Method and apparatus for derivation of mv/mvp candidate for inter/skip/merge modes
US9247266B2 (en) * 2011-04-18 2016-01-26 Texas Instruments Incorporated Temporal motion data candidate derivation in video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
J - L Lin et al: "Improved Advanced Motion Vector Prediction", JCTVC-D125, 15 January 2011.
Jung J et al: "Temporal MV predictor modification for MV-Comp, Skip, Direct and Merge schemes", no. JCTVC-D164, 15 January 2011.

Also Published As

Publication number Publication date
WO2012108700A3 (ko) 2012-12-13
KR20130139827A (ko) 2013-12-23
CN107181958B (zh) 2020-04-28
EP2675169B1 (en) 2019-06-26
US20130308704A1 (en) 2013-11-21
CN103250417A (zh) 2013-08-14
CN103250417B (zh) 2017-06-09
EP3554072A1 (en) 2019-10-16
KR20210012053A (ko) 2021-02-02
KR20200057798A (ko) 2020-05-26
KR20190031598A (ko) 2019-03-26
PL2675169T3 (pl) 2020-01-31
KR102209693B1 (ko) 2021-01-29
US20200092573A1 (en) 2020-03-19
HUE044727T2 (hu) 2019-11-28
EP2675169A4 (en) 2014-12-31
KR20200008179A (ko) 2020-01-23
US11871027B2 (en) 2024-01-09
CN107277541A (zh) 2017-10-20
CN107277541B (zh) 2020-05-08
US20150195560A1 (en) 2015-07-09
US20210258602A1 (en) 2021-08-19
US9860551B2 (en) 2018-01-02
KR102068826B1 (ko) 2020-01-21
KR20210100209A (ko) 2021-08-13
ES2738215T3 (es) 2020-01-20
US20220408107A1 (en) 2022-12-22
US11463722B2 (en) 2022-10-04
US20240089488A1 (en) 2024-03-14
KR102355509B1 (ko) 2022-02-08
WO2012108700A2 (ko) 2012-08-16
US9866861B2 (en) 2018-01-09
US10516895B2 (en) 2019-12-24
DK2675169T3 (da) 2019-07-22
CN107277540A (zh) 2017-10-20
CN107277540B (zh) 2020-05-08
PT2675169T (pt) 2019-07-26
CN107197300B (zh) 2020-03-06
KR20220013470A (ko) 2022-02-04
US20180103265A1 (en) 2018-04-12
KR102114282B1 (ko) 2020-05-22
KR102287971B1 (ko) 2021-08-09
US11032564B2 (en) 2021-06-08
CN107181958A (zh) 2017-09-19
KR101961960B1 (ko) 2019-03-25
CN107197300A (zh) 2017-09-22
EP2675169A2 (en) 2013-12-18

Similar Documents

Publication Publication Date Title
KR102450324B1 (ko) 영상 부호화 및 복호화 방법과 이를 이용한 장치
KR102644185B1 (ko) 비디오 코딩 시스템에서 레지듀얼 신호 코딩 방법 및 장치
KR102498289B1 (ko) 인터 예측 방법 및 그 장치
KR102149965B1 (ko) 인트라 예측 방법 및 그 장치
KR102285746B1 (ko) 움직임 정보 저장 방법 및 이를 이용한 시간적 움직임 벡터 예측자 유도 방법
EP3958564A1 (en) Apparatus for encoding a moving picture
US20220174287A1 (en) Image encoding/decoding method and apparatus

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant