KR101492104B1 - 동영상 복호화 장치 - Google Patents

동영상 복호화 장치 Download PDF

Info

Publication number
KR101492104B1
KR101492104B1 KR1020147011166A KR20147011166A KR101492104B1 KR 101492104 B1 KR101492104 B1 KR 101492104B1 KR 1020147011166 A KR1020147011166 A KR 1020147011166A KR 20147011166 A KR20147011166 A KR 20147011166A KR 101492104 B1 KR101492104 B1 KR 101492104B1
Authority
KR
South Korea
Prior art keywords
block
candidate
unit
prediction unit
merge
Prior art date
Application number
KR1020147011166A
Other languages
English (en)
Other versions
KR20140057684A (ko
Inventor
김광제
오현오
Original Assignee
주식회사 아이벡스피티홀딩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=47756521&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR101492104(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 주식회사 아이벡스피티홀딩스 filed Critical 주식회사 아이벡스피티홀딩스
Publication of KR20140057684A publication Critical patent/KR20140057684A/ko
Application granted granted Critical
Publication of KR101492104B1 publication Critical patent/KR101492104B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

본 발명은 AMPV모드로 부호화된 움직임 정보를 복호화하고, 이를 기초로 예측 블록을 생성하는 동영상 복호화 장치가 개시된다. 본 발명의 특징은, 현재 블록의 움직임 정보 부호화 모드가 머지 모드인 경우, 움직임 정보를 복호화하는 머지 모드 움직임 정보 복호화부; 복호화된 움직임 정보를 이용하여 현재 블록의 예측 블록을 생성하는 예측블록 생성부; 및 잔차신호를 역스캐닝하여 양자화 블록을 생성하고, 상기 양자화 블록을 양자화 스텝 사이즈를 이용하여 역양자화하고, 상기 역양자화 블록을 역변환하여 잔차블록을 생성하는 잔차블록 복호화부;를 포함하고, 상기 양자화 스텝 사이즈는 현재 코딩 유닛의 좌측 양자화 스텝 사이즈, 상측 양자화 스텝 사이즈 및 이전 양자화 스텝 사이즈 중 유효한 2개의 평균값을 이용하여 생성된다.

Description

동영상 복호화 장치{APPARATUS OF DECODING MOVING PICTURES}
본 발명은 동영상 복호화 장치에 관한 것으로, 더욱 상세하게는 AMPV모드로 부호화된 움직임 정보를 복호화하고, 이를 기초로 예측 블록을 생성하는 동영상 복호화 장치에 관한 것이다.
일반적으로 영상의 품질을 유지하면서 동영상 신호를 효과적으로 압축하기 위한 많은 기술들이 제안되어 왔다. 특히, 현재 블록과 유사한 블록을 이전 화면에서 추출하여 그 차이값을 부호화하는 방식인 인터 예측 부호화 방식은 영상을 압축하는데 있어 가장 효과적인 방법 중의 하나이다.
그러나, 상기 인터 예측 부호화 방식의 경우에는 잔차 블록을 부호화하여 보내는 대신에 각 블록들에 대응하는 움직임 정보를 별도로 전송해야 한다. 따라서, 움직임 정보를 효과적으로 부호화하여 데이터량을 줄이는 것이 또 하나의 영상 압축 방안 중의 하나이다. 움직임 추정 부호화에서는 소정의 평가 함수를 이용하여 현재 블록과 가장 유사한 블록을 참조 픽처의 정해진 검색 범위에서 검색한다. 유사한 블록이 검색되면, 현재 블록과 참조 픽처 내의 유사한 블록 사이의 레지듀(residue)만 전송함으로써 데이터의 압축률을 높인다.
이때, 움직임 추정 부호화된 현재 블록을 복호화하기 위해서는 현재 블록과 참조 픽처 내의 유사한 블록 사이의 위치 차이를 나타내는 움직임 벡터에 대한 정보가 필요하다. 따라서, 부호화시에 움직임 벡터에 대한 정보를 부호화하여 비트스트림에 삽입하게 되는데, 움직임 벡터에 대한 정보를 그대로 부호화하여 삽입하면, 오버헤드(overhead)가 증가하게 되어 영상 데이터의 압축률이 낮아진다.
따라서, 인터 예측 부호화 방법에서는 현재 블록의 움직임 벡터를 주변 블록들을 이용하여 예측하고, 예측의 결과로 생성된 예측 움직임 벡터와 원본 움직임 벡터와의 차분값만을 부호화하여 전송함으로써 움직임 벡터에 대한 정보도 압축한다.
H.264에서는 현재 블록의 움직임 벡터의 예측값인 예측 움직임 벡터는 예측 움직임 벡터=중앙값(mvA, mvB, mvC)에 의해 결정된다. 인접한 블록들은 유사성을 가지기 쉽기 때문에 현재 블록의 움직임 벡터를 주변 블록들의 움직임 벡터들의 중앙값으로 결정한다.
그러나, 인접 블록들의 움직임 벡터들 중 하나 이상이 현재 블록의 움직임 벡터와 상이한 경우, 상기 중앙값이 현재 블록의 움직임 벡터를 효과적으로 예측하지 못하는 점이 발생한다.
또한, 예측 블록의 크기가 커지고 다양해지고, 참조할 픽쳐의 수도 다양해지면서, 잔차 블록의 데이터량은 줄어드는 반면에, 전송해야 할 움직임 정보량(움직임 벡터 및 참조 픽쳐 인덱스)은 점점 더 증가하게 된다.
따라서, 전송해야 할 움직임 정보량을 더욱 효과적으로 줄일 수 있는 기법이 필요하다. 또한, 상기 방법에 따라 부호화된 움직임 정보를 효율적으로 복원하기 위한 방식이 요구된다.
본 발명이 이루고자 하는 기술적 과제는 AMPV모드로 부호화된 움직임 정보를 효과적으로 복원하여 예측블록을 생성하는 동영상 복호화 장치를 제공하는데 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 목적을 달성하기 위한 본 발명에 따른 동영상 복호화 장치는, 현재 블록의 움직임 정보 부호화 모드가 머지 모드인 경우, 움직임 정보를 복호화하는 머지 모드 움직임 정보 복호화부; 복호화된 움직임 정보를 이용하여 현재 블록의 예측 블록을 생성하는 예측블록 생성부; 및 잔차신호를 역스캐닝하여 양자화 블록을 생성하고, 상기 양자화 블록을 양자화 스텝 사이즈를 이용하여 역양자화하고, 상기 역양자화 블록을 역변환하여 잔차블록을 생성하는 잔차블록 복호화부;를 포함하고, 상기 양자화 스텝 사이즈는 현재 코딩 유닛의 좌측 양자화 스텝 사이즈, 상측 양자화 스텝 사이즈 및 이전 양자화 스텝 사이즈 중 유효한 2개의 평균값을 이용하여 생성되는 것을 특징으로 한다.
본 발명 따르면, 따른 AMVP 모드에서의 예측 블록 생성 방법은 현재 예측 유닛의 참조 픽쳐 인덱스 및 차분 움직임 벡터를 복원하고, 현재 예측 유닛의 유효한 공간 및 시간 AMVP 후보자들을 이용하여 AMVP 후보자 리스트를 구축하고, 상기 유효한 AMVP 후보자의 수가 미리 정해진 수보다 작으면, 미리 정해진 값을 갖는 움직임 벡터를 후보자로 상기 리스트에 추가한 후, 상기 AMVP 후보자 리스트 내의 움직임 벡터들 중에서, 현재 예측 유닛의 AMVP 인덱스에 대응하는 움직임 벡터를 현재 예측 유닛의 예측 움직임 벡터로 결정한다. 그리고, 상기 차분 움직임 벡터 및 상기 예측 움직임 벡터를 이용하여 현재 예측 유닛이 움직임 벡터를 복원하고, 상기 참조 픽쳐 인덱스가 나타내는 참조 픽쳐 내에서 상기 복원된 움직임 벡터가 나타내는 위치에 대응하는 예측 블록을 생성한다.
따라서, 공간 및 시간 움직임 벡터 후보자를 이용함으로써 현재 예측 유닛의 움직임 정보를 보다 잘 예측하여 부호화량을 줄이는 효과가 있다. 또한, AMVP 모드로 부호화된 움직임 정보를 매우 효과적으로 복호하여, 신속하고 정확한 예측 블록을 생성할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 동영상 부호화 장치를 나타내는 블록도.
도 2는 본 발명에 따른 인터 예측 부호화 과정을 나타내는 블록도.
도 3은 본 발명의 실시예에 따른 머지 부호화 과정을 나타내는 블록도.
도 4는 본 발명의 제1 실시예에 따른 머지 후보자의 위치를 나타내는 도면.
도 5는 본 발명의 제2 실시예에 따른 머지 후보자의 위치를 나태는 도면.
도 6은 본 발명의 실시예에 따른 AMVP 부호화 과정을 나타내는 블록도.
도 7은 본 발명의 실시예에 따른 동영상 복호화 장치를 나타내는 블록도.
도 8은 본 발명의 실시예에 따른 인터 예측 복호화 과정을 나타내는 도면.
도 9는 본 발명의 제1실시예에 따른 머지 모드 움직임 벡터 복호화 과정을 나타내는 도면.
도 10은 본 발명의 제2 실시예에 따른 머지 모드 움직임 벡터 복호화 과정을 나타내는 도면.
도 11은 본 발명의 제1 실시예에 따른 AMVP 모드 움직임 벡터 복호화 과정을 나타내는 도면.
도 12는 본 발명의 제2 실시예에 따른 AMVP 모드 움직임 벡터 복호화 과정을 나타내는 도면.
이하, 본 발명의 여러가지 실시예들을 예시적인 도면을 통해 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
도 1은 본 발명에 따른 동영상 부호화 장치를 나타내는 블록도이다.
도 1을 참조하면, 본 발명에 따른 동영상 부호화 장치(100)는 픽쳐 분할부(110), 변환부(120), 양자화부(130), 스캐닝부(131), 엔트로피 부호화부(140), 인트라 예측부(150), 인터 예측부(160), 역양자화부(135), 역변환부(125), 후처리부(170), 픽쳐 저장부(180), 감산부(190) 및 가산부(195)를 포함한다.
픽쳐 분할부(110)는 입력되는 비디오 신호를 분석하여 픽쳐를 가장 큰 코딩 유닛(LCU:Largest Coding Unit)마다소정 크기의 코딩 유닛으로 분할하여 예측 모드를 결정하고, 상기 코딩 유닛별로 예측 유닛의 크기를 결정한다.
그리고, 픽쳐 분할부(110)는 부호화할 예측 유닛을 예측 모드(또는 예측 방법)에 따라 인트라 예측부(150) 또는 인터 예측부(160)로 보낸다. 또한, 픽쳐 분할부(110)는 부호화할 예측 유닛을 감산부(190)로 보낸다.
변환부(120)는 입력된 예측 유닛의 원본 블록과 인트라 예측부(150) 또는 인터 예측부(160)에서 생성된 예측 블록의 잔차신호인 잔차 블록을 변환한다. 상기 잔차 블록은 코딩 유닛 또는 예측 유닛으로 구성된다. 코딩 유닛 또는 예측 유닛으로 구성된 잔차 블록은 최적의 변환 단위로 분할되어 변환된다. 예측 모드(intra or inter)에 따라 서로 다른 변환 매트릭스가 결정될 수 있다. 또한, 인트라 예측의 잔차 신호는 인트라 예측 모드에 따라 방향성을 가지므로 인트라 예측 모드에 따라 적응적으로 변환 매트릭스가 결정될 수 있다. 변환 단위는 2개(수평, 수직)의 1차원 변환 매트릭스에 의해 변환될 수 있다. 예를 들어, 인터 예측의 경우에는 미리 결정된 1개의 변환 매트릭스가 결정된다. 반면에, 인트라 예측의 경우, 인트라 예측 모드가 수평인 경우에는 잔차 블록이 수직방향으로의 방향성을 가질 확률이 높아지므로, 수직방향으로는 DCT 기반의 정수 매트릭스를 적용하고, 수평방향으로는 DST 기반 또는 KLT 기반의 정수 매트릭스를 적용한다. 인트라 예측 모드가 수직인 경우에는 수직방향으로는 DST 기반 또는 KLT 기반의 정수 매트릭스를, 수평 방향으로는 DCT 기반의 정수 매트릭스를 적용한다. DC모드의 경우에는 양방향 모두 DCT 기반 정수 매트릭스를 적용한다. 또한, 인트라 예측의 경우, 변환 단위의 크기에 의존하여 변환 매트릭스가 적응적으로 결정될 수도 있다.
양자화부(130)는 상기 변환 매트릭스에 의해 변환된 잔차 블록의 계수들을 양자화하기 위한 양자화 스텝 사이즈를 결정한다. 양자화 스텝 사이즈는 미리 정해진 크기 이상의 부호화 단위(이하, 양자화 유닛이라 함)별로 결정된다. 상기 미리 정해진 크기는 8x8 또는 16x16일 수 있다. 그리고, 결정된 양자화 스텝 사이즈 및 예측 모드에 따라 결정되는 양자화 매트릭스를 이용하여 상기 변환 블록의 계수들을 양자화한다. 양자화부(130)는 현재 양자화 유닛의 양자화 스텝 사이즈 예측자로서 현재 양자화 유닛에 인접한 양자화 유닛의 양자화 스텝 사이즈를 이용한다.
양자화부(130)는 현재 양자화 유닛의 좌측 양자화 유닛, 상측 양자화 유닛, 좌상측 양자화 유닛 순서로 검색하여 1개 또는 2개의 유효한 양자화 스텝 사이즈를 이용하여 현재 양자화 유닛의 양자화 스텝 사이즈 예측자를 생성할 수 있다. 예를 들어, 상기 순서로 검색된 유효한 첫번째 양자화 스텝 사이즈를 양자화 스텝 사이즈 예측자로 결정할 수 있다. 또한, 상기 순서로 검색된 유효한 2개의 양자화 스텝 사이즈의 평균값을 양자화 스텝 사이즈 예측자로 결정할 수도 있고, 1개만이 유효한 경우에는 이를 양자화 스텝 사이즈 예측자로 결정할 수 있다.
상기 양자화 스텝 사이즈 예측자가 결정되면, 현재 부호화 단위의 양자화 스텝 사이즈와 상기 양자화 스텝 사이즈 예측자 사이의 차분값을 엔트로피 부호화부(140)로 전송한다.
한편, 현재 코딩 유닛의 좌측 코딩 유닛, 상측 코딩 유닛, 좌상측 코딩 유닛 모두가 존재하지 않을 가능성이 있다. 반면에 최대 코딩 유닛 내의 부호화 순서 상으로 이전에 존재하는 코딩 유닛이 존재할 수 있다. 따라서, 현재 코딩 유닛에 인접한 양자화 유닛들과 상기 최대 코딩 유닛 내에서는 부호화 순서상 바로 이전의 양자화 유닛의 양자화 스텝 사이즈가 후보자가 될 수 있다. 이 경우, 1) 현재 코딩 유닛의 좌측 양자화 유닛, 2) 현재 코딩유닛의 상측 양자화 유닛, 3) 현재 코딩 유닛의 좌상측 양자화 유닛, 4) 부호화 순서상 바로 이전의 양자화 유닛 순서로 우선순위를 둘 수 있다. 상기 순서는 바뀔 수 있고, 상기 좌상측 양자화 유닛은 생략될 수도 있다.
상기 양자화된 변환 블록은 역양자화부(135)와 스캐닝부(131)로 제공된다.
스캐닝부(131)는 양자화된 변환 블록의 계수들을 스캐닝하여 1차원의 양자화 계수들로 변환한다. 양자화 후의 변환 블록의 계수 분포가 인트라 예측 모드에 의존적일 수 있으므로, 스캐닝 방식은 인트라 예측 모드에 따라 결정된다. 또한, 계수 스캐닝 방식은 변환 단위의 크기에 따라 달리 결정될 수도 있다. 상기 스캔 패턴은 방향성 인트라 예측 모드에 따라 달라질 수 있다. 양자화 계수들의 스캔순서는 역방향으로 스캔한다.
상기 양자화된 계수들이 복수개의 서브셋으로 분할된 경우에는 각각의 서브셋 내의 양자화 계수들에 동일한 스캔패턴을 적용한다. 서브셋 간의 스캔패턴은 지그재그 스캔 또는 대각선 스캔을 적용한다. 스캔 패턴은 DC를 포함하는 메인 서브셋으로부터 순방향으로 잔여 서브셋들로 스캔하는 것이 바람직하나, 그 역방향도 가능하다. 또한, 서브셋 내의 양자화된 계수들의 스캔패턴과 동일하게 서브셋 간의 스캔패턴을 설정할 수도 있다. 이 경우, 서브셋 간의 스캔패턴이 인트라 예측 모드에 따라 결정된다. 한편, 부호기는 상기 변환 유닛내의 0이 아닌 마지막 양자화 계수의 위치를 나타낼 수 있는 정보를 복호기로 전송한다. 각 서브셋 내의 0이 아닌 마지막 양자화계수의 위치를 나타낼 수 있는 정보도 복호기로 전송할 수 있다.
역양자화(135)는 상기 양자화된 양자화 계수를 역양자화한다. 역변환부(125)는 역양자화된 변환 계수를 공간 영역의 잔차 블록으로 복원한다. 가산기는 상기 역변환부에 의해 복원된 잔차블록과 인트라 예측부(150) 또는 인터 예측부(160)로부터의 수신된 예측 블록을 합쳐서 복원 블록을 생성한다.
후처리부(170)는 복원된 픽쳐에 발생하는 블록킹 효과의 제거하기 위한 디블록킹 필터링 과정, 화소 단위로 원본 영상과의 차이값을 보완하기 위한 적응적 오프셋 적용 과정 및 코딩 유닛으로 원본 영상과의 차이값을 보완하기 위한 적응적 루프 필터링 과정을 수행한다.
디블록킹 필터링 과정은 미리 정해진 크기 이상의 크기를 갖는 예측 유닛 및 변환 단위의 경계에 적용하는 것이 바람직하다. 상기 크기는 8x8일 수 있다. 상기 디블록킹 필터링 과정은 필터링할 경계(boundary)를 결정하는 단계, 상기 경계에 적용할 경계 필터링 강도(bounary filtering strength)를 결정하는 단계, 디블록킹 필터의 적용 여부를 결정하는 단계, 상기 디블록킹 필터를 적용할 것으로 결정된 경우, 상기 경계에 적용할 필터를 선택하는 단계를 포함한다.
상기 디블록킹 필터의 적용 여부는 i) 상기 경계 필터링 강도가 0보다 큰지 여부 및 ii) 상기 필터링할 경계에 인접한 2개의 블록(P 블록, Q블록) 경계 부분에서의 화소값들이 변화 정도를 나타내는 값이 양자화 파라미터에 의해 결정되는 제1 기준값보다 작은지 여부에 의해 결정된다.
상기 필터는 적어도 2개 이상인 것이 바람직하다. 블록 경계에 위치한 2개의 화소들간의 차이값의 절대값이 제2기준값보다 크거나 같은 경우에는 상대적으로 약한 필터링을 수행하는 필터를 선택한다. 상기 제2 기준값은 상기 양자화 파라미터 및 상기 경계 필터링 강도에 의해 결정된다.
적응적 오프셋 적용 과정은 디블록킹 필터가 적용된 영상내의 화소와 원본 화소간의 차이값(distortion)을 감소시키기 위한 것이다. 픽쳐 또는 슬라이스 단위로 상기 적응적 오프셋 적용 과정을 수행할지 여부를 결정할 수 있다. 픽쳐 또는 슬라이스는 복수개의 오프셋 영역들로 분할될 수 있고, 각 오프셋 영역별로 오프셋 타입이 결정될 수 있다. 오프셋 타입은 미리 정해진 개수(예를 들어, 4개)의 에지 오프셋 타입과 2개의 밴드 오프셋 타입을 포함할 수 있다. 오프셋 타입이 에지 오프셋 타입일 경우에는 각 화소가 속하는 에지 타입을 결정하여, 이에 대응하는 오프셋을 적용한다. 상기 에지 타입은 현재 화소와 인접하는 2개의 화소값의 분포를 기준으로 결정한다.
적응적 루프 필터링 과정은 디블록킹 필터링 과정 또는 적응적 오프셋 적용 과정을 거친 복원된 영상과 원본 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. 적응적 루프 필터링은 상기 결정된 ALF는 4x4 크기 또는 8x8 크기의 블록에 포함된 화소 전체에 적용될 수 있다. 적응적 루프 필터의 적용 여부는 코딩 유닛별로 결정될 수 있다. 각 코딩 유닛에 따라 적용될 루프 필터의 크기 및 계수는 달라질 수 있다. 코딩 유닛별 상기 적응적 루프 필터의 적용 여부를 나타내는 정보는 각 슬라이스 헤더에 포함될 수 있다. 색차 신호의 경우에는, 픽쳐 단위로 적응적 루프 필터의 적용 여부를 결정할 수 있다. 루프 필터의 형태도 휘도와 달리 직사각형 형태를 가질 수 있다.
적응적 루프 필터링은 슬라이스별로 적용 여부를 결정할 수 있다. 따라서, 현재 슬라이스에 적응적 루프 필터링이 적용되는지 여부를 나타내는 정보는 슬라이스 헤더 또는 픽쳐 헤더에 포함된다. 현재 슬라이스에 적응적 루프 필터링이 적용됨을 나타내면, 슬라이스 헤더 또는 픽쳐 헤더는 추가적으로 적응적 루프 필터링 과정에 사용되는 휘도 성분의 수평 및/또는 수직 방향의 필터 길이를 나타내는 정보를 포함한다.
슬라이스 헤더 또는 픽쳐 헤더는 필터 세트의 수를 나타내는 정보를 포함할 수 있다. 이때 필터 세트의 수가 2이상이면, 필터 계수들이 예측 방법을 사용하여 부호화될 수 있다. 따라서, 슬라이스 헤더 또는 픽쳐 헤더는 필터 계수들이 예측 방법으로 부호화되는지 여부를 나타내는 정보를 포함할 수 있으며, 예측 방법이 사용되는 경우에는 예측된 필터 계수를 포함한다.
한편, 휘도 뿐만 아니라, 색차 성분들도 적응적으로 필터링될 수 있다. 따라서, 색차 성분 각각이 필터링되는지 여부를 나타내는 정보를 슬라이스 헤더 또는 픽쳐 헤더가 포함할 수 있다. 이 경우, 비트수를 줄이기 위해 Cr과 Cb에 대한 필터링 여부를 나타내는 정보를 조인트 코딩(즉, 다중화 코딩)할 수 있다. 이때, 색차 성분들의 경우에는 복잡도 감소를 위해 Cr과 Cb를 모두 필터링하지 않는 경우가 가장 빈번할 가능성이 높으므로, Cr과 Cb를 모두 필터링하지 않는 경우에 가장 작은 인덱스를 할당하여 엔트로피 부호화를 수행한다. 그리고, Cr 및 Cb를 모두 필터링하는 경우에 가장 큰 인덱스를 할당하여 엔트로피 부호화를 수행한다.
픽쳐 저장부(180)는 후처리된 영상 데이터를 후처리부(170)로부터 입력받아 픽쳐(picture) 단위로 영상을 복원하여 저장한다. 픽쳐는 프레임 단위의 영상이거나 필드 단위의 영상일 수 있다. 픽쳐 저장부(180)는 다수의 픽쳐를 저장할 수 있는 버퍼(도시되지 않음)를 구비한다.
인터 예측부(160)는 상기 픽쳐 저장부(180)에 저장된 적어도 하나 이상의 참조 픽쳐를 이용하여 움직임 추정을 수행하고, 참조 픽쳐를 나타내는 참조 픽쳐 인덱스 및 움직임 벡터를 결정한다. 그리고, 결정된 참조 픽쳐 인덱스 및 움직임 벡터에 따라, 픽쳐 저장부(180)에 저장된 다수의 참조 픽쳐들 중 움직임 추정에 이용된 참조 픽쳐로부터, 부호화하고자 하는 예측 유닛에 대응하는 예측 블록을 추출하여 출력한다.
인트라 예측부(150)는 현재 예측 유닛이 포함되는 픽처 내부의 재구성된 화소값을 이용하여 인트라 예측 부호화를 수행한다. 인트라 예측부(150)는 예측 부호화할 현재 예측 유닛을 입력받아 현재 블록의 크기에 따라 미리 설정된 개수의 인트라 예측 모드 중에 하나를 선택하여 인트라 예측을 수행한다. 인트라 예측부는 인트라 예측 블록을 생성하기 위해 참조 화소를 적응적으로 필터링한다. 참조 화소가 이용 가능하지 않은 경우에는 이용 가능한 참조 화소들을 이용하여 참조 화소들을 생성할 수 있다.
엔트로피 부호화부(140)는 양자화부(130)에 의해 양자화된 양자화 계수, 인트라 예측부(150)로부터 수신된 인트라 예측 정보, 인터 예측부(160)로부터 수신된 움직임 정보 등을 엔트로피 부호화한다.
도 2는 본 발명에 따른 인터 예측 부호화 과정을 나타내는 블록도이다.
인터 예측 부호화 과정은 현재 예측 유닛의 움직임 정보를 결정하는 단계, 예측 블록을 생성하는 단계, 잔차 블록을 생성하는 단계, 잔차 블록을 부호화하는 단계 및 움직임 정보를 부호화하는 단계를 포함한다. 이하에서는 예측 유닛을 블록으로 명명하여 설명한다.
(1) 현재 예측 유닛의 움직임 정보를 결정하는 단계(S110)
현재 예측 유닛의 움직임 정보는 현재 예측 유닛이 참조해야 할 참조픽쳐 인덱스와 움직임 벡터를 포함한다.
따라서, 현재 예측 유닛의 예측 블록을 결정하기 위해, 적어도 하나 이상의 복원된 참조 픽쳐들 중 하나를 현재예측 유닛의 참조 픽쳐로 결정하고, 상기 참조 픽쳐 내의 상기 예측 블록의 위치를 나타내는 움직임 정보를 결정한다.
현재 블록의 참조픽쳐 인덱스는 현재 블록의 인터 예측 모드에 따라 달라질 수 있다. 예를 들어, 현재 블록이 단방향 예측 모드인 경우에는 리스트 0(L0)에 속하는 참조 픽쳐들 중의 어느 하나를 나타내는 인덱스이다. 반면에, 현재 블록이 양방향 예측 모드인 경우에는 리스트 0(L0)에 속하는 참조 픽쳐를 나타내는 인덱스 및 리스트1(L1)의 참조 픽쳐들 중 어느 하나를 나타내는 인덱스를 포함할 수 있다. 또한, 현재 블록이 양방향 예측 모드인 경우에는 리스트 0과 리스트 1을 결합하여 생성된 복합 리스트(LC)의 참조 픽쳐들 중의 1개 또는 2개의 픽쳐를 나타내는 인덱스를 포함할 수 있다.
움직임 벡터는 각각의 참조픽쳐 인덱스가 나타내는 픽쳐내의 예측 블록의 위치를 나타낸다. 움직임 벡터는 정수단위일수도 있으나, 1/8 또는 1/16 화소의 해상도를 가질 수 있다. 움직임 벡터가 정수단위가 아닐 경우에는 예측 블록은 정수 단위의 화소들로부터 생성된다.
(2) 예측 블록을 생성하는 단계(S120)
움직임 벡터가 정수 단위일 경우에는, 참조픽쳐 인덱스가 나타내는 픽쳐 내의 움직임 벡터가 나타내는 위치의 대응 블록을 복사하여 현재 예측 유닛의 예측 블록을 생성한다.
그러나, 움직임 벡터가 정수 단위가 아닐 경우에는, 참조픽쳐 인덱스가 나타내는 픽쳐내의 정수 단위 화소들로부터 예측 블록의 화소들을 생성한다. 이 경우, 휘도 화소의 경우에는 8탭의 보간 필터를 사용하여 예측 화소를 생성할 수 있다. 색차 화소의 경우에는 4탭 보간 필터를 사용하여 예측 화소를 생성할 수 있다.
(3) 잔차 블록을 생성하는 단계(S130) 및 잔차 블록을 부호화하는 단계(S140)
현재 예측 유닛의 예측 블록들이 생성되면, 현재 예측 유닛과 예측 블록의 차이값을 이용하여 잔차 블록을 생성한다. 잔차 블록의 크기는 현재 예측 유닛의 크기와 다를 수 있다. 예를 들어, 현재 예측 유닛이 2Nx2N인 경우에는 현재 예측 유닛과 잔차 블록의 크기가 동일하다. 그러나, 현재 예측 유닛이 2NxN 또는 Nx2N인 경우에는, 잔차 블록은 2Nx2N일 수 있다. 즉, 현재 예측 유닛이 2NxN인 경우에는 잔차 블록은 2개의 2NxN 잔차 블록을 결합하여 구성될 수 있다. 이 경우, 2NxN의 예측 블록 2개의 경계부분의 불연속성을 해소하기 위해 경계 부분의 픽셀들을 오버랩 스무딩하여 형성된 2Nx2N 예측 블록을 생성한 후, 2Nx2N의 원본 블록(2개의 현재 블록으로 구성)과의 차이값을 잔차 블록으로 생성할 수도 있다.
잔차 블록이 생성되면, 잔차 블록은 변환 부호화 크기 단위의 블록으로 부호화된다. 즉, 변환 부호화 크기 단위로 변환 부호화, 양자화 및 엔트로피 부호화된다. 이때, 변환 부호화의 크기는 잔차 블록의 크기에 따라 쿼드트리 방식으로 결정될 수 있다. 즉, 변환 부호화는 정수기반 DCT를 사용한다.
변환 부호화된 블록은 양자화 매트릭스를 이용하여 양자화된다. 양자화된 블록은 CABAC 또는 CAVLC로 엔트로피 부호화된다.
(4) 움직임 정보를 부호화하는 단계(S150)
현재 예측 유닛의 움직임 정보는 현재 예측 유닛에 인접한 예측 유닛들의 움직임 정보를 이용하여 부호화된다.
현재 예측 유닛의 움직임 정보는 머지 부호화 또는 AMVP 부호화 된다. 따라서, 먼저 현재 예측 유닛의 움직임정보를 머지 부호화할지 또는 AMVP 부호화할지를 결정하고, 결정된 방식에 따라 현재 예측 유닛의 움직임 정보를 부호화한다.
먼저, 도 3을 참조하여 머지 부호화 방식에 대해 설명한다.
공간 머지 후보자와 시간 머지 후보자를 유도한다(S210, S220).
여기서는 편의상 공간 머지 후보자를 유도하고 시간 머지 후보자를 구하는 것으로 예시하였으나, 공간 머지 후보자와 시간 머지 후보자를 구하는 순서는 이에 한정되지 않는다. 예를 들어, 반대의 순서로 구해도 되고, 병렬적으로도 구해도 된다.
1) 공간 머지 후보자
공간 머지 후보자 구성은 다음의 실시예들 중 어느 하나일 수 있다. 공간 머지 후보자 구성 정보는 복호기로 전송될 수 있다. 이 경우, 상기 구성정보는 다음의 실시예들 중 어느 하나를 나타낼 수도 있고, 아래 실시예들 중 어느 하나에서 머지 후보자의 수를 나타내는 정보일 수 있다.
(a) 제 1 실시예 (공간 머지 후보자 구성 1)
복수개의 공간 머지 후보자는, 도 4에 도시된 바와 같이, 현재 예측 유닛의 좌측 예측 유닛(블록 A), 현재 예측유닛의 상측 예측 유닛(블록 B), 현재 예측 유닛의 우상측 예측 유닛(블록 C) 및 현재 예측 유닛의 좌하측 예측유닛(블록 D)이 될 수 있다. 이 경우, 유효한 예측 유닛이 모두 후보자가 되거나 A, B, C, D 순으로 스캔하여 유효한 2개가 후보자가 될 수도 있다. 현재 예측 유닛의 좌측에 복수개의 예측 유닛이 존재할 경우에는 유효한 가장 상측에 존재하는 예측 유닛 또는 가장 큰 면적을 갖는 유효한 예측 유닛이 좌측 예측 유닛으로 설정될 수 있다. 마찬가지로, 현재 예측 유닛의 상측에 복수개의 예측 유닛이 존재할 경우에는 유효한 가장 좌측에 존재하는 예측 유닛 또는 가장 큰 면적을 갖는 예측 유닛이 상측 예측 유닛으로 설정될 수 있다.
(b) 제 2 실시예 (공간 머지 후보자 구성 2)
복수개의 공간 머지 후보자는, 도 5에 도시된 바와 같이, 현재 예측 유닛의 좌측 예측 유닛(블록 A), 현재 예측유닛의 상측 예측 유닛(블록 B), 현재 예측 유닛의 우상측 예측 유닛(블록 C), 현재 예측 유닛의 좌하측 예측유닛(블록 D) 및 현재 예측 유닛의 좌상측 예측 유닛(블록 E) 순으로 스캔하여 유효한 2개가 후보자가 될 수 있다. 여기서 좌측 예측 유닛은 블록 D에 인접하지 않고 블록 E에 인접한 예측 유닛일 수 있다. 마찬가지로, 상측 예측 유닛은 블록 C에 인접하지 않고 블록 E에 인접한 예측 유닛일 수 있다.
(c) 제3 실시예 (공간 머지 후보자 구성 3)
복수개의 공간 머지 후보자는, 도 5에 도시된 바와 같이, 현재 블록의 좌측 블록(블록 A), 현재 블록의 상측 블록(블록 B), 현재 블록의 우상측 블록(블록 C), 현재 블록의 좌하측 블록(블록 D) 및 현재 블록의 좌상측 블록(블록 E) 순으로 유효한 블록이 후보자가 될 수 있다. 이 경우, 블록 E는 블록 A, B, C, D 중 하나 이상이 유효하지 않은 경우에 사용될 수 있다.
(d) 제4 실시예 (공간 머지 후보자 구성 4)
복수개의 공간 머지 후보자는, 도 5에 도시된 바와 같이, 현재 예측 유닛의 좌측 예측 유닛(블록 A), 현재 예측 유닛의 상측 예측 유닛(블록 B), 현재 예측 유닛의 코너 예측 유닛(블록 C, D, E 중 하나)로 설정될 수 있다.
코너 예측 유닛은 현재 예측 유닛의 우상측 예측 유닛(블록 C), 현재 예측 유닛의 좌하측 예측 유닛(블록 D) 및 현재 예측 유닛의 좌상측 예측 유닛(블록 E) 순으로 스캔하여 유효한 첫번째 예측 유닛이다.
상술한 실시예들에서 공간 머지 후보자들 중 현재 예측 유닛의 상측에 존재하는 머지 후보자들의 움직임 정보는 현재 예측 유닛의 위치에 따라 달리 설정될 수 있다. 예를 들어, 현재 예측 유닛이 LCU의 상측 경계에 접하는 경우에는, 현재 예측 유닛의 상측 예측 유닛(블록 B, C 또는 E)의 움직임 정보는 자기 자신의 움직임 정보 또는 인접 예측 유닛의 움직임 정보일 수 있다. 현재 예측 유닛의 크기 및 위치에 따라, 상기 상측 예측 유닛의 움직임 정보가 자기 자신의 움직임 정보 또는 인접 예측 유닛의 움직임 정보(참조 픽쳐 인덱스 및 움직임 벡터) 중 하나로 결정될 수 있다.
2) 시간 머지 후보자
시간 머지 후보자의 참조 픽쳐 인덱스와 움직임 벡터는 별도의 과정을 통해 얻어진다. 시간 머지 후보자의 참조 픽쳐 인덱스는 현재 예측 유닛에 공간적으로 인접한 예측 유닛들 중 어느 하나의 참조 픽쳐 인덱스를 이용하여 구할 수 있다.
현재 예측 유닛의 시간 머지 후보자의 참조 인덱스들을 구하기 위해 현재 예측 유닛의 좌측 예측 유닛(블록 A), 상측 예측 유닛(블록 B), 우상측 예측 유닛(블록 C), 좌하측 예측 유닛(블록 D) 및 좌상측 예측 유닛(블록 E)의 참조 픽쳐 인덱스들 중 일부 또는 전부가 이용될 수 있다. 예를 들어, 현재 예측 유닛의 좌측 예측 유닛(블록A), 상측 예측 유닛(블록 B) 및 코너 예측 유닛(블록 C, D, E 중 어느 하나)들의 참조 픽쳐 인덱스가 이용될 수 있다. 또한, 현재 예측 유닛의 좌측 예측 유닛(블록 A), 상측 예측 유닛(블록 B), 우상측 예측 유닛(블록 C), 좌하측 예측 유닛(블록 D) 및 좌상측 예측 유닛(블록 E)의 순으로 스캔하여 유효한 홀수개(예를 들어, 3개)의 예측 유닛의 참조 픽쳐 인덱스가 이용될 수도 있다.
현재 예측 유닛의 시간 머지 후보자의 참조 인덱스들을 구하기 위해, 현재 예측 유닛의 좌측 예측 유닛, 상측 예측 유닛, 및 코너 예측 유닛들의 참조 픽쳐 인덱스가 이용되는 경우에 대해 설명한다.
현재 예측 유닛의 좌측 예측 유닛의 참조 픽쳐 인덱스(이하, 좌측 참조 픽쳐 인덱스), 상측 예측 유닛의 참조 픽쳐 인덱스(이하, 상측 참조 픽쳐 인덱스) 및 코너 예측 유닛의 참조 픽쳐 인덱스(이하, 코너 참조 픽쳐 인덱스)를 구한다. 여기에서는 코너의 예측 유닛들(C, D, E) 중 하나만을 후보자로 설정하였지만, 이에 한정되는 것은 아니며, 예측 유닛 C, D가 후보자로 설정되는 경우(후보자 4개), 예측 유닛 C, D, E가 모두 후보자로 설정되는 경우(후보자 5개)도 가능하다.
여기에서는 3개 또는 그 이상의 유효한 참조 픽쳐 인덱스들을 이용하는 것으로 설정하였지만, 유효한 모든 개수를 이용하거나, 미리 정해진 위치의 참조 픽쳐 인덱스만을 이용할 수도 있다. 또한, 유효한 참조 픽쳐 인덱스가 존재하지 않을 경우에는 참조 픽쳐 인덱스 0을 설정할 수도 있다.
복수개의 상기 참조 픽쳐 인덱스들을 이용하는 경우, 유효한 참조 픽쳐 인덱스들 중 가장 많은 빈도를 갖는 참조 픽쳐 인덱스가 시간 머지 후보자의 참조 픽쳐 인덱스로 설정될 수 있다. 유효한 후보자들 중 가장 많은 빈도를 갖는 참조 픽쳐 인덱스가 복수 개 존재할 경우에는 상기 복수개의 참조 픽쳐 인덱스 중 최소값을 갖는 참조 픽쳐 인덱스 또는 좌측 블록 또는 상측 블록의 참조 픽쳐 인덱스가 시간 머지 후보자의 참조 픽쳐 인덱스로 설정될 수 있다.
다음으로, 상기 시간 머지 후보자의 움직임 벡터를 구하는 과정을 설명한다.
먼저, 상기 시간 머지 후보자 블록이 속하는 픽쳐(이하, 시간 머지 후보자 픽쳐)를 결정한다. 시간 머지 후보자 픽쳐는 참조 픽쳐 인덱스가 0인 픽쳐로 설정될 수도 있다. 이 경우, 슬라이스 타입이 P인 경우에는 리스트0(list0)의 첫번째 픽쳐(즉 인덱스가 0인 픽쳐)가 시간 머지 후보자 픽쳐로 설정된다. 슬라이스 타입이 B인 경우에는 슬라이스 헤더 내의 시간 머지 후보자 리스트를 나타내는 플래그가 나타내는 참조픽쳐 리스트의 첫 번째 픽쳐가 시간 머지 후보자 픽쳐로 설정된다. 예를 들어, 상기 플래그가 1을 나타내면 list0로부터, 0을 나타내면 list1으로부터 시간 머지 후보자 픽쳐를 설정할 수 있다.
다음으로, 상기 시간 머지 후보자 픽쳐 내의 시간 머지 후보자 블록을 구한다. 상기 시간 머지 후보자 블록으로서, 상기 시간 머지 후보자 픽쳐 내의 현재 에측 유닛에 대응하는 복수개의 대응 블록 중 어느 하나가 선택될 수 있다. 이 경우, 복수개의 대응 블록들에 우선순위를 부여하고, 상기 우선순위에 기초하여 유효한 첫번째 대응 블록이 시간 머지 후보자 블록으로 선택될 수 있다.
예를 들어, 상기 시간 머지 후보자 픽쳐 내의 현재 예측 유닛에 대응하는 블록에 인접하는 좌하측 코너 블록 또는 상기 시간 머지 후보자 픽쳐 내의 현재 예측 유닛에 대응하는 블록 내의 좌하측 블록을 제1 후보자 블록으로 설정하고, 상기 시간 머지 후보자 픽쳐 내의 현재 예측 유닛에 대응하는 블록의 중앙 위치의 좌상측 픽셀을 포함하는 블록 또는 우하측 픽셀을 포함하는 블록을 제 2 후보자 블록으로 설정될 수 있다.
상기 제1 후보자 블록이 유효하면 상기 제1 후보자 블록을 시간 머지 후보자 블록으로 설정하고, 상기 제1 후보자 블록이 유효하지 않고 상기 제2 후보자 블록이 유효하면, 상기 제2 후보자 블록을 시간 머지 후보자 블록으로 설정할 수 있다. 또는 현재 예측 유닛의 위치에 따라 제1 후보자 블록을 사용하지 않고, 제2 후보자 블록만이 사용될 수도 있다. 상기 현재 예측 유닛의 위치는 슬라이스 또는 LCU 내에서의 위치일 수 있다.
상기 시간 머지 후보자 예측 블록이 결정되면, 상기 시간 머지 후보자 예측 블록의 움직임 벡터를 시간 머지 후보자 움직임 벡터로 설정한다.
한편, 현재 예측 유닛의 크기에 따라 상기 시간 머지 후보자를 적응적으로 off 시킬 수도 있다. 예를 들어, 4x4블록이 경우에는 복잡도 감소를 위해 상기 시간 머지 후보자를 off 시킬 수 있다.
다음으로 머지 후보자 리스트를 구축한다(S230)
유효한 머지 후보자를 이용하여 정해진 순서에 따라 머지 후보자 리스트를 구축한다. 이 경우, 복수개의 머지 후보자가 동일 움직임 정보(동일 움직임 벡터 및 동일 참조픽쳐 인덱스)를 가지면, 후순위의 머지 후보자를 리스트에서 삭제한다.
예를 들어, 제1 실시예(공간 머지 후보자 구성 1)의 경우, 정해진 순서는 A, B, Col, C, D 순이다. 여기서, Col은 시간 머지 후보자를 의미한다.
제2 실시예(공간 머지 후보자 구성 2)의 경우, A, B, C, D, E 순으로 스캔하여 유효한 2개, Col 순으로 구성될 수 있다.
제3 실시예(공간 머지 후보자 구성 3)의 경우, 정해진 순서는 A, B, Col, C, D의 순이되, A, B, C, D 중 적어도 하나가 유효하지 않을 경우에 E가 추가될 수 있다. 이 경우, E는 후순위로 추가될 수 있다. 또한, (A와 D 중 하나), (C, B, E 중 하나), Col 순으로 리스트가 구성될 수도 있다.
제4 실시예(공간 머지 후보자 구성 4)의 경우, 정해진 순서는 A, B, Col, Corner 순이거나, A, B, Corner, Col 순일 수 있다.
머지 후보자 수는 슬라이스 단위 또는 LCU 단위로 결정될 수 있다. 이 경우, 상술된 실시예들에서 정해진 순서로 머지 후보자 리스트를 구축한다.
다음으로, 머지 후보자 생성이 필요한지 여부를 판단한다(S240). 머지 후보자 수가 고정된 값으로 설정되는 경우에는, 유효한 머지 후보자 수가 고정된 머지 후보자 수보다 작으면 머지 후보자를 생성한다(S250). 그리고, 생성된 머지 후보자를 머지 후보자 리스트에 추가한다. 이 경우, 생성된 머지 후보자는 리스트 내의 가장 후순위의 머지 후보자 다음 위치에 추가한다. 복수개의 머지 후보자가 추가될 경우에는 미리 정해진 순서에 따라 추가한다.
상기 머지 추가되는 머지 후보자는 움직임 벡터가 0이고 참조픽쳐 인덱스가 0인 값이 후보자(제1 추가 머지 후보자) 일 수 있다. 또한, 유효한 머지 후보자들의 움직임 정보를 결합하여 생성된 후보자(제2 추가 머지 후보자)일 수도 있다. 예를 들어, 시간 머지 후보자의 움직임 정보(참조 픽쳐 인덱스)와 유효한 공간 후보자의 움직임 정보(움직임 벡터)를 결합하여 생성된 후보자를 추가할 수 있다. 상기 추가되는 머지 후보자는 제1 추가 머지 후보자, 제2 추가 머지 후보자 순서로 추가되거나 그 역순으로 추가될 수 있다.
그러나, 머지 후보자 수가 가변이고, 유효한 머지 후보자 만을 이용하는 경우에는 상기 단계들(S240, S250)은 생략 가능하다.
다음으로, 구축된 머지 후보자 리스트에서 하나의 머지 후보자를 현재 예측 유닛의 머지 예측자로 결정한다(S260).
다음으로, 상기 머지 예측자의 인덱스(즉, 머지 인덱스)를 부호화한다(S270). 머지 후보자 수가 한 개일 경우에는 머지 인덱스를 생략한다. 그러나, 머지 후보자 수가 두개 이상일 경우에는 머지 인덱스를 부호화한다.
머지 인덱스는 고정길이 부호화 또는 CAVLC가 사용될 수 있다. CAVLC가 사용될 경우, 모드워드 매핑을 위한 머지 인덱스는 블록의 형태(PU shape) 및 블록의 인덱스(PU index)에 따라 조정될 수 있다.
머지 후보자 수는 가변일 수 있다. 이 경우, 유효한 머지 후보자 수에 따라 결정되는 테이블을 이용하여 상기 머지 인덱스에 대응하는 코드워드를 선택한다.
머지 후보자 수는 고정될 수 있다. 이 경우에는 머지 후보자 수에 대응하는 하나의 테이블을 이용하여 상기 머지 인덱스에 대응하는 코드워드를 선택한다.
도 6을 참조하여 AMVP 부호화 방식에 대해 설명한다.
공간 AMVP 후보자와 시간 AMVP 후보자를 유도한다(S310, S320).
1) 공간 AMVP 후보자
(a) 공간 AMVP 후보자 구성 1
*공간 AMVP 후보자는, 도 5에 도시된 바와 같이, 현재 예측 유닛의 좌측 예측 유닛(블록 A)과 좌하측 예측 유닛(블록 D)들 중 하나(좌측 후보자), 현재 예측 유닛의 상측 예측 유닛(블록 B), 현재 예측 유닛의 우상측 예측유닛(블록 C), 및 현재 예측 유닛의 좌상측 예측 유닛(블록 E)들 중 하나(상측 후보자)로 구성될 수 있다. 이때 미리 정해진 순서로 스캔하여 유효한 첫번째 예측 유닛의 움직임 벡터가 좌측 또는 상측 후보자로 선택된다. 미리 정해진 순서는 좌측 예측 유닛의 경우에는 블록 A, 블록 D순 또는 그 역순으로, 상측 예측 유닛의 경우에는 블록 B, 블록 C, 블록 E 순 또는 블록 C, 블록 B, 블록 E순일 수 있다.
(b) 공간 AMVP 후보자 구성 2
공간 AMVP 후보자는, 도 4에 도시된 바와 같이, 현재 예측 유닛의 좌측 예측 유닛(블록 A), 현재 예측 유닛의 상측 예측 유닛(블록 B), 현재 예측 유닛의 우상측 예측 유닛(블록 C), 및 현재 예측 유닛의 좌하측 블록(블록 D) 순으로 스캔하여 유효한 2개의 예측 유닛으로 구성될 수 있다. 이 경우, 유효한 예측 유닛이 모두 후보자가 되거나 A, B, C, D 순으로 스캔하여 유효한 2개의 예측 유닛이 후보자가 될 수도 있다. 현재 예측 유닛의 좌측에 복수개의 예측 유닛이 존재할 경우에는 유효한 가장 상측에 존재하는 예측 유닛 또는 가장 큰 면적을 갖는 유효한 예측 유닛이 좌측 예측 유닛으로 설정될 수 있다. 마찬가지로, 현재 예측 유닛의 상측에 복수개의 예측 유닛이 존재할 경우에는 유효한 가장 좌측에 존재하는 예측 유닛 또는 가장 큰 면적을 갖는 예측 유닛이 상측 예측 유닛으로 설정될 수 있다.
(c) 공간 AMVP 후보자 구성 3
공간 AMVP 후보자는, 도 5에 도시된 바와 같이, 현재 예측 유닛의 좌측 예측 유닛(블록 A), 현재 예측 유닛의 상측 예측 유닛(블록 B), 현재 예측 유닛의 우상측 예측 유닛(블록 C), 현재 예측 유닛의 좌하측 예측 유닛(블록 D), 현재 예측 유닛의 좌상측 예측 유닛(블록 E)들 순으로 스캔하여 유효한 2개의 예측 유닛으로 구성될 수 있다. 여기서 좌측 예측 유닛은 블록 D에 인접하지 않고 블록 E에 인접한 예측 유닛일 수 있다. 마찬가지로, 상측 예측 유닛은 블록 C에 인접하지 않고 블록 E에 인접한 예측 유닛일 수 있다.
(d) 공간 AMVP 후보자 구성 4
공간 AMVP 후보자는, 도 5에 도시된 바와 같이, 현재 예측 유닛의 좌측 예측 유닛(블록 A), 현재 예측 유닛의 상측 예측 유닛(블록 B), 현재 예측 유닛의 우상측 예측 유닛(블록 C), 현재 예측 유닛의 좌하측 예측 유닛(블록 D) 및 현재 예측 유닛의 좌상측 예측 유닛(블록 E) 중 4개로 구성될 수 있다. 이 경우, 블록 E는 블록 A, B, C, D 중 어느 하나가 유효하지 않은 경우에 사용될 수 있다.
(e) 공간 AMVP 후보자 구성 5
공간 AMVP후보자는 도 5에 도시된 바와 같이, 현재 예측 유닛의 좌측 예측 유닛(블록 A), 현재 예측 유닛의 상측 예측 유닛(블록 B), 현재 예측 유닛의 코너 예측 유닛(블록 C, D, E 중 하나)로 설정될 수 있다. 코너 예측 유닛은 현재 예측 유닛의 우상측 예측 유닛(블록 C), 좌하측 예측 유닛(블록 D) 및 좌상측 예측 유닛(블록 E) 순으로 스캔하여 유효한 첫번째 예측 유닛일 수 있다.
상술한 실시예들에서 공간 AMVP 후보자들 중 현재 예측 유닛의 상측에 존재하는 AMVP 후보자들의 움직임 정보는 현재 예측 유닛의 위치에 따라 달리 설정될 수 있다. 예를 들어, 현재 예측 유닛이 LCU의 상측 경계에 접하는 경우에는, 현재 예측 유닛의 상측 예측 유닛(블록 B, C 또는 E)의 움직임 벡터는 자기 자신의 움직임 벡터 또는 인접 예측 유닛의 움직임 벡터일 수 있다. 현재 예측 유닛의 크기 및 위치에 따라, 상기 상측 예측 유닛의 움직임 벡터가 자기 자신의 움직임 벡터 또는 인접 예측 유닛의 움직임 벡터로 결정될 수 있다.
2) 시간 AMVP 후보자
시간 AMVP 후보자는 움직임 정보만을 필요로 하므로, 머지 후보자와 달이 참조픽쳐 인덱스를 구할 필요가 없다.
시간 AVMP 후보자의 움직임 벡터를 구하는 과정을 설명한다.
먼저, 상기 시간 AVMP 후보자 블록이 속하는 픽쳐(이하, 시간 AVMP 후보자 픽쳐)를 결정한다. 시간 AVMP 후보자 픽쳐는 참조 픽쳐 인덱스가 0인 픽쳐로 설정될 수 있다. 이 경우, 슬라이스 타입이 P인 경우에는 리스트0(list0)의 첫번째 픽쳐(즉 인덱스가 0인 픽쳐)가 시간 AVMP 후보자 픽쳐로 설정된다. 슬라이스 타입이 B인 경우에는 슬라이스 헤더내의 시간 AVMP 후보자 리스트를 나타내는 플래그가 나타내는 리스트의 첫번째 픽쳐가 시간 머지 후보자 픽쳐로 설정된다.
다음으로, 상기 시간 AVMP 후보자 픽쳐 내의 시간 AVMP 후보자 블록을 구한다.
이 과정은 상술한 상기 시간 머지 후보자 블록을 구하는 과정과 동일하므로 생략한다.
한편, 현재 예측 유닛의 크기에 따라 상기 시간 AVMP 후보자를 적응적으로 off 시킬 수도 있다. 예를 들어, 현재 예측 유닛이 4x4이면, 복잡도 감소를 위해 상기 시간 AVMP 후보자를 off 시킬 수 있다.
*다음으로, AMVP 후보자 리스트를 구축한다(S330).
유효한 AVMP 후보자를 이용하여 정해진 순서에 따라 AVMP 후보자 리스트를 구축한다. 이 경우, 복수개의 AVMP 후보자가 동일 움직임 벡터를 가지면(참조픽쳐가 동일할 필요는 없음), 후순위의 AVMP 후보자를 리스트에서 삭제한다.
*공간 AMVP 후보자 구성 1의 경우, 정해진 순서는 A와 D 중 하나(A, D 순서 또는 D, A 순서), B, C, E 중 하나(B, C, E 순서 또는 C, B, E 순서), Col 순이거나, Col, A와 D 중 하나, B, C, E 중 하나의 순일 수 있다. 여기서 Col은 시간 AMVP 후보자를 나타낸다.
공간 AMVP 후보자 구성 2의 경우, 정해진 순서는 A, B, Col, C, D 순이거나, C, D, Col, A, B 순일 수 있다.
공간 AMVP 후보자 구성 3의 경우, 정해진 순서는 (A, B, C, D, E 순으로 유효한 2개), Col 순이거나, Col, (A, B, C, D, E 순으로 유효한 2개)의 순일 수 있다.
공간 AMVP 후보자 구성 4의 경우, 정해진 순서는 A, B, Col, C, D의 순이되, A, B, C, D 중 적어도 하나가 유효하지 않는 경우, E가 후순위로 추가될 수 있다. 또는 Col, (A, B, C, D, E 순으로 유효한 4개)의 순일 수 있다.
공간 AMVP 후보자 구성 5의 경우, 정해진 순서는 A, B, col, corner 순일 수 있다.
다음으로, AVMP 후보자 생성이 필요한지 여부를 판단한다(S340). 상기한 AVMP 후보자 구성에서 AVMP 후보자 수가 고정된 값으로 설정된 경우에는, 유효한 AVMP 후보자 수가 고정된 값보다 작으면 AVMP 후보자를 생성한다(S350). 고정된 수는 2 또는 3일 수 있다. 그리고, 상기 생성된 AMVP 후보자를 리스트 내의 가장 후순위의 AMVP 후보자 다음 위치에 추가한다. 상기 추가되는 후보자는 움직임 벡터가 0인 후보자가 추가될 수 있다.
*그러나, AMVP후보자 수가 가변이고, 유효한 AMVP후보자 만을 이용하는 경우에는 상기 단계들(S340, S350)은 생략 가능하다.
다음으로, 구축된 AMVP 후보자 리스트에서 현재 예측 유닛의 움직임 벡터 예측자를 결정한다(S360). 그리고, 상기 예측자를 나타내는 AMVP 인덱스를 생성한다.
다음으로, 현재 예측 유닛의 움직임 벡터와 상기 움직임 벡터 예측자 사이의 차분 움직임 벡터를 생성한다(S370).
다음으로, 현재 예측 유닛의 참조 픽쳐 인덱스, 차분 움직임 벡터 및 AMVP 인덱스를 부호화한다(S380). 상기 AMVP 후보자가 한 개일 경우에는 AMVP 인덱스를 생략할 수도 있다.
AMVP 인덱스는 고정길이 부호화 또는 CAVLC가 사용될 수 있다. CAVLC가 사용될 경우, 코드워드 매핑을 위한 AMVP 인덱스는 블록의 형태(PU shape) 및 블록의 인덱스(PU index)에 따라 조정될 수 있다.
AMVP 후보자 수는 가변일 수 있다. 이 경우, 유효한 AMVP 후보자 수에 따라 결정되는 테이블을 이용하여 상기 AMVP 인덱스에 대응하는 코드워드를 선택한다.
한편, 상기 머지 후보자 블록과 AMVP 후보자 블록을 동일하게 설정할 수 있다. 상기한 머지 후보자 구성과 동일한 구성을 갖는 AMVP 후보자 구성의 경우가 이에 해당한다. 이 경우에는 부호화기의 복잡도를 감소시킬 수 있다.
도 7은 본 발명의 실시예에 따른 동영상 복호화 장치를 나타내는 블록도이다.
도 7을 참조하면, 본 발명에 따른 동영상 복호화 장치는, 엔트로피 복호화부(210), 역양자화/역변환부(220), 가산기(270), 디블록킹 필터(250), 픽쳐 저장부(260), 인트라 예측부(230), 움직임 보상 예측부(240) 및 인트라/인터전환 스위치(280)를 구비한다.
엔트로피 복호화부(210)는, 동영상 부호화 장치로부터 전송되는 부호화 비트 스트림을 복호하여, 인트라 예측모드 인덱스, 움직임 정보, 양자화 계수 시퀀스 등으로 분리한다. 엔트로피 복호화부(210)는 복호된 움직임 정보를 움직임 보상 예측부(240)에 공급한다. 엔트로피 복호화부(210)는 상기 인트라 예측 모드 인덱스를 상기 인트라 예측부(230), 역양자화/역변환부(220)로 공급한다. 또한, 상기 엔트로피 복호화부(210)는 상기 역양자화계수 시퀀스를 역양자화/역변환부(220)로 공급한다.
역양자화/역변환부(220)는 상기 양자화 계수 시퀀스를 2차원 배열의 역양자화 계수로 변환한다. 상기 변환을 위해 복수개의 스캐닝 패턴 중에 하나를 선택한다. 현재 블록의 예측모드(즉, 인트라 예측 및 인터 예측 중의 어느 하나)와 인트라 예측 모드 중 적어도 하나에 기초하여 복수개의 스캐닝 패턴 중 하나를 선택한다. 상기 인트라 예측 모드는 인트라 예측부 또는 엔트로피 복호화부로부터 수신한다.
역양자화/역변환부(220)는 상기 2차원 배열의 역양자화 계수에 복수개의 양자화 매트릭스 중 선택된 양자화 매트릭스를 이용하여 양자화 계수를 복원한다. 복원하고자 하는 현재 블록의 크기에 따라 서로 다른 양자화 매트릭스가 적용되며, 동일 크기의 블록에 대해서도 상기 현재 블록의 예측 모드 및 인트라 예측 모드 중 적어도 하나에 기초하여 양자화 매트릭스를 선택한다. 그리고, 상기 복원된 양자화 계수를 역변환하여 잔차 블록을 복원한다.
가산기(270)는 역양자화/역변환부(220)에 의해 복원된 잔차 블록과 인트라 예측부(230) 또는 움직임 보상 예측부(240)에 의해 생성되는 예측 블록을 가산함으로써, 영상 블록을 복원한다.
디블록킹 필터(250)는 가산기(270)에 의해 생성된 복원 영상에 디블록킹 필터 처리를 실행한다. 이에 따라, 양자화 과정에 따른 영상 손실에 기인하는 디블록킹 아티펙트를 줄일 수 있다.
픽쳐 저장부(260)는 디블록킹 필터(250)에 의해 디블록킹 필터 처리가 실행된 로컬 복호 영상을 유지하는 프레임 메모리이다.
인트라 예측부(230)는 엔트로피 복호화부(210)로부터 수신된 인트라 예측 모드 인덱스에 기초하여 현재 블록의 인트라 예측 모드를 복원한다. 그리고, 복원된 인트라 예측 모드에 따라 예측 블록을 생성한다.
움직임 보상 예측부(240)는 움직임 벡터 정보에 기초하여 픽쳐 저장부(260)에 저장된 픽쳐로부터 현재 블록에 대한 예측 블록을 생성한다. 소수 정밀도의 움직임 보상이 적용될 경우에는 선택된 보간 필터를 적용하여 예측 블록을 생성한다.
인트라/인터 전환 스위치(280)는 부호화 모드에 기초하여 인트라 예측부(230)와 움직임 보상 예측부(240)의 어느 하나에서 생성된 예측 블록을 가산기(270)에 제공한다.
도 8은 본 발명에 따른 인터 예측 복호화 과정을 설명한다.
먼저, 복원하고자 하는 현재 예측 유닛이 스킵(SKIP) 부호화되었는지를 판단한다(S405). 이는 코딩 유닛의 skip_flag를 통해 확인할 수 있다.
현재 예측 유닛이 SKIP 부호화된 경우에는 현재 예측 유닛의 스킵 모드 움직임 정보 복호화 과정을 통해 현재 예측 유닛의 움직임 정보를 복호화한다(S410). 스킵 모드 움직임 정보 복호화 과정은 머지 모드 움직임 정보 복호화 과정과 동일하다.
그리고, 유도된 현재 예측 유닛의 움직임 정보가 나타내는 참조픽쳐의 대응 블록을 복사하여 현재 예측 유닛의 복원블록을 생성한다(S415).
현재 예측 유닛이 스킵 부호화되지 않았으면, 현재 예측 유닛의 움직임 정보가 머지 모드로 부호화되었는지를 판단한다(S420).
현재 예측 유닛의 움직임 정보가 머지 모드로 부호화 되었으면, 머지 모드 움직임 정보 복호화 과정을 통해 현재 예측 유닛의 움직임 정보를 복호화한다(S425).
그리고, 복호화된 현재 예측 유닛의 움직임 정보를 이용하여 예측 블록을 생성한다(S430).
현재 예측 유닛의 움직임 정보가 머지 모드로 부호화 되었으면, 잔차블록을 복호화한다(S435).
*그리고, 상기 예측 블록과 잔차 블록을 이용하여 현재 예측 유닛의 복원블록을 생성한다(S440).
한편, 현재 예측 유닛의 움직임 정보가 머지 모드로 부호화되지 않았으면, AMVP 모드 움직임 정보 복호화 과정을 통해 현재 예측 유닛의 움직임 정보를 복호화한다(S445).
그리고, 상기 복호화된 현재 예측 유닛의 움직임 정보를 이용하여 예측 블록을 생성한다(S450). 그리고, 잔차 블록을 복호화한다(S455), 상기 예측 블록과 잔차 블록을 이용하여 복원블록을 생성한다(S460).
움직임 정보 복호화 과정은 현재 예측 유닛의 움직임 정보의 부호화 패턴에 따라 달라진다. 현재 예측 유닛의 움직임 정보 부호화 패턴은 머지 모드, AMVP모드 중 하나일 수 있다. 스킵 모드의 경우에는 머지 모드와 동일한 움직임 정보 복호화 과정을 가지므로 생략한다.
먼저, 현재 예측 유닛의 움직임 정보 부호화 패턴이 머지 모드인 경우의 움직임 정보 복호화 과정에 대해 설명한다.
도 9는 머지 후보자 수가 가변일 경우, 움직임 벡터 복호화 과정을 도시한다.
먼저, 머지 코드워드가 존재하는지를 판단한다(S510).
머지 코드워드가 존재하지 않으면, 현재 예측 유닛의 머지 후보자가 1개인 것으로 판단하고, 유효한 머지 후보자를 검색한다(S520). 머지 후보자 구성 및 머지 후보자 검색 순서(즉, 리스트 구축순서)는 상기 도 3과 관련된 상세한 설명에 도시된 내용과 동일하다.
유효한 머지 후보자가 검색되면, 상기 머지 후보자의 움직임 정보로부터 현재 예측 유닛의 움직임 정보를 생성한다(S530). 즉, 상기 머지 후보자의 참조픽쳐 인덱스와 움직임 벡터를 현재 예측 유닛의 참조픽쳐 인덱스와 움직임 벡터로 설정한다.
머지 코드워드가 존재하면, 유효한 머지 후보자를 검색하여 머지 후보자 리스트를 구축한다(S540). 머지 후보자 구성 및 머지 후보자 리스트 구축 방법은 상기 도 3과 관련된 상세한 설명에 도시된 내용과 동일하다.
머지 후보자 수에 대응하는 VLC 테이블을 선택한다(S550).
상기 머지 코드워드에 대응하는 머지 인덱스를 구한다(S560).
머지 인덱스에 대응하는 머지 후보자를 머지 후보자 리스트 상에서 선택하고, 상기 머지 후보자의 움직임 정보를 현재 예측 유닛의 움직임 정보로 설정한다(S570).
도 10은 머지 후보자 수가 고정일 경우의 머지 모드 움직임 벡터 복호화 과정을 도시한다. 상기 머지 후보자 수는 픽쳐 또는 슬라이스 단위로 고정된 값일 수도 있다.
유효한 머지 후보자를 검색한다(S610). 머지 후보자는 공간 머지 후보자 및 시간 머지 후보자로 구성된다. 공간머지 후보자의 위치 및 유도 방법은 도 3에 도시된 것과 동일한 방식으로 유도한다. 시간 머지 후보자의 위치 및 유도 방법도 도 3에 도시된 것과 동일하므로 생략한다. 시간 머지 후보자는 현재 예측 유닛의 크기가 미리 정해진 크기보다 작은 경우에는 적용하지 않을 수 있다. 예를 들어, 4x4 크기의 예측 유닛에서는 머지 후보자가 생략될 수 있다.
유효한 머지 후보자가 검색되면, 머지 후보자를 생성할지 여부를 결정한다(S620). 유효한 머지 후보자의 수가 미리 정해진 머지 후보자 수보다 작으면 머지 후보자를 생성한다(S630). 머지 후보자를 생성하기 위해 유효한 머지 후보자들의 움직임 정보를 조합할 수 있다. 움직임 벡터가 0이고 참조 픽쳐 인덱스가 0인 머지 부호자를 추가할 수도 있다. 미리 정해진 순서로 머지 후보자들을 추가한다.
상기 머지 후보자들을 이용하여 머지 리스트를 구축한다(S640). 이 단계는 상기 단계 S620 및 단계 S630과 결합하여 이루어질 수 있다. 머지 후보자 구성 및 머지 후보자 검색 순서(즉, 리스트 구축순서)는 상기 도 3과 관련된 상세한 설명에 도시된 내용과 동일하다.
한편, 수신된 비트스트림의 머지 코드워드에 대응하는 머지 인덱스를 복원한다(S650). 머지 후보자의 수가 고정이므로, 상기 머지 후보자 수에 대응하는 하나의 복호화 테이블을 이용하여 상기 머지 코드워드에 대응하는 머지 인덱스를 구할 수 있다. 다만, 시간 머지 후보자의 사용 여부에 따라 서로 다른 복호화 테이블이 사용될 수 있다.
다음으로, 상기 머지 인덱스에 대응하는 후보자를 머지 리스트로부터 검색한다(S660). 상기 검색된 머지 후보자는 머지 예측자로 결정된다.
머지 예측자가 결정되면, 상기 머지 예측자의 움직임 정보를 이용하여 현재 예측 유닛의 움직임 정보를 생성한다(S670). 구체적으로 머지 예측자의 움직임 정보, 즉, 참조 픽쳐 인덱스와 움직임 벡터를 현재 예측 유닛의 참조 픽쳐 인덱스와 움직임 벡터로 결정한다.
다음으로, 현재 예측 유닛의 움직임 정보 부호화 패턴이 AMVP인 경우의 움직임 정보 복호화 과정에 대해 설명한다.
도 11은 AMVP 후보자 수가 가변일 경우의 움직임 벡터 복호화 과정을 도시한다.
현재 예측 유닛의 참조픽쳐 인덱스와 차분 움직임 벡터를 파싱한다(S710)
AMVP 코드워드가 존재하는지를 판단한다(S720).
AMVP 코드워드가 존재하지 않으면, 현재 예측 유닛의 AMVP 후보자 수가 1인 것으로 판단하고, 유효한 AMVP 후보자를 검색한다(S730). AMVP 후보자 구성 및 AMVP 후보자 검색 순서(즉, 리스트 구축순서)는 상기 도 6과 관련된 상세한 설명에 도시된 내용과 동일하다.
유효한 AMVP 후보자가 검색되면, 상기 AMVP 후보자의 움직임 벡터를 현재 예측 유닛의 예측 움직임 벡터로 설정한다(S740).
AMVP 코드워드가 존재하면, 유효한 AMVP 후보자를 검색하여 AMVP 후보자 리스트를 구축한다(S750). AMVP 후보자 구성 및 AMVP 후보자 리스트 구축 방법은 상기 도 6과 관련된 상세한 설명에 도시된 내용과 동일하다.
AMVP 후보자 수에 대응하는 VLC 테이블을 선택한다(S760).
상기 AMVP 코드워드에 대응하는 AMVP 인덱스를 구한다(S770).
AMVP 인덱스에 대응하는 AMVP 후보자를 AMVP 후보자 리스트 상에서 선택하고, 상기 AMVP 후보자의 움직임 벡터를 현재 예측 유닛의 예측 움직임 벡터로 설정한다(S780).
상기 S740 단계 또는 S780단계에서 구한 예측 움직임 벡터와 상기 S710단계에서 구한 차분 움직임 벡터를 더하여 현재 블록의 최종 움직임 벡터로 설정한다(S790).
도 12는 AMVP 후보자 수가 고정일 경우의 움직임 벡터 복호화 과정을 도시한다.
현재 예측 유닛의 참조픽쳐 인덱스와 차분 움직임 벡터를 파싱한다(S810).
유효한 AMVP 후보자를 검색한다(S820). AMVP 후보자는 공간 AMVP 후보자 및 시간 AMVP 후보자로 구성된다. 공간 AMVP 후보자의 위치 및 유도 방법 및 시간 AMVP 후보자의 위치 및 유도 방법도 도 6에 도시된 것과 동일하므로 생략한다. 시간 AMVP 후보자는 미리 정해진 크기보다 작은 예측 유닛에 대해서는 적용하지 않을 수 있다. 예를 들어, 4x4 크기의 예측 유닛에서는 머지 후보자가 생략될 수 있다.
유효한 AMVP 후보자 수에 기초하여 AMVP 후보자를 생성할지 여부를 판단한다(S830). 유효한 AMVP 후보자 수가 미리 정해진 수보다 작으면 AMVP 후보자를 생성한다(S840). 상기 미리 정해진 수는 2 또는 3일 수 있다.
예를 들어 공간 좌측 AMVP 후보자가 존재하지 않는 않고 공간 상측 AMVP 후보자가 존재하는 경우에는, 공간 상측 AMVP 후보자 이외의 유효한 예측 유닛이 존재하면 상기 예측 유닛의 움직임 벡터를 추가할 수 있다. 반대로 공간 좌측 AMVP 후보자가 존재하고 상측의 AMVP 후보자가 존재하지 않는 경우에는, 공간 좌측 AMVP 후보자 이외의 유효한 예측 유닛이 존재하면 상기 예측 유닛의 움직임 벡터를 추가할 수 있다. 또는 움직임 벡터가 0인 AMVP 후보자를 추가할 수 있다.
유효한 AMVP 후보자 및/또는 생성된 AMVP 후보자를 이용하여 AMVP 후보자 리스트를 구축한다(S850). 상기 단계는 S820 이후에 존재할 수도 있다. 이 경우, 단계 840 이후에 상기 단계가 진행된다. 후보자 리스트 구축 방법은 도 6에 도시된 바와 동일하다.
AMVP 코드워드에 대응하는 AMVP 인덱스를 복원한다(S860). 상기 AMVP 인덱스는 고정 길이 부호화된 것일 수 있다.
다음으로, AMVP 인덱스에 대응하는 AMVP 후보자를 AMVP 후보자 리스트에서 선택한다(S870). 그리고, 선택된 후보자를 AMVP 예측자로 결정한다.
다음으로, 상기 AMVP 예측자의 움직임 벡터를 현재 예측 유닛의 예측 움직임 벡터로 결정한다(S880).
상기 단계 S810에서 구한 차분 움직임 벡터 및 상기 단계 S880에서 구한 예측 움직임 벡터를 더하여 현재 예측 유닛의 최종 움직임 벡터로 설정하고, 상기 S810에서 구한 참조 픽쳐 인덱스를 현재 예측 유닛의 참조 픽쳐 인덱스로 설정한다(S880).
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100 : 동영상 부호화 장치 110 : 픽쳐 분할부
120 : 변환부 125 : 역변환부
130 : 양자화부 131 : 스캐닝부
135 : 역양자화 135 : 역양자화부
140 : 엔트로피 부호화부 150 : 인트라 예측부
160 : 인터 예측부 170 : 후처리부
180 : 픽쳐 저장부 190 : 감산부
195 : 가산부 210 : 엔트로피 복호화부
220 : 역양자화/역변환부 230 : 인트라 예측부
240 : 움직임 보상 예측부 250 : 디블록킹 필터
260 : 픽쳐 저장부 270 : 가산기
280 : 인트라/인터 전환 스위치

Claims (9)

  1. 현재 블록의 움직임 정보 부호화 모드가 머지 모드인 경우, 움직임 정보를 복호화하는 머지 모드 움직임 정보 복호화부;
    복호화된 움직임 정보를 이용하여 현재 블록의 예측 블록을 생성하는 예측블록 생성부; 및
    잔차신호를 역스캐닝하여 양자화 블록을 생성하고, 상기 양자화 블록을 양자화 스텝 사이즈를 이용하여 역양자화하고, 상기 역양자화 블록을 역변환하여 잔차블록을 생성하는 잔차블록 복호화부;를 포함하고,
    상기 양자화 스텝 사이즈는 현재 코딩 유닛의 좌측 양자화 스텝 사이즈, 상측 양자화 스텝 사이즈 및 이전 양자화 스텝 사이즈 중 유효한 2개의 평균값을 이용하여 생성되고,
    상기 좌측 양자화 파라미터, 상기 상측 양자화 파라미터 및 상기 이전 양자화 파라미터 중 하나만이 유효한 경우, 상기 유효한 양자화 파라미터를 이용하여 상기 양자화 파라미터를 부호화하는 것을 특징으로 하는 동영상 복호화 장치.
  2. 삭제
  3. 제1항에 있어서, 머지 모드 움직임 정보 복호화부는 공간 머지 후보자 유도부 및 시간 머지 후보자 구성부를 포함하고, 상기시간머지후보자구성부는시간머지후보자의참조픽쳐인덱스및시간머지후보자의움직임벡터를이용하여시간머지후보자를구성하는것을특징으로 하는 동영상 복호화 장치.
  4. 제3항에 있어서, 상기 시간 머지 후보자의 참조 픽쳐 인덱스는 현재 블록에 인접한 블록들 중 하나의 참조 픽쳐 인덱스 또는 0으로 설정되는 것을 특징으로 하는 동영상 복호화 장치.
  5. 제4항에 있어서, 시간 머지 후보자 구성부는 시간 머지 후보자 픽쳐를 결정하고, 상기 시간 머지 후보자 픽쳐 내의 시간 머지 후보자 블록을 결정하고, 상기 시간 머지 후보자 픽쳐는 슬라이스 타입에 따라 달리 결정되는 것을 특징으로 하는 동영상 복호화 장치.
  6. 제5항에 있어서, 상기 시간 머지 후보자 블록은 현재 블록의 위치에 따라 제1 후보자 블록 및 제2 후보자 블록 중에서 결정되는 것을 특징으로 하는 동영상 복호화 장치.
  7. 제6항에 있어서, 상기 제1 후보자 블록은 상기 시간 후보자 픽쳐 내의 현재 예측 유닛에 대응하는 블록의 좌하측 코너 블록이고, 제2 후보자 블록은 현재 예측 유닛에 대응하는 블록의 중앙 위치의 우상측 픽셀을 포함하는 블록인 것을 특징으로 하는 동영상 복호화 장치.
  8. 제1항에 있어서, 현재 블록의 유효한 머지 후보자 수가 미리 정해진 수보다 작을 경우, 머지 후보자를 생성하는 머지 후보자 생성부를 더 포함하고, 상기 머지 후보자 생성부는 움직임 벡터가 0이고 참조픽쳐 인덱스가 0인 머지 후보자를 생성하는 것을 특징으로 하는 동영상 복호화 장치.
  9. 제8항에 있어서, 상기 머지 후보자 생성부는, 미리 정해진 상기 유효한 머지 후보자들의 움직임 정보를 결합하여 머지 후보자를 생성하는 경우, 미리 정해진 수보다 작거나 같게 머지 후보자를 생성하는 것을 특징으로 하는 동영상 복호화 장치.
KR1020147011166A 2011-08-29 2012-01-20 동영상 복호화 장치 KR101492104B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20110086518 2011-08-29
PCT/KR2012/000522 WO2013032073A1 (ko) 2011-08-29 2012-01-20 Ａｍｖｐ 모드에서의 예측 블록 생성 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020127006971A Division KR20140105039A (ko) 2012-01-20 2012-01-20 Ａｍｖｐ 모드에서의 예측 블록 생성 방법

Publications (2)

Publication Number Publication Date
KR20140057684A KR20140057684A (ko) 2014-05-13
KR101492104B1 true KR101492104B1 (ko) 2015-02-11

Family

ID=47756521

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020127006460A KR101210892B1 (ko) 2011-08-29 2012-01-20 Ａｍｖｐ 모드에서의 예측 블록 생성 방법
KR1020147011165A KR20140057683A (ko) 2011-08-29 2012-01-20 머지 모드에서 영상 부호화 방법
KR1020147011164A KR101492105B1 (ko) 2011-08-29 2012-01-20 Ａｍｖｐ 모드에서 영상 부호화 방법
KR1020147011166A KR101492104B1 (ko) 2011-08-29 2012-01-20 동영상 복호화 장치

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020127006460A KR101210892B1 (ko) 2011-08-29 2012-01-20 Ａｍｖｐ 모드에서의 예측 블록 생성 방법
KR1020147011165A KR20140057683A (ko) 2011-08-29 2012-01-20 머지 모드에서 영상 부호화 방법
KR1020147011164A KR101492105B1 (ko) 2011-08-29 2012-01-20 Ａｍｖｐ 모드에서 영상 부호화 방법

Country Status (6)

Country Link
US (18) US20130128982A1 (ko)
KR (4) KR101210892B1 (ko)
CN (7) CN103765886B (ko)
BR (1) BR112014004914B1 (ko)
MX (4) MX365013B (ko)
WO (1) WO2013032073A1 (ko)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011152425A1 (ja) * 2010-06-03 2011-12-08 シャープ株式会社 フィルタ装置、画像復号装置、画像符号化装置、および、フィルタパラメータのデータ構造
KR20120016991A (ko) * 2010-08-17 2012-02-27 오수미 인터 프리딕션 방법
CN107454420B (zh) 2010-12-13 2020-08-07 韩国电子通信研究院 基于帧间预测对视频信号进行解码的方法
CN107105280B (zh) * 2010-12-14 2020-01-03 M&K控股株式会社 用于编码运动画面的设备
KR20120140181A (ko) 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
KR20130050403A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 복원 블록 생성 방법
CN104185988B (zh) * 2011-11-08 2019-05-10 韩国电子通信研究院 用于共享候选者列表的方法和装置
EP3058739B1 (en) 2013-10-14 2019-08-07 Microsoft Technology Licensing, LLC Features of intra block copy prediction mode for video and image coding and decoding
CN105659602B (zh) 2013-10-14 2019-10-08 微软技术许可有限责任公司 用于视频和图像编码的帧内块复制预测模式的编码器侧选项
CN105659606B (zh) 2013-10-14 2019-06-18 微软技术许可有限责任公司 用于视频和图像编码和解码的方法、系统和介质
KR20160072105A (ko) 2013-10-18 2016-06-22 엘지전자 주식회사 멀티-뷰 비디오를 디코딩하는 비디오 디코딩 장치 및 방법
MX360926B (es) 2014-01-03 2018-11-22 Microsoft Technology Licensing Llc Prediccion de vector de bloque en codificacion/descodificacion de video e imagen.
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
MX361228B (es) 2014-03-04 2018-11-29 Microsoft Technology Licensing Llc Inversión de bloque y modo de omisión en predicción de intracopia de bloque.
CN105493505B (zh) 2014-06-19 2019-08-06 微软技术许可有限责任公司 统一的帧内块复制和帧间预测模式
CN105874795B (zh) 2014-09-30 2019-11-29 微软技术许可有限责任公司 在波前并行处理被启用时对图片内预测模式的规则
EP3193505A4 (en) * 2014-10-07 2017-08-30 Samsung Electronics Co., Ltd. Method and device for encoding or decoding image by means of view merging prediction
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
EP3308540B1 (en) 2015-06-09 2020-04-15 Microsoft Technology Licensing, LLC Robust encoding/decoding of escape-coded pixels in palette mode
US10148977B2 (en) * 2015-06-16 2018-12-04 Futurewei Technologies, Inc. Advanced coding techniques for high efficiency video coding (HEVC) screen content coding (SCC) extensions
US20170085886A1 (en) * 2015-09-18 2017-03-23 Qualcomm Incorporated Variable partition size for block prediction mode for display stream compression (dsc)
KR102169435B1 (ko) * 2016-03-21 2020-10-23 후아웨이 테크놀러지 컴퍼니 리미티드 가중된 행렬 계수의 적응형 양자화
WO2018012851A1 (ko) * 2016-07-12 2018-01-18 한국전자통신연구원 영상 부호화/복호화 방법 및 이를 위한 기록 매체
KR20180018388A (ko) 2016-08-11 2018-02-21 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
WO2018056703A1 (ko) * 2016-09-20 2018-03-29 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2018121506A1 (en) 2016-12-27 2018-07-05 Mediatek Inc. Method and apparatus of bilateral template mv refinement for video coding
KR20180111378A (ko) * 2017-03-31 2018-10-11 주식회사 칩스앤미디어 병렬 처리를 위한 움직임 정보를 처리하는 영상 처리 방법, 그를 이용한 영상 복호화, 부호화 방법 및 그 장치
US10630974B2 (en) * 2017-05-30 2020-04-21 Google Llc Coding of intra-prediction modes
KR102206084B1 (ko) 2017-07-07 2021-01-21 삼성전자주식회사 적응적 움직임 벡터 해상도로 결정된 움직임 벡터의 부호화 장치 및 부호화 방법, 및 움직임 벡터의 복호화 장치 및 복호화 방법
EP3691274A4 (en) 2017-09-28 2021-04-28 Samsung Electronics Co., Ltd. CODING METHOD AND DEVICE FOR IT AND DECODING METHOD AND DEVICE FOR IT
CN107613305B (zh) * 2017-10-12 2020-04-07 杭州当虹科技股份有限公司 一种hevc中p、b帧快速运动估计方法
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
WO2019244055A1 (en) 2018-06-19 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Mode dependent mvd precision set
WO2019244118A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Component-dependent sub-block dividing
TWI723443B (zh) 2018-06-29 2021-04-01 大陸商北京字節跳動網絡技術有限公司 每條帶/片/lcu行的查找表的重置
TWI728390B (zh) 2018-06-29 2021-05-21 大陸商北京字節跳動網絡技術有限公司 查找表尺寸
CN110662062A (zh) 2018-06-29 2020-01-07 北京字节跳动网络技术有限公司 运动估计区域改进
EP4325862A3 (en) 2018-06-29 2024-03-06 Beijing Bytedance Network Technology Co., Ltd. Checking order of motion candidates in lut
AU2019293670B2 (en) 2018-06-29 2023-06-08 Beijing Bytedance Network Technology Co., Ltd. Update of look up table: FIFO, constrained FIFO
TWI719523B (zh) 2018-06-29 2021-02-21 大陸商北京字節跳動網絡技術有限公司 哪個查找表需要更新或不更新
GB2588531B (en) * 2018-06-29 2023-02-01 Beijing Bytedance Network Tech Co Ltd Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
CN110662046B (zh) * 2018-06-29 2022-03-25 北京字节跳动网络技术有限公司 视频处理方法、装置和可读存储介质
CA3101730A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Partial/full pruning when adding a hmvp candidate to merge/amvp
KR102641872B1 (ko) 2018-06-29 2024-02-29 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut와 amvp 사이의 상호작용
CN110662052B (zh) 2018-06-29 2022-07-08 北京字节跳动网络技术有限公司 更新查找表(lut)的条件
CN110677662B (zh) 2018-07-02 2022-09-02 北京字节跳动网络技术有限公司 Hmvp和非相邻运动的组合使用方法
CN110876058B (zh) * 2018-08-30 2021-09-21 华为技术有限公司 一种历史候选列表更新方法与装置
CN110891175B (zh) 2018-09-08 2023-04-07 北京字节跳动网络技术有限公司 视频编解码和解码中的仿射模式
CN111064959B (zh) 2018-09-12 2023-09-01 北京字节跳动网络技术有限公司 要检查多少个hmvp候选
KR102635047B1 (ko) 2018-09-19 2024-02-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 움직임 벡터 해상도를 가지는 어파인 모드에 대한 구문 재사용
WO2020071846A1 (ko) * 2018-10-06 2020-04-09 엘지전자 주식회사 인트라 예측을 사용하여 비디오 신호를 처리하기 위한 방법 및 장치
WO2020094151A1 (en) * 2018-11-10 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Rounding in pairwise average candidate calculations
JP2021513795A (ja) * 2019-01-01 2021-05-27 エルジー エレクトロニクス インコーポレイティド 履歴ベース動きベクトル予測に基づいてビデオ信号を処理するための方法及び装置
JP7275286B2 (ja) 2019-01-10 2023-05-17 北京字節跳動網絡技術有限公司 Ｌｕｔ更新の起動
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
CN113302937A (zh) 2019-01-16 2021-08-24 北京字节跳动网络技术有限公司 运动候选推导
CN113412623A (zh) 2019-01-31 2021-09-17 北京字节跳动网络技术有限公司 记录仿射模式自适应运动矢量分辨率的上下文
CN113366839B (zh) * 2019-01-31 2024-01-12 北京字节跳动网络技术有限公司 视频编解码中的细化量化步骤
US10742972B1 (en) * 2019-03-08 2020-08-11 Tencent America LLC Merge list construction in triangular prediction
CN111698506B (zh) 2019-03-11 2022-04-26 杭州海康威视数字技术股份有限公司 运动信息候选者列表构建方法、三角预测解码方法及装置
CN113615193A (zh) 2019-03-22 2021-11-05 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
US11297320B2 (en) * 2020-01-10 2022-04-05 Mediatek Inc. Signaling quantization related parameters

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002542522A (ja) * 1999-04-16 2002-12-10 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 音声符号化のための利得−適応性量子化及び不均一符号長の使用
KR20120005932A (ko) * 2010-07-09 2012-01-17 삼성전자주식회사 블록 병합을 이용한 비디오 부호화 방법 및 그 장치, 블록 병합을 이용한 비디오 복호화 방법 및 그 장치

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5778143A (en) * 1993-01-13 1998-07-07 Hitachi America, Ltd. Method and apparatus for the selection of data for use in VTR trick playback operation in a system using progressive picture refresh
JP2002112268A (ja) * 2000-09-29 2002-04-12 Toshiba Corp 圧縮画像データ復号装置
CN100459708C (zh) * 2001-01-23 2009-02-04 皇家菲利浦电子有限公司 将水印嵌入信息信号中的方法和设备
US7920624B2 (en) * 2002-04-01 2011-04-05 Broadcom Corporation Inverse quantizer supporting multiple decoding processes
JP4130783B2 (ja) * 2002-04-23 2008-08-06 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
JP2004023458A (ja) * 2002-06-17 2004-01-22 Toshiba Corp 動画像符号化／復号化方法及び装置
CN1225127C (zh) * 2003-09-12 2005-10-26 中国科学院计算技术研究所 一种用于视频编码的编码端/解码端双向预测方法
US7561620B2 (en) * 2004-08-03 2009-07-14 Microsoft Corporation System and process for compressing and decompressing multiple, layered, video streams employing spatial and temporal encoding
US7720154B2 (en) * 2004-11-12 2010-05-18 Industrial Technology Research Institute System and method for fast variable-size motion estimation
KR20060105810A (ko) 2005-04-04 2006-10-11 엘지전자 주식회사 무선통신을 이용한 착신전환 방법 및 시스템
KR100733966B1 (ko) 2005-04-13 2007-06-29 한국전자통신연구원 움직임 벡터 예측 장치 및 방법
US8422546B2 (en) * 2005-05-25 2013-04-16 Microsoft Corporation Adaptive video encoding using a perceptual model
KR100727990B1 (ko) * 2005-10-01 2007-06-13 삼성전자주식회사 영상의 인트라 예측 부호화 방법 및 그 방법을 사용하는부호화 장치
EP2501178B1 (en) * 2006-02-07 2013-10-30 Nec Corporation Mobile communication system, wireless base station controllers and relocation method
EP2076049A4 (en) * 2007-03-28 2011-09-14 Panasonic Corp DECODING CIRCUIT, DECODING PROCESS, CODING CIRCUIT, AND CODING METHOD
US8619853B2 (en) * 2007-06-15 2013-12-31 Qualcomm Incorporated Separable directional transforms
WO2009045683A1 (en) * 2007-09-28 2009-04-09 Athanasios Leontaris Video compression and tranmission techniques
KR100928325B1 (ko) * 2007-10-15 2009-11-25 세종대학교산학협력단 영상의 부호화, 복호화 방법 및 장치
CN101472174A (zh) * 2007-12-29 2009-07-01 智多微电子（上海）有限公司 视频解码器中用于复原原始图像数据的方法及装置
CN101610413B (zh) * 2009-07-29 2011-04-27 清华大学 一种视频的编码/解码方法及装置
KR101671460B1 (ko) 2009-09-10 2016-11-02 에스케이 텔레콤주식회사 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US9060176B2 (en) * 2009-10-01 2015-06-16 Ntt Docomo, Inc. Motion vector prediction in video coding
US20110274162A1 (en) * 2010-05-04 2011-11-10 Minhua Zhou Coding Unit Quantization Parameters in Video Coding
KR20110090841A (ko) * 2010-02-02 2011-08-10 (주)휴맥스 가중치 예측을 이용한 영상 부호화/복호화 장치 및 방법
JP2011160359A (ja) 2010-02-03 2011-08-18 Sharp Corp ブロックノイズ量予測装置、ブロックノイズ量予測方法、画像処理装置、プログラム、及び、記録媒体
WO2011110039A1 (en) * 2010-03-12 2011-09-15 Mediatek Singapore Pte. Ltd. Motion prediction methods
KR101752418B1 (ko) * 2010-04-09 2017-06-29 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US9124898B2 (en) * 2010-07-12 2015-09-01 Mediatek Inc. Method and apparatus of temporal motion vector prediction
KR101373814B1 (ko) * 2010-07-31 2014-03-18 엠앤케이홀딩스 주식회사 예측 블록 생성 장치
KR20120012385A (ko) * 2010-07-31 2012-02-09 오수미 인트라 예측 부호화 장치
KR20120016991A (ko) * 2010-08-17 2012-02-27 오수미 인터 프리딕션 방법
HRP20231669T1 (hr) * 2010-09-02 2024-03-15 Lg Electronics, Inc. Inter predikcija
CN102006480B (zh) * 2010-11-29 2013-01-30 清华大学 基于视间预测的双目立体视频的编码及解码方法
CN107105280B (zh) * 2010-12-14 2020-01-03 M&K控股株式会社 用于编码运动画面的设备
US9609350B2 (en) * 2010-12-14 2017-03-28 M&K Holdings Inc. Apparatus for decoding a moving picture
US9473789B2 (en) * 2010-12-14 2016-10-18 M&K Holdings Inc. Apparatus for decoding a moving picture
WO2012091519A1 (ko) * 2010-12-31 2012-07-05 한국전자통신연구원 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
EP2664146A1 (en) * 2011-01-14 2013-11-20 Motorola Mobility LLC Joint spatial and temporal block merge mode for hevc
MX2013009864A (es) * 2011-03-03 2013-10-25 Panasonic Corp Metodo de codificacion de imagenes en movimiento, metodo de decodificacion de imagenes en movimiento, aparato de codificacion de imagenes en movimiento, aparato de decodificacion de imagenes en movimiento y aparato de codificacion y decodificacion de imagenes en movimiento.
US9066110B2 (en) * 2011-03-08 2015-06-23 Texas Instruments Incorporated Parsing friendly and error resilient merge flag coding in video coding
US9288501B2 (en) * 2011-03-08 2016-03-15 Qualcomm Incorporated Motion vector predictors (MVPs) for bi-predictive inter mode in video coding
US9648334B2 (en) * 2011-03-21 2017-05-09 Qualcomm Incorporated Bi-predictive merge mode based on uni-predictive neighbors in video coding
US9247266B2 (en) * 2011-04-18 2016-01-26 Texas Instruments Incorporated Temporal motion data candidate derivation in video coding
US9247249B2 (en) * 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
US9866859B2 (en) * 2011-06-14 2018-01-09 Texas Instruments Incorporated Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding
US9131239B2 (en) * 2011-06-20 2015-09-08 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection
US8896284B2 (en) * 2011-06-28 2014-11-25 Texas Instruments Incorporated DC-DC converter using internal ripple with the DCM function
KR101210894B1 (ko) * 2011-08-29 2012-12-11 주식회사 아이벡스피티홀딩스 머지 모드 움직임 정보 복호화 장치
US9083983B2 (en) * 2011-10-04 2015-07-14 Qualcomm Incorporated Motion vector predictor candidate clipping removal for video coding
US9762904B2 (en) * 2011-12-22 2017-09-12 Qualcomm Incorporated Performing motion vector prediction for video coding
RU2623796C9 (ru) * 2011-12-28 2017-11-15 ДжейВиСи КЕНВУД КОРПОРЕЙШН Устройство кодирования движущегося изображения, способ кодирования движущегося изображения и программа кодирования движущегося изображения, а также устройство декодирования движущегося изображения, способ декодирования движущегося изображения и программа декодирования движущегося изображения
JP6171627B2 (ja) * 2013-06-28 2017-08-02 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法および画像復号プログラム
US9794870B2 (en) * 2013-06-28 2017-10-17 Intel Corporation User equipment and method for user equipment feedback of flow-to-rat mapping preferences
US9432685B2 (en) * 2013-12-06 2016-08-30 Qualcomm Incorporated Scalable implementation for parallel motion estimation regions

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002542522A (ja) * 1999-04-16 2002-12-10 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 音声符号化のための利得−適応性量子化及び不均一符号長の使用
KR20120005932A (ko) * 2010-07-09 2012-01-17 삼성전자주식회사 블록 병합을 이용한 비디오 부호화 방법 및 그 장치, 블록 병합을 이용한 비디오 복호화 방법 및 그 장치

Also Published As

Publication number Publication date
US20190052894A1 (en) 2019-02-14
US20180152724A1 (en) 2018-05-31
US10123035B2 (en) 2018-11-06
WO2013032073A1 (ko) 2013-03-07
BR112014004914B1 (pt) 2022-04-12
US20130128982A1 (en) 2013-05-23
US10123034B2 (en) 2018-11-06
US20230283799A1 (en) 2023-09-07
US20170048539A1 (en) 2017-02-16
US20180152723A1 (en) 2018-05-31
BR112014004914A2 (pt) 2017-03-28
CN103765886A (zh) 2014-04-30
MX2014002346A (es) 2014-04-14
US20150110197A1 (en) 2015-04-23
US20220174307A1 (en) 2022-06-02
CN107257480B (zh) 2020-05-29
US10148976B2 (en) 2018-12-04
CN106851311A (zh) 2017-06-13
US20230283798A1 (en) 2023-09-07
US10123033B2 (en) 2018-11-06
US20220078465A1 (en) 2022-03-10
CN107257480A (zh) 2017-10-17
US11778225B2 (en) 2023-10-03
US9800887B2 (en) 2017-10-24
CN107277547B (zh) 2020-05-29
CN107277548A (zh) 2017-10-20
MX343471B (es) 2016-11-07
US20230276066A1 (en) 2023-08-31
CN107197272B (zh) 2019-12-06
CN104883576A (zh) 2015-09-02
US9948945B2 (en) 2018-04-17
US20150110178A1 (en) 2015-04-23
CN103765886B (zh) 2017-06-13
KR101492105B1 (ko) 2015-02-11
CN104883576B (zh) 2017-11-14
US20180152722A1 (en) 2018-05-31
CN107197272A (zh) 2017-09-22
KR20140057684A (ko) 2014-05-13
KR20140057683A (ko) 2014-05-13
US11350121B2 (en) 2022-05-31
US20230276067A1 (en) 2023-08-31
MX351933B (es) 2017-11-01
US11689734B2 (en) 2023-06-27
US20210021852A1 (en) 2021-01-21
CN106851311B (zh) 2019-08-13
MX365013B (es) 2019-05-20
CN107277547A (zh) 2017-10-20
MX2019005839A (es) 2023-02-15
US20180007380A1 (en) 2018-01-04
CN107277548B (zh) 2019-12-06
US20140079128A1 (en) 2014-03-20
US10798401B2 (en) 2020-10-06
KR20140057682A (ko) 2014-05-13
KR101210892B1 (ko) 2012-12-11
US20180014027A1 (en) 2018-01-11
US10123032B2 (en) 2018-11-06

Similar Documents

Publication Publication Date Title
KR101492104B1 (ko) 동영상 복호화 장치
KR101430048B1 (ko) 동영상 복호화 장치
KR20160106018A (ko) 동영상 복호화 장치
KR20130050407A (ko) 인터 모드에서의 움직임 정보 생성 방법
KR20130050406A (ko) 머지 모드에서의 움직임 정보 생성 방법
KR20130050149A (ko) 인터 모드에서의 예측 블록 생성 방법
KR20130050405A (ko) 인터 모드에서의 시간 후보자 결정방법
KR20130050403A (ko) 인터 모드에서의 복원 블록 생성 방법
KR20130050404A (ko) 인터 모드에서의 복원 블록 생성 방법
KR20140105038A (ko) 머지 모드 움직임 정보 복호화 장치
KR20140105039A (ko) Ａｍｖｐ 모드에서의 예측 블록 생성 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
J202 Request for trial for correction [limitation]
J301 Trial decision

Free format text: TRIAL DECISION FOR CORRECTION REQUESTED 20150225

Effective date: 20150423

J202 Request for trial for correction [limitation]
J301 Trial decision

Free format text: TRIAL DECISION FOR CORRECTION REQUESTED 20151217

Effective date: 20160708

J204 Request for invalidation trial [patent]
FPAY Annual fee payment

Payment date: 20180129

Year of fee payment: 4

J301 Trial decision

Free format text: TRIAL NUMBER: 2017100003077; TRIAL DECISION FOR INVALIDATION REQUESTED 20170927

Effective date: 20181221

J122 Written withdrawal of action (patent court)
G170 Re-publication after modification of scope of protection [patent]