KR20230058033A - 영상을 부호화 또는 복호화하는 방법 및 장치 - Google Patents

영상을 부호화 또는 복호화하는 방법 및 장치 Download PDF

Info

Publication number
KR20230058033A
KR20230058033A KR1020230050565A KR20230050565A KR20230058033A KR 20230058033 A KR20230058033 A KR 20230058033A KR 1020230050565 A KR1020230050565 A KR 1020230050565A KR 20230050565 A KR20230050565 A KR 20230050565A KR 20230058033 A KR20230058033 A KR 20230058033A
Authority
KR
South Korea
Prior art keywords
coding unit
cbf
syntaxes
prediction
encoding
Prior art date
Application number
KR1020230050565A
Other languages
English (en)
Inventor
나태영
김효성
손세훈
신재섭
이경택
이선영
임정연
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180066664A external-priority patent/KR102524628B1/ko
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Publication of KR20230058033A publication Critical patent/KR20230058033A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상 복호화 방법에 관한 것으로, 블록 파티셔닝에 의해 복호화할 코딩단위(coding unit)를 결정하는 단계; 상기 코딩단위가 스킵 모드로 부호화되었는지 여부를 지시하는 스킵 플래그를 포함하여 상기 코딩단위에 대한 예측 신택스들을 복호화하는 단계; 상기 예측 신택스들을 복호화한 이후에, 변환/양자화 스킵 플래그 및 코딩단위 cbf를 포함하는 변환 신택스들을 복호화하는 단계, 상기 변환/양자화 스킵 플래그는 상기 코딩단위에 대해 역변환, 역양자화, 및 적어도 일부의 인루프 필터링(in-loop filtering)을 스킵하는지 여부를 지시하고, 상기 코딩단위 cbf는 상기 코딩단위를 구성하는 휘도블록(luma block)과 두 개의 색차블록들(chroma blocks) 내의 계수들이 모두 0인지 여부를 지시함; 및 상기 예측 신택스들 및 상기 변환 신택스들을 이용하여 상기 코딩단위를 복원하는 단계를 포함한다.

Description

영상을 부호화 또는 복호화하는 방법 및 장치 {Method and Apparatus for Video Encoding or Decoding}
본 발명은 영상의 부호화 및 복호화에 관한 것으로, 한 측면으로서 부호화의 기본 단위인 코딩단위(coding unit)에 대한 신택스들을 부호화 또는 복호화하는 것과 관련된다.
동영상 데이터는 음성 데이터나 정지 영상 데이터 등에 비하여 데이터량이 많기 때문에, 압축을 위한 처리 없이 그 자체를 저장하거나 전송하기 위해서는 메모리를 포함하여 많은 하드웨어 자원을 필요로 한다. 따라서, 통상적으로 동영상 데이터를 저장하거나 전송할 때에는 부호화기를 사용하여 동영상 데이터를 압축하여 저장하거나 전송하며, 복호화기에서는 압축된 동영상 데이터를 수신하여 압축을 해제하고 재생한다. 이러한 동영상 압축 기술로는 H.264/AVC를 비롯하여, H.264/AVC 약 40% 정도의 부호화 효율을 향상시킨 2013년 초에 제정된 HEVC(High Efficiency Video Coding)가 존재한다.
도 1은 HEVC에서의 블록 파티셔닝을 설명하는 도면이다.
HEVC에서 하나의 픽처는 정사각형 모양의 복수의 코딩트리유닛(CTU, coding tree unit)로 분할되고, 각 CTU는 쿼드트리 구조에 의해 정사각형 모양의 복수의 코딩유닛(CU, coding unit)들로 반복적으로(recursively) 분할된다. 부호화의 기본 단위인 CU가 결정되면, 그 CU는 하나 이상의 예측단위(PU, prediction unit)으로 분할되고 각 PU마다 예측된다. CU로부터 PU로의 분할은 복수의 분할 타입 중 부호화 효율이 좋은 어느 하나의 타입을 선택함으로써 수행된다. 부호화 장치는 복호화 장치가 각 PU를 자신과 동일하게 예측할 수 있도록 각 PU마다 예측 신택스들은 부호화한다.
또한, CU는 쿼드트리 구조에 의해 하나 이상의 변환단위(TU, transform unit)로 분할되고, 실제 픽셀들과 예측픽셀들 간의 차이인 잔차신호들을 TU의 크기를 사용하여 변환한다. 변환을 위한 신택스들은 TU 단위로 부호화되어 복호화 장치로 전달된다.
이상에서 설명한 바와 같이, HEVC는 CTU로부터 CU로의 분할, CU로부터 PU로의 분할, 및 CU로부터 TU로의 분할 등 복잡한 블록 파티셔닝 구조를 갖는다. 이에 따라, CU, PU 및 TU는 크기가 서로 다른 블록들일 수 있다. 이러한 HEVC의 블록 파티셔닝 구조에서는 CU, CU 내의 각 PU들 및 TU들에 대해 별도로 관련 신택스들을 부호화해야 한다. HEVC에서는 먼저 CU에 대한 신택스들을 부호화한다. 그리고 CU에서 각 PU를 호출하여 각 PU에 대한 신택스들을 부호화하고, 또한 CU에서 각 TU를 호출하여 각 TU에 대한 신택스들을 부호화한다.
이러한 블록 파티셔닝 구조 및 신택스 구조의 복잡성을 해소하기 위해, CTU가 CU로 분할된 이후에, 각 CU를 PU 및 TU로 사용하는 블록 파티셔닝 기술이 새로이 논의되고 있다. 이 새로운 파티셔닝 구조에서는 CU가 결정되면 별도의 추가적인 분할 없이 CU의 크기로 예측 및 변환이 수행된다. 즉, CU, PU 및 TU가 동일한 블록이다. 새로운 피티셔닝 구조의 도입은 CU에 대한 신택스들을 부호화하기 위한 새로운 구조를 요구한다.
이러한 요구에 부응하기 위해, 본 발명의 일 측면은 코딩단위(coding unit)에 대한 신택스들을 부호화 또는 복호화하는 새로운 구조를 제안한다.
본 발명의 일 측면은, 블록 파티셔닝에 의해 복호화할 코딩단위(coding unit)를 결정하는 단계; 상기 코딩단위가 스킵 모드로 부호화되었는지 여부를 지시하는 스킵 플래그를 포함하여 상기 코딩단위에 대한 예측 신택스들을 복호화하는 단계; 상기 예측 신택스들을 복호화한 이후에, 변환/양자화 스킵 플래그 및 코딩단위 cbf를 포함하는 변환 신택스들을 복호화하는 단계, 상기 변환/양자화 스킵 플래그는 상기 코딩단위에 대해 역변환, 역양자화, 및 적어도 일부의 인루프 필터링(in-loop filtering)을 스킵하는지 여부를 지시하고, 상기 코딩단위 cbf는 상기 코딩단위를 구성하는 휘도블록(luma block)과 두 개의 색차블록들(chroma blocks) 내의 계수들이 모두 0인지 여부를 지시함; 및, 상기 예측 신택스들 및 상기 변환 신택스들을 이용하여 상기 코딩단위를 복원하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
본 발명의 다른 측면은, 블록 파티셔닝에 의해 복호화할 코딩단위(coding unit)를 결정하고, 상기 코딩단위가 스킵 모드로 부호화되었는지 여부를 지시하는 스킵 플래그를 포함하여 상기 코딩단위에 대한 예측 신택스들을 복호화하며, 상기 예측 신택스들을 복호화한 이후에 변환/양자화 스킵 플래그 및 코딩단위 cbf를 포함하는 상기 코딩단위에 대한 변환 신택스들을 복호화하는 복호화부, 상기 변환/양자화 스킵 플래그는 상기 코딩단위에 대해 역변환, 역양자화, 및 적어도 일부의 인루프 필터링(in-loop filtering)을 스킵하는지 여부를 지시하고, 상기 코딩단위 cbf는 상기 코딩단위를 구성하는 휘도블록(luma block)과 두 개의 색차블록들(chroma blocks) 내의 계수들이 모두가 0인지 여부를 지시함; 및, 상기 예측 신택스들 및 상기 변환 신택스들을 이용하여 상기 코딩단위를 복원하는 복원부를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
도 1은 HEVC에서의 블록 파티셔닝을 설명하는 도면,
도 2는 본 개시의 기술들을 구현할 수 있는 영상 부호화 장치에 대한 예시적인 블록도,
도 3은 QTBT 구조를 이용한 블록 분할의 예시도,
도 4는 복수의 인트라 예측 모드들에 대한 예시도,
도 5는 현재 CU의 주변블록에 대한 예시도,
도 6은 본 개시의 기술들을 구현할 수 있는 영상 복호화 장치의 예시적인 블록도,
도 7은 본 개시에 따른 CU 신택스들을 복호화하는 순서를 나타내는 일 예시도,
도 8은 본 개시에 따른 CU 신택스들을 복호화하는 순서를 나타내는 다른 예시도,
도 9는 휘도 및 색차 성분별로 변환 신택스들을 복호화하는 과정을 나타내는 일 예시도,
도 10은 CU 구성하는 세 가지 성분에 대한 cbf를 복호화하는 방법을 나타내는 예시도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성 요소들에 식별 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 2는 본 개시의 기술들을 구현할 수 있는 영상 부호화 장치에 대한 예시적인 블록도이다.
영상 부호화 장치는 블록 분할부(210), 예측부(220), 감산기(230), 변환부(240), 양자화부(245), 부호화부(250), 역양자화부(260), 역변환부(265), 가산기(270), 인루프 필터(in-loop filter, 280) 및 메모리(290)를 포함한다. 영상 부호화 장치는 각 구성요소가 하드웨어 칩으로 구현될 수 있으며, 또는 소프트웨어로 구현되고 하나 이상의 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
하나의 영상(비디오)는 복수의 픽처들로 구성된다. 각 픽처들은 복수의 영역으로 분할되고 각 영역마다 부호화가 수행된다. 예를 들어, 하나의 픽처는 하나 이상의 슬라이스(slice) 또는/및 타일(Tile)로 분할되고, 각 슬라이스 또는 타일은 하나 이상의 CTU(Coding Tree Unit)로 분할된다. 그리고 각 CTU는 트리 구조에 의해 하나 이상의 CU(Coding Unit)들로 분할된다. 각 CU에 적용되는 정보들은 CU의 신택스로서 부호화되고, 하나의 CTU에 포함된 CU들에 공통적으로 적용되는 정보는 CTU의 신택스로서 부호화된다. 또한, 하나의 슬라이스 내의 모든 블록들에 공통적으로 적용되는 정보는 슬라이스의 신택스로서 부호화되며, 하나의 픽처들을 구성하는 모든 블록들에 적용되는 정보는 픽처 파라미터 셋(PPS, Picture Parameter Set)에 부호화된다. 나아가, 복수의 픽처가 공통으로 참조하는 정보들은 시퀀스 파라미터 셋(SPS, Sequence Parameter Set)에 부호화된다. 그리고 하나 이상의 SPS가 공통으로 참조하는 정보들은 비디오 파라미터 셋(VPS, Video Parameter Set)에 부호화된다.
블록 분할부(210)는 CTU(Coding Tree Unit)의 크기를 결정한다. CTU의 크기에 대한 정보(CTU size)는 SPS 또는 PPS 의 신택스로서 부호화되어 영상 복호화 장치로 전달된다. 블록 분할부(210)는 영상을 구성하는 각 픽처(picture)를 결정된 크기의 복수의 CTU(Coding Tree Unit)로 분할한 이후에, CTU를 트리 구조(tree structure)를 이용하여 반복적으로(recursively) 분할한다. 트리 구조에서의 리프 노드(leaf node)가 부호화의 기본 단위인 CU (coding unit)가 된다. 트리 구조로는 상위 노드(혹은 부모 노드)가 동일한 크기의 네 개의 하위 노드(혹은 자식 노드)로 분할되는 쿼드트리(QuadTree, QT), 또는 상위 노드가 두 개의 하위 노드로 분할되는 바이너리트리(BinaryTree, BT), 또는 상위 노드가 1:2:1 비율로 세 개의 하위 노드로 분할되는 터너리트리(TernaryTree, TT), 또는 이러한 QT 구조, BT 구조 및 TT 구조 중 하나 이상을 혼용한 구조일 수 있다. 예컨대, QTBT (QuadTree plus BinaryTree) 구조가 사용될 수 있고, 또는 QTBTTT (QuadTree plus BinaryTree TernaryTree) 구조가 사용될 수 있다.
도 3은 QTBT 구조를 이용한 블록 분할의 예시도이다. 도 3의 (a)는 QTBT 구조에 의해 블록이 분할되는 예시이고, (b)는 이를 트리구조로 표현한 것이다. 도 3에서 실선은 QT 구조에 의한 분할을, 점선은 BT 구조에 의한 분할을 나타낸다. 또한, 도 3의 (b)에서 layer 표기와 관련하여, 괄호가 없는 것은 QT의 레이어를, 괄호가 있는 것은 BT의 레이어를 나타낸다. 점선으로 표현된 BT 구조에서 숫자는 분할 타입 정보를 나타낸다.
도 3에서 보는 바와 같이, CTU는 먼저 QT 구조로 분할될 수 있다. 쿼드트리 분할은 분할 블록(splitting block)의 크기가 QT에서 허용되는 리프 노드의 최소 블록 크기(MinQTSize)에 도달할 때까지 반복될 수 있다. QT 구조의 각 노드가 하위 레이어의 4개의 노드들로 분할되는지 여부를 지시하는 제1 플래그(QT_split_flag)는 부호화부(250)에 의해 부호화되어 영상 복호화 장치로 시그널링된다.
QT의 리프 노드가 BT에서 허용되는 루트 노드의 최대 블록 크기(MaxBTSize)보다 크지 않은 경우, BT 구조로 더 파티셔닝될 수 있다. BT에서는 복수의 분할 타입이 존재할 수 있다. 예컨대, 일부 예시에서, 해당 노드의 블록을 동일 크기의 두 개 블록으로 가로로 분할하는 타입(즉, symmetric horizontal splitting)과 세로로 분할하는 타입(즉, symmetric vertical splitting) 두 가지가 존재할 수 있다. BT 구조의 각 노드가 하위 레이어의 블록으로 분할되는지 여부를 지시하는 제2 플래그(BT_split_flag) 및 분할되는 타입을 지시하는 분할 타입 정보는 부호화부(250)에 의해 부호화되어 영상 복호화 장치로 전달된다. 한편, 해당 노드의 블록을 서로 비대칭 형태의 두 개의 블록으로 분할하는 타입이 추가로 더 존재할 수도 있다. 비대칭 형태로는 해당 노드의 블록을 1:3의 크기 비율을 가지는 두 개의 직사각형 블록으로 분할하는 형태를 포함할 수 있고, 혹은 해당 노드의 블록을 대각선 방향으로 분할하는 형태를 포함할 수도 있다.
트리 구조의 다른 예시로서 QTBTTT가 사용되는 경우, CTU는 먼저 QT 구조로 분할된 이후에, QT의 리프노드들은 BT 구조 또는 TT 구조 중 어느 하나 이상으로 분할될 수 있다. TT 구조도 복수의 분할 타입이 존재할 수 있다. 예컨대, 분할되는 경우, 해당 노드의 블록을 1:2:1 비율로 세 개 블록으로 가로로 분할하는 타입(즉, symmetric horizontal splitting)과 세로로 분할하는 타입(즉, symmetric vertical splitting) 두 가지가 존재할 수 있다. QTBTTT의 경우, 각 노드가 하위 레이어의 블록으로 분할되는지 여부를 지시하는 플래그 및 분할되는 타입(또는 분할되는 방향)을 지시하는 분할 타입 정보 (또는 분할 방향 정보) 이외에, BT 구조 인지 TT 구조인지를 구분하는 추가 정보가 영상 복호화 장치로 시그널링될 수 있다.
CU는 CTU로부터의 QTBT 또는 QTBTTT 분할에 따라 다양한 크기를 가질 수 있다. 본 개시에서 CU는 예측이나 변환을 위해 추가로 더 분할되지 않는다. 즉, CU, PU, 및 TU가 동일한 위치에 존재하는 동일한 크기의 블록이다.
예측부(220)는 CU를 예측하여 예측블록을 생성한다. 예측부(220)는 CU를 구성하는 휘도(luma) 성분과 색차 성분(chroma)을 각각 예측한다.
일반적으로, 픽처 내 CU들은 각각 예측적으로 코딩될 수 있다. CU의 예측은 (CU를 포함하는 픽처로부터의 데이터를 사용하는) 인트라 예측 기술 또는 (CU를 포함하는 픽처 이전에 코딩된 픽처로부터의 데이터를 사용하는) 인터 예측 기술을 사용하여 일반적으로 수행될 수 있다. 이를 위해, 예측부(220)는 인트라 예측부(222)와 인터 예측부(224)를 포함한다.
인트라 예측부(222)는 CU가 포함된 현재 픽처 내에서 CU의 주변에 위치한 픽셀(참조 픽셀)들을 이용하여 CU 내의 픽셀들을 예측한다. 예측 방향에 따라 복수의 인트라 예측모드가 존재한다. 예컨대, 도 4에서 보는 바와 같이, 복수의 인트라 예측모드는 planar 모드와 DC 모드를 포함하는 비방향성 모드와 65 개의 방향성 모드를 포함할 수 있다. 각 예측모드에 따라 사용할 주변 픽셀과 연산식이 다르게 정의된다.
인트라 예측부(222)는 CU를 부호화하는데 사용할 인트라 예측 모드를 결정할 수 있다. 일부 예들에서, 인트라 예측부(222)는 여러 인트라 예측 모드들을 사용하여 CU를 인코딩하고, 테스트된 모드들로부터 사용할 적절한 인트라 예측 모드를 선택할 수도 있다. 예를 들어, 인트라 예측부(222)는 여러 테스트된 인트라 예측 모드들에 대한 레이트 왜곡(rate-distortion) 분석을 사용하여 레이트 왜곡 값들을 계산하고, 테스트된 모드들 중 최선의 레이트 왜곡 특징들을 갖는 인트라 예측 모드를 선택할 수도 있다.
인트라 예측부(222)는 복수의 인트라 예측 모드 중에서 하나의 인트라 예측 모드를 선택하고, 선택된 인트라 예측 모드에 따라 결정되는 주변 픽셀(참조 픽셀)과 연산식을 사용하여 CU를 예측한다. 선택된 인트라 예측 모드를 지시하기 위한 신택스들은 부호화부(250)에 의해 부호화되어 영상 복호화 장치로 전달된다. CU 내의 휘도 성분을 예측하기 위해 선택된 인트라 예측 모드는 색차 성분을 예측하기 위해 사용될 수 있다. 다만, 이에 한정되는 것은 아니며, 예컨대, 휘도 성분에 대해 선택된 인트라 예측 모드와 색차 성분을 위한 복수의 인트라 예측 모드를 후보로 구성하여 그 후보 중 하나를 색차 성분에 대한 인트라 예측모드로 사용할 수도 있다. 이 경우, 색차 성분에 대응하는 인트라 예측 모드에 대한 신택스가 별도로 시그널링된다.
인터 예측부(224)는 움직임 보상 과정을 통해 CU에 대한 예측블록을 생성한다. 현재 픽처보다 먼저 부호화 및 복호화된 참조픽처 내에서 CU와 가장 유사한 블록을 탐색하고, 그 탐색된 블록을 이용하여 CU에 대한 예측블록을 생성한다. 그리고, 현재 픽처 내의 CU과 참조픽처 내의 예측블록 간의 변위(displacement)에 해당하는 움직임벡터(motion vector)를 생성한다. 일반적으로, 움직임 추정은 휘도(luma) 성분에 대해 수행되고, 휘도 성분에 기초하여 계산된 모션 벡터는 휘도 성분 및 색차(chroma) 성분 모두에 대해 사용된다. CU를 예측하기 위해 사용된 참조픽처에 대한 정보 및 움직임벡터에 대한 정보를 포함하는 움직임 정보는 부호화부(250)에 의해 부호화되어 영상 복호화 장치로 전달된다. 일반적으로, 참조픽처에 대한 정보는 복수의 참조픽처 중 CU의 인터 예측에 사용된 참조픽처를 식별하기 위한 참조픽처 인덱스를 의미하고, 움직임벡터에 대한 정보는 CU의 실제 움직임벡터와 예측 움직임벡터 간의 차이인 차분움직임 벡터를 의미한다.
한편, 움직임 정보를 부호화하는 데에 소요되는 비트량을 최소화하기 위해 다른 방법이 사용될 수 있다. 예컨대, 현재블록의 참조 픽처와 움직임벡터가 주변블록의 참조 픽처 및 움직임벡터와 동일한 경우에는 그 주변블록을 식별할 수 있는 정보를 부호화함으로써, 현재블록의 움직임 정보를 복호화 장치로 전달할 수 있다. 이러한 방법을 '머지 모드 (merge mode)'라 한다.
머지 모드에서, 인터 예측부(224)는 현재블록의 주변블록들로부터 기 결정된 개수의 머지 후보블록(이하, '머지 후보'라 함)들을 선택한다. 머지 후보를 유도하기 위한 주변블록으로는, 도 5에 도시된 바와 같이, 현재 픽처 내에서 현재블록에 인접한 좌측블록(L), 상단블록(A), 우상단블록(AR), 좌하단블록(BL), 좌상단블록(AL) 중에서 전부 또는 일부가 사용될 수 있다. 또한, 현재블록이 위치한 현재 픽처가 아닌 참조 픽처(현재블록을 예측하기 위해 사용된 참조 픽처와 동일할 수도 있고 다를 수도 있음) 내에 위치한 블록이 머지 후보로서 사용될 수도 있다. 예컨대, 참조 픽처 내에서 현재블록과 동일 위치에 있는 블록(co-located block) 또는 그 동일 위치의 블록에 인접한 블록들이 머지 후보로서 추가로 더 사용될 수 있다. 인터 예측부(224)는 이러한 주변블록들을 이용하여 기 결정된 개수의 머지 후보를 포함하는 머지 리스트를 구성한다. 머지 리스트에 포함된 머지 후보들 중에서 현재블록의 움직임정보로서 사용할 머지 후보를 선택하고 선택된 후보를 식별하기 위한 머지 인덱스(merge_index)를 생성한다. 생성된 머지 인덱스는 부호화부(250)에 의해 부호화되어 복호화 장치로 전달된다.
감산기(230)는 CU 내의 실제픽셀들로부터 인트라 예측부(222) 또는 인터 예측부(224)에 의해 생성된 예측블록 내의 예측픽셀들을 감산하여 잔차 블록을 생성한다.
변환부(240)는 공간 영역의 픽셀 값들을 가지는 잔차 블록 내의 잔차 신호를 주파수 도메인의 변환 계수로 변환한다. 변환부(240)는 잔차 블록 내의 잔차 신호들을 CU 크기의 변환 단위를 사용하여 변환한다. 양자화부(245)는 변환부(240)로부터 출력되는 변환 계수들을 양자화하고, 양자화된 변환 계수들을 부호화부(250)로 출력한다. 여기서는, 잔차 신호에 대한 변환 및 양자화가 항상 수행되는 것으로 설명하였으나, 본 발명이 이에 한정되는 것은 아니다. 변환 및 양자화 중 어느 하나 이상이 선택적으로 스킵될 수도 있다. 예컨대, 변환과 양자화 중 어느 하나만이 스킵될 수 있고, 변환과 양자화 모두가 스킵될 수도 있다.
부호화부(250)는 블록 분할과 관련된 CTU size, QT 분할 플래그, BT 분할 플래그, 분할 타입 등의 정보를 부호화하여, 영상 복호화 장치가 영상 부호화 장치와 동일하게 블록을 분할할 수 있도록 한다.
또한, 부호화부(250)는 영상 복호화 장치가 CU를 복원하기 위해 필요한 정보들을 부호화하여 영상 복호화 장치로 전달한다. 본 개시에서 부호화부(250)는 먼저 CU를 예측하기 위해 요구되는 예측 신택스들을 부호화한다. 부호화부(250)가 부호화하는 예측 신택스들은 CU가 스킵 모드로 부호화되었는지 여부를 지시하는 스킵 플래그(skip_flag)를 포함한다. 여기서, 스킵 모드는, 머지 모드의 특별한 케이스로서, 머지 인덱스(merge_idx)가 부호화된 이후에 CU에 대한 어떠한 정보도 부호화되지 않는다는 점에서 머지 모드와 다르다. 따라서, 스킵 모드에서는 변환 신택스들이 부호화되지 않으며 CU 내의 계수들은 모두 0으로 설정된다. 영상 복호화 장치는 CU가 스킵 모드로 부호화된 경우, 머지 인덱스가 지시하는 머지 후보의 움직임벡터와 참조픽처를 현재 CU의 움직임벡터와 참조픽처로 사용하여 예측블록을 생성한다. 잔차신호는 모두 0으로 설정되므로, 예측블록이 CU로서 복원된다. 또한, 스킵 모드인 CU에 대한 디블록킹 필터링 또는 SAO 필터링은 CU보다 상위 레벨(예컨대, CTU, 슬라이스, PPS 등)에서 시그널링되는 신택스들에 의해 적용 여부가 결정될 수 있다. 예컨대, 슬라이스 단위로 SAO 적용여부를 나타내는 신택스(slice_sao_flag)가 시그널링된다면, 그 슬라이스 내에서 스킵 모드인 CU들은 신택스(slice_sao_flag)에 따라 SAO 적용여부가 결정된다. 대안적으로, CU가 스킵 모드인 경우 적어도 일부의 인루프 필터링이 스킵될 수도 있다. 예컨대, 후술하는 transquant_skip_flag가 자동으로 1로 설정되어, CU에 대한 변환, 양자화 및 적어도 일부의 인루프 필터링이 모두 스킵될 수도 있다.
한편, CU가 스킵 모드로 부호화되지 않은 경우, 예측 신택스들은 CU가 인트라 예측에 의해 부호화되었는지 아니면 인터 예측에 의해 부호화되었는지 여부를 지시하는 예측 타입에 대한 정보(pred_mode_flag), 예측 타입에 따라 인트라 예측정보(즉, 인트라 예측 모드에 대한 정보) 또는 인터 예측정보(참조픽처 및 움직임벡터에 대한 정보)를 포함한다. 인터 예측정보는 CU의 참조픽처 및 움직임벡터가 머지 모드(merge mode)로 부호화되는지 여부를 지시하는 머지 플래그(merge_flag), 머지 플래그가 1인 경우 머지 인덱스(merge_idx), 머지 플래그가 0인 경우 참조픽처 정보 및 차분 움직임벡터 정보를 포함한다. 또한, 예측 움직임벡터 정보를 추가적으로 포함할 수도 있다.
부호화부(250)는 예측 신택스들을 부호화한 이후에, CU를 변환하기 위해 요구되는 변환 신택스들을 부호화한다. 변환 신택스들은 변환 및 양자화의 선택적 스킵과 관련된 정보 및 CU 내의 계수들에 대한 정보를 포함한다. 여기서, 변환의 방법이 두 가지 이상인 경우, 변환 신택스에는 해당 CU에 사용된 변환의 종류를 알리는 정보를 포함한다. 이때, 가로축 방향 및 세로축 방향에 적용된 변환의 종류를 각각 포함시킬 수 있다.
변환 및 양자화의 선택적 스킵과 관련된 정보는 CU에 대한 변환, 양자화 및 적어도 일부의 인루프 필터링을 모두 스킵할지 여부를 지시하는 변환/양자화 스킵 플래그(transquant_skip_flag), CU를 구성하는 휘도 및 색차 성분들 각각에 대해 변환을 스킵할지 여부를 지시하는 변환 스킵 플래그(transform_skip_flag) 등을 포함할 수 있다. 변환 스킵 플래그(transform_skip_flag)는 CU를 구성하는 각 성분마다 개별적으로 부호화된다. 다만, 이에 한정되는 것은 아니며, 하나의 CU에 대해 한번만 부호화될 수도 있다. 이 경우 변환 스킵 플래그(transform_skip_flag)가 1이면 CU에 대한 변환, 즉, CU를 구성하는 휘도 및 색차 성분 모두에 대한 변환이 스킵된다.
한편, 변환 및 양자화의 선택적 스킵과 관련된 정보는 하나의 신택스(transquant_idx)로 표현될 수도 있다. 이 경우, 그 신택스 값은 네 가지의 값을 가질 수 있다. 예컨대, transquant_idx=0은 변환과 양자화를 모두 스킵함을 의미하고, transquant_idx=1은 양자화만 수행함을 의미하며, transquant_idx=2는 변환만 수행함을 의미하고, transquant_idx=3은 변환 및 양자화를 모두 수행함으로 의미한다. 이 신택스는 네 가지의 값이 동일 비트가 되도록 FL(fixed length) 이진화(binarization) 방법을 사용하여 이진화될 수 있다. 예컨대, 표 1과 같이 이진화될 수 있다.
transquant_idx Transform Quantization Binarization (FL)
0 off off 00
1 off on 01
2 on off 10
3 on on 11
또는, 이 신택스는 발생 확률이 높은 값에 더 작은 비트가 할당되도록 TU (truncated unary) 이진화 방법을 사용하여 이진화될 수도 있다. 예컨대, 통상적으로 변환 및 양자화를 수행하는 확률이 가장 높고, 그 다음으로 변환을 스킵하고 양자화만 수행하는 확률이 높다는 점을 감안하면, 그 신택스는 표 2와 같이 이진화될 수도 있다.
transquant_idx Transform Quantization Binarization (TU)
0 off off 111
1 off on 10
2 on off 110
3 on on 0
한편, CU 내의 계수들에 대한 정보는, CU의 휘도(luma) 성분과 색차(chroma) 성분에 0이 아닌 계수가 존재하는지 여부를 지시하는 cbf(coded block flag)들, 및 계수의 값을 지시하기 위한 신택스들이 포함된다. 여기서, '계수'는, 양자화된 변환 계수일 수 있고(변환 및 양자화를 모두 수행한 경우), 또는 변환이 스킵된 양자화된 잔차신호일 수도 있으며(변환이 스킵된 경우), 또는 잔차신호 그 자체일 수도 있다(변환 및 양자화가 모두 스킵된 경우).
본 개시에서 부호화부(250)가 CU에 대한 예측 및 변환 신택스들을 부호화하는 구조 또는 순서는 후술할 영상 복호화 장치의 복호화기(610)가 부호화된 예측 및 변환 신택스들을 복호화하는 구조 또는 순서와 동일하다. 부호화부(250)가 그 신택스들을 부호화하는 구조 또는 순서는 후술하게 될 영상 복호화 장치의 복호화기(610)가 그 신택스들을 복호화하는 구조 또는 순서로부터 자명하게 이해될 수 있을 것이므로, 중복 설명을 피하기 위해, 부호화부(250)에 의한 신택스 부호화 구조 또는 순서에 대한 상세는 생략한다.
역양자화부(260)는 양자화부(245)로부터 출력되는 양자화된 변환 계수들을 역양자화하여 변환 계수들을 생성한다. 역변환부(265)는 역양자화부(260)로부터 출력되는 변환 계수들을 주파수 도메인으로부터 공간 도메인으로 변환하여 잔차블록을 복원한다.
가산부(270)는 복원된 잔차블록과 예측부(220)에 의해 생성된 예측블록을 가산하여 CU를 복원한다. 복원된 CU 내의 픽셀들은 다음 순서의 블록을 인트라 예측할 때 참조 픽셀로서 사용된다.
인루프 필터(in-loop filter, 280)는 블록 기반의 예측 및 변환/양자화로 인해 발생하는 블록킹 아티팩트(blocking artifacts), 링잉 아티팩트(ringing artifacts), 블러링 아티팩트(blurring artifacts) 등을 줄이기 위해 복원된 픽셀들에 대한 필터링을 수행한다. 인루프 필터(280)는 디블록킹 필터(282) 및 SAO 필터(284)를 포함할 수 있다. 디블록킹 필터(282)는 블록 단위의 부호화/복호화로 인해 발생하는 블록킹 현상(blocking artifact)을 제거하기 위해 복원된 블록 간의 경계를 필터링하고, SAO 필터(284)는 디블록킹 필터링된 영상에 대해 추가적인 필터링을 수행한다. SAO 필터(284)는 손실 부호화(lossy coding)로 인해 발생하는 복원된 픽셀과 원본 픽셀 간의 차이를 보상하기 위해 사용되는 필터이다. 디블록킹 필터와 SAO는 HEVC 표준기술에서 정의된 필터링 방식이므로, 더 이상의 상세한 설명은 생략한다.
디블록킹 필터(282) 및 SAO 필터(284)를 통해 필터링된 복원 블록은 메모리(290)에 저장한다. 한 픽처 내의 모든 블록들이 복원되면, 복원된 픽처는 이후에 부호화하고자 하는 픽처 내의 블록을 인터 예측하기 위한 참조 픽처로 사용된다.
도 6은 본 개시의 기술들을 구현할 수 있는 영상 복호화 장치의 예시적인 블록도이다.
영상 복호화 장치는 복호화기(610) 및 복원기(600)을 포함하며, 복원기(600)는 역양자화부(620), 역변환부(630), 예측부(640), 가산기(650) 인루프 필터(660) 및 메모리(670)를 포함한다. 도 2의 영상 부호화 장치와 마찬가지로, 영상 복호화 장치는 각 구성요소가 하드웨어 칩으로 구현될 수 있으며, 또는 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
복호화기(610)는 영상 부호화 장치로부터 수신한 비트스트림을 복호화하여 블록 분할과 관련된 정보를 복호화함으로써, 복호화 대상 CU를 결정한다. 복호화기(610)는 SPS (Sequence Parameter Set) 또는 PPS (Picture Parameter Set)로부터 CTU size에 대한 정보를 추출하여 CTU의 크기를 결정하고, 픽처를 결정된 크기의 CTU로 분할한다. 그리고 CTU를 트리 구조의 최상위 레이어, 즉, 루트 노드로 결정하고, CTU에 대한 분할 정보를 추출함으로써 CTU를 트리 구조를 이용하여 분할한다. 예컨대, QTBT 구조를 사용하여 CTU를 분할하는 경우, 먼저 QT의 분할과 관련된 제1 플래그(QT_split_flag)를 추출하여 각 노드를 하위 레이어의 네 개의 노드로 분할한다. 그리고, QT의 리프 노드에 해당하는 노드에 대해서는 BT의 분할과 관련된 제2 플래그(BT_split_flag) 및 분할 타입(분할 방향) 정보를 추출하여 해당 리프 노드를 BT 구조로 분할한다. 다른 예로서, QTBTTT 구조를 사용하여 CTU를 분할하는 경우, QT의 분할과 관련된 제1 플래그(QT_split_flag)를 추출하여 각 노드를 하위 레이어의 네 개의 노드로 분할한다. 그리고, QT의 리프 노드에 해당하는 노드에 대해서는 BT 또는 TT로 더 분할되는지 여부를 지시하는 분할 플래그(split_flag) 및 분할 타입(또는 분할 방향) 정보, BT 구조 인지 TT 구조 인지를 구별하는 추가 정보를 추출한다. 이를 통해 QT의 리프 노드 이하의 각 노드들을 BT 또는 TT 구조로 반복적으로(recursively) 분할한다.
또한, 복호화기(610)는 CU를 복원하기 위해 필요한 예측 신택스들과 변환 신택스들을 비트스트림으로부터 복호화하되, 예측 신택스들을 먼저 복호화한 이후에 변환 신택스들을 복호화한다. 복호화기(610)가 예측 신택스들과 변환 신택스들을 복호화하는 구조는 도 7 이하를 참조하여 후술한다.
역양자화부(620)는 변환 신택스들로부터 산출된 계수들을 역양자화하고 역변환부(630)는 역양자화된 계수들을 주파수 도메인으로부터 공간 도메인으로 역변환하여 잔차신호들을 복원함으로써 CU에 대한 잔차블록을 생성한다. 한편, 복호화기에서 복호화된 변환 신택스들에 포함되는 변환 및 양자화의 선택적 스킵과 관련된 정보에 따라 역양자화 또는 역변환 중 어느 하나 이상은 스킵될 수도 있다.
예측부(640)는 예측 신택스들을 이용하여 CU에 대한 예측블록을 생성한다. 예측부(640)은 인트라 예측부(642) 및 인터 예측부(644)를 포함한다. 인트라 예측부(642)는 CU의 예측 타입이 인트라 예측일 때 활성화되고, 인터 예측부(644)는 CU의 예측 타입이 인터 예측일 때 활성화된다.
인트라 예측부(642)는 복호화기(610)로부터 추출된 인트라 예측 모드에 대한 정보로부터 복수의 인트라 예측 모드 중 CU의 인트라 예측 모드를 결정하고, 인트라 예측 모드에 따라 CU 주변의 참조 픽셀들을 이용하여 CU를 예측한다.
인터 예측부(644)는 복호화기(610)로부터 추출된 인터 예측정보를 이용하여 CU의 움직임벡터와 그 움직임벡터가 참조하는 참조픽처를 결정하고, 움직임벡터와 참조픽처를 이용하여 CU를 예측한다. 예컨대, 머지 플래그(merge_flag)가 1이면, 머지 인덱스(merge_idx)를 추출하고, 영상 부호화 장치와 동일한 방식으로 머지 리스트를 구성한 이후에, 머지 리스트에 포함된 머지 후보 중 머지 인덱스에 의해 지시되는 블록의 움직임벡터와 참조픽처를 현재 CU의 움직임벡터와 참조픽처로 선택한다. 반면, 머지 플래그(merge_flag)가 0이면, 참조픽처 정보와 차분 움직임벡터 정보를 추출하여 현재 CU의 움직임벡터와 참조픽처를 결정한다. 이때, 예측 움직임벡터 정보를 추가적으로 추출할 수도 있다.
가산기(650)는 역변환부로부터 출력되는 잔차블록과 인터 예측부 또는 인트라 예측부로부터 출력되는 예측블록을 가산하여 CU를 복원한다. 복원된 CU 내의 픽셀들은 이후에 복호화할 블록을 인트라 예측할 때의 참조픽셀로서 활용된다.
각각의 CU들이 순차적으로 복원됨으로써, CU들로 구성된 CTU, CTU들로 구성된 픽처가 복원된다.
인루프 필터(660)는 디블록킹 필터(662) 및 SAO 필터(664)를 포함한다. 디블록킹 필터(662)는 블록 단위의 복호화로 인해 발생하는 블록킹 현상(blocking artifact)를 제거하기 위해 복원된 블록 간의 경계를 디블록킹 필터링한다. SAO 필터(664)는, 손실 부호화(lossy coding)으로 인해 발생하는 복원된 픽셀과 원본 픽셀 간의 차이를 보상하기 위해, 디블록킹 필터링 이후의 복원된 블록에 대해 추가적인 필터링을 수행한다. 디블록킹 필터(662) 및 SAO 필터(664)를 통해 필터링된 복원 블록은 메모리(670)에 저장한다. 한 픽처 내의 모든 블록들이 복원되면, 복원된 픽처는 이후에 부호화하고자 하는 픽처 내의 블록을 인터 예측하기 위한 참조 픽처로 사용된다.
이하에서는, 영상 복호화 장치의 복호화부(610)가 CU 신택스들을 복호화하는 구조 또는 순서를 상세히 설명한다.
전술한 바와 같이, 영상 복호화 장치는 스킵 플래그(skip_flag)를 포함하는 코딩단위의 예측 신택스들을 먼저 복호화한다. 예측 신택스들을 모두 복호화한 이후에, 영상 복호화 장치는 변환/양자화 스킵 플래그(transquant_skip_flag) 및 코딩단위 cbf(cbf_cu)를 포함하는 변환 신택스들을 복호화한다. 여기서, 코딩단위 cbf(cbf_cu)는 코딩단위를 구성하는 하나의 휘도블록(luma block)과 두 개의 색차블록들(chroma blocks) 내의 모든 계수들이 0인지 여부를 지시하는 신택스이다. 변환 신택스들은 스킵 플래그(skip_flag)가 0인 경우, 즉, 현재 CU가 스킵 모드가 아닌 경우에 복호화된다.
도 7은 본 개시에 따른 CU 신택스들을 복호화하는 순서를 나타내는 일 예시도이다.
영상 복호화 장치는 예측 신택스들 중 스킵 플래그(skip_flag)를 먼저 복호화한다(S702). 만약 스킵 플래그(skip_flag)가 1이면, 전술한 바와 같이, 비트스트림에는 머지 인덱스(merge_idx) 이외에 해당 코딩단위에 대한 어떠한 신택스들도 부호화되어 있지 않다. 따라서, 스킵 플래그(skip_flag)가 1이면(S704), 영상 복호화 장치는 머지 인덱스(merge_idx)를 비트스트림으로부터 복호화하고(S706), 해당 CU에 대한 신택스 복호화를 종료한다. 해당 CU가 스킵 모드인 경우, CU에 대한 디블록킹 필터링 또는 SAO 필터링은 CU보다 상위 레벨(예컨대, CTU, 슬라이스, PPS 등)에서 시그널링되는 신택스들에 의해 적용 여부가 결정될 수 있다. 대안적으로, 스킵 모드인 CU에 대해서는 인루프 필터링이 스킵될 수도 있다. 예컨대, transquant_skip_flag가 자동으로 1로 설정될 수 있고 이에 따라 적어도 일부의 인루프 필터링이 스킵될 수 있다.
스킵 플래그(skip_flag)가 0이면(S704), 인터 예측 또는 인트라 예측을 위한 예측 신택스들을 복호화한다. 먼저, 영상 복호화 장치는 현재 CU의 예측타입이 인트라 예측인지 아니면 인터 예측인지 여부를 지시하는 예측타입정보(pred_mode_flag)를 복호화한다(S708). 예측타입정보(pred_mode_flag)가 인트라 예측을 지시하는 경우, 예컨대, pred_mode_flag=1이면(S710), 영상 복호화 장치는 현재 CU의 인트라 예측모드를 나타내는 인트라 예측정보를 복호화한다(S712). 반면, 예측타입정보(pred_mode_flag)가 인터 예측을 지시하는 경우, 예컨대, pred_mode_flag=0이면(S710), 영상 복호화 장치는 머지 플래그(merge_flag)를 복호화한다(S714). 그리고, 머지 플래그(merge_flag)가 머지 모드를 지시하면(S716), 예컨대 머지 플래그(merge_flag)가 1이면, 머지 인덱스(merge_idx)를 복호화한다(S718). 머지 플래그(merge_flag)가 머지 모드가 아님을 지시하면(S716), 예컨대 머지 플래그(merge_flag)가 0이면, 통상적인 인터 예측을 위한 예측 신택스들, 즉, 참조픽처 정보 및 차분움직임벡터를 복호화한다(S720). 이때, 예측 움직임벡터 정보를 추가적으로 복호화할 수도 있다. 이와 같은 방식으로 현재 CU의 예측 신택스들을 모두 복호화한 후, 영상 복호화 장치는 현재 CU의 변환 신택스들을 복호화한다.
먼저 영상 복호화 장치는 코딩단위를 구성하는 하나의 휘도블록(luma block)과 두 개의 색차블록들(chroma blocks) 내의 계수들이 모두 0인지 여부를 지시하는 코딩단위 cbf(cbf_cu)를 복호화하는 과정을 수행한다. 다만, 코딩단위 cbf(cbf_cu)는 현재 CU의 예측타입이 인트라 예측인 경우에는 비트스트림으로부터 복호화됨 없이 자동으로 1으로 설정될 수 있다(S736). 또한, 현재 CU의 예측타입이 스킵 모드인 경우에는 자동으로 0으로 설정되고, 머지 모드인 경우에는 자동으로 1로 설정될 수 있다(S732). 현재 CU의 예측타입이 인터 예측이면서 머지 모드가 아닌 경우에 비트스트림으로부터 복호화된다(S734).
코딩단위 cbf(cbf_cu) 복호화 과정을 수행한 이후에, 영상 복호화 장치는 코딩단위 cbf(cbf_cu)의 값에 의존하여 변환/양자화 스킵 플래그(transquant_skip_flag)를 복호화한다. 예컨대, 코딩단위 cbf(cbf_cu)가 0이면(S738), CU 내에 non-zero의 휘도 성분 및 색차 성분들이 존재하지 않는다는 것을 의미하므로, 더 이상의 변환 신택스들에 대한 복호화없이 CU에 대한 신택스 복호화를 종료한다. 만약, 코딩단위 cbf(cbf_cu)가 1이면(S738), CU 내에 non-zero의 값을 가지는 휘도 성분 또는 색차 성분이 존재한다는 것을 의미하므로, 변환/양자화 스킵 플래그(transquant_skip_flag)를 복호화하고(S740), 이어서 CU 내의 휘도 및 색차 성분 각각에 대한 변환 신택스들을 복호화한다(S742).
대안적으로, 코딩단위 cbf(cbf_cu)와 변환/양자화 스킵 플래그(transquant_skip_flag) 간의 복호화 순서는 바뀔 수도 있다. 도 8은 본 개시에 따른 CU 신택스들을 복호화하는 순서를 나타내는 다른 예시도이다.
도 8에서 예측 신택스들을 복호화하는 S802 내지 S820의 과정은 도 7에서 예측 신택스들을 복호화하는 S702 내지 S720과 동일하므로, 이하에서는 CU의 변환 신택스들을 복호화하는 과정만을 설명한다.
현재 CU가 스킵 모드가 아닌 경우, 영상 복호화 장치는 예측 신택스들을 복호화한 이후에 변환/양자화 스킵 플래그(transquant_skip_flag)를 비트스트림으로부터 복호화한다(S832). 코딩단위 cbf(cbf_cu)는 변환/양자화 스킵 플래그(transquant_skip_flag)가 복호화된 이후에 복호화된다. 예컨대, 현재 CU의 예측타입이 인트라 예측(pred_mode_flag = 1)이거나 또는 현재 CU가 머지 모드인 경우(merge_flag = 1)(S834), 코딩단위 cbf(cbf_cu)는 비트스트림으로부터 복호화되지 않고 자동으로 1로 설정된다(S836). 반면, 현재 CU의 예측타입이 인터 예측이고(pred_mode_flag = 0) 현재 CU가 머지 모드가 아닌 경우(merge_flag = 0)(S834), 코딩단위 cbf(cbf_cu)가 비트스트림으로부터 복호화된다(S838).
이후, 영상 복호화 장치는 코딩단위 cbf(cbf_cu)가 1인 경우에 CU 내의 휘도 및 색차 성분 각각에 대한 변환 신택스들을 복호화한다(S842).
이상의 실시예들에서, 변환/양자화 스킵 플래그(transquant_skip_flag)는 CU에 대한 변환, 양자화 및 적어도 일부의 인루프 필터링을 모두 스킵할지 여부를 지시하는 신택스이다. 여기서, '적어도 일부의 인루프 필터링'은 디블록킹 필터링과 SAO를 모두 포함할 수 있다. 또는, 디블록킹 필터링을 제외한 인루프 필터링을 의미할 수도 있다. 변환/양자화 스킵 플래그(transquant_skip_flag)가 CU에 대한 변환, 양자화 및 디블록킹 필터링을 제외한 인루프 필터링을 모두 스킵하는 것을 의미하는 경우, 영상 복호화 장치는 변환/양자화 스킵 플래그(transquant_skip_flag)를 복호화한다. 변환/양자화 스킵 플래그(transquant_skip_flag)가 1이면, CU에 대한 변환, 양자화 및 SAO는 스킵된다. 변환/양자화 스킵 플래그(transquant_skip_flag)가 1이면, 영상 복호화 장치는 CU에 대한 디블록킹 필터링을 수행할지 여부를 지시하는 디블록킹 필터 플래그(deblocking_filter_flag)를 추가로 더 복호화할 수 있다. 이 경우, 디블록킹 필터 플래그(deblocking_filter_flag)가 0이면, CU에 대해 변환, 양자화, 및 디블록킹 필터링과 SAO 모든 과정이 스킵된다. 반면, 디블록킹 필터 플래그(deblocking_filter_flag)가 1이면, CU에 대해 변환, 양자화, 및 SAO는 스킵되고 디블록킹 필터링은 수행된다.
CU 내의 픽셀들은 하나의 휘도(luma) 성분과 두 개의 색차 성분(Cb, Cr)으로 구성된다. 이하에서는, 휘도 성분으로 이루어진 블록을 휘도 블록, 색차 성분으로 이루어진 블록을 색차 블록이라 칭한다. 하나의 CU는 하나의 휘도 블록과 두 개의 색차 블록으로 구성된다. 본 개시가 기술하는 영상 복호화 장치는, CU를 구성하는 휘도 및 색차 블록별로 CU 내의 계수들을 얻기 위한 변환 신택스들을 복호화하는 과정을 수행한다. 예컨대, 도 7의 S742 또는 도 8의 S842 단계가 이에 해당한다. 그러나 성분별 변환 신택스 복호화 과정이 반드시 도 7이나 도 8과 결합되어 수행되어야 하는 것은 아니며, 도 7이나 도 8이 아닌 다른 CU 신택스 구조에도 적용될 수 있음은 자명하다.
도 9는 휘도 및 색차 성분별로 변환 신택스들을 복호화하는 과정을 나타내는 일 예시도이다.
영상 복호화 장치는, 먼저, CU를 구성하는 제1 색차블록(예컨대, Cb 성분으로 구성된 색차블록) 내에 적어도 하나의 0이 아닌 계수가 존재하는지 여부를 지시하는 제1크로마 cbf (예컨대, cbf_cb), 제2 색차블록(예컨대, Cr 성분으로 구성된 색차블록) 내에 적어도 하나의 0이 아닌 계수가 존재하는지 여부를 지시하는 제2크로마 cbf (예컨대, cbf_cr), 및 CU를 구성하는 휘도블록 내에 적어도 하나의 0이 아닌 계수가 존재하는지 여부를 지시하는 루마 cbf(cbf_luma)를 비트스트림으로부터 복호화한다(S902). 세 성분의 cbf들 간의 복호화 순서는 제한이 없으나, 예컨대, cbf_cb, cbf_cr, cbf_luma의 순서로 복호화될 수 있다.
S902에서 먼저 복호화된 두 개의 cbf가 모두 0인 경우(각 cbf에 대응하는 블록 내의 계수가 모두 0인 경우), 마지막 cbf는 복호화되지 않을 수 있다. 도 7 또는 도 8을 참조하면, cbf_cb, cbf_cr, cbf_luma는 코딩단위 cbf(cbf_cu)가 1인 경우에 복호화된다. 따라서, 먼저 복호화한 두 개의 성분의 cbf가 모두 0이라면 나머지 하나의 성분의 cbf는 반드시 1이다.
세 가지 성분의 cbf가 모두 복호화된 이후에, 각 성분마다 S904 내지 S910이 수행된다. 휘도 성분을 예로 들어 설명하면, 영상 복호화 장치는 cbf_luma=1 인지 여부를 판단한다(S904). cbf_luma=0 이면, 휘도블록 내에 0이 아닌 계수들이 존재하지 않는다는 것을 의미하므로, 휘도블록 내의 모든 값들을 0으로 설정한다.
반면, cbf_luma=1 이면, 영상 복호화 장치는 휘도블록에 대한 변환이 수행되는지 여부를 지시하는 변환 스킵 플래그(transform_skip_flag)를 복호화한다. 도 7 또는 도 8를 참조하면, 먼저 복호화된 변환/양자화 스킵 플래그(transquant_skip_flag)가 1인 경우, CU(CU 내의 모든 성분들)에 대한 변환과 양자화가 스킵된다. 따라서, 변환/양자화 스킵 플래그(transquant_skip_flag)가 1인 경우 휘도 성분에 대한 변환 스킵 플래그(transform_skip_flag)의 복호화는 요구되지 않는다. 반면, 변환/양자화 스킵 플래그(transquant_skip_flag)=0은 CU 내의 모든 성분들에 대한 변환 및 양자화가 항상 스킵되는 것이 아님을 의미한다. 따라서, 변환/양자화 스킵 플래그(transquant_skip_flag)가 0이면 영상 복호화 장치는 휘도 성분에 대해 변환이 수행되는지 여부를 지시하는 변환 스킵 플래그(transform_skip_flag)를 복호화한다(S906, S908).
이후, 영상 복호화 장치는 휘도 성분에 대한 계수 값들을 비트스트림으로부터 복호화한다(S910).
S902에서 CU 구성하는 세 가지 성분에 대한 cbf를 복호화하는 것을 설명하였다. 이하에서는 CU 구성하는 세 가지 성분의 cbf를 복호화하는 다른 예시적 실시예를 도 10을 참조하여 설명한다. 본 실시예에서는 CU를 구성하는 두 개의 색차블록 내의 모든 계수들이 0인지 여부를 지시하는 크로마 cbf(cbf_chroma)라는 신택스가 추가로 정의된다.
도 10은 CU 구성하는 세 가지 성분에 대한 cbf를 복호화하는 방법을 나타내는 예시도이다.
영상 복호화 장치는 CU를 구성하는 두 개의 색차블록 내의 모든 계수들이 0인지 여부를 지시하는 크로마 cbf(cbf_chroma)를 복호화한다(S1002).
크로마 cbf(cbf_chroma)가 0인 경우(S1004), 두 색차블록에 대한 cbf, 즉, cbf_cb과 cbf_cr은 모두 0으로 설정된다(S1006). 도 7 또는 도 8을 참조하면, 세 가지 성분에 대한 cbf는 코딩단위 cbf(cbf_cu)가 1일 때 복호화된다. 따라서, 크로마 cbf(cbf_chroma)가 0이면 cbf_luma는 자동적으로 1로 설정된다(S1006).
반면, 크로마 cbf(cbf_chroma)가 1인 경우, 영상 복호화 장치는 cbf_cb를 복호화한다(S1008). 크로마 cbf(cbf_chroma)=1은 두 개의 색차블록 중 적어도 하나에는 0이 아닌 계수가 존재한다는 것을 의미하므로, 두 색차블록 중 어느 하나의 cbf가 0이면 다른 하나의 색차블록에 대한 cbf는 반드시 1이어야 한다. 따라서, 복호화된 cbf_cb가 0이면, cbf_cr은 1로 자동으로 설정된다(S1010, S1014). 반면 cbf_cb가 1이면 cbf_cr을 비트스트림으로부터 복호화한다(S1012). 여기서, cbf_cb와 cbf_cr 간의 복호화 순서는 서로 바뀌어도 무방하다. cbf_cb와 cbf_cr에 대한 복호화가 완료되면, 영상 복호화 장치는 cbf_luma를 복호화한다(S1016).
cbf_cb, cbf_cr 및 cbf_luma 복호화 이후의 과정은 도 9와 동일하다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (15)

  1. 픽처들의 시퀀스를 복호화하는 방법에 있어서,
    현재 픽처로부터 분할되는 복수의 코딩 단위(coding unit)들 중 복호화할 현재 코딩단위를 결정하는 단계; 및
    비트스트림으로부터 상기 현재 코딩단위와 관련된 코딩단위 레벨의 신택스들을 복호화하는 단계; 및
    상기 코딩단위 레벨의 신택스들을 이용하여 상기 현재 코딩단위를 복원하는 단계를 포함하고,
    상기 코딩단위 레벨의 신택스들을 복호화하는 것은,
    상기 현재 코딩단위가 스킵 모드로 예측되었는지 여부를 지시하는 스킵 플래그를 포함하여 상기 현재 코딩단위에 대한 하나 이상의 예측 신택스들을 복호화하는 단계; 및
    상기 예측 신택스들을 복호화한 이후에, 상기 현재 코딩단위를 구성하는 휘도블록(luma block)과 두 개의 색차블록들(chroma blocks) 내의 계수들이 모두 0인지 여부를 지시하는 코딩단위 cbf를 포함하여 상기 현재 코딩단위에 대한 하나 이상의 변환 신택스들을 복호화하는 단계를 포함하고,
    상기 변환 신택스들은,
    상기 예측 신택스들의 복호화 이전에는 복호화되지 않고,
    상기 현재 코딩단위가 상기 스킵 모드로 예측됨이 상기 스킵 플래그에 의해 지시될 때 복호화되지 않는 것을 특징으로 하는, 방법.
  2. 제1항에 있어서,
    상기 변환 신택스들을 복호화하는 단계는,
    상기 코딩단위 cbf를 복호화하는 단계; 및
    상기 코딩단위 cbf가 상기 현재 코딩단위를 구성하는 상기 휘도블록과 상기 두 개의 색차블록들 내의 계수들 중 적어도 하나가 0이 아님을 나타낼 때, 상기 현재 코딩단위에 대해 역변환, 역양자화, 및 적어도 일부의 인루프 필터링(in-loop filtering)을 스킵하는지 여부를 지시하는 변환/양자화 스킵 플래그를 복호화하는 단계
    를 포함하는 것을 특징으로 하는, 방법.
  3. 제2항에 있어서,
    상기 변환/양자화 스킵 플래그는,
    상기 현재 코딩단위에 대해 역변환, 역양자화, 및 디블록킹 필터링을 제외한 인루프 필터링(in-loop filtering)을 스킵하는지 여부를 나타내는 것을 특징으로 하는, 방법.
  4. 제3항에 있어서,
    상기 변환 신택스들을 복호화하는 단계는,
    상기 변환/양자화 스킵 플래그가 역변환, 역양자화, 및 디블록킹 필터링을 제외한 인루프 필터링(in-loop filtering)을 스킵함을 지시할 때, 상기 복원된 코딩단위에 대해 디블록킹 필터링을 스킵할지 여부를 나타내는 디블록킹 필터 플래그를 복호화하는 단계를 포함하는 것을 특징으로 하는, 방법.
  5. 제1항에 있어서,
    상기 코딩단위 cbf는, 상기 예측 신택스들 중 적어도 일부에 의해 식별되는 상기 현재 코딩단위의 예측 모드가 인트라 모드가 아니면서 머지 모드(merge mode)도 아닐 때, 복호화되고,
    상기 현재 코딩단위의 예측 모드가 인트라 모드이거나 머지 모드일 때, 상기 코딩단위 cbf는 상기 비트스트림으로부터 복호화됨 없이 상기 휘도블록(luma block)과 두 개의 색차블록들 중 적어도 일부에 0이 아닌 계수가 존재함을 지시하는 값으로 추론되는 것으로 특징으로, 방법.
  6. 제1항에 있어서,
    상기 변환 신택스들을 복호화하는 단계는,
    상기 코딩단위 cbf가 상기 현재 코딩단위를 구성하는 상기 휘도블록과 상기 두 개의 색차블록들 내의 계수들 중 적어도 하나가 0이 아님을 나타낼 때,
    크로마 cbf와 루마 cbf 중 어느 하나의 cbf를 복호화하는 단계;
    상기 복호화된 어느 하나의 cbf의 값에 의존하여, 상기 크로마 cbf와 상기 루마 cbf 중 나머지 하나의 cbf를 복호화하는 단계를 포함하고,
    상기 크로마 cbf는 상기 두 개의 색차블록들 내의 모든 계수들이 0인지 여부를 나타내고, 상기 루마 cbf는 상기 휘도블록 내의 모든 계수들이 0인지 여부를 나타내는 것을 특징으로 하는, 방법.
  7. 제6항에 있어서,
    상기 크로마 cbf가 상기 두 개의 색차블록들 내에 적어도 하나의 0이 아닌 계수가 존재함을 나타낼 때,
    상기 두 개의 색차블록들 중 제1 색차블록 내의 모든 계수가 0인지 여부를 지시하는 제1 서브 크로마 cbf를 복호화하는 단계; 및
    제1 서브 크로마 cbf가 상기 제1 색차블록 내에 적어도 하나의 0이 아닌 계수가 존재함을 나타낼 때, 상기 두 개의 색차블록들 중 제2 색차블록 내의 모든 계수가 0인지 여부를 지시하는 제2 서브 크로마 cbf를 복호화하는 단계
    를 포함하는 것을 특징으로 하는, 방법.
  8. 제1항에 있어서,
    복원된 코딩단위들을 포함하는 복원 영상 내의 블록 경계들을 디블록킹 필터링하는 단계를 더 포함하되,
    상기 스킵 모드로 부호화된 코딩단위 내의 복원된 샘플들에 대한 디블록킹 필터링 수행 여부는 상기 코딩단위 레벨의 신택스들이 아닌 상위 레벨의 신택스에 의해 제어되는 것을 특징으로 하는, 방법.
  9. 픽처들의 시퀀스를 부호화하는 방법에 있어서,
    현재 픽처로부터 분할되는 복수의 코딩단위(coding unit)들 중에서 부호화할 현재 코딩단위를 결정하는 단계; 및
    상기 현재 코딩단위의 부호화와 관련된 신택스들을 비트스트림의 코딩단위 레벨에 부호화하는 단계를 포함하고,
    상기 코딩단위 레벨에 신택스들을 부호화하는 것은,
    상기 현재 코딩단위가 스킵 모드로 예측되는지 여부를 지시하는 스킵 플래그를 포함하여 상기 현재 코딩단위의 예측과 관련된 하나 이상의 예측 신택스들을 부호화하는 단계; 및
    상기 예측 신택스들을 부호화한 이후에, 상기 현재 코딩단위를 구성하는 휘도블록(luma block)과 두 개의 색차블록들(chroma blocks) 내의 계수들이 모두 0인지 여부를 지시하는 코딩단위 cbf를 포함하여 상기 현재 코딩단위의 변환과 관련된 변환 신택스들을 부호화하는 단계를 포함하고,
    상기 변환 신택스들은,
    상기 예측 신택스들의 부호화 이전에는 부호화되지 않고,
    상기 스킵 플래그가 상기 현재 코딩단위가 상기 스킵 모드로 예측됨을 지시할 때 부호화되지 않는 것을 특징으로 하는, 방법.
  10. 제9항에 있어서,
    상기 변환 신택스들을 부호화하는 단계는,
    상기 코딩단위 cbf를 부호화하는 단계; 및
    상기 코딩단위 cbf가 상기 현재 코딩단위를 구성하는 상기 휘도블록과 상기 두 개의 색차블록들 내의 계수들 중 적어도 하나가 0이 아님을 나타낼 때, 상기 현재 코딩단위에 대해 역변환, 역양자화, 및 적어도 일부의 인루프 필터링(in-loop filtering)을 스킵하는지 여부를 지시하는 변환/양자화 스킵 플래그를 부호화하는 단계
    를 포함하는 것을 특징으로 하는, 방법.
  11. 제9항에 있어서,
    상기 코딩단위 cbf는, 상기 예측 신택스들 중 적어도 일부에 의해 식별되는 상기 현재 코딩단위의 예측 모드가 인트라 모드가 아니면서 머지 모드(merge mode)도 아닐 때, 부호화되고,
    상기 현재 코딩단위의 예측 모드가 인트라 모드이거나 머지 모드일 때, 상기 코딩단위 cbf는 상기 휘도블록(luma block)과 두 개의 색차블록들 중 적어도 일부에 0이 아닌 계수가 존재함을 지시하는 값으로 추론되는 것을 특징으로 하는, 방법.
  12. 제9항에 있어서,
    상기 변환 신택스들을 부호화하는 단계는,
    상기 코딩단위 cbf가 상기 현재 코딩단위를 구성하는 상기 휘도블록과 상기 두 개의 색차블록들 내의 계수들 중 적어도 하나가 0이 아님을 나타낼 때,
    크로마 cbf와 루마 cbf 중 어느 하나의 cbf를 부호화하는 단계;
    상기 부호화된 어느 하나의 cbf의 값에 의존하여, 상기 크로마 cbf와 상기 루마 cbf 중 나머지 하나의 cbf를 부호화하는 단계를 포함하고,
    상기 크로마 cbf는 상기 두 개의 색차블록들 내의 모든 계수들이 0인지 여부를 나타내고, 상기 루마 cbf는 상기 휘도블록 내의 모든 계수들이 0인지 여부를 나타내는 것을 특징으로 하는, 방법.
  13. 제12항에 있어서,
    상기 크로마 cbf가 상기 두 개의 색차블록들 내에 적어도 하나의 0이 아닌 계수가 존재함을 나타낼 때,
    상기 두 개의 색차블록들 중 제1 색차블록 내의 모든 계수가 0인지 여부를 지시하는 제1 서브 크로마 cbf를 부호화하는 단계; 및
    제1 서브 크로마 cbf가 상기 제1 색차블록 내에 적어도 하나의 0이 아닌 계수가 존재함을 나타낼 때, 상기 두 개의 색차블록들 중 제2 색차블록 내의 모든 계수가 0인지 여부를 지시하는 제2 서브 크로마 cbf를 부호화하는 단계
    를 포함하는 것을 특징으로 하는, 방법.
  14. 제9항에 있어서,
    상기 현재 코딩단위를 복원하는 단계; 및
    복원된 코딩단위들을 포함하는 복원 영상 내의 블록 경계들을 디블록킹 필터링하는 단계를 더 포함하되,
    상기 스킵 모드로 부호화된 코딩단위 내의 복원된 샘플들에 대한 디블록킹 필터링 수행 여부는 상기 코딩단위 레벨이 아닌 상위 레벨에서 제어되는 것을 특징으로 하는, 방법.
  15. 픽처들을 시퀀스를 부호화하는 방법에 의해 생성된 비트스트림을 저장하는, 컴퓨터에 의해 판독 가능한, 저장 매체에 있어서,
    상기 방법은,
    현재 픽처로부터 분할되는 복수의 코딩단위(coding unit)들 중에서, 부호화할 현재 코딩단위를 결정하는 단계; 및
    상기 현재 코딩단위의 부호화와 관련된 신택스들을 상기 비트스트림의 코딩단위 레벨에 부호화하는 단계를 포함하고,
    상기 코딩단위 레벨에 신택스들을 부호화하는 것은,
    상기 현재 코딩단위가 스킵 모드로 예측되는지 여부를 지시하는 스킵 플래그를 포함하여 상기 현재 코딩단위의 예측과 관련된 하나 이상의 예측 신택스들을 부호화하는 단계; 및
    상기 예측 신택스들을 부호화한 이후에, 상기 현재 코딩단위를 구성하는 휘도블록(luma block)과 두 개의 색차블록들(chroma blocks) 내의 계수들이 모두 0인지 여부를 지시하는 코딩단위 cbf를 포함하여 상기 현재 코딩단위의 변환과 관련된 변환 신택스들을 부호화하는 단계를 포함하되,
    상기 변환 신택스들은,
    상기 예측 신택스들의 부호화 이전에는 부호화되지 않고,
    상기 스킵 플래그가 상기 코딩단위가 상기 스킵 모드로 예측됨을 지시할 때 부호화되지 않는, 디코더에 의해 판독 가능한 비트스트림을 저장한 저장 매체.
KR1020230050565A 2018-01-05 2023-04-18 영상을 부호화 또는 복호화하는 방법 및 장치 KR20230058033A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20180001728 2018-01-05
KR1020180001728 2018-01-05
KR1020180066664A KR102524628B1 (ko) 2018-01-05 2018-06-11 영상을 부호화 또는 복호화하는 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180066664A Division KR102524628B1 (ko) 2018-01-05 2018-06-11 영상을 부호화 또는 복호화하는 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20230058033A true KR20230058033A (ko) 2023-05-02

Family

ID=67144197

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020230050565A KR20230058033A (ko) 2018-01-05 2023-04-18 영상을 부호화 또는 복호화하는 방법 및 장치
KR1020230050607A KR20230058343A (ko) 2018-01-05 2023-04-18 영상을 부호화 또는 복호화하는 방법 및 장치
KR1020230050582A KR20230057318A (ko) 2018-01-05 2023-04-18 영상을 부호화 또는 복호화하는 방법 및 장치

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020230050607A KR20230058343A (ko) 2018-01-05 2023-04-18 영상을 부호화 또는 복호화하는 방법 및 장치
KR1020230050582A KR20230057318A (ko) 2018-01-05 2023-04-18 영상을 부호화 또는 복호화하는 방법 및 장치

Country Status (4)

Country Link
US (4) US20220295110A1 (ko)
KR (3) KR20230058033A (ko)
CN (4) CN115022631A (ko)
WO (1) WO2019135628A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021046509A1 (en) * 2019-09-07 2021-03-11 Beijing Dajia Internet Information Technology Co., Ltd. Prediction mode signaling in video coding
WO2021060804A1 (ko) * 2019-09-27 2021-04-01 에스케이텔레콤 주식회사 크로마블록의 잔차블록 복원 방법 및 복호화 장치
CN113709477B (zh) * 2020-06-05 2022-12-23 杭州海康威视数字技术股份有限公司 编码方法、解码方法、装置及机器可读存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101813189B1 (ko) 2010-04-16 2018-01-31 에스케이 텔레콤주식회사 영상 부호화/복호화 장치 및 방법
EP2636218B1 (en) * 2010-11-04 2021-06-30 GE Video Compression, LLC Picture coding supporting block merging and skip mode
CN103081475B (zh) * 2010-11-23 2016-04-27 Lg电子株式会社 编码和解码图像的方法及使用该方法的设备
GB2486733A (en) 2010-12-24 2012-06-27 Canon Kk Video encoding using multiple inverse quantizations of the same reference image with different quantization offsets
US20120189052A1 (en) 2011-01-24 2012-07-26 Qualcomm Incorporated Signaling quantization parameter changes for coded units in high efficiency video coding (hevc)
US9788019B2 (en) 2011-03-09 2017-10-10 Hfi Innovation Inc. Method and apparatus of transform unit partition with reduced complexity
EP2685718B1 (en) 2011-03-10 2018-08-29 Sharp Kabushiki Kaisha Image decoding apparatus
AU2012232992A1 (en) 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
US9332257B2 (en) 2012-10-01 2016-05-03 Qualcomm Incorporated Coded black flag coding for 4:2:2 sample format in video coding
CN104782125B (zh) 2012-11-08 2019-03-15 佳能株式会社 对编码单位的变换单位编码和解码的方法、设备和系统
US20140146894A1 (en) 2012-11-28 2014-05-29 General Instrument Corporation Devices and methods for modifications of syntax related to transform skip for high efficiency video coding (hevc)
US9877025B2 (en) 2013-07-12 2018-01-23 British Broadcasting Corporation Video encoding and decoding with prediction at higher precision
KR102355224B1 (ko) 2014-03-16 2022-01-25 브이아이디 스케일, 인크. 무손실 비디오 코딩의 시그널링을 위한 방법 및 장치
US20150264348A1 (en) 2014-03-17 2015-09-17 Qualcomm Incorporated Dictionary coding of video content
GB2531004A (en) 2014-10-06 2016-04-13 Canon Kk Residual colour transform signalled at sequence level for specific coding modes
CN115134609A (zh) 2015-06-11 2022-09-30 杜比实验室特许公司 使用自适应去块滤波编码和解码图像的方法及其装置
WO2017099371A1 (ko) 2015-12-11 2017-06-15 삼성전자 주식회사 인트라 프레임 스킵 모드 정보의 부호화 방법 및 장치, 복호화 방법 및 장치
CN106878751B (zh) * 2015-12-11 2022-01-14 北京三星通信技术研究有限公司 视频帧内编码模式的标识方法、处理方法和装置
US20200145649A1 (en) * 2017-07-10 2020-05-07 Lg Electronics Inc. Method and apparatus for reducing noise in frequency-domain in image coding system

Also Published As

Publication number Publication date
CN115022631A (zh) 2022-09-06
KR20230057318A (ko) 2023-04-28
CN115002459A (zh) 2022-09-02
WO2019135628A1 (ko) 2019-07-11
US11812061B2 (en) 2023-11-07
CN115037930A (zh) 2022-09-09
US20220295110A1 (en) 2022-09-15
CN115002460A (zh) 2022-09-02
US11924473B2 (en) 2024-03-05
US20220295109A1 (en) 2022-09-15
US20220295112A1 (en) 2022-09-15
US20220295111A1 (en) 2022-09-15
KR20230058343A (ko) 2023-05-03

Similar Documents

Publication Publication Date Title
KR102524628B1 (ko) 영상을 부호화 또는 복호화하는 방법 및 장치
US9621916B2 (en) Apparatus for encoding a moving picture
KR102596896B1 (ko) 비디오 신호 처리 방법 및 장치
KR20230058033A (ko) 영상을 부호화 또는 복호화하는 방법 및 장치
US11997285B2 (en) Bidirectional prediction method and video decoding apparatus
US11838545B2 (en) Prediction method using current picture referencing mode, and video decoding device therefor
US11962764B2 (en) Inter-prediction method and video decoding apparatus using the same
US20220353505A1 (en) Method for reconstructing residual blocks of chroma blocks, and video decoding apparatus
KR102648468B1 (ko) 레벨 설정 방법 및 이를 이용한 영상 복호화 장치
US20240195998A1 (en) Video Coding Using Intra Sub-Partition Coding Mode
KR20230156005A (ko) 레벨 설정 방법 및 이를 이용한 영상 복호화 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal