KR20210095949A - 비디오 코딩 방법 및 장치 - Google Patents

비디오 코딩 방법 및 장치 Download PDF

Info

Publication number
KR20210095949A
KR20210095949A KR1020217022442A KR20217022442A KR20210095949A KR 20210095949 A KR20210095949 A KR 20210095949A KR 1020217022442 A KR1020217022442 A KR 1020217022442A KR 20217022442 A KR20217022442 A KR 20217022442A KR 20210095949 A KR20210095949 A KR 20210095949A
Authority
KR
South Korea
Prior art keywords
tile
tile group
group
tiles
picture
Prior art date
Application number
KR1020217022442A
Other languages
English (en)
Inventor
프뉴 헨드리
예-쿠이 왕
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20210095949A publication Critical patent/KR20210095949A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Auxiliary Devices For And Details Of Packaging Control (AREA)

Abstract

비디오 코딩 메커니즘이 개시된다. 상기 메커니즘은 픽처를 복수의 타일로 분할하는 것을 포함한다. 다수의 타일이 타일 그룹에 포함된다. 플래그가 또한 비트스트림의 파라미터 세트로 인코딩된다. 상기 플래그는 상기 타일 그룹이 래스터 스캔 타일 그룹인 경우 첫 번째 값으로 설정되고 상기 타일 그룹이 직사각형 타일 그룹인 경우 두 번째 값으로 설정된다. 상기 타일은 상기 타일 그룹에 기초하여 비트스트림으로 인코딩된다. 상기 비트스트림은 디코더로의 통신을 위해 저장된다.

Description

비디오 코딩에서 래스터 스캔과 직사각형 타일 그룹의 조화
관련 출원에 대한 상호 참조
본 특허 출원은 FNU Hendry 등에 의해 2018년 12월 17일에 출원되고 "Harmonization of Raster-scan and Rectangular Tile Group(래스터 스캔과 직사각형 타일 그룹의 조화)"라는 명칭의 미국 가특허출원 제62/780,771호와, FNU Hendry 등에 의해 2019년 5월 15일에 출원되고 "Harmonization of Raster-scan and Rectangular Tile Group(래스터 스캔과 직사각형 타일 그룹의 조화)"라는 명칭의 미국 가특허출원 제62/848,149의 혜택을 주장하며, 이들 출원은 인용에 의해 본 출원에 포함된다.
본 개시는 일반적으로 비디오 코딩에 관한 것으로, 특히 비디오 코딩에서 향상된 압축을 지원하기 위해 이미지를 타일 그룹으로 분할하기 위한 메커니즘에 관한 것이다.
비교적 짧은 비디오라도 묘사하는 데 필요한 비디오 데이터의 양은 상당할 수 있으며, 이는 데이터가 스트리밍되거나 제한된 대역폭 용량을 가진 통신 네트워크를 통해 통신될 때 어려움을 초래할 수 있다. 따라서 비디오 데이터는 일반적으로 현대의 통신 네트워크를 통해 통신되기 전에 압축된다. 메모리 자원이 한정될 수 있기 때문에 비디오가 저장 기기에 저장되는 경우 비디오의 크기도 문제가 될 수 있다. 비디오 압축 기기는 보통 송신 또는 저장 전에 비디오 데이터를 코딩하기 위해 근원지에서 소프트웨어 및/또는 하드웨어를 사용하여 디지털 비디오 이미지를 나타내는 데 필요한 데이터의 수량을 줄이는 경우가 많다. 그런 다음 압축된 데이터는 비디오 데이터를 디코딩하는 비디오 압축해제 기기에 의해 목적지에서 수신된다. 한정된 네트워크 자원과 더 높은 비디오 품질에 대한 요구가 계속 증가함에 따라, 이미지 품질을 거의 또는 전혀 희생하지 않으면서 압축률을 향상시키는 개선된 압축 및 압축해제 기술이 바람직하다.
일 실시예에서, 본 개시는 인코더에서 구현되는 방법을 포함하며, 상기 방법은, 인코더의 프로세서가 픽처(picture)를 복수의 타일(tile)로 분할하는 단계; 상기 프로세서가 다수의 타일을 하나의 타일 그룹에 할당하는 단계; 상기 프로세서가, 상기 타일 그룹이 래스터 스캔(raster scan) 타일 그룹인 경우 제1 값으로 설정되고 상기 타일 그룹이 직사각형 타일(rectangular tile) 그룹인 경우 제2 값으로 설정되는 플래그를 인코딩하는 단계 - 상기 플래그는 비트스트림의 파라미터 세트로 인코딩됨 -; 상기 프로세서가 상기 타일 그룹에 기초하여 상기 타일을 비트스트림으로 인코딩하는 단계; 및 상기 인코더의 메모리에, 디코더를 향한 통신을 위해 상기 비트스트림을 저장하는 단계를 포함한다. 일부 비디오 코딩 시스템은 래스터 스캔 순서로 할당된 타일을 포함하는 타일 그룹을 채용한다. 다른 시스템은 가상현실(virtual reality, VR), 원격 회의(teleconferencing) 및 기타 관심 영역(region of interest) 기반 코딩 방식에서 서브픽처(sub-picture) 추출을 지원하기 위해 직사각형 타일 그룹을 대신 채용한다. 또 다른 시스템에서는 인코더가 비디오 코딩 애플리케이션의 유형에 따라 사용할 타일 그룹의 유형을 선택할 수 있다. 본 측면은 대응하는 타일 그룹이 래스터 스캔인지 직사각형인지를 지시하는 플래그를 포함한다. 이 접근 방식은 적절한 디코딩을 지원하도록 디코더에게 적절한 타일 그룹 코딩 방식을 알린다. 따라서, 개시된 플래그는 인코더/디코더(코덱)가 상이한 사용 사례에 대해 다수의 타일 그룹 방식을 지원할 수 있게 하고, 따라서 인코더 및 디코더 모두의 기능을 증진시킨다. 또한, 개시된 플래그의 시그널링은 코딩 효율을 증진시킬 수 있고, 따라서 인코더 및/또는 디코더에서 메모리 자원 사용, 처리 자원 사용, 및/또는 네트워크 자원 사용을 감소시킬 수 있다.
선택적으로, 선행 측면 중 어느 하나에서, 그 측면의 다른 구현예가 제공되며, 상기 플래그는 직사각형 타일 그룹 플래그이다.
선택적으로, 선행 측면 중 어느 하나에서, 그 측면의 다른 구현예가 제공되며, 상기 플래그가 인코딩되는 파라미터 세트는 시퀀스 파라미터 세트(sequence parameter set)이다.
선택적으로, 선행 측면 중 어느 하나에서, 그 측면의 다른 구현예가 제공되며, 상기 플래그가 인코딩되는 파라미터 세트는 픽처 파라미터 세트(picture parameter set)이다.
선택적으로, 선행 측면 중 어느 하나에서, 그 측면의 다른 구현예가 제공되며, 상기 프로세서가 상기 타일 그룹에 포함된 타일을 지시하기 위해 상기 타일 그룹의 첫 번째 타일의 식별자 및 상기 타일 그룹의 마지막 타일의 식별자를 비트스트림에 인코딩하는 단계를 더 포함한다.
선택적으로, 선행 측면 중 어느 하나에서, 그 측면의 다른 구현예가 제공되며, 상기 타일 그룹의 첫 번째 타일의 식별자 및 상기 타일 그룹의 마지막 타일의 식별자는 상기 비트스트림의 타일 그룹 헤더(tile group header)에 인코딩된다.
선택적으로, 선행 측면 중 어느 하나에서, 그 측면의 다른 구현예가 제공되며, 상기 타일 그룹이 상기 래스터 스캔 타일 그룹인 경우, 상기 타일 그룹 내의 타일 포함(tile inclusion)은, 상기 타일 그룹의 첫 번째 타일과 상기 타일 그룹의 마지막 타일 사이의 타일의 수를 상기 타일 그룹 내의 타일의 수로 결정하는 것; 및 상기 타일 그룹 내의 타일의 수에 기초하여 타일 포함을 결정하는 것에 의해 결정된다.
선택적으로, 선행 측면 중 어느 하나에서, 그 측면의 다른 구현예가 제공되며, 상기 타일 그룹이 직사각형 타일 그룹인 경우, 상기 타일 그룹 내의 타일 포함은, 상기 타일 그룹의 첫 번째 타일과 상기 타일 그룹의 마지막 타일 사이의 델타 값을 결정하는 것; 상기 델타 값 및 상기 픽처 내의 타일 열의 수에 기초하여 타일 그룹 행의 수를 결정하는 것; 상기 델타 값 및 상기 픽처 내의 타일 열의 수에 기초하여 타일 그룹 열의 수를 결정하는 것; 및 상기 타일 그룹 행의 수 및 상기 타일 그룹 열의 수에 기초하여 상기 타일 포함을 결정하는 것에 의해 결정된다.
일 실시예에서, 본 개시는 디코더에서 구현되는 방법을 포함하며, 상기 방법은, 디코더의 프로세서가 복수의 타일로 분할된 픽처를 포함하는 비트스트림을 수신하는 단계 - 다수의 타일이 하나의 타일 그룹에 포함됨 -; 상기 프로세서가 상기 비트스트림의 파라미터 세트로부터 플래그를 획득하는 단계; 상기 프로세서가, 상기 플래그가 제1 값으로 설정되어 있는 경우 상기 타일 그룹이 래스터 스캔 타일 그룹인 것으로 결정하는 단계; 상기 프로세서가, 상기 플래그가 제2 값으로 설정되어 있는 경우 상기 타일 그룹을 직사각형 타일 그룹인 것으로 결정하는 단계; 상기 프로세서가 상기 타일 그룹이 래스터 스캔 타일 그룹인지 직사각형 타일 그룹인지에 기초하여 상기 타일 그룹에 대한 타일 포함을 결정하는 단계; 상기 프로세서가 상기 타일을 디코딩하여 상기 타일 그룹에 기초하여 디코딩된 타일을 생성하는 단계; 및 상기 프로세서가 상기 디코딩된 타일에 기초하여 표시를 위해 재구축된 비디오 시퀀스를 생성하는 단계를 포함한다.
일부 비디오 코딩 시스템은 래스터 스캔 순서로 할당된 타일을 포함하는 타일 그룹을 채용한다. 다른 시스템은 VR, 원격 회의 및 기타 관심 영역 기반 코딩 방식에서 서브픽처 추출을 지원하기 위해 직사각형 타일 그룹을 대신 채용한다. 또 다른 시스템에서는 인코더가 비디오 코딩 애플리케이션의 유형에 따라 사용할 타일 그룹의 유형을 선택할 수 있다. 본 측면은 대응하는 타일 그룹이 래스터 스캔인지 직사각형인지를 지시하는 플래그를 포함한다. 이 접근 방식은 적절한 디코딩을 지원하도록 디코더에게 적절한 타일 그룹 코딩 방식을 알린다. 따라서, 개시된 플래그는 코덱이 상이한 사용 사례에 대해 다수의 타일 그룹 방식을 지원할 수 있게 하고, 따라서 인코더 및 디코더 모두의 기능을 증진시킨다. 또한, 개시된 플래그를 시그널링하는 것은 코딩 효율을 증진시킬 수 있고, 따라서 인코더 및/또는 디코더에서 메모리 자원 사용, 처리 자원 사용, 및/또는 네트워크 자원 사용을 감소시킬 수 있다.
선택적으로, 선행 측면 중 어느 하나에서, 그 측면의 다른 구현예가 제공되며, 상기 플래그는 직사각형 타일 그룹 플래그이다.
선택적으로, 선행 측면 중 어느 하나에서, 그 측면의 다른 구현예가 제공되며, 상기 플래그를 포함하는 파라미터 세트는 시퀀스 파라미터 세트이다.
선택적으로, 선행 측면 중 어느 하나에서, 그 측면의 다른 구현예가 제공되며, 상기 플래그를 포함하는 파라미터 세트는 픽처 파라미터 세트이다.
선택적으로, 선행 측면 중 어느 하나에서, 그 측면의 다른 구현예가 제공되며, 상기 프로세서가 상기 타일 그룹에 포함된 타일을 결정하기 위해 상기 타일 그룹의 첫 번째 타일의 식별자 및 상기 타일 그룹의 마지막 타일의 식별자를 획득하는 단계를 더 포함한다.
선택적으로, 선행 측면 중 어느 하나에서, 그 측면의 다른 구현예가 제공되며, 상기 타일 그룹의 첫 번째 타일의 식별자 및 상기 타일 그룹의 마지막 타일의 식별자는 상기 비트스트림의 타일 그룹 헤더로부터 획득된다.
선택적으로, 선행 측면 중 어느 하나에서, 그 측면의 다른 구현예가 제공되며, 상기 타일 그룹이 상기 래스터 스캔 타일 그룹인 경우, 상기 타일 그룹 내의 타일 포함은, 상기 타일 그룹의 첫 번째 타일과 상기 타일 그룹의 마지막 타일 사이의 타일의 수를 상기 타일 그룹 내의 타일의 수로 결정하는 것; 및 상기 타일 그룹 내의 타일의 수에 기초하여 타일 포함을 결정하는 것에 의해 결정된다.
선택적으로, 선행 측면 중 어느 하나에서, 그 측면의 다른 구현예가 제공되며, 상기 타일 그룹이 직사각형 타일 그룹인 경우, 상기 타일 그룹 내의 타일 포함은, 상기 타일 그룹의 첫 번째 타일과 상기 타일 그룹의 마지막 타일 사이의 델타 값을 결정하는 것; 상기 델타 값 및 상기 픽처 내의 타일 열의 수에 기초하여 타일 그룹 행의 수를 결정하는 것; 상기 델타 값 및 상기 픽처 내의 타일 열의 수에 기초하여 타일 그룹 열의 수를 결정하는 것; 및 상기 타일 그룹 행의 수 및 상기 타일 그룹 열의 수에 기초하여 상기 타일 포함을 결정하는 것에 의해 결정된다.
일 실시예에서, 본 개시는 비디오 코딩 기기를 포함하며, 상기 비디오 코딩 기기는 프로세서, 상기 프로세서에 결합된 수신기, 및 상기 프로세서에 결합된 송신기를 포함하고, 상기 프로세서, 상기 수신기 및 상기 송신기는 선행 측면 중 어느 하나의 방법을 수행하도록 구성된다.
일 실시예에서, 본 개시는 비디오 코딩 기기에 의한 사용을 위해 컴퓨터 프로그램 제품을 포함하는, 컴퓨터로 판독 가능한 비일시적인 매체를 포함하며, 상기 컴퓨터 프로그램 제품은 상기 컴퓨터로 판독 가능한 비일시적인 매체에 저장된, 컴퓨터로 실행 가능한 명령어를 포함하여, 프로세서에 의해 실행될 때 상기 비디오 코딩 기기로 하여금 선행 측면 중 어느 하나의 방법을 수행하도록 한다.
일 실시예에서, 본 개시는 인코더를 포함하며, 상기 인코더는, 픽처를 복수의 타일로 분할하기 위한 분할 수단; 다수의 타일을 하나의 타일 그룹에 포함시키기 위한 포함 수단; 상기 타일 그룹이 래스터 스캔 타일 그룹인 경우 제1 값으로 설정되고 상기 타일 그룹이 직사각형 타일 그룹인 경우 제2 값으로 설정되는 플래그를 인코딩하고 - 상기 플래그는 비트스트림의 파라미터 세트로 인코딩됨 -; 상기 타일 그룹에 기초하여 상기 타일을 비트스트림으로 인코딩하기 위한 인코딩 수단; 및 디코더를 향한 통신을 위해 상기 비트스트림을 저장하기 위한 저장 수단을 포함한다.
선택적으로, 선행 측면 중 어느 하나에서, 그 측면의 다른 구현예가 제공되며, 상기 인코더는 추가로, 선행 측면 중 어느 하나에서의 방법을 수행하도록 된다.
일 실시예에서, 본 개시는 디코더를 더 포함하며, 상기 디코더는, 복수의 타일로 분할된 픽처를 포함하는 비트스트림을 수신하기 위한 수신 수단 - 다수의 타일이 하나의 타일 그룹에 포함됨 -; 상기 비트스트림의 파라미터 세트로부터 플래그를 획득하기 위한 획득 수단; 상기 플래그가 제1 값으로 설정되어 있는 경우 상기 타일 그룹이 래스터 스캔 타일 그룹인 것으로 결정하고; 상기 플래그가 제2 값으로 설정되어 있는 경우 상기 타일 그룹을 직사각형 타일 그룹인 것으로 결정하고; 상기 타일 그룹이 래스터 스캔 타일 그룹인지 직사각형 타일 그룹인지에 기초하여 상기 타일 그룹에 대한 타일 포함을 결정하기 위한 결정 수단; 상기 타일을 디코딩하여 상기 타일 그룹에 기초하여 디코딩된 타일을 생성하기 위한 디코딩 수단; 및 상기 디코딩된 타일에 기초하여 표시를 위해 재구축된 비디오 시퀀스를 생성하기 위한 생성 수단을 포함한다.
선택적으로, 선행 측면 중 어느 하나에서, 그 측면의 다른 구현예가 제공되며, 상기 디코더는 추가로, 선행 측면 중 어느 하나에서의 방법을 수행하도록 구성된다.
명확하게 하기 위해, 전술한 실시예 중 어느 하나는 본 개시의 범위 내에서 새로운 실시예를 생성하기 위해 다른 전술한 실시예 중 어느 하나 이상과 조합될 수 있다.
이러한 특징 및 다른 특징은 첨부 도면 및 청구범위와 관련하여 취해진 이하의 상세한 설명으로부터 더 명확하게 이해될 것이다.
본 개시의 더 완전한 이해를 위해, 유사한 참조 번호가 유사한 부분을 나타내는 첨부 도면 및 상세한 설명과 관련하여 취해진 다음의 간략한 설명을 이제 참조한다.
도 1은 비디오 신호를 코딩하는 예시적인 방법의 흐름도이다.
도 2는 비디오 코딩을 위한 예시적인 코딩 및 디코딩(코덱) 시스템의 개략도이다.
도 3은 예시적인 비디오 인코더를 나타낸 개략도이다.
도 4는 예시적인 비디오 디코더를 나타낸 개략도이다.
도 5는 인코딩된 비디오 시퀀스를 포함하는 예시적인 비트스트림을 나타낸 개략도이다.
도 6은 래스터 스캔 타일 그룹으로 분할된 예시적인 픽처를 나타낸 개략도이다.
도 7은 직사각형 타일 그룹으로 분할된 예시적인 픽처를 나타낸 개략도이다.
도 8은 예시적인 비디오 코딩 기기의 개략도이다.
도 9는 픽처를 비트스트림으로 인코딩하는 예시적인 방법의 흐름도이다.
도 10은 비트스트림으로부터 픽처를 디코딩하는 예시적인 방법의 흐름도이다.
도 11은 픽처의 비디오 시퀀스를 비트스트림으로 코딩하기 위한 예시적인 시스템의 개략도이다.
하나 이상의 실시예의 예시적인 구현이 아래에 제공되지만, 개시된 시스템 및/또는 방법은 현재 알려져 있거나 존재하는 임의의 수의 기술을 사용하여 구현될 수 있음이 처음부터 이해되어야 한다. 본 개시는 여기에 예시되고 기재된 예시적인 설계 및 구현을 포함하여, 아래에 예시된 예시적인 구현, 도면 및 기술에 결코 한정되어서는 안 되며, 등가물의 전체 범위와 함께 첨부된 청구범위의 범위 내에서 수정될 수 있다.
여기서는 코딩 트리 블록(coding tree block, CTB), 코딩 트리 유닛(coding tree unit, CTU), 코딩 유닛(coding unit, CU), 코딩된 비디오 시퀀스(coded video sequence, CVS), 공동 비디오 전문가 팀(Joint Video Experts Team, JVET), 움직임 제한된 타일 세트(motion constrained tile set, MCTS), 최대 전송 유닛(maximum transfer unit, MTU), 네트워크 추상화 계층(network abstraction layer, NAL), 픽처 순서 카운트(picture order count, POC), 원시 바이트 시퀀스 페이로드(raw byte sequence payload, RBSP), 시퀀스 파라미터 세트(sequence parameter set, SPS), 다목적 비디오 코딩(versatile video coding, VVC), 및 작업 초안(working draft, WD)과 같은, 다양한 두문자어(acronym)가 여기에서 사용된다.
데이터 손실을 최소화하면서 비디오 파일의 크기를 줄이기 위해 많은 비디오 압축 기술이 사용될 수 있다. 예를 들어, 비디오 압축 기술은 비디오 시퀀스에서 데이터 중복(data redundancy)을 감소 또는 제거하기 위해 공간(예: 인트라 픽처) 예측 및/또는 시간(예: 인터 픽처) 예측을 수행하는 것을 포함할 수 있다. 블록 기반(block based) 비디오 코딩의 경우, 비디오 슬라이스(예: 비디오 픽처 또는 비디오 픽처의 일부)는 비디오 블록으로 분할될 수 있으며, 이는 트리블록, 코딩 트리 블록(CTB), 코딩 트리 유닛(CTU). 코딩 단위(CU), 및/또는 코딩 노드으로도 지칭될 수 있다.
픽처의 인트라 코딩된(I) 슬라이스의 비디오 블록은 동일한 픽처의 이웃 블록에서의 참조 샘플에 대한 공간 예측을 사용하여 코딩된다. 픽처의 인터 코딩된 단방향 예측(P) 또는 양방향 예측(B) 슬라이스의 비디오 블록은 동일한 픽처의 이웃 블록에서의 참조 샘플에 대한 공간 예측 또는 다른 참조 픽처에서의 참조 샘플에 대한 시간 예측을 채용하여 코딩될 수 있다. 픽처는 프레임 및/또는 이미지로 지칭될 수 있고, 참조 픽처는 참조 프레임 및/또는 참조 이미지로 지칭될 수 있다. 공간 또는 시간 예측은 결과로서 이미지 블록을 나타내는 예측 블록을 생성한다. 잔차 데이터(Residual data)는 원본 이미지 블록과 예측 블록 사이의 화소 차이를 나타낸다. 따라서, 인터 코딩된(inter-coded) 블록은 예측 블록을 형성하는 참조 샘플의 블록을 가리키는 움직임 벡터 및 코딩된 블록과 예측 블록 사이의 차이를 나타내는 잔차 데이터에 따라 인코딩된다. 인트라 코딩된(intra-coded) 블록은 인트라 코딩 모드 및 잔차 데이터에 따라 인코딩된다. 추가 압축을 위해, 잔차 데이터는 화소 영역에서 변환 영역으로 변환될 수 있다. 이는 결과로서 양자화될 수 있는 잔차 변환 계수를 생성한다. 양자화된 변환 계수는 초기에 2차원 배열로 배열될 수 있다. 양자화된 변환 계수는 변환 계수의 1차원 벡터를 생성하기 위해 스캔될 수 있다. 더욱 압축을 실현하기 위해, 엔트로피 코딩이 적용될 수 있다. 이러한 비디오 압축 기술은 아래에 더 상세히 설명한다.
인코딩된 비디오가 정확하게 디코딩될 수 있도록 보장하기 위해, 비디오는 대응하는 비디오 코딩 표준에 따라 인코딩 및 디코딩된다. 비디오 코딩 표준으로는
[0001] ITU-T(International Telecommunication Union(ITU) Standardization Sector) H.261, ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG(Motion Picture Experts Group)-1 Part 2, ITU-T H.262 또는 ISO/IEC MPEG-2 Part 2, ITU-T H.263, ISO/IEC MPEG-4 Part 2, ITU-T H.264 또는 ISO/IEC MPEG-4 Part 10으로도 알려진 AVC(Advanced Video Coding), 및 ITU-T H.265 또는 MPEG-H Part 2로도 알려진 HEVC(High Efficiency Video Coding)를 포함한다. AVC는 SVC(Scalable Video Coding), MVC(Multiview Video Coding) 및 MVC+D(Multiview Video Coding plus Depth), 및 3차원(3D) AVC(3D-AVC)와 같은 확장을 포함한다. HEVC는 SHVC(Scalable HEVC, MV-HEVC(Multiview HEVC), 및 3D HEVC(3D-HEVC)과 같은 확장을 포함한다. ITU-T와 ISO/IEC의 공동 비디오 전문가 팀(JVET)은 VVC(Versatile Video Coding)라고 하는 비디오 코딩 표준을 개발하기 시작했다. VVC는 JVET-L1001-v5를 포함하는 작업 초안(WD)에 포함되어 있다.
비디오 이미지를 코딩하기 위해, 먼저 이미지는 (파티션으로) 분할되고, 파티션들은 비트스트림으로 코딩된다. 다양한 픽처 분할 방식이 사용 가능하다. 예를 들어, 이미지는 일반 슬라이스(regular slice), 종속 슬라이스(dependent slice), 타일로, 및/또는 WPP(Wavefront Parallel Processing)에 따라 분할될 수 있다. 단순하게 하기 위해, HEVC는 비디오 코딩을 위해 슬라이스를 CTB의 그룹으로 분할할 때, 일반 슬라이스, 종속 슬라이스, 타일, WPP 및 이들의 조합만 사용할 수 있도록 인코더를 제한한다. 이러한 분할은 최대 전송 유닛(MTU) 크기 매칭, 병렬 처리 및 단대단(end-to-end) 지연 감소를 지원하기 위해 적용될 수 있다. MTU는 단일 패킷으로 송신될 수 있는 데이터의 최대량을 나타낸다. 패킷 페이로드가 MTU를 초과하면, 그 페이로드는 단편화(fragmentation)라는 프로세스를 통해 두 개의 패킷으로 나뉜다.
단순히 슬라이스라고도 하는 일반 슬라이스는 루프 필터링 작업(loop filtering operation)으로 인한 일부 상호 의존성에도 불구하고, 동일한 픽처 내의 다른 일반 슬라이스와 독립적으로 재구축될 수 있는 이미지의 분할된 부분이다. 각각의 일반 슬라이스는 송신을 위해 자체 네트워크 추상화 계층(NAL) 유닛으로 캡슐화된다. 또한, 인픽처(in-picture) 예측(인트라 샘플 예측, 움직임 정보 예측, 코딩 모드 예측) 및 슬라이스 경계에 걸친 엔트로피 코딩 의존성은 독립적인 재구축을 지원하기 위해 비활성화될 수 있다. 이러한 독립적인 재구축은 병렬화를 지원한다. 예를 들어, 일반 슬라이스 기반 병렬화는 최소한의 프로세서 간 통신 또는 코어 간 통신을 채용한다. 그러나 각각의 일반 슬라이스는 독립적이므로, 각각의 슬라이스를 개별 슬라이스 헤더와 연관짓는다. 일반 슬라이스의 사용은 각각의 슬라이스에 대한 슬라이스 헤더의 비트 비용과 슬라이스 경계에 걸친 예측 부족으로 인해 상당한 코딩 오버헤드를 발생시킬 수 있다. 또한, 일반 슬라이스는 MTU 크기 요건에 대한 매칭을 지원하기 위해 채용될 수 있다. 구체적으로, 일반 슬라이스는 개별 NAL 유닛으로 캡슐화되고 독립적으로 코딩될 수 있으므로, 각각의 일반 슬라이스는 슬라이스를 여러 패킷으로 쪼개는 것을 방지하기 위해 MTU 방식에서의 MTU 보다 작아야 한다. 이 때문에, 병렬화의 목표와 MTU 크기 매칭의 목표는 픽처의 슬라이스 레이아웃에 상반된 요구를 할 수 있다.
종속 슬라이스는 일반 슬라이스와 유사하지만, 슬라이스 헤더가 단축되고 인 픽처 예측을 깨뜨리지 않으면서 이미지 트리블록 경계의 분할을 허용한다. 따라서 종속 슬라이스는 일반 슬라이스가 다수의 NAL 유닛으로 세분화되는(fragmented) 것을 가능하게 하며, 이는 전체 일반 슬라이스의 인코딩이 완료되기 전에 일반 슬라이스의 일부가 송출되는 것을 허용함으로써 단대단 지연을 감소시킨다.
타일은 타일의 열과 행을 생성하는 수평 경계 및 수직 경계에 의해 생성된 이미지의 분할된 부분이다. 타일은 래스터 스캔 순서(오른쪽에서 왼쪽 및 위에서 아래)로 코딩될 수 있다. CTB의 스캔 순서는 타일 내에서 국지적(local)이다. 따라서 첫 번째 타일의 CTB는 다음 타일의 CTB로 진행하기 전에, 래스터 스캔 순서로 코딩된다. 일반 슬라이스와 유사하게, 타일은 엔트로피 디코딩 종속성뿐만 아니라 픽처 내 예측 종속성을 훼손한다. 그러나 타일은 개별 NAL 유닛에 포함되지 않을 수 있으므로, 타일은 MTU 크기 매칭에 사용되지 않을 수 있다. 각각의 타일은 하나의 프로세서/코어에 의해 처리될 수 있으며, 이웃한 타일들을 디코딩하는 처리 유닛 간의 인픽처 예측에 채용되는 프로세서 간/코어 간 통신은 공유된 슬라이스 헤더의 전달하는 것, 및 재구축된 샘플 및 메타데이터의 공유와 관련된 루프 필터링을 수행하는 것으로 제한될 수 있고(인접 타일이 동일한 슬라이스에 있을 때).
하나 이상의 타일이 하나의 슬라이스에 포함되는 경우, 슬라이스의 첫 번째 엔트리 포인트 오프셋(entry point offset) 이외의, 타일 각각에 대한 엔트리 포인트 바이트 오프셋은 슬라이스 헤더에서 시그널링될 수 있다. 각각의 슬라이스 및 타일에 대해, 다음 조건 중 하나 이상이 충족되어야 한다: 1) 슬라이스 내의 모든 코딩된 트리블록은 동일한 타일에 속한다. 2) 타일 내의 모든 코딩된 트리블록은 동일한 슬라이스에 속한다.
WPP에서, 이미지는 CTB의 단일 행으로 분할된다. 엔트로피 디코딩 및 예측 메커니즘은 다른 행에 있는 CTB의 데이터를 사용할 수 있다. 병렬 처리는 CTB 행의 병렬 디코딩을 통해 가능해진다. 예를 들어, 현재 행은 선행 행과 병렬로 디코딩될 수 있다. 그러나 현재 행의 디코딩은 선행 행의 디코딩 과정에서 2개의 CTB 만큼 지연된다. 이 지연은 현재 CTB가 코딩되기 전에 현재 행에서 현재 CTB의 위에 있는 CTB와, 위 및 오른쪽에 있는 CTB에 관련된 데이터가 사용 가능하도록 한다. 이 접근 방식은 그래픽으로 표시될 때 파면(wavefront)으로 나타난다. 이 시차를 둔 시작(staggered start)은 이미지에 포함되는 CTB 행과 동일한 수의 프로세서/코어로 병렬화를 가능하게 한다. 픽처 내의 이웃하는 트리블록 행 간의 인픽처 예측이 허용되기 때문에, 인픽처 예측을 가능하게 하는 프로세서 간/코어 간 통신은 상당할 수 있다. WPP 분할은 NAL 유닛 크기를 고려한다. 따라서 WPP는 MTU 크기 매칭을 지원하지 않는다. 그러나 특정 코딩 오버헤드가 있는 WPP와 함께, 일반 슬라이스를 사용하여 원하는 대로 MTU 크기 매칭을 구현할 수 있다.
타일은 또한 움직임이 제약된 타일 세트(motion constrained tile set, MCTS) 를 포함할 수 있다. 움직임이 제약된 타일 세트(MCTS)는, 연관된 움직임 벡터가 MCTS 내부의 전체 샘플 위치 및 보간을 위해 MCTS 내부의 전체 샘플 위치만 필요한 부분 샘플 위치를 가리키도록 제한되게 설계된 타일 세트이다. 또한, MCTS 외부의 블록에서 파생된 시간적 움직임 벡터 예측을 위한 움직임 벡터 후보의 사용은 허용되지 않는다. 이와 같이, 각각의 MCTS는 MCTS에 포함되지 않은 타일의 존재 없이 독립적으로 디코딩될 수 있다. 시간적 MCTS SEI(supplemental enhancement information) 메시지는 비트스트림에서의 MCTS의 존재를 지시하고 MCTS를 시그널링하는 데 사용될 수 있다. MCTS SEI 메시지는 MCTS에 적합한 비트스트림을 생성하기 위해 MCTS 서브 비트스트림 추출(SEI 메시지의 시맨틱스의 일부로 지정됨)에 사용할 수 있는 부가 정보(supplemental information)를 제공한다. 이 정보는 다수의 추출 정보 세트를 포함하며, 각각 MCTS의 수를 정의하고, MCTS 서브 비트스트림 추출 프로세스 동안에 사용될 대체 비디오 파라미터 세트(replacement video parameter set, VPS), 시퀀스 파라미터 세트(SPS) 및 픽처 파라미터 세트(picture parameter set, PPS)의 원시 바이트 시퀀스 페이로드(RBSP) 바이트를 포함한다.
MCTS 서브 비트스트림 추출 프로세스에 따라 서브 비트스트림을 추출할 때, 파라미터 세트(VPS, SPS, PPS)는 재작성 또는 대체될 수 있으며, 슬라이스 주소와 관련 신택스 요소(first_slice_segment_in_pic_flag 및 slice_segment_address 포함) 중 하나 또는 전부는 추출된 서브 비트스트림에서 서로 다른 값을 채용할 수 있기 때문에 슬라이스 헤더는 업데이트될 수 있다.
본 개시는 다양한 타일링 방식에 관한 것이다. 구체적으로, 이미지가 타일로 분할되는 경우, 그러한 타일을 타일 그룹에 할당할 수 있다. 타일 그룹은, 예를 들어 관심 영역의 표시를 지원하고/하거나 병렬 처리를 지원하기 위해 개별적으로 추출되고 코딩될 수 있는 관련된 타일의 세트이다. 타일은 대응하는 파라미터, 기능, 코딩 도구 등의 그룹 전체 적용을 허용하기 위해 타일 그룹에 할당될 수 있다. 예를 들어, 타일 그룹은 MCTS를 포함할 수 있다. 다른 예로서, 타일 그룹은 개별적으로 처리 및/또는 추출될 수 있다. 일부 시스템은 래스터 스캔 메커니즘을 사용하여 대응하는 타일 그룹을 생성한다. 여기에서 사용되는 바와 같이, 래스터 스캔 타일 그룹은 타일을 래스터 스캔 순서로 할당함으로써 생성되는 타일 그룹이다. 래스터 스캔 순서는 첫 번째 타일과 마지막 타일 사이에서 오른쪽에서 왼쪽으로, 위에서 아래로 연속적으로 진행된다. 래스터 스캔 타일 그룹은, 예를 들어 병렬 처리를 지원하기 위해, 일부 애플리케이션에 유용할 수 있다.
그러나 래스터 스캔 타일 그룹은 경우에 따라서는 효율적이지 않을 수 있다. 예를 들어, 가상 현실(VR) 애플리케이션에서, 환경은 인코딩된 구체(sphere)로서 기록된다. 그러면 사용자는 픽처의 사용자가 선택한 서브 픽처를 봄으로써 환경을 경험할 수 있다. 사용자가 선택한 서브 픽처는 관심 영역으로 지칭될 수 있다. 사용자가 환경의 일부를 선택적으로 인지할 수 있도록 하는 것은 사용자가 그 환경에 있다는 느낌이 들게 한다. 이와 같이, 픽처의 선택되지 않은 부분은 볼 수 없고 따라서 폐기될 수 있다. 따라서, 사용자가 선택한 서브 픽처는 선택되지 않은 서브 픽처와 다르게 취급될 수 있다(예: 선택되지 않은 서브 픽처는 더 낮은 해상도로 시그널링될 수 있고, 렌더링 동안 더 간단한 메커니즘을 사용하여 처리될 수 있는 등). 타일 그룹은 서브픽처 간에 이러한 차등 처리를 허용한다. 그러나 사용자가 선택한 서브 픽처는 일반적으로 직사각형 및/또는 정사각형 영역이다. 따라서 래스터 스캔 타일 그룹은 이러한 사용 사례에 유용하지 않을 수 있다.
이러한 문제를 극복하기 위해, 일부 시스템은 직사각형 타일 그룹을 채용한다. 직사각형 타일 그룹은 타일 세트를 포함하는 타일 그룹으로, 함께 사용하면 직사각형 모양이 된다. 여기에서 사용된 직사각형 모양은 각각 90도 각도로, 각각의 변이 두 개의 다른 변에 연결되도록 정확히 네 변이 연결된 모양이다. 두 타일 그룹 접근 방식(예: 래스터 스캔 타일 그룹 및 직사각형 타일 그룹)은 모두 장단점이 있을 수 있다. 따라서, 비디오 코딩 시스템은 두 접근 방식을 모두 지원하기를 원할 수 있다. 그러나 비디오 코딩 시스템은 두 가지 접근 방식이 모두 이용 가능한 경우 타일 그룹 사용을 효율적으로 시그널링하지 못할 수 있다. 예를 들어, 이러한 접근 방식의 시그널링의 단순한 병합은 인코더 및/또는 디코더에서 비효율적이고/이거나 프로세서 집중적인(processor intensive) 복잡한 신택스 구조를 초래할 수 있다. 본 개시는 비디오 코딩 기술에서 이러한 문제 및 다른 문제를 해결하기 위한 메커니즘을 제공한다.
여기에서는 간단하고 컴팩트한 시그널링을 채용함으로써 래스터 스캔 타일 그룹과 직사각형 타일 그룹의 사용을 조화시키는 다양한 메커니즘을 개시한다. 그러한 시그널링은 코딩 효율을 증진시키고, 따라서 인코더 및/또는 디코더에서 메모리 자원 사용, 처리 자원 사용, 및/또는 네트워크 자원 사용을 감소시킨다. 이러한 접근 방식들을 조화시키기 위해, 인코더는 어떤 유형의 타일 그룹이 채용되는지를 지시하는 플래그를 시그널링할 수 있다. 예를 들어, 플래그는 SPS 및/또는 PPS와 같은, 파라미터 세트에서 시그널링될 수 있는 직사각형 타일 그룹 플래그일 수 있다. 플래그는 인코더가 래스터 스캔 타일 그룹 또는 직사각형 타일 그룹을 사용하고 있는지를 지시할 수 있다. 그러면 인코더는 타일 그룹의 첫 번째 타일과 마지막 타일을 단순히 시그널링함으로써 타일 그룹 구성원을 지시할 수 있다. 첫 번째 타일, 마지막 타일 및 타일 그룹 유형의 지시에 기초하여, 디코더는 타일 그룹에 어떠한 타일이 포함되어 있는지 결정할 수 있다. 따라서, 각각의 타일 그룹의 모든 타일의 전체 목록은 비트스트림에서 생략될 수 있으며, 이는 코딩 효율을 증진시킨다. 예를 들어, 타일 그룹이 래스터 스캔 타일 그룹이면, 타일 그룹에 할당된 타일은 타일 그룹의 첫 번째 타일과 마지막 타일 사이의 타일 수를 결정하고, 첫 번째 타일과 마지막 타일 사이의 식별자를 가진, 그 수만큼의 타일을 타일 그룹에 추가함으로써 결정될 수 있다. 타일 그룹이 직사각형 타일 그룹이면, 다른 접근 방식이 사용될 수 있다. 예를 들어, 타일 그룹의 첫 번째 타일과 마지막 타일 사이에 델타 값이 결정될 수 있다. 그러면 타일 그룹 행의 수와 타일 그룹 열의 수가 픽처에서의 타일 열의 수와 델타 값에 기초하여 결정될 수 있다. 그러면 타일 그룹 내의 타일이 타일 그룹 행의 수와 타일 그룹 열의 수에 기초하여 결정될 수 있다. 이러한 예 및 기타 예는 아래에 자세히 설명되어 있다.
도 1은 비디오 신호를 코딩하는 예시적인 작업 방법(operating method)(100)의 흐름도이다. 구체적으로, 비디오 신호는 인코더에서 인코딩된다. 인코딩 프로세스는 비디오 파일 크기를 줄이기 위해 다양한 메커니즘을 채용하여 비디오 신호를 압축한다. 파일 크기가 작을수록 연관된 대역폭 오버헤드를 줄이면서 압축된 비디오 파일이 사용자에게 송신될 수 있도록 해준다. 그러면 디코더는 압축된 비디오 파일을 디코딩하여 최종 사용자에게 표시하기 위해 원본 비디오 신호를 재구축한다. 디코딩 프로세스는 일반적으로 디코더가 비디오 신호를 일관되게 재구축할 수 있도록 인코딩 프로세스를 미러링한다.
단계 101에서, 비디오 신호가 인코더에 입력된다. 예를 들어, 비디오 신호는 메모리에 저장된 압축되지 않은(비압축) 비디오 파일일 수 있다. 다른 예로서, 비디오 파일은 비디오 카메라와 같은, 비디오 캡처 기기에 의해 캡처되고, 비디오의 라이브 스트리밍(live streaming)을 지원하도록 인코딩될 수 있다. 비디오 파일은 오디오 성분과 비디오 성분을 모두 포함할 수 있다. 비디오 성분은 시퀀스로 볼 때 움직임에 대한 시각적 인상을 주는 일련의 이미지 프레임을 포함한다.
프레임은, 여기에서 루마(luma) 성분(또는 루마 샘플)이라고 하는 빛과, 크로마(croma) 성분(또는 색상 샘플)이라고 하는 색상으로 표현되는 화소를 포함한다. 일부 예에서, 프레임은 또한 3차원 보기를 지원하는 깊이 값(depth value)을 포함할 수 있다.
단계 103에서, 비디오는 블록으로 분할된다. 분할(partitioning)은 압축을 위해 각각의 프레임의 화소를 정사각형 및/또는 직사각형 블록으로 세분화(subdividing)하는 것을 포함한다. 예를들어, 고효율 비디오 코딩(HEVC)(H.265 및 MPEG-H Part 2로도 알려짐)에서 프레임은 먼저 미리 정의된 크기(예: 64개 화소×64개 화소)의 블록인 코딩 트리 유닛(CTU)으로 나뉠 수 있다. CTU는 루마 및 크로마 샘플을 모두 포함한다. CTU를 블록으로 분할한 다음 추가 인코딩을 지원하는 구성이 달성될 때까지 블록을 재귀적으로 세분화하기 위해 코딩 트리가 채용될 수 있다. 예를 들어, 프레임의 루마 성분은 개별 블록이 비교적 균일한 명암 값(lighting value)을 포함할 때까지 세분화될 수 있다. 또한, 프레임의 크로마 성분은 개별 블록이 비교적 균일한 색상 값을 포함할 때까지 세분화될 수 있다. 따라서 분할 메커니즘은 비디오 프레임의 내용에 따라 달라진다.
단계 105에서, 단계 103에서 분할된 이미지 블록을 압축하기 위해 다양한 압축 메커니즘이 채용된다. 예를 들어, 인터 예측(inter-prediction) 및/또는 인트라 예측(intra-prediction)이 사용될 수 있다. 인터 예측은 공통 장면의 객체가 연속 프레임에 나타나는 경향이 있다는 사실을 이용하도록 설계되어 있다. 따라서, 참조 프레임에서 객체를 나타내는 블록은 인접 프레임에서 반복적으로 기술될 필요가 없다. 구체적으로, 테이블과 같은 객체는 여러 프레임에 걸쳐 일정한 위치에 남아 있을 수 있다. 따라서 테이블은 한 번 기술되고 인접 프레임은 참조 프레임을 다시 참조할 수 있다. 여러 프레임에 걸쳐 객체들을 매칭시키기 위해 패턴 매칭 메커니즘이 채용될 수 있다. 또한, 움직이는 객체는, 예를 들어 객체의 움직임이나 카메라의 움직임으로 인해 여러 프레임에 걸쳐 표현될 수 있다. 특정 예로서, 비디오는 여러 프레임에 걸쳐 화면을 가로질러 움직이는 자동차를 보여줄 수 있다. 움직임 벡터가 이러한 움직임을 설명하는 데 채용할 수 있다. 움직임 벡터는 프레임의 객체 좌표에서 참조 프레임의 객체 좌표까지 오프셋을 제공하는 2차원 벡터이다. 이와 같이, 인터 예측은 현재 프레임의 픽처 블록을 참조 프레임의 대응하는 블록으로부터의 오프셋을 지시하는 움직임 벡터의 세트로서 인코딩할 수 있다.
인트라 예측은 공통 프레임 내의 블록을 인코딩한다. 인트라 예측은 루마 성분과 크로마 성분이 한 프레임에 모여 있는(cluster) 경향이 있다는 사실을 이용한다. 예를 들어, 나무의 일부에 있는 녹색의 패치는 유사한 녹색의 패치에 인접하게 배치되는 경향이 있다. 인트라 예측은 다중 방향 예측 모드(multiple directional prediction mode)(예: HEVC에서 33개), 평면 모드 및 직류(direct current, DC) 모드를 사용한다. 방향 모드(directional mode)는 현재 블록이 대응하는 방향에서 이웃 블록의 샘플과 유사/동일함을 지시한다. 평면 모드는 행/열(예: 평면)을 따라 일련의 블록이 행 가장자리에 있는 이웃 블록에 기초하여 보간될 수 있음을 지시한다. 실제로 평면 모드는 값을 변경할 때 비교적으로 일정한 기울기를 사용하여 행/열에 걸쳐 빛/색상의 매끄러운 이행(smooth transition)을 지시한다. DC 모드는 경계 평활화를 위해 채용되며 방향 예측 모드의 각도 방향과 연관된 모든 이웃 블록의 샘플과 연관된 평균값과 유사/동일한 블록을 지시한다. 따라서 인트라 예측 블록은 실제 값 대신 다양한 관계형(relational) 예측 모드 값으로 픽처 블록을 표현할 수 있다. 또한, 인터 예측 블록은 이미지 블록을 실제 값 대신 움직임 벡터 값으로 나타낼 수 있다. 어느 경우든. 예측 블록은 경우에 따라서는 이미지 블록을 정확하게 나타내지 못할 수 있다. 모든 차이는 잔차 블록에 저장된다. 파일을 추가로 압축하기 위해 잔차 블록에 변환이 적용될 수 있다.
단계 107에서, 다양한 필터링 기술이 적용될 수 있다. HEVC에서, 필터는 인루프(in-loop) 필터링 방식에 따라 적용된다. 위에서 논의된 블록 기반 예측은 디코더에서 블록 이미지를 생성하는 결과를 낳을 수 있다. 또한, 블록 기반 예측 방식은 블록을 인코딩한 다음 나중에 참조 블록으로 사용하기 위해 인코딩된 블록을 재구축할 수 있다. 인루프 필터링 방식은 잡음 억제(noise suppression) 필터, 디블로킹(de-blocking) 필터, 적응형 루프(adaptive loo) 필터, 샘플 적응형 오프셋(sample adaptive offset, SAO) 필터를 블록/프레임에 반복적으로 적용한다. 이러한 필터는 인코딩된 파일이 정확하게 재구축될 수 있도록 이러한 블로킹 아티팩트(blocking artifact)를 완화한다. 또한, 이러한 필터는 재구축된 참조 블록에서의 아티팩트를 완화하여, 재구축된 참조 블록에 기초하여 인코딩되는 후속 블록에서 아티팩트가 추가 아티팩트를 생성할 가능성이 작도록 한다.
비디오 신호가 분할되고, 압축되고, 필터링되면, 그 결과 데이터는 단계 109에서 비트스트림으로 인코딩된다. 비트스트림은 위에서 논의된 데이터뿐 아니라 디코더에서의 적절한 비디오 신호의 재구축을 지원하기 위해 원하는 시그널링 데이터도 포함한다. 예를 들어, 그러한 데이터로는 파티션(partition) 데이터, 예측 데이터, 잔차 블록, 및 디코더에 코딩 명령을 제공하는 다양한 플래그를 포함할 수 있다. 비트스트림은 요청 시에 디코더를 향한 송신을 위해 메모리에 저장될 수 있다. 비트스트림은 또한 복수의 디코더를 향해 브로드캐스팅 및/또는 멀티캐스팅될 수 있다. 비트스트림의 생성은 반복적인 프로세스이다. 따라서, 단계 101, 103, 105, 107, 및 109는 많은 프레임 및 블록에 걸쳐 연속적으로 및/또는 동시에 발생할 수 있다. 도 1에 도시된 순서는 논의의 명확성 및 편의를 위해 제시되며, 비디오 코딩 프로세스를 특정 순서로 한정하기 위한 것이 아니다.
디코더는 비트스트림을 수신하고 단계 111에서 디코딩 프로세스를 시작한다. 구체적으로, 디코더는 엔트로피 디코딩 방식을 채용하여 비트스트림을 대응하는 신택스 및 비디오 데이터로 변환한다. 디코더는 비트스트림으로부터의 신택스 데이터를 채용하여 단계 111에서 프레임에 대한 파티션을 결정한다. 분할(파티셔닝)은 단계 103에서 블록 분할의 결과와 매칭되어야 한다. 이제 단계 111에서 채용된 엔트로피 인코딩/디코딩을 설명한다. 인코더는 입력 이미지(들)에서의 값의 공간적 위치에 기초한 여러 가능한 선택 중에서 블록 분할 방식을 선택하는 것과 같은, 압축 프로세스 동안 많은 선택을 한다. 정확한 선택을 시그널링하는 것은 많은 수의 빈(bin)을 채용할 수 있다. 여기에서 사용되는 바와 같이, 빈은 변수로 취급되는 이진 값(예: 컨텍스트에 따라 변할 수 있는 비트 값)이다. 엔트로피 코딩은 인코더가 특정 경우에 명확히 실행 가능하지 않은 옵션을 버리고, 허용 가능한 옵션의 세트를 남길 수 있도록 해준다. 그런 다음 각각의 허용 가능한 옵션에 코드워드가 할당된다. 코드 워드의 길이는 허용 가능한 옵션의 수에 기초한다(예: 두 개의 옵션에 대해 하나의 빈, 3∼4개의 옵션에 대해 두 개의 빈 등). 그러면 인코더는 선택한 옵션에 대한 코드 워드를 인코딩한다. 이 방식은, 코드 워드가 가능한 모든 옵션의 잠재적으로 큰 세트에서의 선택을 유일하게 지시하는 것과는 대조적으로 허용 가능한 옵션의 작은 서브 세트에서의 선택을 유일하게 지시하기 위해 원하는 만큼 크므로, 코드 워드의 크기를 줄이다. 그러면 디코더는 인코더와 유사한 방식으로 허용 가능한 옵션의 세트를 결정함으로써 선택을 디코딩한다. 허용 가능한 옵션 세트를 결정함으로써, 디코더는 코드 워드를 읽고 인코더에 의해 이루어진 선택을 결정할 수 있다.
단계 113에서, 디코더는 블록 디코딩을 수행한다. 구체적으로, 디코더는 역변환을 채용하여 잔차 블록을 생성한다. 그런 다음 디코더는 잔차 블록 및 대응하는 예측 블록을 채용하여 분할에 따른 이미지 블록을 재구축한다. 예측 블록은 단계 105에서 인코더에서 생성된 바와 같이 인트라 예측 블록 및 인터 예측 블록 모두를 포함할 수 있다. 그런 다음 재구축된 이미지 블록은 단계 111에서 결정된 분할 데이터에 따라 재구축된 비디오 신호의 프레임에 위치된다. 단계 113의 신택스는 또한 위에서 논의된 바와 같이 엔트로피 코딩을 통해 비트스트림으로 시그널링될 수 있다.
단계 115에서, 인코더에서 단계 107과 유사한 방식으로 재구축된 비디오 신호의 프레임에 대해 필터링이 수행된다. 예를 들어, 노이즈 억제 필터, 디블로킹 필터, 적응형 루프 필터 및 SAO 필터를 프레임에 적용하여, 블로킹 아티팩트를 제거할 수 있다. 프레임이 필터링되면, 비디오 신호는 최종 사용자에 의한 보기를 위해 단계 117에서 디스플레이 출력될 수 있다.
도 2는 비디오 코딩을 위한 예시적인 코딩 및 디코딩(코덱) 시스템(200)의 개략도이다. 구체적으로, 코덱 시스템(200)은 작업 방법(100)의 구현을 지원하기 위한 기능을 제공한다. 코덱 시스템(200)은 인코더와 디코더 모두에 채용되는 구성요소를 나타내도록 일반화된다. 코덱 시스템(200)은 작업 방법(100)의 단계 101 및 103과 관련하여 논의된 바와 같이 비디오 신호를 수신하고 분할하며, 그 결과 분할된 비디오 신호(201)를 생성한다. 코덱 시스템(200)은 그런 다음 작업 방법(100)의 단계 105, 107 및 109와 관련하여 논의된 인코더의 역할을 할 때, 분할된 비디오 신호(201)를 코딩된 비트스트림으로 압축한다. 디코더의 역할을 할 때 코덱 시스템(200)은 작업 방법(100)의 단계 111, 113, 115, 및 117과 관련하여 논의된 바와 같이비트스트림으로부터 출력 비디오 신호를 생성한다. 코덱 시스템(200)은 일반 코더 제어 구성요소(211), 변환 스케일링 및 양자화 구성요소(213), 인터 픽처 추정 구성요소(215), 인터 픽처 예측 구성요소(217), 움직임 보상 구성요소(219), 움직임 추정 구성요소(221), 스케일링 및 역변환 구성요소(229), 필터 제어 분석 구성요소(227), 인루프 필터 구성요소(225), 디코딩된 픽처 버퍼 구성요소(223), 및 헤더 포맷팅 및 컨텍스트 적응형 이진 산술 코딩(context adaptive binary arithmetic coding, CABAC) 구성요소(231)을 포함한다. 이러한 구성요소는 도시된 바와 같이 결합된다. 도에서. 도 2에서 검은색 선은 인코딩/디코딩될 데이터의 이동을 지시하는 한편 파선은 다른 구성요소의 작동을 제어하는 제어 데이터의 이동을 지시한다. 코덱 시스템(200)의 구성요소는 모두 인코더에 존재할 수 있다. 디코더는 코덱 시스템(200)의 구성요소의 서브세트를 포함할 수 있다. 예를 들어, 디코더는 인트라 픽처 예측 구성요소(217), 움직임 보상 구성요소(219), 스케일링 및 역변환 구성요소(229), 인루프 필터 구성요소(225) 및 디코딩된 픽처 버퍼 구성요소(223)를 포함할 수 있다. 이제 이들 구성요소를 설명한다.
분할된 비디오 신호(201)는 코딩 트리에 의해 화소 블록으로 이미 분할된, 캡처된 비디오 시퀀스이다. 코딩 트리는 화소 블록을 더 작은 화소 블록으로 세분화하기 위해 다양한 스플릿 모드(split mode)를 사용한다. 그러면 이러한 블록을 더 작은 블록으로 세분화할 수 있다. 블록은 코딩 트리 상의 노드로 지칭될 수 있다. 더 큰 부모 노드는 더 작은 자식 노드로 나뉜다. 노드가 세분화되는 횟수를 노드/코딩 트리의 깊이라고 한다. 나뉜 블록은 경우에 따라서는 CU(Coding Unit)에 포함될 수 있다. 예를 들어, CU는 CU에 대한 대응하는 신택스 명령과 함께 루마 블록, 적색 차이(red difference) 크로마(Cr) 블록(들) 및 청색 차이(blue difference) 크로마(Cb) 블록(들)을 포함하는 CTU의 서브 부분(sub-portion)일 수 있다. 스플릿 모드는 채용된 스플릿 모드에 따라 다양한 모양의 노드를 각각 2, 3 또는 4개의 자식 노드로 분할하는 데 채용되는 이진 트리(binary tree, BT), 트리플 트리(triple tree, TT) 및 쿼드 트리(quad tree, QT)를 포함할 수 있다. 분할된 비디오 신호(201)는 압축을 위해 일반 코더 제어 구성요소(211), 변환 스케일링 및 양자화 구성요소(213), 인트라 픽처 추정 구성요소(215), 필터 제어 분석 구성요소(227) 및 움직임 추정 구성요소(221)에 포워딩된다.
일반 코더 제어 구성요소(211)는 애플리케이션 제약에 따라 비디오 시퀀스의 이미지를 비트스트림으로 코딩하는 것과 관련된 결정을 내리도록 구성된다. 예를 들어, 일반 코더 제어 구성요소(211)는 비트레이트/비트스트림 크기 대(vs) 재구축 품질의 최적화를 관리한다. 이러한 결정은 저장 공간/대역폭 가용성 및 이미지 해상도 요청에 기초하여 내릴 수 있다. 일반 코더 제어 구성요소(211)는 또한 버퍼 언더런(underrun) 및 오버런(overrun) 문제를 완화하기 위해 전송 레이트에 비추어 버퍼 활용을 관리한다. 이러한 문제를 관리하기 위해, 일반 코더 제어 구성요소(211)는 다른 구성요소에 의한 분할, 예측 및 필터링을 관리한다. 예를 들어, 일반 코더 제어 구성요소(211)는 동적으로 해상도를 증가시키고 대역폭 사용을 증가시키기 위해 압축 복잡도를 증가시키거나 해상도 및 대역폭 사용을 감소시키기 위해 압축 복잡도를 감소시킬 수 있다. 따라서, 일반 코더 제어 구성요소(211)는 코덱 시스템(200)의 다른 구성요소를 제어하여 비디오 신호 재구축 품질과 비트 레이트 문제의 균형을 맞춘다. 일반 코더 제어 구성요소(211)는 다른 구성요소의 작동을 제어하는 제어 데이터를 생성한다. 제어 데이터는 또한 디코더에서의 디코딩을 위해 비트스트림에서 신호 파라미터로 인코딩되도록 헤더 포맷팅 및 CABAC 구성요소(231)에 포워딩된다.
분할된 비디오 신호(201)는 또한 인터 예측을 위해 움직임 추정 구성요소(221) 및 움직임 보상 구성요소(219)로 전송된다. 분할된 비디오 신호(201)의 프레임 또는 슬라이스는 다수의 비디오 블록으로 나뉠 수 있다. 움직임 추정 구성요소(221) 및 움직임 보상 구성요소(219)는 시간 예측을 제공하기 위해 하나 이상의 참조 프레임에서 하나 이상의 블록에 대해 수신된 비디오 블록의 인터 예측 코딩(inter-predictive coding)을 수행한다. 코덱 시스템(200)은, 예컨대, 비디오 데이터의 각각의 블록에 대한 적절한 코딩 모드를 선택하기 위해, 다수의 코딩 패스(coding pass)를 수행할 수 있다.
움직임 추정 구성요소(221) 및 움직임 보상 구성요소(219)는 고도로 통합될 수 있지만, 개념적 목적을 위해 개별적으로 나타낸다. 움직임 추정 구성요소(221)에 의해 수행되는 움직임 추정은 비디오 블록에 대한 움직임을 추정하는 움직임 벡터를 생성하는 프로세스이다. 예를 들어, 움직임 벡터는 예측 블록에 대한 코딩된 객체의 변위를 지시할 수 있다. 예측 블록은 화소 차이 측면에서, 코딩될 블록과 밀접하게 매칭되는 것으로 발견된 블록이다. 예측 블록은 참조 블록이라고도 할 수 있다. 그러한 화소 차이는 절대 차 합(sum of absolute difference, SAD), 제곱 차의 합(sum of square difference, SSD), 또는 기타 차의 메트릭에 의해 결정될 수 있다. HEVC는 CTU, 코딩 트리 블록(CTB) 및 CU를 포함한 여러 코딩된 객체를 채용한다. 예를 들어, CTU는 CTB로 나뉠 수 있으며, 이는 그 후 CU에 포함하기 위해 CB로 나뉠 수 있다. CU는 예측 데이터를 포함하는 예측 유닛(PU) 및/또는 CU에 대한 변환된 잔차 데이터를 포함하는 변환 유닛(TU)으로서 인코딩될 수 있다. 움직임 추정 구성요소(221)는 레이트 왜곡 최적화 프로세스(rate distortion optimization process)의 일부로서 레이트 왜곡 분석을 사용함으로써 움직임 벡터, PU, 및 TU를 생성한다. 예를 들어, 움직임 추정 구성요소(221)는 현재 블록/프레임에 대한 다수의 참조 블록, 다수의 움직임 벡터 등을 결정할 수 있고, 최상의 레이트 왜곡 특성을 갖는 참조 블록, 움직임 벡터 등을 선택할 수 있다. 최상의 레이트 왜곡 특성은 비디오 재구축의 품질(예: 압축에 의한 데이터 손실의 양)과 코딩 효율(예: 최종 인코딩의 크기)의 균형을 유지한다.
일부 예에서, 코덱 시스템(200)은 디코딩된 픽처 버퍼 구성요소(223)에 저장된 참조 픽처의 정수 이하 화소 위치(sub-integer pixel position)에 대한 값을 계산할 수 있다. 예를 들어, 비디오 코덱 시스템(200)은 참조 픽처의 1/4 화소 위치, 1/8 화소 위치, 또는 기타 분수 화소 위치의 값을 보간할 수 있다. 따라서, 움직임 추정 구성요소(221)는 전체 화소 위치 및 분수 화소 위치에 대한 움직임 검색을 수행하고 분수 화소 정밀도를 갖는 움직임 벡터를 출력할 수 있다. 움직임 추정 구성요소(221)는 PU의 위치를 참조 픽처의 예측 블록의 위치와 비교함으로써 인터 코딩된 슬라이스에서 비디오 블록의 PU에 대한 움직임 벡터를 계산한다. 움직임 추정 구성요소(221)는 계산된 움직임 벡터를 움직임 데이터로서 인코딩을 위해 헤더 포맷팅 및 CABAC 구성요소(231)에, 그리고 움직임 보상을 위해 움직임 보상 구성요소(219)에 출력한다.
움직임 보상 구성요소(219)에 의해 수행되는 움직임 보상은 움직임 추정 구성요소(221)에 의해 결정된 움직임 벡터에 기초하여 예측 블록을 가져오거나(fetch) 또는 생성하는 것을 수반할 수 있다. 다시, 움직임 추정 구성요소(221) 및 움직임 보상 구성요소(219)는 일부 예에서, 기능적으로 통합될 수 있다. 현재 비디오 블록의 PU에 대한 움직임 벡터를 수신하면, 움직임 보상 구성요소(219)는 움직임 벡터가 가리키는 예측 블록을 찾을 수 있다. 그런 다음, 코딩되는 현재 비디오 블록의 화소 값에서 예측 블록의 화소 값을 빼서 화소 차이 값을 형성함으로써 잔차 비디오 블록이 형성된다. 일반적으로, 움직임 추정 구성요소(221)는 루마 성분에 대한 움직임 추정을 수행하고, 움직임 보상 구성요소(219)는 루마 성분에 기초하여 크로마 성분과 루마 성분 모두에 대해 계산된 움직임 벡터를 사용한다. 예측 블록 및 잔차 블록은 변환 스케일링 및 양자화 구성요소(213)에 포워딩된다.
분할된 비디오 신호(201)는 또한 인트라 픽처 추정 구성요소(215) 및 인트라 픽처 예측 구성요소(217)로 전송된다. 움직임 추정 구성요소(221) 및 움직임 보상 구성요소(219)와 마찬가지로, 인트라 픽처 추정 구성요소(215) 및 인트라 픽처 예측 구성요소(217)는 고도로 통합될 수 있지만, 개념적 목적을 위해 개별적으로 나타낸다.
인트라 픽처 추정 구성요소(215)와 인트라 픽처 예측 구성요소(217)는 위에서 설명한 바와 같이, 움직임 추정 구성요소(221)와 움직임 보상 구성요소(219)에 의해 프레임 간에 수행되는 인터 예측에 대한 대안으로서 현재 프레임 내의 블록들에 대해 현재 블록을 인트라 예측한다. 특히, 인트라 픽처 추정 구성요소(215)는 현재 블록을 인코딩하는 데 사용할 인트라 예측 모드를 결정한다. 일부 예에서, 인트라 픽처 추정 구성요소(215)는 다수의 테스트된 인트라 예측 모드 중에서 현재 블록을 인코딩하기 위해 적절한 인트라 예측 모드를 선택한다. 선택된 인트라 예측 모드는 인코딩을 위해 헤더 포맷팅 및 CABAC 구성요소(231)에 포워딩된다.
예를 들어, 인트라 픽처 추정 구성요소(215)는 다양한 테스트된 인트라 예측 모드에 대한 레이트 왜곡 분석을 사용하여 레이트 왜곡 값을 계산하고, 테스트된 모드 중에서 최상의 레이트 왜곡 특성을 갖는 인트라 예측 모드를 선택한다. 레이트 왜곡 분석은 일반적으로 인코딩된 블록과 인코딩된 블록을 생성하기 위해 인코딩되었던 인코딩되지 않은 원본 블록 사이의 왜곡(또는 오차)의 양뿐 아니라 인코딩된 블록을 생성하는 데 사용된 비트 레이트(예: 비트 수)도 결정한다. 인트라 픽처 추정 구성요소(215)는 블록에 대한 최상의 레이트 왜곡 값을 보이는 인트라 예측 모드를 결정하기 위해 다양한 인코딩된 블록에 대한 왜곡 및 레이트로부터 비율을 계산한다. 또한, 인트라 픽처 추정 구성요소(215)는 레이트 왜곡 최적화(rate-distortion optimization, RDO)에 기초한 깊이 모델링 모드(depth modeling mode, DMM)를 사용하여 깊이 맵의 깊이 블록을 코딩하도록 구성될 수 있다.
인트라 픽처 예측 구성요소(217)는 인코더에서 구현될 때 인트라 픽처 추정 구성요소(215)에 의해 결정되는 선택된 인트라 예측 모드에 기초하여 예측 블록으로부터 잔차 블록을 생성하거나, 디코더에서 구현될 때 비트스트림으로부터 잔차 블록을 읽을 수 있다. 잔차 블록은 행렬로 표현된, 예측 블록과 원본 블록 간의 값의 차이를 포함한다. 그 후, 잔차 블록은 변환 스케일링 및 양자화 구성요소(213)에 포워딩된다. 인트라 픽처 추정 구성요소(215) 및 인트라 픽처 예측 구성요소(217)는 루마 및 크로마 성분 모두에 대해 작동할 수 있다.
변환 스케일링 및 양자화 구성요소(213)는 잔차 블록을 추가로 압축하도록 구성된다. 변환 스케일링 및 양자화 구성요소(213)는 이산 코사인 변환(discrete cosine transform, DCT), 이산 사인 변환(discrete sine transform, DST) 또는 개념적으로 유사한 변환과 같은, 변환을 잔차 블록에 적용하여 잔차 변환 계수 값을 포함하는 비디오 블록을 생성한다. 웨이블릿 변환, 정수 변환, 서브 대역 변환 또는 기타 유형의 변환도 사용될 수 있다. 변환은 잔차 정보를 화소 값 영역에서 주파수 영역과 같은, 변환 영역으로 변환할 수 있다. 변환 스케일링 및 양자화 구성요소(213)는 또한, 예를 들어 주파수에 기초하여, 변환된 잔차 정보를 스케일링하도록 구성된다. 그러한 스케일링은 스케일 인자를 잔차 정보에 적용하여 상이한 주파수 정보가 상이한 그래뉼래러티(granularity)로 양자화되도록 하는 것을 포함하며, 이는 재구축된 비디오의 최종 시각적 품질에 영향을 미칠 수 있다. 변환 스케일링 및 양자화 구성요소(213)는 또한 비트 레이트를 추가로 감소시키기 위해 변환 계수를 양자화하도록 구성된다. 양자화 프로세스는 계수의 일부 또는 전부와 연관된 비트 깊이를 감소시킬 수 있다. 양자화의 정도는 양자화 파라미터를 조정함으로써 수정될 수 있다. 일부 예에서, 변환 스케일링 및 양자화 구성요소(213)는 그 후 양자화된 변환 계수들을 포함하는 행렬의 스캔을 수행할 수 있다. 양자화된 변환 계수는 헤더 포맷팅 및 CABAC 구성요소(231)에 포워딩되어 비트스트림에 인코딩된다.
스케일링 및 역변환 구성요소(229)는 움직임 추정을 지원하기 위해 변환 스케일링 및 양자화 구성요소(213)의 역작업(reverse operation)을 적용한다. 스케일링 및 역변환 구성요소(229)는 예컨데, 다른 현재 블록에 대한 예측 블록이 될 수 있는 참조 블록으로서 나중에 사용하기 위해, 화소 영역에서 잔차 블록을 재구축하기 위해 역 스케일링, 변환, 및/또는 양자화를 적용한다. 움직임 추정 구성요소(221) 및/또는 움직임 보상 구성요소(219)는 나중 블록/프레임의 움직임 추정에 사용하기 위해 대응하는 예측 블록에 잔차 블록을 다시 추가함으로써 참조 블록을 계산할 수도 있다. 스케일링, 양자화 및 변환 중에 생성된 아티팩트를 완화하기 위해 재구축된 참조 블록에 필터가 적용된다. 그렇지 않으면 그러한 아티팩트는 후속 블록이 예측될 때 부정확한 예측을 야기(하고 추가 아티팩트를 생성)할 수 있다.
필터 제어 분석 구성요소(227) 및 인루프 필터 구성요소(225)는 필터를 잔차 블록 및/또는 재구축된 이미지 블록에 적용한다. 예를 들어, 스케일링 및 역변환 구성요소(229)로부터의 변환된 잔차 블록은 인트라 픽처 예측 구성요소(217) 및/또는 움직임 보상 구성요소(219)로부터의 대응하는 예측 블록과 결합되어 원래의 이미지 블록을 재구축할 수 있다. 그런 다음 필터가 재구축된 이미지 블록에 적용될 수 있다. 일부 예에서, 필터는 대신에 잔차 블록에 적용될 수 있다. 도 2의 다른 구성요소와 마찬가지로, 필터 제어 분석 구성요소(227) 및 인루프 필터 구성요소(225)는 고도로 통합되어 함께 구현될 수 있지만, 개념적 목적을 위해 개별적으로 나타낸다. 재구축된 참조 블록에 적용된 필터는 특정 공간 영역에 적용되며 이러한 필터가 적용되는 방식을 조정하기 위해 다수의 파라미터를 포함한다. 필터 제어 분석 구성요소(227)는 재구축된 참조 블록을 분석하여 그러한 필터가 적용되어야 하는 곳을 결정하고 대응하는 파라미터를 설정한다. 이러한 데이터는 인코딩을 위한 필터 제어 데이터로서 헤더 포맷팅 및 CABAC 구성요소(231)에 포워딩된다. 인루프 필터 구성요소(225)는 필터 제어 데이터에 기초하여 이러한 필터를 적용한다. 필터로는 디블로킹 필터, 잡음 억제 필터, SAO 필터 및 적응형 루프 필터를 포함할 수 있다. 그러한 필터는 예에 따라, 공간/화소 영역(예: 재구축된 화소 블록) 또는 주파수 영역에 적용될 수 있다.
인코더로서 작동할 때, 필터링된 재구축된 이미지 블록, 잔차 블록, 및/또는 예측 블록은 위에서 논의된 바와 같이 움직임 추정에서 나중에 사용하기 위해 디코딩된 픽처 버퍼 구성요소(223)에 저장된다. 디코더로서 작동할 때, 디코딩된 픽처 버퍼 구성요소(223)는 재구축되고 필터링된 블록을 저장하고 출력 비디오 신호의 일부로서 디스플레이를 향해 포워딩한다. 디코딩된 픽처 버퍼 구성요소(223)는 예측 블록, 잔차 블록, 및/또는 재구축된 이미지 블록을 저장할 수 있는 임의의 메모리 기기일 수 있다.
헤더 포맷팅 및 CABAC 구성요소(231)는 코덱 시스템(200)의 다양한 구성요소로부터 데이터를 수신하고 이러한 데이터를 디코더로의 전송을 위해 코딩된 비트스트림으로 인코딩한다. 구체적으로, 헤더 포맷팅 및 CABAC 구성요소(231)는 일반 제어 데이터 및 필터 제어 데이터와 같은 제어 데이터를 인코딩하기 위한 다양한 헤더를 생성한다. 또한, 인트라 예측 및 움직임 데이터를 포함한, 예측 데이터뿐 아니라 양자화된 변환 계수 데이터 형태의 잔차 데이터도 모두 비트스트림에 인코딩된다. 최종 비트스트림은 원래의 분할된 비디오 신호(201)를 재구축하기 위해 디코더가 원하는 모든 정보를 포함한다. 이러한 정보는 또한 인트라 예측 모드 색인표(코드워드 매핑표라고도 함), 다양한 블록에 대한 인코딩 컨텍스트의 정의, 가장 가능성 있는 인트라 예측 모드, 파티션 정보의 지시 등을 포함할 수 있다. 이러한 데이터는 엔트로피 코딩을 채용하여 인코딩될 수 있다. 예를 들어, 정보는 컨텍스트 적응형 가변 길이 코딩(context adaptive variable length coding, CAVLC), CABAC, 신택스 기반 컨텍스트 적응형 이진 산술 코딩(syntax-based context-adaptive binary arithmetic coding, SBAC), 확률 구간 분할 엔트로피(probability interval partitioning entropy, PIPE) 코딩 또는 기타 엔트로피 코딩 기술을 적용하여 인코딩될 수 있다. 엔트로피 코딩에 이어, 코딩된 비트스트림은 다른 기기(예: 비디오 디코더)로 송신되거나 나중의 송신 또는 검색을 위해 보관될 수 있다.
도 3은 예시적인 비디오 인루프를 나타낸 블록도이다. 비디오 인루프는 코덱 시스템(200)의 인코딩 기능을 구현하고/하거나 작업 방법(100)의 단계 101, 103, 105, 107, 및/또는 109를 구현하기 위해 채용될 수 있다. 인코더(300)는 입력 비디오 신호를 분할하여, 결과로서 분할된 비디오 신호(301)를 생성하며, 이는 분할된 비디오 신호(201)와 실질적으로 유사하다. 분할된 비디오 신호(301)는 그 후 인코더(300)의 구성요소에 의해 압축되고 비트스트림으로 인코딩된다.
구체적으로, 분할된 비디오 신호(301)는 인트라 예측을 위해 인트라 픽처 예측 구성요소(317)로 포워딩된다. 인트라 픽처 예측 구성요소(317)는 인트라 픽처 추정 구성요소(215) 및 인트라 픽처 예측 구성요소(217)와 실질적으로 유사할 수 있다. 분할된 비디오 신호(301)는 또한 디코딩된 픽처 버퍼 구성요소(323) 내의 참조 블록에 기초한 인터 예측을 위해 움직임 보상 구성요소(321)에도 포워딩된다. 움직임 보상 구성요소(321)는 움직임 추정 구성요소(221) 및 움직임 보상 구성요소(219)와 실질적으로 유사할 수 있다. 인터 픽처 에측 구성요소(317) 및 움직임 보상 구성요소(321)로부터의 예측 블록 및 잔차 블록은 잔차 블록의 변환 및 양자화를 위해 변환 및 양자화 구성요소(313)에 포워딩된다. 변환 및 양자화 구성요소(313)는 변환 스케일링 및 양자화 구성요소(213)와 실질적으로 유사할 수 있다. 변환 및 양자화된 잔차 블록 및 대응하는 예측 블록(연관된 제어 데이터와 함께)은 비트스트림으로 코딩하기 위해 엔트로피 코딩 구성요소(331)에 포워딩된다. 엔트로피 코딩 구성요소(331)는 헤더 포맷팅 및 CABAC 구성요소(231)와 실질적으로 유사할 수 있다.
변환 및 양자화된 잔차 블록 및/또는 대응하는 예측 블록은 또한 움직임 보상 구성요소(321)에 의해 사용하기 위한 참조 블록으로의 재구축을 위해 변환 및 양자화 구성요소(313)로부터 역변환 및 양자화 구성요소(329)로 포워딩된다. 역변환 및 양자화 구성요소(329)는 스케일링 및 역변환 구성요소(229)와 실질적으로 유사할 수 있다. 인루프 필터 구성요소(325) 내의 인루프 필터는 또한 예에 따라 잔차 블록 및/또는 재구축된 참조 블록에도 적용된다. 인루프 필터 구성요소(325)는 필터 제어 분석 구성요소(227) 및 인루프 필터 구성요소(225)와 실질적으로 유사할 수 있다. 인루프 필터 구성요소(325)는 인루프 필터 구성요소(225)와 관련하여 논의된 바와 같이 다수의 필터를 포함할 수 있다. 필터링된 블록은 그 후 움직임 보상 구성요소(321)에 의해 참조 블록으로서 사용하기 위해 디코딩된 픽처 버퍼 구성요소(323)에 저장된다. 디코딩된 픽처 버퍼 구성요소(323)는 디코딩된 픽처 버퍼 구성요소(223)와 실질적으로 유사할 수 있다.
도 4는 예시적인 비디오 디코더(400)를 나타낸 블록도이다. 비디오 디코더(400)는 코덱 시스템(200)의 디코딩 기능을 구현하고 및/또는 작업 방법(100)의 단계 111, 113, 115, 및/또는 117을 구현하기 위해 채용될 수 있다. 디코더(400)는, 예를 들어 인코더(300)로부터 비트스트림을 수신하고, 최종 사용자에게 표시하기 위해 비트스트림에 기초하여 재구축된 출력 비디오 신호를 생성한다.
비트스트림은 엔트로피 디코딩 구성요소(433)에 의해 수신된다. 엔트로피 디코딩 구성요소(433)는 CAVLC, CABAC, SBAC, PIPE 코딩, 또는 기타 엔트로피 코딩 기술과 같은, 엔트로피 디코딩 방식을 구현하도록 구성된다. 예를 들어, 엔트로피 디코딩 구성요소(433)는 헤더 정보를 채용하여 비트스트림에서 코드워드로서 인코딩된 추가 데이터를 해석하기 위한 컨텍스트를 제공할 수 있다. 디코딩된 정보는 일반 제어 데이터, 필터 제어 데이터, 파티션 정보, 움직임 데이터, 예측 데이터 및 잔차 블록으로부터의 양자화된 변환 계수와 같은, 비디오 신호를 디코딩하기 위한 임의의 원하는 정보를 포함한다. 양자화된 변환 계수는 잔차 블록으로의 재구축을 위해 역변환 및 양자화 구성요소(429)에 포워딩된다. 역변환 및 양자화 구성요소(429)는 역변환 및 양자화 구성요소(329)와 유사할 수 있다.
재구축된 잔차 블록 및/또는 예측 블록은 인트라 예측 작업에 기초한 이미지 블록으로의 재구축을 위해 인트라 픽처 예측 구성요소(417)에 포워딩된다. 인트라 픽 예측 구성요소(417)는 인트라 픽처 추정 구성요소(215) 및 인트라 픽처 예측 구성요소(217)와 유사할 수 있다. 구체적으로, 인트라 픽처 예측 구성요소(417)는 예측 모드를 채용하여 프레임 내의 참조 블록의 위치를 찾아내고 그 결과에 잔차 블록을 적용하여 인트라 예측된 이미지 블록을 재구축한다.
재구축된 인트라 예측된 이미지 블록 및/또는 잔차 블록 및 대응하는 인터 예측 데이터는 인루프 필터 구성요소(425)를 통해, 디코딩된 픽처 버퍼 구성요소(223) 및 인루프 필터 구성요소(225)와 각각 실질적으로 유사할 수 있는 디코딩된 픽처 버퍼 구성요소(423)로 포워딩된다. 인루프 필터 구성요소(425)는 재구축된 이미지 블록, 잔차 블록 및/또는 예측 블록을 필터링하고, 그러한 정보는 디코딩된 픽처 버퍼 구성요소(423)에 저장된다. 디코딩된 픽처 버퍼 구성요소(423)로부터의 재구축된 이미지 블록은 인터 예측을 위해 움직임 보상 구성요소(421)에 포워딩된다. 움직임 보상 구성요소(421)는 움직임 추정 구성요소(221) 및/또는 움직임 보상 구성요소(219)와 실질적으로 유사할 수 있다. 구체적으로, 움직임 보상 구성요소(421)는 예측 블록을 생성하기 위해 참조 블록으로부터의 움직임 벡터를 채용하고 그 결과에 잔차 블록을 적용하여 이미지 블록을 재구축한다. 결과인 재구축된 블록은 또한 인루프 필터 구성요소(425)를 통해 디코딩된 픽처 버퍼 구성요소(423)에 포워딩될 수 있다. 디코딩된 픽처 버퍼 구성요소(423)는 파티션 정보를 통해 프레임으로 재구축될 수 있는 추가의 재구축된 이미지 블록을 계속해서 저장한다. 이러한 프레임은 시퀀스에도 배치될 수 있다. 이 시퀀스는 재구축된 출력 비디오 신호로서 디스플레이를 향해 출력된다.
도 5는 인코딩된 비디오 시퀀스를 포함하는 예시적인 비트스트림(500)을 나타낸 개략도이다. 예를 들어, 비트스트림(500)은 코덱 시스템(200) 및/또는 디코더(400)에 의한 디코딩을 위해 코덱 시스템(200) 및/또는 인코더(300)에 의해 생성될 수 있다. 다른 예로서, 비트스트림(500)은 단계 111에서의 디코더에 의한 사용을 위해 작업 방법(100)의 단계 109에서 인코더에 의해 생성될 수 있다.
비트스트림(500)은 시퀀스 파라미터 세트(SPS)(510), 복수의 픽처 파라미터 세트(PPS)(512), 타일 그룹 헤더(514), 및 이미지 데이터(520)를 포함한다. SPS(510)는 비트스트림(500)에 포함된 비디오 시퀀스 내의 모든 픽처에 공통인 시퀀스 데이터를 포함한다. 이러한 데이터는 픽처 사이징, 비트 깊이, 코딩 도구 파라미터, 비트 레이트 제한 등을 포함할 수 있다. PPS(512)는 하나 이상의 대응하는 픽처에 특정한 파라미터를 포함한다. 따라서, 비디오 시퀀스 내의 픽처 각각은 하나의 PPS(512)를 참조할 수 있다. PPS(512)는 대응하는 픽처, 양자화 파라미터, 오프셋, 픽처 특정 코딩 도구 파라미터(예: 필터 제어) 등에서, 타일에 이용 가능한 코딩 도구를 지시할 수 있다. 타일 그룹 헤더(514)는 픽처 내의 타일 그룹 각각에 특정한 파라미터를 포함한다. 따라서, 비디오 시퀀스의 타일 그룹당 하나의 타일 그룹 헤더(514)가 있을 수 있다. 타일 그룹 헤더(514)는 타일 그룹 정보, 픽처 순서 카운트(POC), 참조 픽처 목록, 예측 가중치, 타일 진입점, 디블로킹 파라미터 등을 포함할 수 있다. 일부 시스템은 타일 그룹 헤더(514)를 슬라이스 헤더라고 하며, 이러한 정보를 사용하여 타일 그룹 대신 슬라이스 지원한다
이미지 데이터(520)는 인터 예측 및/또는 인트라 예측에 따라 인코딩된 비디오 데이터뿐만 아니라 대응하는 변환 및 양자화된 잔차 데이터도 포함한다. 이러한 이미지 데이터(520)는 인코딩 이전에 이미지를 분할하는데 사용된 분할에 따라 정렬된다(sorted). 예를 들어, 이미지 데이터(520)의 이미지는 하나 이상의 타일 그룹(521)으로 나뉜다. 각각의 타일 그룹(521)은 하나 이상의 타일(523)을 포함한다. 타일(523)은 코딩 트리 유닛(CTU)으로 더 분할된다. CTU는 코딩 트리에 기초하여 코딩 블록으로 더 나뉜다. 그런 다음, 코딩 블록은 예측 메커니즘에 따라 인코딩/디코딩될 수 있다. 이미지/픽처는 하나 이상의 타일 그룹(521) 및 하나 이상의 타일(523)을 포함할 수 있다.
타일 그룹(521)은 예를 들어 관심 영역의 표시를 지원하고/하거나 병렬 처리를 지원하기 위해 개별적으로 추출 및 코딩될 수 있는 관련 타일(523)의 세트이다. 픽처는 하나 이상의 타일 그룹(521)을 포함할 수 있다. 각각의 타일 그룹(521)은 대응하는 타일 그룹 헤더(514)에서의 코딩 도구를 참조한다. 따라서, 현재 타일 그룹(521)은 대응하는 타일 그룹 헤더(514) 내의 데이터를 변경함으로써, 다른 타일 그룹(512)과는 상이한 코딩 도구를 사용하여 코딩될 수 있다. 타일(523)을 타일 그룹(521)에 할당하는 데 사용되는 메커니즘의 관점에서 타일 그룹(521)은 설명될 수 있다. 래스터 스캔 순서로 할당된 타일(523)을 포함하는 타일 그룹(521)은 래스터 스캔 타일 그룹으로 지칭될 수 있다. 직사각형(또는 정사각형)을 생성하도록 할당된 타일(523)을 포함하는 타일 그룹(521)은 직사각형 타일 그룹으로 지칭될 수 있다. 도 6∼도 7은 아래에서 더 자세히 논의되는 바와 같이, 각각 래스터 스캔 타일 그룹 및 직사각형 타일 그룹의 예를 포함한다.
타일(523)은 수평 및 수직 경계에 의해 생성된 픽처의 분할된 부분이다. 타일(523)은 직사각형 및/또는 정사각형일 수 있다. 픽처는 타일(523)의 행과 열로 분할될 수 있다. 타일(523)의 행은 픽처의 왼쪽 경계에서 오른쪽 경계까지(또는 그 반대로) 연속적인 선을 생성하도록 수평으로 인접한 방식으로 배치된 타일(523)의 세트이다. 타일(523)의 열은 픽처의 상단 경계에서 하단 경계까지(또는 그 반대로) 연속적인 선을 생성하도록 수직으로 인접한 방식으로 배치된 타일(523)의 세트이다. 타일(523)은 예에 따라 다른 타일(523)에 기초한 예측을 허용하거나 허용하지 않을 수 있다. 예를 들어, 타일 그룹(521)은 MCTS로 지정된 타일(523)의 세트를 포함할 수 있다. MCTS 내의 타일(523)은 MCTS 내의 다른 타일(523)로부터의 예측에 의해 코딩될 수 있지만, MCTS 외부의 타일(523)에 의해 코딩될 수는 없다. 타일(523)은 CTU로 더 분할될 수 있다. 코딩 트리는 CTU를 코딩 블록으로 분할하는 데 채용될 수 있으며, 코딩 블록은 인트라 예측 또는 인터 예측에 따라 코딩될 수 있다.
각각의 타일(523)은 픽처에서 유일한 타일 색인(524)을 가질 수 있다. 타일 색인(524)는 하나의 타일(523)을 다른 타일과 구별하는데 사용될 수 있는 절차적으로 선택된 수치 식별자이다. 예를 들어, 타일 색인(524)은 래스터 스캔 순서로 수치적으로 증가할 수 있다. 래스터 스캔 순서는 왼쪽에서 오른쪽으로, 위에서 아래로이다. 일부 예에서, 타일(523)에는 또한 타일 식별자(ID)가 할당될 수 있다는 점에 유의해야 한다. 타일 ID는 하나의 타일(523)을 다른 타일과 구별하기 위해 사용될 수 있는 할당된 식별자이다. 일부 예에서 계산은 타일 색인(524) 대신 타일 ID를 사용할 수 있다. 또한, 타일 ID는 일부 예에서 타일 색인(524)과 동일한 값을 갖도록 할당될 수 있다. 일부 예에서, 타일 색인(524) 및/또는 ID는 타일(523)을 포함하는 타일 그룹(521)의 경계를 지시하기 위해 시그널링될 수 있다. 또한, 타일 색인(524) 및/또는 ID는 타일(523)과 연관된 이미지 데이터(520)를 표시를 위해 적절한 위치에 매핑하도록 채용될 수 있다.
전술한 바와 같이, 타일 그룹(521)은 래스터 스캔 타일 그룹 또는 직사각형 타일 그룹일 수 있다. 본 개시는 코덱이 증진된 코딩 효율을 지원하고 복잡도를 감소시키는 방식으로 두 타일 그룹(521) 유형 모두를 지원할 수 있도록 하는 시그널링 메커니즘을 포함한다. 타일 그룹 플래그(531)는 대응하는 타일 그룹(521)이 래스터 스캔인지 직사각형인지를 시그널링하기 위해 사용될 수 있는 데이터 유닛이다. 타일 그룹 플래그(531)는 예에 따라서는, SPS(510) 또는 PPS(512)에서 시그널링될 수 있다. 타일 그룹(521)에 할당된 타일(523)은 비트스트림(500)에서 첫 번째 타일(532)과 마지막 타일(533)을 지시함으로써 시그널링될 수 있다. 예를 들어, 첫 번째 타일(532)은 타일 그룹(521)에서의 첫 번째 위치에 있는 타일(523)의 타일 색인(524) 또는 ID를 포함할 수 있다. 첫 번째 위치는 직사각형 타일 그룹 경우 좌측 상단 모서리이고, 래스터 스캔 타일 그룹에서 가장 작은 색인/ID이다. 또한, 마지막 타일(533)은 타일 그룹(521)의 마지막 위치에 있는 타일 색인(524) 또는 타일(523)의 ID를 포함할 수 있다. 마지막 위치는 직사각형 타일 그룹의 경우 우측 하단 모서리이고 래스터 스캔 타일 그룹에서 가장 큰 색인/ID이다.
타일 그룹 플래그(531), 첫 번째 타일(532) 및 마지막 타일(533)은 디코더가 타일 그룹(521)의 타일(523)을 결정할 수 있도록 하는 충분한 정보를 제공한다. 예를 들어, 래스터 스캔 메커니즘은 첫 번째 타일(532) 및 마지막 타일(533)에 기초하여 래스터 스캔 타일 그룹의 타일(523)을 결정할 수 있다. 또한, 직사각형 메커니즘은 첫 번째 타일(532) 및 마지막 타일(533)에 기초하여 직사각형 타일 그룹의 타일(523)을 결정할 수 있다. 이는 대응하는 타일 그룹(521) 내의 다른 타일(523)에 대한 타인 색인이 비트스트림(500)에서 생략될 수 있도록 하여, 비트스트림(500) 크기를 줄이고 따라서 코딩 효율을 증진시킨다. 이와 같이, 타일 그룹 플래그(531)는 디코더가 타일 그룹(521)에 할당되는 타일(523)을 결정하기 위해 어떤 메커니즘을 사용할지 결정할 수 있도록 하는 충분한 정보를 제공한다.
따라서, 인코더는 비트스트림(500) 또는 그 서브 부분에 대해 래스터 스캔 또는 직사각형 타일 그룹을 사용할지를 결정할 수 있다. 그런 다음 인코더는 타일 그룹 플래그(531)를 설정할 수 있다. 또한, 인코더는 타일(523)을 타일 그룹(521)에 할당하고 비트스트림(500)에 첫 번째 타일(532) 및 마지막 타일(533)을 포함할 수 있다. 그러면 인코더의 가상 참조 디코더(hypothetical reference decoder, HRD)는 타일 그룹 플래그(531), 첫 번째 타일(532) 및 마지막 타일(533)에 기초하여 타일 그룹(521)에 대한 타일(523) 할당을 결정할 수 있다. HRD는 RDO 동안 최적의 코딩 접근 방식을 선택하는 부분으로서 디코더에서 디코딩 결과를 예측하는 인코더 측 모듈의 세트이다. 또한, 디코더는 비트스트림(500)을 수신하고 타일 그룹 플래그(531), 첫 번째 타일(532), 및 마지막 타일(533)에 기초하여 타일 그룹(521) 할당을 결정할 수 있다. 구체적으로, 인코더 및 디코더에서의 HRD는 모두 타일 그룹 플래그(531)에 기초하여 래스터 스캔 메커니즘 또는 직사각형 메커니즘을 선택할 수 있다. HRD 및 디코더는 그 후 타일 그룹(532)은 선택된 메커니즘을 채용하여 첫 번째 타일(532) 및 마지막 타일(533)에 기초하여 타일 그룹(521)에 대한 타일(523)의 할당을 결정할 수 있다.
다음은 전술한 메커니즘의 구체적인 예이다.
Figure pct00001
이 예에서, 직사각형_타일_그룹_플래그로 표기된 타일 그룹 플래그(531)는 직사각형 메커니즘(예: if 문) 또는 래스터 스캔 메커니즘(예: else 문)을 선택하기 위해 채용될 수 있다. 직사각형 메커니즘은 타일 그룹의 첫 번째 타일과 타일 그룹의 마지막 타일 사이의 델타 값을 결정한니다. 타일 그룹 행의 수는 델타 값을 픽처의 타일 열의 수에 1을 더한 값으로 나누어 결정된다. 타일 그룹 열의 수는 픽처의 타일 열 수에 1을 더한 델타 값 모듈로에 의해 결정된다. 그런 다음 타일 할당은 타일 그룹 행의 수와 타일 그룹 열의 수(예: if 문 내의 for 루프)에 따라 결정될 수 있다. 한편, 래스터 스캔 메커니즘은 타일 그룹의 첫 번째 타일과 타일 그룹의 마지막 타일 사이의 타일 수를 결정한다. 타일이 래스터 스캔 순서로 색인화됨에 따라, 그 후 래스터 스캔 메커니즘은 결정된 수의 타일을 래스터 스캔 순서로 타일 그룹에 추가할 수 있다(예: else 문의 for 루프).
도 6은 래스터 스캔 타일 그룹(621)으로 분할된 예시적인 픽처(600)를 나타낸 개략도이다. 예를 들어, 픽처(600)는, 예를 들어 코덱 시스템(200), 인코더(300) 및/또는 디코더(400)에 의해, 비트스트림(500)에 인코딩되고 그로부터 디코딩될 수 있다. 또한, 픽처(600)는 작업 방법(100)에 따라 인코딩 및 디코딩을 지원하도록 분할될 수 있다.
픽처(600)는 각각 타일(523) 및 타일 그룹(521)과 실질적으로 유사할 수 있는 래스터 스캔 타일 그룹(621, 624, 625)에 할당된 타일(623)을 포함한다. 타일(623)은 타일(623) 단위로 래스터 스캔 순서로 래스터 스캔 타일 그룹(621, 624, 625)에 할당된다. 래스터 스캔 타일 그룹(621, 624, 625) 사이의 경계를 명확하게 나타내기 위해, 각각의 타일 그룹은 굵은 글꼴의 윤곽선으로 둘러싸여 있다. 또한, 타일 그룹(621)은 타일 그룹 경계 사이를 더 구별하기 위해 음영으로 표시된다. 또한 픽처(600)는 임의의 수의 래스터 스캔 타일 그룹(621, 624, 625)으로 분할될 수 있다는 점에 유의해야 한다. 논의를 명확하게 하기 위해, 이하의 설명은 래스터 스캔 타일 그룹(621)에 관한 것이다. 그러나 타일(623)은 래스터 스캔 타일 그룹(621)과 유사한 방식으로 래스터 스캔 타일 그룹(624, 625)에 할당된다.
도시된 바와 같이, 첫 번째 타일(623a), 마지막 타일(623b) 및 첫 번째 타일(623a)과 마지막 타일(623b) 사이의 모든 음영 처리된 타일은 래스터 스캔 순서로 타일 그룹(621)에 할당된다. 도시된 바와 같이, 래스터 스캔 순서에 따라 진행되는 메커니즘(예: 프로세서에서 작동하는 방법)은 타일 그룹(621)에 첫 번째 타일(623a)을 할당한 다음, 오른쪽 픽처(600) 경계에 도달할 때까지(마지막 타일(623b)에 도달하지 않는 한) 각각의 타일(623)을 타일 그룹(621)에 할당하도록 진행한다(왼쪽에서 오른쪽으로). 그런 다음, 래스터 스캔 순서는 타일(623)의 다음 행으로 진행한다(예: 상단 행(들)에서 하단 행(들)을 향하여). 이 경우, 첫 번째 타일(623a)은 첫 번째 행에 있으므로, 다음 행은 두 번째 행이다. 구체적으로, 래스터 스캔 순서는 왼쪽 픽처(600) 경계에서 두 번째 행의 첫 번째 타일로 진행한 다음, 오른쪽 픽처(600) 경계에 도달할 때까지 두 번째 행을 가로질러 왼쪽에서 오른쪽으로 진행한다. 그런 다음 래스터 스캔은 다음 행(이 경우 세 번째 행)으로 이동하고 왼쪽 픽처(600) 경계에서 세 번째 행의 첫 번째 타일부터 할당을 진행한다. 그런 다음 래스터 스캔은 세 번째 행을 가로질러 바로 이동한다. 이 순서는 마지막 타일(623b)에 도달할 때까지 계속된다. 이 시점에서, 타일 그룹(621)이 완성된다. 타일 그룹(621) 아래 및/또는 오른쪽에 있는 추가 타일(623)은 유사한 방식으로 래스터 스캔 순서로 타일 그룹(625)에 할당될 수 있다. 타일 그룹(621)의 위 및/또는 왼쪽에 있는 타일(623)은 유사한 방식으로 타일 그룹(624)에 할당된다.
도 7은 직사각형 타일 그룹(721)으로 분할된 예시적인 픽처(700)를 나타낸 개략도이다. 예를 들어, 픽처(700)는 예를 들어 코덱 시스템(200), 인코더(300) 및/또는 디코더(400)에 의해 비트스트림(500)에 인코딩되고 비트스트림(500)으로부터 디코딩될 수 있다. 또한, 픽처(700)는 방법(100)에 따라 인코딩 및 디코딩을 지원하도록 분할될 수 있다.
픽처(700)는 타일(523) 및 타일 그룹(521)과 각각 실질적으로 유사할 수 있는 직사각형 타일 그룹(721)에 할당된 타일(723)을 포함한다. 직사각형 타일 그룹(721)에 할당된 타일(723)은 도 7에서 굵은 글꼴의 윤곽선으로 둘러싸여 있다. 또한, 선택된 직사각형 타일 그룹(721)은 직사각형 타일 그룹(721) 사이를 명확하게 묘사하기 위해 음영 처리된다. 도시된 바와 같이, 직사각형 타일 그룹(721)은 직사각형 모양을 만드는 타일(723) 세트를 포함한다. 직사각형 타일 그룹(721)은 정사각형이 직사각형의 특정한 경우이기 때문에 정사각형일 수도 있다는 점에 유의해야 한다. 도시된 바와 같이, 직사각형은 각각의 변이 직각(예: 90도 각도)로 두 개의 다른 변에 연결되어 있는 네 변을 가진다. 직사각형 타일 그룹(721a)은 첫 번째 타일(723a) 및 마지막 타일(723b)을 포함한다. 첫 번째 타일(723a)은 직사각형 타일 그룹(721a)의 왼쪽 상단 모서리에 있고 마지막 타일은 직사각형 타일 그룹(721a)의 오른쪽 하단 모서리에 있다. 첫 번째 타일(723a)과 마지막 타일(723b)을 포함하는 행과 열에 있는 또는 사이에 포함된 타일(723)도 타일 단위로 직사각형 타일 그룹(721a)에 할당된다. 도시된 바와 같이, 이 방식은 래스터 스캔과 다르다. 예를 들어, 타일(723c)은 래스터 스캔 순서에서 첫 번째 타일(723a)과 마지막 타일(723b) 사이에 있지만 동일한 직사각형 타일 그룹(721a)에는 포함되지 않는다. 직사각형 타일 그룹(721)은 관련된 기하학적 구조로 인해 래스터 스캔 타일 그룹(621)보다 계산상 더 복잡할 수 있다. 그러나 직사각형 타일 그룹(721)은 더 유연하다. 예를 들어, 직사각형 타일 그룹(721a)은 첫 번째 타일(723)과 픽처(700)의 오른쪽 경계(예: 타일(723c)와 같은 것) 사이의 모든 타일을 포함하지 않고 다른 행의 타일(723)을 포함할 수 있다. 직사각형 타일 그룹(721a)은 또한 좌측 픽처 경계와 마지막 타일(723b) 사이에서 선택된 타일을 제외할 수 있다. 예를 들어, 타일(723d)은 타일 그룹(721a)에서 제외된다.
따라서, 직사각형 타일 그룹(721)과 래스터 스캔 타일 그룹(621)은 각각 서로 다른 이점을 가지며, 따라서 서로 다른 사용 사례에 대해 각각 더 최적일 수 있다. 예를 들어, 래스터 스캔 타일 그룹(621)은 전체 픽처(600)가 표시될 때 더 유리할 수 있고 직사각형 타일 그룹(721)은 서브 픽처만 표시될 때 더 유리할 수 있다. 그러나 위에서 언급한 바와 같이, 첫 번째 타일 색인 및 마지막 타일 색인만이 비트스트림에서 시그널링되는 경우에 타일 그룹에 할당되는 타일을 결정하기 위해 서로 다른 메커니즘이 채용될 수 있다. 이와 같이, 어떤 타일 그룹 유형이 채용되는지를 지시하는 플래그는 적절한 래스터 스캔 또는 직사각형 메커니즘을 선택하기 위해 디코더 또는 HRD에 의해 사용될 수 있다. 타일 그룹에 대한 타일 할당은 타일 그룹의 첫 번째 타일과 마지막 타일을 사용하여 결정될 수 있다.
전술한 것을 사용함으로써, 비디오 코딩 시스템이 개선될 수 있다. 이와 같이, 본 개시는 비디오 코딩에서 타일의 그룹화에 대한 다양한 개선을 설명한다. 보다 구체적으로, 본 개시는 2개의 상이한 타일 그룹 개념, 래스터 스캔 기반 타일 그룹 및 직사각형 타일 그룹을 지원하기 위한 시그널링 및 도출 프로세스를 설명한다. 일 예에서, 대응하는 타일 그룹에 의해 직접 또는 간접적으로 참조되는 파라미터 세트에서 플래그가 채용된다. 플래그는 사용되는 타일 그룹 접근 방식을 지정한다. 플래그는 시퀀스 파라미터 세트, 픽처 파라미터 세트, 또는 타일 그룹에 의해 직접 또는 간접적으로 참조되는 다른 유형의 파라미터 세트와 같은, 파라미터 세트에서 시그널링될 수 있다. 구체적인 예로, 플래그는 rectangular_tile_group_flag일 수 있다. 일부 예에서, 2개 이상의 비트를 갖는 지시는 대응하는 타일 그룹에 의해 직접적으로 또는 간접적으로 참조되는 파라미터 세트에서 정의되고 시그널링될 수 있다. 지시는 사용되는 타일 그룹 접근 방식을 지정할 수 있다. 이러한 지시를 사용함으로써, 둘 이상의 타일 그룹 접근 방식이 지원될 수 있다. 지시를 시그널링하기 위한 비트 수는 지원되는 타일 그룹 접근 방식의 수에 따라 다르다. 일부 예에서, 플래그 또는 지시는 타일 그룹 헤더에서 시그널링될 수 있다.
타일 그룹에 포함된 첫 번째 타일 및 마지막 타일을 디시하는 시그널링 정보는 어떤 타일이 래스터 스캔 타일 그룹 또는 직사각형 타일 그룹에 포함되는지를 지시내기에 충분할 수 있다. 타일 그룹에 포함되는 타일의 도출은 사용된 타일 그룹 접근 방식(플래그 또는 지시로 지시될 수 있음), 타일 그룹의 첫 번째 타일의 정보 및 타일 그룹의 마지막 타일의 정보에 따라 달라질 수 있다. 특정 타일을 식별하기 위한 정보는 다음 중 어느 하나일 수 있다: 타일 색인, 타일 ID(타일 색인과 다른 경우), 타일에 포함된 CTU(예: 타일에 포함된 첫 번째 CTU) 또는 타일에 포함된 루마 샘플(예: 타일에 포함된 제1 루마 샘플).
다음은 위에서 언급한 메커니즘의 구체적인 실시예이다. 픽처 파라미터 세트 RBSP 신택스는 다음과 같을 수 있다.
Figure pct00002
tile_id_len_minus1 plus 1은 신택스 요소 tile_id_val[ i ][ j ]를 나타내는 데 사용되는 비트 수를 지정하고, 있는 경우, PPS에서, PPS를 참조하는 타일 그룹 헤더에서 신택스 요소 first_tile_id 및 last_tile_id를 지정한다. tile_id_len_minus1의 값은 Ceil(Log2(NumTilesInPic)에서 15까지의 범위에 있을 수 있다. rectangular_tile_group_flag은 1과 동일하게 설정될 때, PPS를 참조하는 타일 그룹이 픽처의 직사각형 영역을 형성하는 하나 이상의 타일을 포함함을 지정할 수 있다. rectangular_tile_group_flag는,0과 동일하게 설정될 때, PPS를 참조하는 타일 그룹이 픽처의 래스터 스캔 순서에서 연속적인 하나 이상의 타일을 포함하도록 지정할 수 있다.
타일 그룹 헤더 신택스는 다음과 같을 수 있다.
Figure pct00003
single_tile_in_tile_group_flag는 1과 동일하게 설정될 때, 타일 그룹에 하나의 타일만 있음을 지정할 수 있다. single_tile_in_tile_group_flag는 0과 동일하게 설정될 때, 타일 그룹에 하나 이상의 타일이 있음을 지정할 수 있다. first_tile_id는 타일 그룹의 첫 번째 타일의 타일 ID를 지정할 수 있다. first_tile_id의 길이는 tile_id_len_minus1 + 1비트일 수 있다. first_tile_id의 값은 동일한 코딩된 픽처의 임의의 다른 코딩된 타일 그룹의 first_tile_id의 값과 동일하지 않을 수 있다. 픽처에 하나 이상의 타일 그룹이 있는 경우, 픽처 내 타일 그룹의 디코딩 순서는 first_tile_id의 값이 증가하는 것일 수 있다. last_tile_id는 타일 그룹의 마지막 타일의 타일 ID를 지정할 수 있다. last_tile_id의 길이는 tile_id_len_minus1 + 1비트일 수 있다. 존재하지 않는 경우, last_tile_id의 값은 first_tile_id와 동일한 것으로 유추될 수 있다.
타일 그룹의 타일 수를 지정하는 변수 NumTilesInTileGroup, 및 타일 그룹의 i번째 타일의 타일 색인을 지정하는 TgTileIdx[ i ]는 다음과 같이 유도될 수 있다.
Figure pct00004
일반적인 타일 그룹 데이터 구문은 다음과 같을 수 있다.
Figure pct00005
도 8은 예시적인 비디오 코딩 기기(800)의 개략도이다. 비디오 코딩 기기(800)는 여기에 설명된 바와 같이 개시된 예/실시예를 구현하는 데 적합하다. 비디오 코딩 기기(800)는 네트워크를 통해 데이터 업스트림 및/또는 다운스트림을 통신하기 위한 송신기 및/또는 수신기를 포함하는 다운스트림 포트(820), 업스트림 포트(850), 및/또는 송수신기 유닛(Tx/Rx)(810)을 포함한다. 비디오 코딩 기기(800)는 또한 데이터를 처리하기 위한 논리 유닛 및/또는 중앙 처리 유닛(central processing unit, CPU)을 포함하는 프로세서(830), 및 데이터를 저장하기 위한 메모리(832)를 포함한다. 비디오 코딩 기기(800)는 또한
전기, 광, 또는 무선 통신 네트워크를 통한 데이터의 통신을 위해 업스트림 포트(850) 및/또는 다운스트림 포트(820)에 결합된 전기, 광-전기(optical-to-electrical, OE) 구성요소, 전기-광(electrical-to-optical,EO) 구성요소, 및/또는 무선 통신 구성요소를 포함할 수 있다. 비디오 코딩 기기(800)는 또한 사용자와 데이터를 통신하기 위한 입력 및/또는 출력(I/O) 기기(860)를 포함할 수 있다. I/O 기기(860)는 비디오 데이터를 표시하기 위한 디스플레이, 오디오 데이터를 출력하기 위한 스피커 등과 같은 출력 기기를 포함할 수 있다. I/O 기기(860)는 또한 키보드, 마우스, 트랙볼 등과 같은 입력 기기, 및/또는 그러한 출력 기기와 상호작용하기 위한 대응하는 인터페이스를 포함할 수 있다.
프로세서(830)는 하드웨어 및 소프트웨어에 의해 구현된다. 프로세서(830)는 하나 이상의 CPU 칩, 코어(예: 멀티코어 프로세서), FPGA(Field-Programmable Gate Array), ASIC(Application Specific Integrated Circuit), 및 DSP(Digital Signal Processor)로서 구현될 수 있다. 프로세서(830)는 다운스트림 포트(820), Tx/Rx(810), 업스트림 포트(850), 및 메모리(832)와 통신한다. 프로세서(830)는 코딩 모듈(814)을 포함한다. 코딩 모듈(814)은 비트스트림(500), 픽처(600), 및/또는 픽처(700)를 채용할 수 있는, 방법(100), 방법(900), 및 방법(1000)과 같은, 여기에 설명된, 개시된 실시예를 구현한다. 코딩 모듈(814)은 또한 여기에 설명된 임의의 다른 방법/메커니즘을 구현할 수 있다. 또한, 코딩 모듈(814)은 코덱 시스템(200), 인루프, 및/또는 디코더(400)를 구현할 수 있다. 예를 들어, 코딩 모듈(814)은 이미지를 타일 그룹 및/또는 타일로, 타일을 CTU로, CTU를 블록으로 분할할 수 있고, 인코더 역할을 할 때 블록을 인코딩할 수 있다. 또한, 코딩 모듈(814)은 래스터 스캔 또는 직사각형 타일 그룹을 선택하고 그러한 선택을 비트스트림에서 시그널링할 수 있다. 코딩 모듈(814)은 또한 타일 그룹에 대한 타일 할당의 결정을 지원하기 위해 첫 번째 타일 및 마지막 타일을 시그널링할 수 있다. 디코더 또는 HRD의 역할을 할 때, 코딩 모듈(814)은 사용된 타일 그룹의 유형을 결정할 수 있고 첫 번째 타일 및 마지막 타일에 기초하여 타일 그룹에 할당된 타일을 결정할 수 있다. 따라서, 코딩 모듈(814)은 비디오 코딩 기기(800)로 하여금 비디오 데이터를 분할 및 코딩할 때 추가적인 기능 및/또는 코딩 효율을 제공하게 한다. 이와 같이, 코딩 모듈(814)은 비디오 코딩 기기(800)의 기능을 개선할 뿐 아니라 비디오 코딩 기술에 고유한 문제를 해결한다. 또한, 코딩 모듈(814)은 비디오 코딩 기기(800)를 상이한 상태로 변환시킨다. 대안으로, 코딩 모듈(814)은 메모리(832)에 저장된 명령어로서 구현될 수 있고 프로세서(830)에 의해 실행될 수 있다(예: 비일시적 매체에 저장된 컴퓨터 프로그램 제품으로서).
메모리(832)로는 디스크, 테이프 드라이브, 솔리드 스테이트 드라이브, 판독 전용 메모리(read only memory, ROM), 랜덤 액세스 메모리(random access memory, RAM), 플래시 메모리, TCAM(Ternary Content-Addressable Memory ), 정적 랜덤 액세스 메모리(static random-access memory, SRAM) 등을 포함한다. 메모리(832)는 오버플로 데이터 저장 기기로 사용되어, 이러한 프로그램이 실행을 위해 선택될 때 프로그램을 저장하고, 프로그램 실행 중에 판독되는 명령어 및 데이터를 저장한다.
도 9는 픽처(600) 및/또는 픽처(700)와 같은 픽처를 비트스트림(500)과 같은 비트스트림으로 인코딩하는 예시적인 방법(900)의 흐름도이다. 방법(900)은 방법(100)을 수행할 때 코덱 시스템(200), 인코더(300) 및/또는 비디오 코딩 기기(800)과 같은, 인코더에 의해 채용될 수 있다.
방법(900)은 인코더가 복수의 픽처를 포함하는 비디오 시퀀스를 수신하고, 예를 들어 사용자 입력에 기초하여, 그 비디오 시퀀스를 비트스트림으로 인코딩하기로 결정할 때 시작할 수 있다. 비디오 시퀀스는 인코딩 전에 추가 분할을 위해 픽처/이미지/프레임으로 분할된다. 단계 901에서, 픽처는 복수의 타일로 분할된다. 또한, 타일들이 복수의 타일 그룹에 할당되고, 따라서 타일의 서브세트에는 타일 그룹이 할당된다. 일부 예에서, 타일 그룹은 래스터 스캔 타일 그룹이다. 다른 예들에서, 타일 그룹은 직사각형 타일 그룹이다.
단계 903에서, 플래그가 비트스트림으로 인코딩된다. 플래그는 타일 그룹이 래스터 스캔 타일 그룹인 경우 첫 번째 값으로 설정되고 타일 그룹이 직사각형 타일 그룹인 경우 두 번째 값으로 설정될 수 있다. 플래그는 비트스트림의 파라미터 세트로 인코딩될 수 있다. 예를 들어, 플래그가 인코딩되는 파라미터 세트는 시퀀스 파라미터 세트 또는 픽처 파라미터 세트일 수 있다. 일부 예에서, 플래그는 직사각형 타일 그룹 플래그이다.
단계 905에서, 타일 그룹의 첫 번째 타일의 식별자 및 타일 그룹의 마지막 타일의 식별자가 비트스트림에서 인코딩된다. 타일 그룹의 첫 번째 타일과 타일 그룹의 마지막 타일은 타일 그룹에 할당된 타일을 지시하는 데 사용될 수 있다. 일부 예에서, 타일 그룹의 첫 번째 타일의 식별자 및 타일 그룹의 마지막 타일의 식별자는 비트스트림의 타일 그룹 헤더에 인코딩된다.
플래그, 타일 그룹의 첫 번째 타일, 및 타일 그룹의 마지막 타일은 타일 그룹에 대한 타일 할당을 결정하기 위해 디코더에 의해 및/또는 인코더에서 HRD에 의해 사용될 수 있다. 타일 그룹이 래스터 스캔 타일 그룹인 경우, 플래그가 지시하는 바와 같이, 타일 그룹에 대한 타일 할당은 다음과 같이 결정될 수 있다. 타일 그룹의 첫 번째 타일과 타일 그룹의 마지막 타일 사이의 타일 수는 타일 그룹의 타일 수로 결정될 수 있다. 그런 다음 타일 할당은 타일 그룹의 타일 수에 기초하여 결정될 수 있다. 타일 그룹이 직사각형 타일 그룹인 경우, 플래그가 지시하는 바와 같이 타일 그룹에 대한 타일 할당은 다음과 같이 결정될 수 있다. 타일 그룹의 첫 번째 타일과 타일 그룹의 마지막 타일 사이의 델타 값이 결정될 수 있다. 타일 그룹 행의 수는 픽처의 타일 열의 수와 델타 값에 기초하여 결정될 수 있다. 타일 그룹 열의 수는 픽처의 타일 열의 수와 델타 값에 기초하여 결정될 수도 있다. 타일 할당은 타일 그룹 행의 수와 타일 그룹 열의 수에 기초하여 결정될 수 있다.
단계 907에서, 타일은 타일 할당에 기초하여 비트스트림으로 인코딩된다. 비트스트림은 또한 단계 909에서 디코더를 향한 통신을 위해 저장될 수 있다.
도 10은 비트스트림(500)과 같은 비트스트림으로부터 픽처(600) 및/또는 픽처(700)와 같은 픽처를 디코딩하는 예시적인 방법(1000)의 흐름도이다. 방법(1000)은 디코더(400) 및/또는 비디오 코딩 기기(800)과 같은, 디코더에 의해 채용될 수 있다. 예를 들어, 방법(1000)은 방법(900)에 응답하여 채용될 수 있다.
방법(1000)은 예를 들어 방법(900)의 결과로서, 디코더가 비디오 시퀀스를 나타내는 코딩된 데이터의 비트스트림을 수신하기 시작할 때 시작할 수 있다. 단계 1001에서, 비트스트림이 디코더에서 수신된다. 비트스트림은 복수의 타일로 분할된 픽처를 포함한다. 타일들이 복수의 타일 그룹에 할당되므로, 타일의 서브 세트가 타일 그룹에 할당된다. 일부 예에서 타일 그룹은 래스터 스캔 타일 그룹이다. 다른 예에서, 타일 그룹은 직사각형 타일 그룹이다.
단계 1003에서, 비트스트림의 파라미터 세트로부터 플래그가 획득된다. 타일 그룹은 플래그가 첫 번째 값으로 설정되어 있는 경우 래스터 스캔 타일 그룹으로 결정된다. 타일 그룹은 플래그가 두 번째 값으로 설정되어 있는 경우 직사각형 타일 그룹으로 결정된다. 예를 들어, 플래그를 포함하는 파라미터는 시퀀스 파라미터 세트 또는 픽처 파라미터 세트일 수 있다. 일부 예에서, 플래그는 직사각형 타일 그룹 플래그이다.
단계 1005에서, 타일 그룹에 할당된 타일의 결정을 지원하기 위해 타일 그룹의 첫 번째 타일의 식별자 및 타일 그룹의 마지막 타일의 식별자가 획득된다. 일부 예에서, 타일 그룹의 첫 번째 타일의 식별자 및 타일 그룹의 마지막 타일의 식별자는 비트스트림의 타일 그룹 헤더로부터 획득된다.
단계 1007에서, 타일 그룹에 대한 타일 할당은 타일 그룹이 래스터 스캔 타일 그룹인지 직사각형 타일 그룹인지에 따라 결정된다. 예를 들어, 플래그, 타일 그룹의 첫 번째 타일 및 타일 그룹의 마지막 타일을 사용하여 타일 그룹에 대한 타일 할당을 결정할 수 있다. 타일 그룹이 래스터 스캔 타일 그룹인 경우, 플래그가 지시하는 바와 같이 타일 그룹에 대한 타일 할당은 다음과 같이 결정될 수 있다. 타일 그룹의 첫 번째 타일과 타일 그룹의 마지막 타일 사이의 타일 수는 타일 그룹의 타일 수로 결정될 수 있다. 그런 다음 타일 할당은 타일 그룹의 타일 수에 기초하여 결정될 수 있다. 타일 그룹이 직사각형 타일 그룹인 경우, 플래그가 지시하는 바와 같이, 타일 그룹에 대한 타일 할당은 다음과 같이 결정될 수 있다. 타일 그룹의 첫 번째 타일과 타일 그룹의 마지막 타일 사이의 델타 값이 결정될 수 있다. 타일 그룹 행의 수는 픽처의 타일 열의 수와 델타 값에 기초하여 결정될 수 있다. 타일 그룹 열의 수는 픽처의 타일 열의 수와 델타 값에 기초하여 결정될 수도 있다. 타일 할당은 그 후 타일 그룹 행의 수와 타일 그룹 열의 수에 기초하여 결정될 수 있다.
단계 1009에서, 타일 그룹에 대한 타일 할당에 기초하여 타일이 디코딩되어 디코딩된 타일을 생성한다. 디코딩된 타일에 기초하여 표시를 위해 재구축된 비디오 시퀀스가 또한 생성될 수 있다.
도 11은 비트스트림(500)과 같은 비트스트림에서, 픽처(600) 및/또는 픽처(700)와 같은, 픽처의 비디오 시퀀스를 코딩하기 위한 예시적인 시스템(1100)의 개략도이다. 시스템(1100)은 코덱 시스템(200)과 같은 인코더 및 디코더, 인코더(300), 디코더(400), 및/또는 비디오 코딩 기기(800)에 의해 구현될 수 있다.를 포함한다. 또한, 시스템(1100)은 방법(100), 방법(900), 및/또는 방법(1000)을 구현하는 경우 채용될 수 있다.
시스템(1100)은 비디오 인코더(1102)를 포함한다. 비디오 인코더(1102)는 픽처를 복수의 타일로 분할하기 위한 분할 모듈(1101)을 포함한다. 비디오 인코더(1102)는 다수의 타일을 타일 그룹에 포함시키기 위한 포함 모듈(1103)을 더 포함한다. 비디오 인코더(1102)는 타일 그룹이 래스터 스캔 타일 그룹인 경우 제1 값으로 설정되고, 타일 그룹이 직사각형 타일 그룹인 경우 제2 값으로 설정되는 플래그를 인코딩하기 위한 인코딩 모듈(1105)을 더 포함하며, 여기서 플래그는 비트스트림의 파라미터 세트로 인코딩되고 타일 그룹에 기초하여 타일을 비트스트림으로 인코딩한다. 비디오 인코더(1102)는 디코더를 향한 통신을 위해 비트스트림을 저장하기 위한 저장 모듈(1107)을 더 포함한다. 비디오 인코더(1102)는 사용된 타일 그룹(들) 및 타일 그룹(들)에 포함된 타일의 유형을 결정하는 것을 지원하기 위해 비트스트림을 송신하기 위한 송신 모듈(1109)을 더 포함한다. 비디오 인코더(1102)는 추가로, 방법(900)의 단계들 중 임의의 단계를 수행하도록 구성될 수 있다.
시스템(1100)은 또한 비디오 디코더(1110)를 포함한다. 비디오 디코더(1110)는 복수의 타일로 분할된 픽처를 포함하는 비트스트림을 수신하기 위한 수신 모듈(1111)을 포함하며, 여기서 다수의 타일이 하나의 타일 그룹에 포함된다. 비디오 디코더(1110)는 비트스트림의 파라미터 세트로부터 플래그를 획득하기 위한 획득 모듈(1113)을 더 포함한다. 비디오 디코더(1110)는 플래그가 제1 값으로 설정되어 있는 경우 타일 그룹이 래스터 스캔 타일 그룹인 것으로 결정하고, 플래그가 제2 값으로 설정되어 있는 경우 타일 그룹이 직사각형 타일 그룹인 것으로 결정하고,
타일 그룹이 래스터 스캔 타일 그룹인지 직사각형 타일 그룹인지에 기초하여 타일 그룹에 대한 타일 포함을 결정하기 위한 결정 모듈(1115)을 더 포함한다. 비디오 디코더(1110)는 타일 그룹에 기초하여 디코딩된 타일을 생성하기 위해 타일을 디코딩하기 위한 디코딩 모듈(1117)을 더 포함한다. 비디오 디코더(1110)는 디코딩된 타일에 기초하여 표시를 위해 재구축된 비디오 시퀀스를 생성하기 위한 생성 모듈(1119)을 더 포함한다. 비디오 디코더(1110)는 추가로 방법(1000)의 단계들 중 임의의 단계를 수행하도록 추가로 구성될 수 있다.
제1 구성요소와 제2 구성요소 사이의 라인(line), 트레이스(trace), 또는 다른 매체를 제외하고는 개재하는 구성요소가 없을 때 제1 구성요소는 제2 구성요소에 직접 결합된다. 제1 구성요소는
제1 구성요소와 제2 구성요소 사이에 라인, 트레이스, 또는 다른 매체를 제외한 개재하는 구성요소가 있을 때 제1 구성요소는 제2 구성요소에 간접적으로 결합된다. "결합된다(coupled)"라는 용어와 그 변형에는 직접 결합된 것과 간접적으로 결합된 것이 모두 포함된다. "약(about)"이라는 용어의 사용은 달리 명시되지 않는 한 후속 숫자의 ±10%를 포함하는 범위를 의미한다.
또한, 여기에 설명된 예시적인 방법의 단계는 반드시 설명된 순서대로 수행할 필요가 없다는 것을 이해해야 하며, 이러한 방법의 단계 순서는 단지 예시적인 것으로 이해되어야 한다. 마찬가지로, 이러한 방법에는 추가적인 단계가 포함될 수 있으며, 본 개시의 다양한 실시예에 따른 방법에서 특정 단계는 생략되거나 결합될 수 있다.
몇몇 실시예가 본 개시에서 제공되었지만, 개시된 시스템 및 방법은 본 개시의 사상 또는 범위를 벗어나지 않으면서 많은 다른 구체적인 형태로 구현될 수 있음을 이해할 수 있을 것이다. 본 예는 제한적인 것이 아닌 예시적인 것으로 간주되어야 하며, 그 의도는 여기에 주어진 세부 사항으로 제한되지 않는다. 예를 들어, 다양한 요소 또는 구성요소는 다른 시스템에 결합 또는 통합되거나 특정 기능이 생략되거나 구현되지 않을 수 있다.
또한, 다양한 실시예에서 개별적 또는 분리된 것으로 설명되고 예시된 기술, 시스템, 서브시스템 및 방법은 본 개시의 범위를 벗어나지 않고 다른 시스템, 구성요소, 기술, 또는 방법과 결합되거나 통합될 수 있다. 변경, 대체 및 개조의 다른 예는 당업자에 의해 확인 가능하고 여기에 개시된 사상 및 범위를 벗어나지 않고 이루어질 수 있다.

Claims (22)

  1. 인코더에서 구현되는 방법으로서,
    인코더의 프로세서가 픽처를 복수의 타일로 분할하는 단계;
    상기 프로세서가 다수의 타일을 하나의 타일 그룹에 포함시키는 단계;
    상기 프로세서가, 상기 타일 그룹이 래스터 스캔 타일 그룹인 경우 제1 값으로 설정되고 상기 타일 그룹이 직사각형 타일 그룹인 경우 제2 값으로 설정되는 플래그를 인코딩하는 단계 - 상기 플래그는 비트스트림의 파라미터 세트로 인코딩됨 -;
    상기 프로세서가 상기 타일 그룹에 기초하여 상기 타일을 비트스트림으로 인코딩하는 단계; 및
    상기 인코더의 메모리에, 디코더를 향한 통신을 위해 상기 비트스트림을 저장하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 플래그는 직사각형 타일 그룹 플래그인, 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 플래그가 인코딩되는 파라미터 세트는 시퀀스 파라미터 세트인, 방법.
  4. 제1항 또는 제2항에 있어서,
    상기 플래그가 인코딩되는 파라미터 세트는 픽처 파라미터 세트인, 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 프로세서가
    상기 타일 그룹에 포함된 타일을 지시하기 위해 상기 타일 그룹의 첫 번째 타일의 식별자 및 상기 타일 그룹의 마지막 타일의 식별자를 비트스트림에 인코딩하는 단계를 더 포함하는 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 타일 그룹의 첫 번째 타일의 식별자 및 상기 타일 그룹의 마지막 타일의 식별자는 상기 비트스트림의 타일 그룹 헤더에 인코딩되는, 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 타일 그룹이 상기 래스터 스캔 타일 그룹인 경우, 상기 타일 그룹 내의 타일 포함은,
    상기 타일 그룹의 첫 번째 타일과 상기 타일 그룹의 마지막 타일 사이의 타일의 수를 상기 타일 그룹 내의 타일의 수로 결정하는 것; 및
    상기 타일 그룹 내의 타일의 수에 기초하여 타일 포함을 결정하는 것에 의해 결정되는, 방법.
  8. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 타일 그룹이 직사각형 타일 그룹인 경우, 상기 타일 그룹 내의 타일 포함은,
    상기 타일 그룹의 첫 번째 타일과 상기 타일 그룹의 마지막 타일 사이의 델타 값을 결정하는 것;
    상기 델타 값 및 상기 픽처 내의 타일 열의 수에 기초하여 타일 그룹 행의 수를 결정하는 것;
    상기 델타 값 및 상기 픽처 내의 타일 열의 수에 기초하여 타일 그룹 열의 수를 결정하는 것; 및
    상기 타일 그룹 행의 수 및 상기 타일 그룹 열의 수에 기초하여 상기 타일 포함을 결정하는 것
    에 의해 결정되는, 방법.
  9. 디코더에서 구현되는 방법으로서,
    디코더의 프로세서가 복수의 타일로 분할된 픽처를 포함하는 비트스트림을 수신하는 단계 - 다수의 타일이 하나의 타일 그룹에 포함됨 -;
    상기 프로세서가 상기 비트스트림의 파라미터 세트로부터 플래그를 획득하는 단계;
    상기 프로세서가, 상기 플래그가 제1 값으로 설정되어 있는 경우 상기 타일 그룹이 래스터 스캔 타일 그룹인 것으로 결정하는 단계;
    상기 프로세서가, 상기 플래그가 제2 값으로 설정되어 있는 경우 상기 타일 그룹을 직사각형 타일 그룹인 것으로 결정하는 단계;
    상기 프로세서가 상기 타일 그룹이 래스터 스캔 타일 그룹인지 직사각형 타일 그룹인지에 기초하여 상기 타일 그룹에 대한 타일 포함을 결정하는 단계;
    상기 프로세서가 상기 타일을 디코딩하여 상기 타일 그룹에 기초하여 디코딩된 타일을 생성하는 단계; 및
    상기 프로세서가 상기 디코딩된 타일에 기초하여 표시를 위해 재구축된 비디오 시퀀스를 생성하는 단계
    를 포함하는 방법.
  10. 제9항에 있어서,
    상기 플래그는 직사각형 타일 그룹 플래그인, 방법.
  11. 제9항 또는 제10항에 있어서,
    상기 플래그를 포함하는 파라미터 세트는 시퀀스 파라미터 세트인, 방법.
  12. 제9항 또는 제10항에 있어서,
    상기 플래그를 포함하는 파라미터 세트는 픽처 파라미터 세트인, 방법.
  13. 제9항 내지 제12항 중 어느 한 항에 있어서,
    상기 프로세서가 상기 타일 그룹에 포함된 타일을 결정하기 위해 상기 타일 그룹의 첫 번째 타일의 식별자 및 상기 타일 그룹의 마지막 타일의 식별자를 획득하는 단계를 더 포함하는 방법.
  14. 제9항 내지 제13항 중 어느 한 항에 있어서,
    상기 타일 그룹의 첫 번째 타일의 식별자 및 상기 타일 그룹의 마지막 타일의 식별자는 상기 비트스트림의 타일 그룹 헤더로부터 획득되는, 방법.
  15. 제9항 내지 제14항 중 어느 한 항에 있어서,
    상기 타일 그룹이 상기 래스터 스캔 타일 그룹인 경우, 상기 타일 그룹 내의 타일 포함은,
    상기 타일 그룹의 첫 번째 타일과 상기 타일 그룹의 마지막 타일 사이의 타일의 수를 상기 타일 그룹 내의 타일의 수로 결정하는 것; 및
    상기 타일 그룹 내의 타일의 수에 기초하여 타일 포함을 결정하는 것에 의해 결정되는, 방법.
  16. 제9항 내지 제14항 중 어느 한 항에 있어서,
    상기 타일 그룹이 직사각형 타일 그룹인 경우, 상기 타일 그룹 내의 타일 포함은,
    상기 타일 그룹의 첫 번째 타일과 상기 타일 그룹의 마지막 타일 사이의 델타 값을 결정하는 것;
    상기 델타 값 및 상기 픽처 내의 타일 열의 수에 기초하여 타일 그룹 행의 수를 결정하는 것;
    상기 델타 값 및 상기 픽처 내의 타일 열의 수에 기초하여 타일 그룹 열의 수를 결정하는 것; 및
    상기 타일 그룹 행의 수 및 상기 타일 그룹 열의 수에 기초하여 상기 타일 포함을 결정하는 것에 의해 결정되는, 방법.
  17. 비디오 코딩 기기로서,
    프로세서, 상기 프로세서에 결합된 수신기, 및 상기 프로세서에 결합된 송신기를 포함하고,
    상기 프로세서, 상기 수신기 및 상기 송신기는 제1항 내지 제16항 중 어느 한 항의 방법을 수행하도록 구성되는,
    비디오 코딩 기기.
  18. 비디오 코딩 기기에 의한 사용을 위해 컴퓨터 프로그램 제품을 포함하는, 컴퓨터로 판독 가능한 비일시적인 매체로서,
    상기 컴퓨터 프로그램 제품은 상기 컴퓨터로 판독 가능한 비일시적인 매체에 저장된, 컴퓨터로 실행 가능한 명령어를 포함하여, 프로세서에 의해 실행될 때 상기 비디오 코딩 기기로 하여금 제1항 내지 제16항 중 어느 한 항의 방법을 수행하도록 하는,
    컴퓨터로 판독 가능한 비일시적인 매체.
  19. 인코더로서,
    픽처를 복수의 타일로 분할하기 위한 분할 수단;
    다수의 타일을 하나의 타일 그룹에 포함시키기 위한 포함 수단;
    상기 타일 그룹이 래스터 스캔 타일 그룹인 경우 제1 값으로 설정되고 상기 타일 그룹이 직사각형 타일 그룹인 경우 제2 값으로 설정되는 플래그를 인코딩하고 - 상기 플래그는 비트스트림의 파라미터 세트로 인코딩됨 -; 상기 타일 그룹에 기초하여 상기 타일을 비트스트림으로 인코딩하기 위한 인코딩 수단; 및
    디코더를 향한 통신을 위해 상기 비트스트림을 저장하기 위한 저장 수단
    을 포함하는 인코더.
  20. 제19항에 있어서,
    상기 인코더는 추가로 제1항 내지 제8항 중 어느 한 항의 방법을 수행하도록 구성되는 인코더.
  21. 디코더로서,
    복수의 타일로 분할된 픽처를 포함하는 비트스트림을 수신하기 위한 수신 수단 - 다수의 타일이 하나의 타일 그룹에 포함됨 -;
    상기 비트스트림의 파라미터 세트로부터 플래그를 획득하기 위한 획득 수단;
    상기 플래그가 제1 값으로 설정되어 있는 경우 상기 타일 그룹이 래스터 스캔 타일 그룹인 것으로 결정하고; 상기 플래그가 제2 값으로 설정되어 있는 경우 상기 타일 그룹을 직사각형 타일 그룹인 것으로 결정하고; 상기 타일 그룹이 래스터 스캔 타일 그룹인지 직사각형 타일 그룹인지에 기초하여 상기 타일 그룹에 대한 타일 포함을 결정하기 위한 결정 수단;
    상기 타일을 디코딩하여 상기 타일 그룹에 기초하여 디코딩된 타일을 생성하기 위한 디코딩 수단; 및
    상기 디코딩된 타일에 기초하여 표시를 위해 재구축된 비디오 시퀀스를 생성하기 위한 생성 수단
    을 포함하는 디코더.
  22. 제21항에 있어서,
    상기 디코더는 추가로, 제9항 내지 제16항 중 어느 한 항의 방법을 수행하도록 구성되는 디코더.
KR1020217022442A 2018-12-17 2019-12-17 비디오 코딩 방법 및 장치 KR20210095949A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862780771P 2018-12-17 2018-12-17
US62/780,771 2018-12-17
US201962848149P 2019-05-15 2019-05-15
US62/848,149 2019-05-15
PCT/US2019/066884 WO2020131891A1 (en) 2018-12-17 2019-12-17 Harmonization of raster scan and rectangular tile groups in video coding

Publications (1)

Publication Number Publication Date
KR20210095949A true KR20210095949A (ko) 2021-08-03

Family

ID=71101946

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020217022442A KR20210095949A (ko) 2018-12-17 2019-12-17 비디오 코딩 방법 및 장치
KR1020217022273A KR20210095948A (ko) 2018-12-17 2019-12-17 비디오 코딩 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020217022273A KR20210095948A (ko) 2018-12-17 2019-12-17 비디오 코딩 방법 및 장치

Country Status (11)

Country Link
US (5) US11653005B2 (ko)
EP (2) EP3891985A4 (ko)
JP (3) JP7201821B2 (ko)
KR (2) KR20210095949A (ko)
CN (6) CN115665410A (ko)
AU (1) AU2019405497B2 (ko)
BR (2) BR112021011413A2 (ko)
CA (1) CA3123575A1 (ko)
MX (1) MX2021007198A (ko)
SG (2) SG11202106484UA (ko)
WO (2) WO2020131891A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112021010326A2 (pt) * 2018-11-30 2021-08-24 Sharp Kabushiki Kaisha Método de decodificar dados de vídeo, método de codificar dados de vídeo e dispositivo para decodificar dados de vídeo
US20200236377A1 (en) * 2019-01-22 2020-07-23 Tencent America LLC Method for tile group identification
CN110650357B (zh) * 2019-09-27 2023-02-10 腾讯科技（深圳）有限公司 视频解码方法及装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009033432A1 (en) * 2007-09-14 2009-03-19 Huawei Technologies Co., Ltd. A method and apparatus for video encoding and decoding
GB0823468D0 (en) * 2008-12-23 2009-01-28 Imagination Tech Ltd Display list control stream grouping in tile based 3D computer graphics systems
MY163983A (en) * 2011-03-10 2017-11-15 Sharp Kk A method for decoding video
US9398307B2 (en) * 2011-07-11 2016-07-19 Sharp Kabushiki Kaisha Video decoder for tiles
US9584819B2 (en) * 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
BR112014009571A2 (pt) * 2011-10-31 2017-04-18 Mitsubishi Electric Corp dispositivos e métodos de codificação e de decodificação de vídeo
US10349077B2 (en) * 2011-11-21 2019-07-09 Canon Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
US9270994B2 (en) * 2012-06-29 2016-02-23 Cisco Technology, Inc. Video encoder/decoder, method and computer program product that process tiles of video data
JP6214235B2 (ja) * 2012-07-02 2017-10-18 キヤノン株式会社 ファイル生成方法、ファイル生成装置、及びプログラム
US9554133B2 (en) * 2012-09-18 2017-01-24 Vid Scale, Inc. Method and apparatus for region of interest video coding using tiles and tile groups
CN104813662A (zh) * 2012-09-28 2015-07-29 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机程序
US9749627B2 (en) * 2013-04-08 2017-08-29 Microsoft Technology Licensing, Llc Control data for motion-constrained tile set
US9648335B2 (en) * 2013-07-12 2017-05-09 Qualcomm Incorporated Bitstream restrictions on picture partitions across layers
US10419768B2 (en) * 2016-03-30 2019-09-17 Qualcomm Incorporated Tile grouping in HEVC and L-HEVC file formats
EP3422724B1 (en) * 2017-06-26 2024-05-01 Nokia Technologies Oy An apparatus, a method and a computer program for omnidirectional video
KR102643115B1 (ko) * 2017-11-29 2024-03-04 한국전자통신연구원 루프내 필터링을 이용한 영상 부호화/복호화 방법 및 장치
US11509937B2 (en) * 2018-04-09 2022-11-22 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding video

Also Published As

Publication number Publication date
EP3891985A4 (en) 2022-03-30
US11653005B2 (en) 2023-05-16
AU2019405497A1 (en) 2021-07-22
EP3891985A1 (en) 2021-10-13
MX2021007198A (es) 2021-07-21
BR112021011398A2 (pt) 2021-08-31
CA3123575A1 (en) 2020-06-25
CN113196767A (zh) 2021-07-30
US20230108222A1 (en) 2023-04-06
AU2019405497B2 (en) 2023-06-01
US20240129494A1 (en) 2024-04-18
US20210321110A1 (en) 2021-10-14
SG11202106484UA (en) 2021-07-29
CN114710668A (zh) 2022-07-05
JP2022513981A (ja) 2022-02-09
JP7201820B2 (ja) 2023-01-10
CN115665412A (zh) 2023-01-31
CN113330746B (zh) 2022-09-16
US11889087B2 (en) 2024-01-30
US11553191B2 (en) 2023-01-10
BR112021011413A2 (pt) 2021-08-31
WO2020131891A1 (en) 2020-06-25
US20230247208A1 (en) 2023-08-03
US20210314577A1 (en) 2021-10-07
JP7201821B2 (ja) 2023-01-10
CN113330746A (zh) 2021-08-31
CN115665411A (zh) 2023-01-31
KR20210095948A (ko) 2021-08-03
CN114710668B (zh) 2023-05-12
EP3891986A4 (en) 2022-03-30
JP2023029423A (ja) 2023-03-03
CN115665410A (zh) 2023-01-31
WO2020131900A1 (en) 2020-06-25
SG11202106486XA (en) 2021-07-29
EP3891986A1 (en) 2021-10-13
JP2022513980A (ja) 2022-02-09

Similar Documents

Publication Publication Date Title
CN112703743B (zh) 视频译码中的条带和分块
JP7354258B2 (ja) ビデオエンコーダ、ビデオデコーダ、および対応する方法
JP7368477B2 (ja) ビデオエンコーダ、ビデオデコーダ、及び対応する方法
US11889087B2 (en) Tile group assignment for raster scan and rectangular tile groups in video coding
JP2023090749A (ja) ビデオエンコーダ、ビデオデコーダ、および対応する方法
KR20220063262A (ko) 서브픽처 기반 비디오 코딩에서 서브픽처당 하나의 슬라이스의 지시
US11425377B2 (en) Arbitrary and wrap-around tile grouping
KR20220053676A (ko) 서브픽처 기반 비디오 코딩에서의 서브픽처 id의 시그널링

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal