KR20230126178A - 비디오 서브픽처들에서의 비디오 슬라이스 높이의 표시 - Google Patents

비디오 서브픽처들에서의 비디오 슬라이스 높이의 표시 Download PDF

Info

Publication number
KR20230126178A
KR20230126178A KR1020227020923A KR20227020923A KR20230126178A KR 20230126178 A KR20230126178 A KR 20230126178A KR 1020227020923 A KR1020227020923 A KR 1020227020923A KR 20227020923 A KR20227020923 A KR 20227020923A KR 20230126178 A KR20230126178 A KR 20230126178A
Authority
KR
South Korea
Prior art keywords
video
field
bitstream
picture
subpicture
Prior art date
Application number
KR1020227020923A
Other languages
English (en)
Inventor
핑 우
Original Assignee
지티이 (유케이) 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지티이 (유케이) 리미티드 filed Critical 지티이 (유케이) 리미티드
Publication of KR20230126178A publication Critical patent/KR20230126178A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 비트스트림 생성 및 파싱을 위한 방법들, 장치 및 시스템들이 설명된다. 하나의 예시적인 비트스트림 디코딩 방법은 비디오 유닛 레벨에서의 타일 파티셔닝을 위해 또는 서브픽처 파티셔닝을 위해 슬라이스 높이가 지정되었는지 여부를 표시하는 제1 필드에 대해 비디오 유닛 레벨에서 비디오 비트스트림의 일부를 파싱하는 단계, 서브픽처 파티셔닝을 위해 슬라이스 높이가 지정되었음을 제1 필드가 표시한다는 결정으로 인해, 비디오 유닛 내의 직사각형 슬라이스들에 대한 높이들을 획득하기 위해 비디오 비트스트림의 부분 내의 N개의 제2 필드들을 파싱하는 단계 - 높이들은 코딩 트리 유닛(CTU) 높이들의 배수로 표시되고, 각각의 직사각형 슬라이스는 동일한 서브픽처에 속하는 하나 이상의 CTU 행을 포함하고, 여기서 N은 양의 정수임 - , 및 제1 필드 및/또는 N개의 제2 필드들에 기초하여, 비디오를 생성하기 위해 비디오 비트스트림을 디코딩하는 단계를 포함한다.

Description

비디오 서브픽처들에서의 비디오 슬라이스 높이의 표시
본 특허 출원은, 2019년 12월 20일에 출원된 미국 특허 출원 번호 제16/723,506호의 우선권의 이익을 주장한다. 앞서 언급된 특허 출원의 전체 내용은 본 출원의 개시내용의 일부로서 인용에 의해 포함된다.
본 특허 문서는 일반적으로 비디오 및 이미지 인코딩 및 디코딩에 관한 것이다.
지난 30년 동안, 디지털 비디오에서 일부 시각적 중복성(visual redundancy) 및 정보를 제거함으로써 디지털 비디오를 압축된 포맷으로 표현하기 위한 다수의 상이한 비디오 코딩 표준들이 발표되었다. 이 시간 동안, 인코딩된 비디오 콘텐츠의 픽셀 해상도는 MPEG-1 비디오 표준의 초창기의 소스 입력 포맷(Source Input Format; SIF) 해상도로부터 현재 고려중인 4K 또는 8K 비디오까지 꾸준히 상승하였다. 따라서, 새로운 비디오 코딩 표준들은 비디오의 증가된 해상도를 수용하기 위해 보다 효율적이고 유연한 코딩 기술들을 채택하였다.
본 특허 문서는 다른 것들 중에서도, 비디오의 서브픽처에서 코딩 트리 유닛의 직사각형 슬라이스의 높이를 시그널링하는 데 사용될 수 있는 기술들을 사용하여 디지털 비디오를 인코딩 및 디코딩하기 위한 기술들을 설명한다.
하나의 예시적인 양상에서, 비트스트림 프로세싱의 방법이 개시된다. 방법은 비디오 유닛 레벨에서의 타일 파티셔닝을 위해 또는 서브픽처 파티셔닝을 위해 슬라이스 높이가 지정되었는지 여부를 표시하는 제1 필드에 대해 비디오 유닛 레벨에서 비디오 비트스트림의 일부를 파싱(parsing)하는 단계, 서브픽처 파티셔닝을 위해 슬라이스 높이가 지정되었음을 제1 필드가 표시한다는 결정으로 인해, 비디오 유닛 내의 직사각형 슬라이스들에 대한 높이들을 획득하기 위해 비디오 비트스트림의 부분 내의 N개의 제2 필드들을 파싱하는 단계 - 높이들은 코딩 트리 유닛(coding tree unit; CTU) 높이들의 배수로 표시되고, 각각의 직사각형 슬라이스는 동일한 서브픽처에 속하는 하나 이상의 CTU 행을 포함하고, 여기서 N은 양의 정수임 - , 및 제1 필드 및/또는 N개의 제2 필드들에 기초하여, 비디오를 생성하기 위해 비디오 비트스트림을 디코딩하는 단계를 포함한다.
다른 양상에서, 위에서 구현된 방법을 구현하도록 구성된 프로세서를 포함하는 비디오 디코더 장치가 개시된다.
또 다른 양상에서, 비디오를 인코딩하는 방법이 개시된다. 방법은 비디오를 표현하는 비디오 비트스트림에, 비디오 픽처를 인코딩하기 위한 타일 파티셔닝을 위해 또는 서브픽처 파티셔닝을 위해 슬라이스 높이가 지정되었는지 여부를 표시하는 제1 필드를 포함시키는 단계, 서브픽처 파티셔닝을 위해 슬라이스 높이가 지정되었음을 표시하는 제1 필드를 포함시키는 것으로 인해, 비디오 픽처 내의 직사각형 슬라이스들에 대한 높이를 표시하는 N개의 제2 필드들을 비디오 비트스트림에 삽입하는 단계 - 높이들은 코딩 트리 유닛(CTU) 높이들의 배수로 표시되고, 각각의 직사각형 슬라이스는 동일한 서브픽처에 속하는 하나 이상의 CTU 행을 포함하고, 여기서 N은 양의 정수임 - , 및 제1 필드 및/또는 N개의 제2 필드들을 포함시킴으로써, 비디오의 비디오 픽처를 인코딩하는 단계를 포함한다.
또 다른 예시적인 양상에서, 프로세서를 포함하는 비디오 프로세싱 장치가 개시된다. 프로세서는 본원에서 설명된 인코딩 또는 디코딩 방법을 구현하도록 구성된다.
또 다른 예시적인 양상에서, 컴퓨터 프로그램 저장 매체가 개시된다. 컴퓨터 프로그램 저장 매체는 저장되어 있는 코드를 포함한다. 코드는 프로세서에 의해 실행될 때, 프로세서가 설명된 방법을 구현하게 한다.
이들 및 다른 양상들이 본 문서에서 설명된다.
도 1은 10개의 서브픽처들로 파티셔닝된 비디오 픽처의 예를 도시한다.
도 2a 및 도 2b는 다수의 서브픽처들을 포함하는 비디오 픽처를 인코딩 또는 디코딩할 때 예시적인 프로세싱 순서들을 도시한다.
도 3a는 코딩 트리 유닛들(CTU들), 타일들, 슬라이스들 및 서브픽처들로 분할된 비디오 픽처의 예를 도시한다.
도 3b는 12개의 타일들 및 3개의 래스터 스캔 슬라이스들로 파티셔닝된 18 x 12 루마 CTU들을 갖는 픽처를 도시한다.
도 4는 24개의 타일들 및 9개의 직사각형 슬라이스들로 파티셔닝된 18 x 12 루마 CTU들을 갖는 픽처를 도시한다.
도 5는 4개의 타일들 및 4개의 직사각형 슬라이스들로 파티셔닝된 픽처를 도시한다.
도 6은 18개의 타일들, 24개의 서브픽처들 및 24개의 슬라이스들(20x12=240 CTU들)이 있는 예시적인 비디오 픽처를 도시한다.
도 7은 예시적인 비디오 픽처를 도시하며, 여기서 파티션이 5x5=25 타일들로서 배열되지만, 타일 코딩 순서는 제한될 것이고 스캐닝 순서에서 각각의 CTU를 통한 코딩 순서는 현재 VVC 버전에서 완전히 유연하진 않다.
도 8은 예시적인 비디오 인코더의 블록도를 도시한다.
도 9는 예시적인 비디오 디코더의 블록도를 도시한다.
도 10은 비디오 시스템의 예를 도시한다.
도 11은 비디오 프로세싱 하드웨어 플랫폼의 예를 도시한다.
도 12는 비디오 프로세싱의 예시적인 방법에 대한 흐름도이다.
도 13은 비디오 프로세싱의 예시적인 방법에 대한 흐름도이다.
섹션 표제들은 가독성을 개선하기 위해서만 본 문서에서 사용되며 각각의 섹션에서 개시된 실시예들 및 기술들의 범위를 해당 섹션으로만 제한하지 않는다. 특정 특징들은 H.264/AVC(advanced video coding), H.265/HEVC(high efficiency video coding) 및 H.266 VVC(Versatile Video Coding) 표준들의 예를 사용하여 설명된다. 그러나, 개시된 기술들의 응용성은 H.264/AVC 또는 H.265/HEVC 또는 H.266/VVC 시스템들로만 제한되지 않는다.
본 특허 문서는 비디오 프로세싱 및 통신, 특히 비트스트림을 생성하기 위해 디지털 비디오 또는 픽처를 인코딩하기 위한 방법들 및 장치, 디지털 비디오 또는 픽처를 재구성하기 위해 비트스트림을 디코딩하기 위한 방법들 및 장치, 서브-비트스트림을 형성하기 위해 비트스트림을 추출하기 위한 방법들 및 장치에 관한 것이다.
간략한 논의
디지털 비디오 및 픽처를 압축하기 위한 기술들은 비디오 및 픽처의 중복성을 제거하기 위해 픽셀 샘플들 간의 상관 특성들을 활용한다. 인코더는 픽처를 다수의 유닛들을 포함하는 하나 이상의 영역으로 파티셔닝할 수 있다. 그러한 영역은 픽처 내의 예측 의존성들을 깨뜨려서, 영역이 디코딩될 수 있거나 적어도 이 영역에 대응하는 신택스 요소들이 동일한 픽처 내 다른 영역의 데이터를 참조하지 않고 올바르게 파싱될 수 있다. 비디오 코딩 표준들에서 도입된 이러한 영역은 데이터 손실 후 재동기화, 병렬 프로세싱, 관심 영역 코딩 및 스트리밍, 패킷화된 송신, 뷰-포트 의존 스트리밍(view-port dependent streaming) 등을 용이하게 하기 위한 것이다. 예컨대 H.264/AVC 표준에서, 이러한 영역의 예는 슬라이스 및 슬라이스 그룹일 수 있다. H.265/HEVC 표준에서, 이러한 영역의 예는 슬라이스 및 타일일 수 있다.
차세대 비디오 코딩 표준의 개발에서, MPEG(Moving Picture Experts Group)은 차세대 비디오 코덱이 압축된 비트스트림으로부터 원하는 뷰포트의 효율적 추출을 가능하게 해야 한다고 지시하였다. 또한 4K, 8K 및 훨씬 더 높은 해상도 비디오들과 관련된 애플리케이션들에서, 뷰어는 단말 디바이스들 상에서 렌더링할 뷰-포트를 선택하도록 허용될 수 있고, 이에 따라 오리지널 해상도에 대응하는 비트스트림으로부터 서브-비트스트림의 효율적 추출을 가능하게 하는데 유용하다.
간략한 소개
현재 JVET-P2001(VVC 드래프트 7) 사양에서, 비디오 픽처 파티션들은 서브픽처들, 타일들 및 슬라이스들에 기초한다. 서브픽처들 및 타일들은 통상적으로 비트스트림에서 표시되지만 매우 상이한 방법들을 통해 표시된다. 서브픽처 구조에는 다소 유연한 파티션 어레인지먼트(partition arrangement)가 주어지는 반면, 타일 구조는 그리드 시스템으로서 지정된다.
표준의 현재 텍스트에서, 직사각형 슬라이스들이 타일 내부에 포함된 경우, 코딩 트리 유닛(CTU) 크기 측정 시에 직사각형 슬라이스들의 높이들을 지정하는 설계된 방식이 있다. 그러나 VVC에서 제공되는 기술은 현재, 서브픽처 파티션 내부에 속하도록 파티셔닝될 수 있는 직사각형 슬라이스들의 높이들을 지정하는 솔루션 또는 메커니즘을 제공하지 않는다. 예컨대, 전체 비디오 픽처가 하나의 타일이고 동시에 비디오 픽처에 다수의 서브픽처들이 있는 경우, 현재, 서브픽처 내부의 슬라이스들에 대한 슬라이스 높이들과 CTU 크기 간의 관계를 인코딩하는 방식이 없다. 더욱이, 그러한 직사각형 슬라이스들의 높이들과 대응하는 CTU 크기 간의 관계는 인코딩된 비디오를 표현하는 비트스트림의 신택스 요소들에 기초하여 디코더에 의해 이해되지 않을 것이다.
(CTU 크기 측정에서) 서브픽처 내부의 직사각형 슬라이스 높이들을 표시하는 하나의 가능한 방식은 타일의 크기를 CTU 크기와 동일하게 설정하는 것이며, 이는 통상적으로 작은 크기의 타일들을 초래할 것이다. 그 후, 이러한 작은 크기의 타일들(이는 이제, 높이가 CTU와 동일함)의 수를 카운트함으로써, CTU 크기 측정에서 슬라이스 높이는 JVET-P2001 VVC 드래프트 7에 따르는 비트스트림 포맷을 사용하여 표현될 수 있다. 그러나 이는 타일 크기를 과도하게 제한하고 VVC 타일 구조 설계의 이점을 제대로 사용하지 못하기 때문에 차선 솔루션(sub-optimal solution)이다.
솔루션에 따른 일부 실시예들에서, CTU 크기 측정에서 직사각형 슬라이스의 높이들의 편리한 표시를 위해, 2개의 새로운 신택스 요소들 및 그들의 시맨틱(semantics)이 사용될 수 있다. 제1 신택스 요소는 rect_slice_height_in_subpic_only_flag라고 하며 포맷(u(1))을 사용할 수 있다. 제2 구문 구조는 slice_height_in_ctu_in_subpic_minus1[ i++ ]이라고 하며 포맷(ue(v))을 사용할 수 있다.
신택스 요소들은 다음과 같이 사용될 수 있다. 첫 번째
제1 신택스 요소는 슬라이스 높이가 어떻게 지정되는지에 관학 맥락 또는 참조를 식별한다. 예컨대, 1과 동일한 첫 번째 synrect_slice_height_in_subpic_only_flag는 슬라이스 높이가 서브픽처 파티션으로만 지정된다는 것을 지정한다. 또한, 0과 동일한 rect_slice_height_in_subpic_only_flag는 슬라이스 높이가 타일 파티션으로 지정됨을 지정한다.
제2 신택스 요소는 CTU 행들의 단위로 슬라이스 높이들을 표시하는 데 사용될 수 있다. 예컨대, slice_height_in_ctu_in_subpic_minus1[ i ]에 1을 더한 것은 i번째 직사각형 슬라이스가 단일 서브픽처로부터의 CTU 행들의 서브세트를 포함하는 경우에 대해 CTU 행들의 단위로 i번째 직사각형 슬라이스의 높이를 지정한다. slice_height_in_ctu_minus1[ i ]의 값은 0 내지 Ceil( pic_height_max_in_luma_samples / CtbSizeY ) - 1의 범위에 있다(해당 값들을 포함함).
예시적인 실시예
현재 VVC Draft 7 사양에서, 픽처 파티션들은 다수의 타일들, 슬라이스들 또는 서브픽처들로서 행해질 수 있다. 직사각형 슬라이스 표시들에 대한 문제가 있는데: 완전한 비디오 픽처에 대해 타일이 하나만 있는 경우, 서브픽처 내의 CTU들에서 슬라이스 높이를 표시할 수 없다. 이 기고(contribution)에서, 타일 내부 또는 서브픽처 내부의 CTU들에서 슬라이스 높이를 허용하는 솔루션이 제안되었다.
VVC 드래프트 7에서 서브픽처들의 처리
현재 VVC Draft 7 사양에서, 서브픽처들의 구조는 시퀀스 파라미터 세트(Sequence Parameter Set; SPS)에 다음과 같이 표시된다:
[표 1]
위의 SPS에서 밑줄 친 이탤릭체로 강조된 텍스트들은 서브픽처들이 정의된 방식을 표시하였고: 일반적으로 모든 파티션들은 CTU(Coding Tree Unit - 기본 유닛)에 기초하며, 좌측 상단 X, Y 로케이션들에 서브픽처 폭 및 높이 정보를 더하는 것을 지정함으로써, 서브픽처들이 효율적으로 정의될 수 있다.
현재의 서브픽처 설계로, 도 1의 서브픽처들의 파티션(각각의 컬러 블록은 서브픽처와 연관됨)이 지원될 수 있다. 도 1의 모든 서브픽처들의 프로세싱 순서는 상이하게(하나 초과의 가능한 방식으로) 배열될 수 있다. 핵심적인 제약은 서브픽처가 인코딩될 때 이 서브픽처의 전체 좌측 경계 및 상단 경계가 사용 가능해야 한다는 것이다. 예컨대: (1) 현재 서브픽처에 대한 경계 픽셀들이 이미 프로세싱(디코딩)된 다른 서브픽처들에 속하거나 (2) 현재 서브픽처에 대한 관련 경계들이 픽처 경계들이다. 이들 10개의 서브픽처들에 대한 가능한 2개의 프로세싱 순서들이 도 2a 및 도 2b에서 주어진다.
VVC 드래프트 7에서 타일들 및 슬라이스들의 처리:
도 3a는 픽처를 타일들, 서브픽처들 및 슬라이스들로 파티셔닝하는 예를 도시한다. 도 3b는 12개의 타일 및 3개의 래스터-스캔 타일들로 파티셔닝되는 18 x 12 루마 CTU들을 갖는 픽처의 다른 예이다.
도 4는 24개의 타일들 및 9개의 직사각형 슬라이스들로 파티셔닝된 18 x 12 루마 CTU들의 예를 도시한다.
도 5는 4개의 타일들 및 4개의 직사각형 슬라이스들로 파티셔닝된 픽처의 예를 도시한다.
이 모든 도면들에서, VVC의 타일 구조는 도 1에 도시된 바와 같이 비디오 픽처 파티션을 유연하게 지원할 수 없다는 것이 분명하다.
타일 구조는 픽처 파라미터 세트(Picture Parameter Set; PPS)에서 다음과 같이 설명되었다(관련 텍스트는 "청색"으로 강조됨).
[표 2]
"청색"으로 강조된 텍스트들은 타일 구조가 특정 그리드 유형으로 보일 수 있음을 보여준다.
도 6은 20x12 = 240 CTU들을 갖는 18개의 타일들, 24개의 서브픽처들, 및 24개의 슬라이스들을 갖는 비디오 픽처의 예를 도시한다.
파티션 어레인지먼트에서 타일 개념들을 사용하는 동시에 도 1에 예시된 서브픽처 구조 어레인지먼트를 지원한다. 다음 도 7에서, 이것은 가능성을 보여주며: 픽처는 디스플레이된 바와 같이 5x5=25 타일들로서 파티셔닝될 필요가 있을 것이다. 도 7에서, 각각의 컬러 상자는 여전히 이 비디오 픽처에서 파티셔닝된 서브픽처이다.
JVET -P2001에서 서브픽처들 내에서 다수의 직사각형 슬라이스들 지원:
현재 사양에 따르면, 다수의 슬라이스들을 지원하는 유일한 방식은 PPS 부분을 사용하는 것이다. 도 1의 예에서, 우리는 처음에 10개의 서브픽처 구조(좌측 상단 X 및 Y 로케이션에, 서브픽처 폭 및 높이 정보를 더함)를 정의한다. 그리고 나서, 우리는 전체 픽처가 하나의 타일을 갖는다고 정의한다. 통상적인 사용 사례를 살펴보면, 도 1에 예시된 서브픽처 파티션의 경우, 우리는 각각의 서브픽처 내부에 2개의 슬라이스들을 갖기를 원할 것이고, 이에 따라 우리는 (10개의 서브픽처들에 대해) 총 20개의 슬라이스들을 가져야 한다.
아래 표에서, 픽처 파라미터 세트 원시 바이트 시퀀스 페이로드(raw byte sequence payload; RBSP)의 현재 구문 구조에 추가될 수 있는 새로운 신택스 요소들은 이탤릭체 텍스트로 도시된다.
[표 3]
JVET -P2001 사양의 다른 예시적인 변경들
현재 JVET 사양의 문서의 6.5.1 "CTB raster scanning, tile scanning, and subpicture scanning processes" 하에서, 기존 텍스트들은 다음과 같이 명확해질 수 있다.
픽처 래스터 스캔의 CTB 주소로부터 서브픽처 인덱스로의 변환을 지정하는, 0 내지 PicSizeInCtbsY - 1(해당 값들을 포함함) 범위의 ctbAddrRs에 대한 목록 CtbToSubPicIdx[ ctbAddrRs ]은 다음과 같이 유도된다: (이탤릭체 텍스트는 제안된 수정안으로부터 삭제될 것임):
i 번째 서브픽처에서 직사각형 슬라이스들의 수 및 i-번째 서브픽처에서 k 번째 슬라이스의 픽처-레벨 슬라이스 인덱스를 지정하는 목록 NumSlicesInSubpic[ i ] 및 SliceSubpicToPicIdx[ i ][ k ]은 다음과 같이 유도된다:
"이탤릭체"로 강조된 텍스트들은 "JVET VVC Trac" 정보 #742에 따라 수정된다.
또한 7.4.3.4 "Picture parameter set RBSP semantics" 하에서 다음 텍스트가 추가될 수 있다:
1과 동일한 rect _slice_height_in_ subpic _only_flag는 슬라이스 높이가 서브픽처 파티션으로만 지정된다는 것을 지정한다. 0과 동일한 rect_slice_height_in_subpic_only_flag는 슬라이스 높이가 타일 파티션으로 지정됨을 지정한다.
slice_height_in_ ctu _in_ subpic _ minus1[ i ]에 1을 더한 것은 i번째 슬라이스가 단일 서브픽처로부터의 CTU 행들의 서브세트를 포함하는 경우에 대해 CTU 행들의 단위로 i번째 직사각형 슬라이스의 높이를 지정한다. slice_height_in_ctu_minus1[ i ]의 값은 0 내지 Ceil( pic_height_max_in_luma_samples / CtbSizeY ) - 1의 범위에 있을 것이다(해당 값들을 포함함).
인코더, 디코더 및 시스템 구현들의 예들
도 8은 적어도 예시적인 비디오 인코더 또는 픽처 인코더를 포함하는 제1 예시적인 디바이스를 예시하는 도면이다.
획득 유닛(1001)은 비디오 및 픽처를 캡처한다. 획득 유닛(1001)에는 자연 장면의 비디오 또는 픽처를 촬영하기 위한 하나 이상의 카메라가 장착될 수 있다. 선택적으로, 획득 유닛(1001)은 깊이 비디오 또는 깊이 픽처를 얻기 위해 카메라로 구현될 수 있다. 선택적으로, 획득 유닛(1001)은 적외선 카메라의 구성요소를 포함할 수 있다. 선택적으로, 획득 유닛(1001)은 원격 감지 카메라로 구성될 수 있다. 획득 유닛(1001)은 또한 방사선을 사용하여 오브젝트를 스캐닝함으로써 비디오 또는 픽처를 생성하는 장치 또는 디바이스일 수 있다.
선택적으로, 획득 유닛(1001)은 비디오 또는 픽처에 대한 사전-프로세싱, 예컨대 자동 화이트 밸런스, 자동 포커싱, 자동 노출, 백라이트 보상, 샤프닝, 노이즈 제거, 스티칭, 업샘플링/다운 샘플링, 프레임-레이트 변환, 가상 뷰 합성 등을 수행할 수 있다.
획득 유닛(1001)은 또한 다른 디바이스 또는 프로세싱 유닛으로부터 비디오 또는 픽처를 수신할 수 있다. 예컨대, 획득 유닛(1001)은 트랜스코더의 구성요소 유닛일 수 있다. 트랜스코더는 하나 이상의 디코딩된(또는 부분적으로 디코딩된) 픽처를 획득 유닛(1001)에 공급한다. 다른 예는 획득 유닛(1001)이 그 디바이스에 대한 데이터 링크를 통해 다른 디바이스로부터 비디오 또는 픽처를 얻는 것이다.
획득 유닛(1001)은 비디오 및 픽처 외에 다른 미디어 정보, 예컨대 오디오 신호를 포착하는 데 사용될 수 있다는 것에 주의한다. 획득 유닛(1001)은 또한 인공 정보, 예컨대, 문자, 텍스트, 컴퓨터 생성 비디오 또는 픽처 등을 수신할 수 있다.
인코더(1002)는 예시적인 인코더의 구현이다. 인코더(1002)의 입력은 획득 유닛(1001)에 의해 출력된 비디오 또는 픽처이다. 인코더(1002)는 비디오 또는 픽처를 인코딩하고 생성된 비디오 또는 픽처 비트스트림을 출력한다.
저장/송신 유닛(1003)은 인코더(1002)로부터 비디오 또는 픽처 비트스트림을 수신하고, 비트스트림에 대해 시스템 층 프로세싱을 수행한다. 예컨대, 저장/송신 유닛(1003)은 전송 표준 및 미디어 파일 포맷, 예컨대 MPEG-2 TS, ISOBMFF, DASH, MMT 등에 따라 비트스트림을 캡슐화한다. 저장/송신 유닛(1003)은 캡슐화 후 획득된 전송 스트림 또는 미디어 파일을 제1 예시적인 디바이스의 메모리 또는 디스크에 저장하거나, 전송 스트림 또는 미디어 파일을 유선 또는 무선 네트워크들을 통해 송신한다.
인코더(1002)로부터의 비디오 또는 픽처 비트스트림 외에, 저장/송신 유닛(1003)의 입력은 또한 오디오, 텍스트, 이미지, 그래픽 등을 포함할 수 있다는 것에 주의한다. 저장/송신 유닛(1003)은 이러한 상이한 유형들의 미디어 비트스트림들을 캡슐화함으로써 전송 또는 미디어 파일을 생성한다.
이 실시예에서 설명된 제1 예시적인 디바이스는 비디오 통신의 애플리케이션들에서 비디오(또는 픽처) 비트스트림을 생성하거나 프로세싱할 수 있는 디바이스, 예컨대 모바일 폰, 컴퓨터, 미디어 서버, 휴대용 모바일 단말, 디지털 카메라, 브로드캐스팅 디바이스, 콘텐츠 분배 네트워크(Content Distribution Network; CDN) 디바이스, 감시 카메라, 픽처 회의 디바이스 등일 수 있다.
도 9는 적어도 예시적인 비디오 디코더 또는 픽처 디코더를 포함하는 재2 예시적인 디바이스를 예시하는 도면이다.
수신 유닛(1101)은 유선 또는 무선 네트워크로부터 비트스트림을 획득함으로써, 전자 디바이스의 메모리 또는 디스크를 판독함으로써, 또는 데이터 링크를 통해 다른 디바이스로부터 데이터를 페치(fetch)함으로써 비디오 또는 픽처 비트스트림을 수신한다.
수신 유닛(1101)의 입력은 또한 비디오 또는 픽처 비트스트림을 포함하는 전송 스트림 또는 미디어 파일을 포함할 수 있다. 수신 유닛(1101)은 전송 또는 미디어 파일 포맷의 사양에 따라 전송 스트림 또는 미디어 파일로부터 비디오 또는 픽처 비트스트림을 추출한다.
수신 유닛(1101)은 비디오 또는 픽처 비트스트림을 디코더(1102)에 출력 및 전달한다. 비디오 또는 픽처 비트스트림 외에, 수신 유닛(1101)의 출력은 또한 오디오 비트스트림, 문자, 텍스트, 이미지, 그래픽 등을 포함할 수 있다는 것에 주의한다. 수신 유닛(1101)은 출력을 제2 예시적인 디바이스의 대응하는 프로세싱 유닛들로 전달한다. 예컨대, 수신 유닛(1101)은 출력 오디오 비트스트림을 이 디바이스의 오디오 디코더에 전달한다.
디코더(1102)는 예시적인 디코더의 구현이다. 인코더(1102)의 입력은 수신 유닛(1101)에 의해 출력된 비디오 또는 픽처 비트스트림이다. 디코더(1102)는 비디오 또는 픽처 비트스트림을 디코딩하고 디코딩된 비디오 또는 픽처를 출력한다.
렌더링 유닛(1103)은 디코더(1102)로부터 디코딩된 비디오 또는 픽처를 수신한다. 렌더링 유닛(1103)은 디코딩된 비디오 또는 픽처를 뷰어에게 제시한다. 렌더링 유닛(1103)은 제2 예시적인 디바이스의 구성요소, 예컨대, 스크린일 수 있다. 렌더링 유닛(1103)은 또한 제2 예시적인 디바이스 예컨대 프로젝터, 모니터, TV 세트 등에 대한 데이터 링크를 갖는, 제2 예시적인 디바이스와 별개의 디바이스일 수 있다. 선택적으로, 렌더링(1103)은 뷰어에게 제시하기 전에 디코딩된 비디오 또는 픽처에 대한 포스트-프로세싱, 예컨대 자동 화이트 밸런스, 자동 포커싱, 자동 노출, 백라이트 보상, 샤프닝, 노이즈 제거, 스티칭, 업샘플링/다운 샘플링, 프레임-레이트 변환, 가상 뷰 합성 등을 수행한다.
디코딩된 비디오 또는 픽처 외에, 렌더링 유닛(1103)의 입력은 제2 예시적인 디바이스의 하나 이상의 유닛으로부터의 다른 미디어 데이터, 예컨대, 오디오, 문자, 텍스트, 이미지, 그래픽 등일 수 있다는 것에 주의한다. 렌더링 유닛(1103)의 입력은 또한 인공 데이터 예컨대, 원격 교육 애플리케이션에서 관심을 끌기 위해 슬라이드들 상에 현지 교사에 의해 그려진 라인들 및 표시들을 포함할 수 있다. 렌더링 유닛(1103)은 상이한 유형들의 미디어를 함께 구성하고 그 후 뷰어에게 구성물을 제시한다.
이 실시예에서 설명된 제2 예시적인 디바이스는 비디오 통신의 애플리케이션들에서 비디오(또는 픽처) 비트스트림을 디코딩하거나 프로세싱할 수 있는 디바이스, 예컨대 모바일 폰, 컴퓨터, 셋톱 박스, TV 세트, HMD, 모니터, 미디어 서버, 휴대용 모바일 단말, 디지털 카메라, 브로드캐스팅 디바이스, CDN(Content Distribution Network) 디바이스, 감시, 픽처 회의 디바이스 등일 수 있다.
도 10은 도 9의 제1 예시적인 디바이스 및 도 4의 제2 예시적인 디바이스를 포함하는 전자 시스템을 예시하는 도면이다.
서비스 디바이스(1201)는 도 8의 제1 예시적인 디바이스이다.
저장 매체/전송 네트워크들(1202)은 디바이스 또는 전자 시스템의 내부 메모리 자원, 데이터 링크를 통해 액세스 가능한 외부 메모리 자원, 유선 및/또는 무선 네트워크들로 구성된 데이터 송신 네트워크를 포함할 수 있다. 저장 매체/전송 네트워크들(1202)은 서비스 디바이스(1201)의 저장/송신 유닛(1203)을 위한 저장 자원 또는 데이터 송신 네트워크를 제공한다.
목적지 디바이스(1203)는 도 5의 제2 예시적인 디바이스이다. 목적지 디바이스(1203)의 수신 유닛(1201)은 저장 매체/전송 네트워크(1202)로부터 비디오 또는 픽처 비트스트림, 비디오 또는 픽처 비트스트림을 포함하는 전송 스트림, 또는 비디오 또는 픽처 비트스트림을 포함하는 미디어 파일을 수신한다.
이 실시예에서 설명된 전자 시스템은 비디오 통신의 애플리케이션들에서 비디오(또는 픽처) 비트스트림을 생성, 저장 또는 전송 및 디코딩할 수 있는 디바이스 또는 시스템 예컨대, 모바일 폰, 컴퓨터, IPTV 시스템들, OTT 시스템들, 인터넷 상의 멀티미디어 시스템들, 디지털 TV 브로드캐스팅 시스템, 비디오 감시 시스템, 휴대용 모바일 단말, 디지털 카메라, 비디오 회의 시스템들 등일 수 있다.
도 11은 본 문서에서 설명된 인코더 측 또는 디코더 측 기술들을 구현하는 데 사용될 수 있는 예시적인 장치(1400)를 도시한다. 장치(1400)는 인코더 측 또는 디코더 측 기술들 또는 둘 모두를 수행하도록 구성될 수 있는 프로세서(1402)를 포함한다. 장치(1400)는 또한 프로세서 실행 가능 명령들을 저장하고 비디오 비트스트림 및/또는 디스플레이 데이터를 저장하기 위한 메모리(도시되지 않음)를 포함할 수 있다. 장치(1400)는 변환 회로들, 산술 코딩/디코딩 회로들, 룩업 테이블 기반 데이터 코딩 기술들 등과 같은 비디오 프로세싱 회로(도시되지 않음)를 포함할 수 있다. 비디오 프로세싱 회로는 부분적으로 프로세서에 그리고/또는 그래픽 프로세서들, 필드 프로그래밍 가능 게이트 어레이(field programmable gate array; FPGA)들 등과 같은 다른 전용 회로에 부분적으로 포함될 수 있다.
비디오 인코딩 및 디코딩 기술들과 관련하여 본 문서에 설명된 기술적 문제들은 바람직하게는 다음 솔루션들 중 하나 이상을 통합함으로써 일부 실시예들에 의해 해결될 수 있다.
1. 비디오 비트스트림 프로세싱의 방법은, 비디오 유닛 레벨에서의 타일 파티셔닝을 위해 또는 서브픽처 파티셔닝을 위해 슬라이스 높이가 지정되었는지 여부를 표시하는 제1 필드에 대해 비디오 유닛 레벨에서 비디오 비트스트림의 일부를 파싱하는 단계, 서브픽처 파티셔닝을 위해 슬라이스 높이가 지정되었음을 제1 필드가 표시한다는 결정으로 인해, 비디오 유닛 내의 직사각형 슬라이스들에 대한 높이들을 획득하기 위해 비디오 비트스트림의 부분 내의 N개의 제2 필드들을 파싱하는 단계 - 높이들은 코딩 트리 유닛(CTU) 높이들의 배수로 표시되고, 각각의 직사각형 슬라이스는 동일한 서브픽처에 속하는 하나 이상의 CTU 행을 포함하고, 여기서 N은 양의 정수임 - , 및 제1 필드 및/또는 N개의 제2 필드들에 기초하여, 비디오를 생성하기 위해 비디오 비트스트림을 디코딩하는 단계를 포함한다.
2. 솔루션 1에 있어서, 비디오 유닛은 비디오 픽처인, 비디오 비트스트림 프로세싱의 방법.
3. 솔루션 1에 있어서, 제1 필드는 1비트 필드인, 비디오 비트스트림 프로세싱의 방법.
4. 솔루션 3에 있어서, N개의 제2 필드들은 비디오 비트스트림에서 제1 필드에 바로 후속하여 포지셔닝되는, 비디오 비트스트림 프로세싱의 방법.
5. 솔루션 1에 있어서, 비디오 비트스트림을 디코딩하는 단계는 비디오 유닛에 포함된 다수의 서브픽처들을 디코딩하는 단계를 포함하는, 비디오 비트스트림 프로세싱의 방법.
6. 솔루션 1에 있어서, N개의 제2 필드들은 제1 필드의 값에 기초하여 조건부로(conditionally) 비디오 비트스트림에 포함되는, 비디오 비트스트림 프로세싱의 방법.
7. 솔루션 1에 있어서, 비디오 비트스트림의 일부는 파라미터 세트인, 비디오 비트스트림 프로세싱의 방법.
8. 솔루션 7에 있어서, 파라미터 세트는 픽처 파라미터 세트인, 비디오 비트스트림 프로세싱의 방법.
9. 비디오 디코더 장치는 프로세서를 포함하며, 이 프로세서는, 비디오 유닛 레벨에서의 타일 파티셔닝을 위해 또는 서브픽처 파티셔닝을 위해 슬라이스 높이가 지정되었는지 여부를 표시하는 제1 필드에 대해 비디오 유닛 레벨에서 비디오 비트스트림의 일부를 파싱하는 동작, 서브픽처 파티셔닝을 위해 슬라이스 높이가 지정되었음을 제1 필드가 표시한다는 결정으로 인해, 비디오 유닛 내의 직사각형 슬라이스들에 대한 높이들을 획득하기 위해 비디오 비트스트림의 부분 내의 N개의 제2 필드들을 파싱하는 동작 - 높이들은 코딩 트리 유닛(CTU) 높이들의 배수로 표시되고, 각각의 직사각형 슬라이스는 동일한 서브픽처에 속하는 하나 이상의 CTU 행을 포함하고, 여기서 N은 양의 정수임 - , 및 제1 필드 및/또는 N개의 제2 필드들에 기초하여, 비디오를 생성하기 위해 비디오 비트스트림을 디코딩하는 동작을 포함하는 동작들을 수행하도록 구성된다.
10. 솔루션 9에 있어서, 비디오 유닛은 비디오 픽처인, 비디오 디코더 장치.
11. 솔루션 9에 있어서, 제1 필드는 1비트 필드인, 비디오 디코더 장치.
12. 솔루션 11에 있어서, N개의 제2 필드들은 비디오 비트스트림에서 제1 필드에 바로 후속하여 포지셔닝되는, 비디오 디코더 장치.
13. 솔루션 9에 있어서, 비디오 비트스트림을 디코딩하는 단계는 비디오 유닛에 포함된 다수의 서브픽처들을 디코딩하는 단계를 포함하는, 비디오 디코더 장치.
14. 솔루션 9에 있어서, N개의 제2 필드들은 제1 필드의 값에 기초하여 조건부로 비디오 비트스트림에 포함되는, 비디오 디코더 장치.
15. 솔루션 14에 있어서, 파라미터 세트는 픽처 파라미터 세트인,비디오 디코더 장치.
16. 비디오 인코딩의 방법은, 비디오를 표현하는 비디오 비트스트림에, 비디오 픽처를 인코딩하기 위한 타일 파티셔닝을 위해 또는 서브픽처 파티셔닝을 위해 슬라이스 높이가 지정되었는지 여부를 표시하는 제1 필드를 포함시키는 단계, 서브픽처 파티셔닝을 위해 슬라이스 높이가 지정되었음을 표시하는 제1 필드를 포함시키는 것으로 인해, 비디오 픽처 내의 직사각형 슬라이스들에 대한 높이를 표시하는 N개의 제2 필드들을 비디오 비트스트림에 삽입하는 단계 - 높이들은 코딩 트리 유닛(CTU) 높이들의 배수로 표시되고, 각각의 직사각형 슬라이스는 동일한 서브픽처에 속하는 하나 이상의 CTU 행을 포함하고, 여기서 N은 양의 정수임 - , 및 제1 필드 및/또는 N개의 제2 필드들을 포함시킴으로써, 비디오의 비디오 픽처를 인코딩하는 단계를 포함한다.
17. 솔루션 16에 있어서, 제1 필드는 1비트 필드인, 비디오 인코딩의 방법.
18. 솔루션 17에 있어서, N개의 제2 필드들은 제1 필드에 바로 후속하는 비디오 비트스트림에 포함되는, 비디오 인코딩의 방법.
19. 솔루션 16에 있어서, 제1 필드 및 제2 필드는 픽처 파라미터 세트에 포함되는, 비디오 인코딩의 방법. 일부 실시예들에서, 컴퓨터 프로그램 제품은 청구항들에서 그리고 본원에서 설명된 방법을 구현하기 위한 프로세서 실행 가능 코드를 포함하는 컴퓨터 판독 가능 매체를 포함할 수 있다.
20. 비디오 디코딩의 방법은, 슬라이스 높이가 비디오 유닛 레벨에서 타일 파티셔닝에 대해 또는 서브픽처 파티셔닝에 대해 지정되었는지 여부를 표시하는 비디오 비트스트림의 제1 필드에 기초하여, 하나 이상의 슬라이스 높이를 표시하는 제2 필드가 비디오 비트스트림에 존재하는지 여부를 결정하는 단계, 및 비디오 비트스트림으로부터 비디오를 재구성하기로 결정한 것에 기초하여 비트스트림을 파싱하는 단계를 포함한다. 예컨대, 슬라이스 높이가 서브픽처 파티셔닝을 위해 지정된 제1 필드의 경우에, 제2 필드가 존재한다는 것을 결정하고 제2 필드를 파싱하여 슬라이스 높이들을 복구한다. 일 예에서, 제2 필드는 제1 필드 직후에 발생하고 제2 필드는 N개의 슬라이스들 중 하나의 표시를 각각 포함하는 N개의 필드들을 포함할 수 있다.
대안적으로, 타일 파티션들에 대해 슬라이스 높이가 지정되었음을 제1 필드 값이 표시하는 경우, 제2 필드가 비디오 비트스트림에 존재하지 않는다는 이해와 더불어, 예컨대 제2 필드를 디코딩하려는 임의의 시도를 스킵함으로써 비디오 비트스트림이 추가로 파싱된다.
21. 비디오 인코딩의 방법이 개시되며, 여기서 비디오 유닛 레벨에서 타일 파티셔닝을 위해 또는 서브픽처 파티셔닝을 위해 슬라이스 높이가 지정되었는지 여부를 표시하는 비디오 비트스트림의 제1 필드의 값은, 하나 이상의 슬라이스 높이를 표시하는 제2 필드가 비디오 비트스트림에 포함되는지 여부를 결정하고, 그리고 비디오 비트스트림으로부터 비디오를 인코딩하라는 결정에 기초하여 비트스트림을 생성하는데 사용된다. 예컨대, 서브픽처 파티셔닝을 위해 슬라이스 높이가 지정된 제1 필드의 경우, 제2 필드가 포함된다. 일 예에서, 제2 필드는 제1 필드 직후에 발생하고 제2 필드는 N개의 슬라이스들 중 하나의 표시를 각각 포함하는 N개의 필드들을 포함할 수 있다. 대안적으로, 제1 필드가 슬라이스 파티셔닝을 위해 지정된 경우, 비디오 비트스트림에서 제2 필드의 포함이 생략된다.
위의 방법들은 도 8 내지 도 11에서 도시된 바와 같은 장치에 의해 구현될 수 있다.
6. 산업적 이용 가능성
위의 설명으로부터, 서브픽처들에서 슬라이스 높이들의 시그널링을 가능하게 하는 기술들이 개시된다는 것을 알 수 있다. 하나의 유리한 양상에서, 이러한 기술들은 인코더들에 의해, 서브픽처들 및 타일들에 대해 개별적으로 그리고 독립적으로 슬라이스 높이를 시그널링하는 데 사용될 수 있고, 그리하여 서브픽처들을 사용하여 비디오 픽처들의 유연한 조직화를 허용한다.
또한, 현재 VVC 드래프트 7에서, 인코더가 각각의 타일을 각각의 CTU만큼 작게 설정하는 경우; 서브픽처의 경우, 내부의 코딩 구역들에 대해, 슬라이스 높이들은 타일 행 높이들의 수에 의해 지정될 수 있다(이 경우에: CTU 높이들의 수와 동일함). 이런 방식으로 행할 때, 타일 개념은 양호한 파티션 도구로서 더 이상 추가로 사용되지 않을 것이다. VVC 드래프트 7에서, 인코더가 작은 크기의 타일을 설정하지 않는 경우, 인코더는 (CTU 높이들의 수로) 서브픽처 내부의 슬라이스들의 높이들을 지정하는 능력을 갖지 않는다. 본 문서에 개시된 기술은 코딩 또는 디코딩 도구로서 타일 파티션의 유연한 사용을 허용하고 또한 각각의 서브픽처 내부의 슬라이스 높이들에 대한 명확한 표시를 허용할 것이다.
본 문서에서 설명된 개시된 그리고 다른 실시예들, 모듈들 및 기능 동작들은, 디지털 전자 회로에서, 또는 본 문서에서 개시된 구조들 및 그들의 구조적 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어, 또는 하드웨어에서, 또는 그들 중 하나 이상의 조합에서 구현될 수 있다. 개시된 그리고 다른 실시예들은, 데이터 프로세싱 장치에 의한 실행을 위해, 또는 데이터 프로세싱 장치의 동작을 제어하기 위해 컴퓨터 판독 가능 매체 상에 인코딩된 하나 이상의 컴퓨터 프로그램 제품, 즉 컴퓨터 프로그램 명령의 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터 판독 가능 매체는 머신-판독 가능 저장 디바이스, 머신-판독 가능 저장 기판, 메모리 디바이스, 머신-판독 가능 전파 신호를 초래하는 재료의 합성, 또는 그들 중 하나 이상의 조합일 수 있다. "데이터 프로세싱 장치"라는 용어는 예로서, 프로그래밍 가능 프로세서, 컴퓨터, 또는 다수의 프로세서들 또는 컴퓨터들을 포함해서, 데이터를 프로세싱하기 위한 모든 장치, 디바이스들 및 머신들을 포함한다. 장치는 하드웨어에 부가하여, 해당 컴퓨터 프로그램에 대한 실행 환경을 생성하는 코드, 예컨대, 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영체제, 또는 이들 중 하나 이상의 조합을 구성하는 코드를 포함할 수 있다. 전파되는 신호는 적합한 수신기 장치로의 송신을 위해 정보를 인코딩하기 위해 생성되는 인위적으로 생성된 신호, 예컨대, 머신-생성 전기, 광학, 또는 전자기 신호이다.
컴퓨터 프로그램(또한, 프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트, 또는 코드로 알려짐)은, 컴파일된 또는 해석된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 작성될 수 있으며, 그것은 독립형 프로그램 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적합한 다른 유닛으로서의 형태를 포함하여 임의의 형태로 배치될 수 있다. 컴퓨터 프로그램은 반드시 파일 시스템의 파일에 대응할 필요는 없다. 프로그램은, 다른 프로그램들 또는 데이터(예컨대, 마크업 언어 문서에 저장되는 하나 이상의 스크립트)를 보유하는 파일의 부분에, 문제의 프로그램에 전용된 단일 파일에, 또는 다수의 편성된 파일들(예컨대, 하나 이상의 모듈, 서브-프로그램 또는 코드의 부분을 저장하는 파일들)에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치되거나 다수의 사이트들에 걸쳐 분산되어 통신 네트워크에 의해 상호연결되는 다수의 컴퓨터들 상에서 실행되거나 또는 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.
본 문서에서 설명된 프로세스들 및 로직 흐름들은 입력 데이터를 조작하고 출력을 생성함으로써 기능들을 수행하도록 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그래밍 가능 프로세서에 의해 수행될 수 있다. 프로세스들 및 로직 흐름들은 또한, 특수 목적 로직 회로, 예컨대, FPGA(field programmable gate array) 또는 ASIC(application specific integrated circuit)에 의해 수행될 수 있거나, 장치는 또한 그들로서 구현될 수 있다.
컴퓨터 프로그램의 실행에 적합한 프로세서들은, 예로써, 범용 및 특수 목적 마이크로프로세서들 둘 모두 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서를 포함한다. 일반적으로, 프로세서는 판독-전용 메모리 또는 랜덤-액세스 메모리 또는 둘 모두로부터 명령들 및/또는 데이터를 수신할 것이다. 컴퓨터의 필수 요소들은 명령들을 수행하기 위한 프로세서 및 명령들 및 데이터를 저장하기 위한 하나 이상의 메모리 디바이스이다. 일반적으로, 컴퓨터는 또한 데이터를 저장하기 위한 하나 이상의 대용량 저장 디바이스, 예컨대, 자기, 광자기 디스크들 또는 광학 디스크들로부터 데이터를 수신하거나 또는 이들에 데이터를 전달하거나, 또는 둘 모두를 수행하도록 동작 가능하게 커플링되거나, 또는 이들을 포함할 것이다. 그러나 컴퓨터는 이러한 디바이스들을 가질 필요가 없다. 컴퓨터 프로그램 명령들 및/또는 데이터를 저장하기에 적합한 컴퓨터 판독 가능 매체들은, 예로써, 반도체 메모리 디바이스들, 예컨대, EPROM, EEPROM 및 플래시 메모리 디바이스들, 자기 디스크들, 예컨대, 내부 하드 디스크들 또는 제거 가능 디스크들, 광-자기 디스크들 및 CD-ROM 및 DVD-ROM 디스크들을 포함하는 모든 형태들의 비-휘발성 메모리, 매체 및 메모리 디바이스들을 포함한다. 프로세서 및 메모리는 특수 목적 로직 회로에 의해 보완되거나 또는 거기에 통합될 수 있다.
본 특허 문서가 다수의 세부사항들을 포함하지만, 이들은 임의의 발명들 또는 청구될 수 있는 것의 범위에 대한 제한들로서 해석되는 것이 아니라 오히려, 특정 발명들의 특정 실시예들에 특정할 수 있는 특징들의 설명들로서 해석되어야 한다. 별개의 실시예들의 맥락에서 본 특허 문서에서 설명된 소정의 특징들은 또한, 단일 실시예에서 조합하여 구현될 수 있다. 대조적으로, 단일 실시예의 맥락에서 설명된 다양한 특징들은 또한, 다수의 실시예들에서 개별적으로 또는 임의의 적합한 서브조합으로 구현될 수 있다. 더욱이, 특징들이 소정의 조합들로 작용하는 것으로 위에서 설명되고 심지어 초기에 이와 같이 청구될 수 있지만, 일부 경우들에서, 청구된 조합으로부터의 하나 이상의 특징은 그 조합으로부터 제거될 수 있고, 청구된 조합은 서브조합 또는 서브조합의 변동에 관련될 수 있다.
유사하게, 동작들이 특정한 순서로 도면들에 도시되지만, 이것은, 바람직한 결과들을 달성하기 위해, 그러한 동작들이 도시된 특정 순서 또는 순차적인 순서로 수행되거나, 모든 예시된 동작들이 수행된다는 것을 요구하는 것으로서 이해되지는 않아야 한다. 또한, 본 특허 문서에서 설명된 실시예들에서 다양한 시스템 구성요소들의 분리는 예시 목적들을 위한 것이며, 모든 실시예들에서 이러한 분리를 요구하는 것으로 이해되어서는 안 된다.
단지 소수의 구현들 및 예들만이 설명되며, 본 특허 문서에 설명되고 예시된 것에 기초하여 다른 구현들, 향상들 및 변동들이 이루어질 수 있다.

Claims (19)

  1. 비디오 비트스트림 프로세싱의 방법으로서,
    비디오 유닛 레벨에서의 타일 파티셔닝(tile partitioning)을 위해 또는 서브픽처 파티셔닝(subpicture partitioning)을 위해 슬라이스 높이가 지정되었는지 여부를 표시하는 제1 필드에 대해 상기 비디오 유닛 레벨에서 비디오 비트스트림의 일부를 파싱(parsing)하는 단계;
    상기 서브픽처 파티셔닝을 위해 상기 슬라이스 높이가 지정되었음을 상기 제1 필드가 표시한다는 결정으로 인해, 비디오 유닛 내의 직사각형 슬라이스들에 대한 높이들을 획득하기 위해 상기 비디오 비트스트림의 부분 내의 N개의 제2 필드들을 파싱(parsing)하는 단계 - 상기 높이들은 코딩 트리 유닛(coding tree unit; CTU) 높이들의 배수로 표시되고, 각각의 직사각형 슬라이스는 동일한 서브픽처에 속하는 하나 이상의 CTU 행을 포함하고, 여기서 N은 양의 정수임 - ; 및
    상기 제1 필드 및/또는 상기 N개의 제2 필드들에 기초하여, 비디오를 생성하기 위해 상기 비디오 비트스트림을 디코딩하는 단계
    를 포함하는, 비디오 비트스트림 프로세싱의 방법.
  2. 제1 항에 있어서, 상기 비디오 유닛은 비디오 픽처인 것인, 비디오 비트스트림 프로세싱의 방법.
  3. 제1 항 또는 제2 항에 있어서, 상기 제1 필드는 1비트 필드인 것인, 비디오 비트스트림 프로세싱의 방법.
  4. 제3 항에 있어서, 상기 N개의 제2 필드들은 상기 비디오 비트스트림에서 상기 제1 필드에 바로 후속하여 포지셔닝되는 것인, 비디오 비트스트림 프로세싱의 방법.
  5. 제1 항 내지 제4 항 중 어느 한 항에 있어서, 상기 비디오 비트스트림을 디코딩하는 단계는, 상기 비디오 유닛에 포함된 복수의 서브픽처들을 디코딩하는 단계를 포함하는 것인, 비디오 비트스트림 프로세싱의 방법.
  6. 제1 항 내지 제5 항 중 어느 한 항에 있어서, 상기 N개의 제2 필드들은 상기 제1 필드의 값에 기초하여 조건부로(conditionally) 상기 비디오 비트스트림에 포함되는 것인, 비디오 비트스트림 프로세싱의 방법.
  7. 제1 항 내지 제6 항 중 어느 한 항에 있어서, 상기 비디오 비트스트림의 일부는 파라미터 세트인 것인, 비디오 비트스트림 프로세싱의 방법.
  8. 제7 항에 있어서, 상기 파라미터 세트는 픽처 파라미터 세트인 것인, 비디오 비트스트림 프로세싱의 방법.
  9. 동작들을 수행하도록 구성된 프로세서를 포함하는 비디오 디코더 장치로서, 상기 동작들은,
    비디오 유닛 레벨에서의 타일 파티셔닝을 위해 또는 서브픽처 파티셔닝을 위해 슬라이스 높이가 지정되었는지 여부를 표시하는 제1 필드에 대해 상기 비디오 유닛 레벨에서 비디오 비트스트림의 일부를 파싱하는 동작;
    상기 서브픽처 파티셔닝을 위해 상기 슬라이스 높이가 지정되었음을 상기 제1 필드가 표시한다는 결정으로 인해, 비디오 유닛 내의 직사각형 슬라이스들에 대한 높이들을 획득하기 위해 상기 비디오 비트스트림의 부분 내의 N개의 제2 필드들을 파싱하는 동작 - 상기 높이들은 코딩 트리 유닛(CTU) 높이들의 배수로 표시되고, 각각의 직사각형 슬라이스는 동일한 서브픽처에 속하는 하나 이상의 CTU 행을 포함하고, 여기서 N은 양의 정수임 - ; 및
    상기 제1 필드 및/또는 상기 N개의 제2 필드들에 기초하여, 비디오를 생성하기 위해 상기 비디오 비트스트림을 디코딩하는 동작
    을 포함하는 것인, 동작들을 수행하도록 구성된 프로세서를 포함하는 비디오 디코더 장치.
  10. 제9 항에 있어서, 상기 비디오 유닛은 비디오 픽처인 것인, 비디오 디코더 장치.
  11. 제9 항 또는 제10 항에 있어서, 상기 제1 필드는 1비트 필드인 것인, 비디오 디코더 장치.
  12. 제11 항에 있어서, 상기 N개의 제2 필드들은 상기 비디오 비트스트림에서 상기 제1 필드에 바로 후속하여 포지셔닝되는 것인, 비디오 디코더 장치.
  13. 제9 항 내지 제12 항 중 어느 한 항에 있어서, 상기 비디오 비트스트림을 디코딩하는 동작은, 상기 비디오 유닛에 포함된 복수의 서브픽처들을 디코딩하는 동작을 포함하는 것인, 비디오 디코더 장치.
  14. 제9 항 내지 제13 항 중 어느 한 항에 있어서, 상기 N개의 제2 필드들은 상기 제1 필드의 값에 기초하여 조건부로 상기 비디오 비트스트림에 포함되는 것인, 비디오 디코더 장치.
  15. 제14 항에 있어서, 파라미터 세트는 픽처 파라미터 세트인 것인, 비디오 디코더 장치.
  16. 비디오 인코딩의 방법으로서,
    비디오를 표현하는 비디오 비트스트림에, 비디오 픽처를 인코딩하기 위한 타일 파티셔닝을 위해 또는 서브픽처 파티셔닝을 위해 슬라이스 높이가 지정되었는지 여부를 표시하는 제1 필드를 포함시키는 단계;
    상기 서브픽처 파티셔닝을 위해 상기 슬라이스 높이가 지정되었음을 표시하는 상기 제1 필드를 포함시키는 것으로 인해, 상기 비디오 픽처 내의 직사각형 슬라이스들에 대한 높이를 표시하는 N개의 제2 필드들을 상기 비디오 비트스트림에 삽입하는 단계 - 상기 높이들은 코딩 트리 유닛(CTU) 높이들의 배수로 표시되고, 각각의 직사각형 슬라이스는 동일한 서브픽처에 속하는 하나 이상의 CTU 행을 포함하고, 여기서 N은 양의 정수임 - ; 및
    상기 제1 필드 및/또는 상기 N개의 제2 필드들을 포함시킴으로써, 상기 비디오의 비디오 픽처를 인코딩하는 단계
    를 포함하는, 비디오 인코딩의 방법.
  17. 제16 항에 있어서, 상기 제1 필드는 1비트 필드인 것인, 비디오 인코딩의 방법.
  18. 제17 항에 있어서, 상기 N개의 제2 필드들은 상기 제1 필드에 바로 후속하여 상기 비디오 비트스트림에 포함되는 것인, 비디오 인코딩의 방법.
  19. 제16 항 내지 제18 항 중 어느 한 항에 있어서, 상기 제1 필드 및 상기 제2 필드는 픽처 파라미터 세트에 포함되는 것인, 비디오 인코딩의 방법.
KR1020227020923A 2019-12-20 2020-12-15 비디오 서브픽처들에서의 비디오 슬라이스 높이의 표시 KR20230126178A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/723,506 US11477450B2 (en) 2019-12-20 2019-12-20 Indication of video slice height in video subpictures
US16/723,506 2019-12-20
PCT/EP2020/086159 WO2021122555A1 (en) 2019-12-20 2020-12-15 Indication of video slice height in video subpictures

Publications (1)

Publication Number Publication Date
KR20230126178A true KR20230126178A (ko) 2023-08-29

Family

ID=74095821

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227020923A KR20230126178A (ko) 2019-12-20 2020-12-15 비디오 서브픽처들에서의 비디오 슬라이스 높이의 표시

Country Status (6)

Country Link
US (1) US11477450B2 (ko)
EP (1) EP4078963A1 (ko)
JP (1) JP2023511247A (ko)
KR (1) KR20230126178A (ko)
CN (1) CN114902673A (ko)
WO (1) WO2021122555A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220312009A1 (en) * 2019-06-20 2022-09-29 Electronics And Telecommunications Research Institute Method and apparatus for image encoding and image decoding using area segmentation
US11477450B2 (en) * 2019-12-20 2022-10-18 Zte (Uk) Limited Indication of video slice height in video subpictures
EP4094437A4 (en) 2020-02-24 2023-03-29 ByteDance Inc. INTERACTION BETWEEN SUBPICTURE AND TILE ROW SIGNALING
WO2021178501A1 (en) 2020-03-03 2021-09-10 Bytedance Inc. Controlling a scaling process using slice header signaling
US20230119121A1 (en) * 2020-04-01 2023-04-20 Hfi Innovation Inc. Method and Apparatus for Signaling Slice Partition Information in Image and Video Coding
US11601647B2 (en) * 2020-06-10 2023-03-07 Hfi Innovation Inc. Methods and apparatuses of inter coding for pictures partitioned into subpictures in video coding systems
US11711513B2 (en) * 2020-06-11 2023-07-25 Hfi Innovation Inc. Methods and apparatuses of coding pictures partitioned into subpictures in video coding systems

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2569049T3 (es) * 2012-04-12 2016-05-06 Telefonaktiebolaget Lm Ericsson (Publ) Gestión de datos de extensión
US20140003504A1 (en) * 2012-07-02 2014-01-02 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
KR102319384B1 (ko) * 2014-03-31 2021-10-29 인텔렉추얼디스커버리 주식회사 템플릿 매칭 기반의 화면 내 픽쳐 부호화 및 복호화 방법 및 장치
CN110858908B (zh) * 2018-08-24 2023-06-27 北京字节跳动网络技术有限公司 使用空间邻居的重叠块运动补偿
SG11202107008TA (en) * 2018-12-27 2021-07-29 Huawei Tech Co Ltd Flexible tiling in video coding
PE20212021A1 (es) * 2018-12-28 2021-10-18 B1 Institute Image Technology Inc Metodo y dispositivo de codificacion/decodificacion de video a base de intra prediccion
EP3703376A1 (en) * 2019-01-15 2020-09-02 LG Electronics Inc. -1- Image coding method and device using transform skip flag
US11159827B2 (en) * 2019-09-23 2021-10-26 Tencent America LLC Method for signaling output layer set with sub picture
US20210176475A1 (en) * 2019-12-05 2021-06-10 Mediatek Inc. Specifying Layout In Video Pictures
US11477450B2 (en) * 2019-12-20 2022-10-18 Zte (Uk) Limited Indication of video slice height in video subpictures

Also Published As

Publication number Publication date
JP2023511247A (ja) 2023-03-17
EP4078963A1 (en) 2022-10-26
CN114902673A (zh) 2022-08-12
US11477450B2 (en) 2022-10-18
US20210195186A1 (en) 2021-06-24
WO2021122555A1 (en) 2021-06-24

Similar Documents

Publication Publication Date Title
KR20230126178A (ko) 비디오 서브픽처들에서의 비디오 슬라이스 높이의 표시
US11375232B2 (en) Sub picture signaling in video coding
TWI524744B (zh) 在視訊寫碼中用於視訊時序之時序資訊關係之圖像次序計數的發信
US11477487B2 (en) Subpicture signaling in video coding
US20210409779A1 (en) Parameter set signaling in digital video
US11589047B2 (en) Video encoding and decoding methods and apparatus
CN109587478B (zh) 一种媒体信息的处理方法及装置
US20220417499A1 (en) Image processing apparatus and method
US20220038721A1 (en) Cross-component quantization in video coding
US20210400295A1 (en) Null tile coding in video coding
KR20240050413A (ko) 비디오 처리를 위한 방법, 장치 및 매체