KR20220023341A - 레벨 도출이 있는 서브-픽처 및 서브-픽처 세트 - Google Patents

레벨 도출이 있는 서브-픽처 및 서브-픽처 세트 Download PDF

Info

Publication number
KR20220023341A
KR20220023341A KR1020217038405A KR20217038405A KR20220023341A KR 20220023341 A KR20220023341 A KR 20220023341A KR 1020217038405 A KR1020217038405 A KR 1020217038405A KR 20217038405 A KR20217038405 A KR 20217038405A KR 20220023341 A KR20220023341 A KR 20220023341A
Authority
KR
South Korea
Prior art keywords
sub
picture
video data
level
pictures
Prior art date
Application number
KR1020217038405A
Other languages
English (en)
Inventor
질 보이스
리동 수
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20220023341A publication Critical patent/KR20220023341A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 코덱의 실시예는 비디오 데이터에서 코딩된 비디오 시퀀스의 코딩된 픽처의 서브-영역에 대한 적합성 지점을 도출하고, 직사각형 영역을 형성하는 서브-픽처의 임의의 조합을 서브-픽처 세트로 그룹화하고/하거나, 코딩된 비디오 시퀀스의 레벨 및 코딩된 픽처와 서브-픽처 세트의 상대적인 크기에 기초하여 서브-픽처에 대응하는 레벨 표시기를 도출하는 기술을 포함할 수 있다. 다른 실시예가 개시되고 청구된다.

Description

레벨 도출이 있는 서브-픽처 및 서브-픽처 세트
우선권 주장
본 출원은 2019년 6월 25일자로 출원되고 SUB-PICTURES AND SUB-PICTURE SETS WITH LEVEL DERIVATION이라는 명칭의 미국 가출원 번호 62/866,156에 대한 우선권을 주장하며, 가출원은 본 명세서에서 그 전체가 참조로 포함된다.
배경
비디오 인코딩 및 디코딩은 전송되는 데이터의 양을 줄여 비디오 정보를 처리하는 데 유용하다. 비디오 코덱은 디지털 비디오를 압축하거나 압축 해제하는 전자 회로 또는 소프트웨어를 말한다. 예를 들어, 비디오 코덱은 압축되지 않은 비디오를 압축된 포맷으로 변환하거나 압축된 포맷을 압축되지 않은 비디오로 압축 해제한다. 압축된 비디오 형식의 예는 그 중에서도 MP4, 3GP, OGG, WMV, FLV, AVI, MPEG-2 PS, MPEG, VOB, VP9를 포함한다. 비디오 코덱의 예는 그 중에서도 H.264, 고효율 비디오 코딩(high-efficiency video coding)(HEVC), MPEG-4, QUICKTIME, DV를 포함한다.
본 명세서에서 설명되는 자료는 첨부 도면에서의 제한이 아니라 예로서 예시된다. 예시의 단순성과 명료성을 위해, 도면에 예시된 요소는 반드시 일정한 비율로 작성되는 것은 아니다. 예를 들어, 일부 요소의 치수는 명확성을 위해 다른 요소에 비해 과장될 수 있다. 또한, 적절하다고 간주되는 경우, 대응하거나 유사한 요소를 나타내기 위해 참조 레이블이 도면 사이에서 반복되었다. 도면에서:
도 1a는 실시예에 따른 유효한 서브-픽처 그리드 값의 예의 예시도이다.
도 1b는 실시예에 따른 유효하지 않은 서브-픽처 그리드 값의 예의 예시도이다.
도 2a는 실시예에 따른 서브-픽처로서 구성된 픽처의 예의 예시도이다.
도 2b는 실시예에 따른 서브-픽처 및 한 세트의 서브-픽처로서 구성된 픽처의 예의 예시도이다.
도 2c는 실시예에 따른 서브-픽처 및 다른 세트의 서브-픽처로서 구성된 픽처의 예의 예시도이다.
도 2d는 실시예에 따른 서브-픽처 및 다른 세트의 서브-픽처로서 구성된 픽처의 예의 예시도이다.
도 3은 실시예에 따른 전자 시스템의 예의 블록도이다.
도 4는 실시예에 따른 전자 장치의 예의 블록도이다.
도 5는 실시예에 따른 비디오 데이터를 처리하는 방법의 예의 흐름도이다.
도 6은 예시적인 시스템의 예시도이다.
도 7은 본 개시내용의 적어도 일부 구현에 따라 모두가 배열된 예시적인 소형 폼 팩터 디바이스를 예시한다.
이제 하나 이상의 실시예 또는 구현이 첨부된 도면을 참조하여 설명된다. 특정 구성 및 배열이 논의되지만, 이것은 단지 예시적인 목적으로 수행된다는 것을 이해해야 한다. 관련 기술분야의 통상의 기술자는 설명의 사상 및 범위를 벗어나지 않고 다른 구성 및 배열이 사용될 수 있다는 것을 인식할 것이다. 관련 기술분야의 통상의 기술자에게는 본 명세서에서 설명되는 기술 및/또는 배열이 본 명세서에서 설명되는 것 이외의 다양한 다른 시스템 및 애플리케이션에서도 사용될 수 있다는 것이 명백할 것이다.
다음의 설명은 예를 들어, 시스템 온 칩(system-on-a-chip)(SoC) 아키텍처와 같은 아키텍처에서 나타날 수 있는 다양한 구현을 제시하지만, 본 명세서에서 설명되는 기술 및/또는 배열의 구현은 특정 아키텍처 및/또는 컴퓨팅 시스템으로 제한되지 않으며 유사한 목적을 위한 임의의 아키텍처 및/또는 컴퓨팅 시스템에 의해 구현될 수 있다. 예를 들어, 다수의 집적 회로(integrated circuit)(IC) 칩 및/또는 패키지, 및/또는 셋톱 박스, 스마트폰 등과 같은 다양한 컴퓨팅 디바이스 및/또는 소비자 전자(consumer electronic)(CE) 디바이스를 사용하는 다양한 아키텍처가 본 명세서에서 설명되는 기술 및/또는 배열을 구현할 수 있다. 또한, 다음의 설명은 로직 구현, 시스템 컴포넌트의 유형 및 상호 관계, 로직 분할/통합 선택 등과 같은 수많은 특정 세부사항을 제시할 수 있지만, 청구된 주제는 이러한 특정 세부사항 없이 실시될 수 있다. 다른 사례에서, 예를 들어 제어 구조 및 전체 소프트웨어 명령어 시퀀스와 같은 일부 자료는 본 명세서에서 개시된 자료를 모호하게 하지 않기 위해 자세히 도시되지 않을 수 있다.
본 명세서에서 개시되는 자료는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 임의의 조합으로 구현될 수 있다. 본 명세서에서 개시되는 자료는 또한 하나 이상의 프로세서에 의해 판독되고 실행될 수 있는 머신 판독 가능 매체에 저장된 명령어로서 구현될 수 있다. 머신 판독 가능 매체는 정보를 머신(예를 들어, 컴퓨팅 디바이스)에 의해 판독 가능한 형태로 저장하거나 전송하기 위한 임의의 매체 및/또는 메커니즘을 포함할 수 있다. 예를 들어, 머신 판독 가능 매체는 판독 전용 메모리(read only memory)(ROM); 랜덤 액세스 메모리(random access memory)(RAM); 자기 디스크 저장 매체; 광학 저장 매체; 플래시 메모리 디바이스; 전기, 광학, 음향 또는 다른 형태의 전파된 신호(예를 들어, 캐리어 웨이브, 적외선 신호, 디지털 신호 등) 및 다른 것을 포함할 수 있다.
명세서에서 "하나의 구현", "구현", "예시적인 구현" 등에 대한 참조는 설명된 구현이 특정 특징, 구조 또는 특성을 포함할 수 있지만, 모든 실시예가 특정 특징, 구조 또는 특성을 반드시 포함할 필요는 없다는 것을 나타낸다. 더욱이, 그러한 문구는 반드시 동일한 구현을 지칭하는 것은 아니다. 또한, 특정 특징, 구조 또는 특성이 실시예와 관련하여 설명될 때, 그러한 특징, 구조 또는 특성을 다른 구현과 관련하여 실행하는 것은 본 명세서에서 명시적으로 설명되어 있든 없든 관련 기술분야에서 통상의 기술자의 지식 범위 내에 있다고 생각된다.
본 명세서에서는 비디오 시스템과 관련된 방법, 디바이스, 시스템 및 물품이 설명된다. 특히, 실시예는 레벨 도출이 있는 서브-픽처 및 서브-픽처 세트에 관한 것이다.
(예를 들어, 비디오 코딩 표준을 포함하는) 비디오 코딩에서 사용하기 위해, 비트레이트 효율적 메커니즘의 구현은 코딩된 비디오 시퀀스에서 코딩된 픽처의 서브-영역에 대한 적합성 지점(conformance point)을 도출할 수 있게 할 수 있다.
고효율 비디오 코딩(high-efficiency video coding)(HEVC) 비디오 코딩 표준에서, 각각의 코딩된 비디오 시퀀스(coded video sequence)(CVS)에 대해, 프로파일, 계층 및 레벨 표시기에 대한 신택스 요소는 비트스트림에서 시그널링되어 비트스트림의 적합성을 정의하고, 특정 프로파일, 계층 및 레벨을 준수하는 디코더의 상호 운용성을 가능하게 한다. 시그널링된 프로파일, 계층 및 레벨은 전체 픽처를 포함하는 비디오 시퀀스에 대응한다.
HEVC는 독립적으로 디코딩될 수 있는 타일 세트(tile set)라고 부르는 시퀀스에서의 픽처의 서브-영역을 표시할 수 있는 시간적 움직임 제약 타일 세트(Temporal Motion Constrained Tile Set)에 대한 보충 강화 정보(Supplemental Enhancement Information)(SEI) 메시지를 포함한다. 타일 또는 타일 세트에 대한 계층 및 레벨 정보는 선택적으로 전송될 수 있다.
HEVC 시간적 움직임 제약 타일 세트 SEI 메시지를 사용할 때, 타일을 적합성 지점 정보가 시그널링되는 타일 세트로 그룹화하는 것은 사전에 식별되어야 하고, 식별된 각각의 조합에 대해 명시적으로 시그널링되어야 한다. 특히 타일의 수가 많을 때, 가능한 모든 조합에 대해 신호를 시그널링하기 위해서는 비트레이트 오버헤드가 커진다.
일부 실시예는 직사각형 영역을 형성하는 서브-픽처의 임의의 조합이 서브-픽처 세트로 그룹화될 수 있도록 하고, 임의의 서브-픽처에 대응하는 레벨 표시기가 CVS 레벨 및 코딩된 픽처와 서브-픽처 세트의 상대 크기에 기초하여 도출될 수 있도록 하는 기술을 제공할 수 있다. 유리하게는, 일부 실시예는 서브-비트스트림 추출 및 비트스트림 병합을 명확한 상호 운용성 및 낮은 비트레이트 오버헤드로 더 쉽게 할 수 있도록 할 수 있다. 예를 들어, 일부 실시예는 다용도 비디오 코딩(Versatile Video Coding)(VVC) 표준을 비롯한, 다양한 비디오 코딩 표준에 유용할 수 있다.
일부 실시예는 시퀀스 레벨 서브-픽처 및 서브-픽처 세트를 지원하는 기술을 포함할 수 있다. 서브-픽처는 직사각형 영역에 대응할 수 있으며, 전체 시퀀스에 대해 독립적으로 디코딩 가능하다. 타일 및 슬라이스는 서브-픽처 경계를 넘을 수 없다. 서브-픽처 세트는 직사각형 영역을 형성하는 서브-픽처의 임의의 조합에 기초하여 도출될 수 있으며, 외부 수단에 의해 결정된다. 서브-픽처 파라미터는 서브-픽처 크기 및 위치를 표시하는 그리드를 사용하여, 시퀀스 파라미터 세트(sequence parameter set)(SPS)에서 시그널링된다. 일부 실시예는 임의의 서브-픽처 또는 서브-픽처 세트에 대한 레벨이 각각 픽처 크기를 서브-픽처 또는 서브-픽처 세트 샘플 크기에 대하여 스케일링하는 것에 기초하여 도출될 수 있다는 것을 표시하는 SPS 플래그를 포함할 수 있다. SEI 메시지는 대안적으로 서브-픽처 또는 서브-픽처 세트에 대한 추가적인 계층 및 레벨 정보를 시그널링하는 데 사용될 수 있다. 고정 길이 sub_pic_id 신택스 요소가 초기에 슬라이스 헤더에서 시그널링된다.
서브-픽처 정의의 예
서브-픽처는 코딩된 픽처의 직사각형 영역에 대응할 수 있다. 서브-픽처 크기는 픽처 내에서 가변적일 수 있다. 각각의 특정 서브-픽처 크기 및 위치는 시퀀스에서의 모든 픽처에 대해 일관적이다.
각각의 서브-픽처 시퀀스는 독립적으로 디코딩될 수 있다. 타일 및 슬라이스는 서브-픽처 경계를 가로질러 이어질 수 없다. 인코더는 각각의 서브-픽처가 독립적으로 디코딩 가능하다는 것을 보장할 수 있다. 비트스트림에 대한 시맨틱 제약 조건은 또한 이러한 제약 조건을 부과하는 데에도 유용할 수 있다.
서브-픽처 내의 타일, 슬라이스 및 브릭 배열은 시퀀스의 픽처에 따라 가변적일 수 있다.
서브-픽처 시그널링의 예
서브-픽처 파라미터는 SPS에서 시그널링된다. 그리드에 기초하여, 픽처에서의 샘플 위치를 서브-픽처 ID와 연관시키기 위해 서브-픽처 매핑이 시그널링된다. 그리드 세분성(grid granularity)이 인코더에 의해 선택되고 명시적으로 수평 및 수직 치수에 대해 시그널링된다. SPS의 신택스는 픽처의 섹션의 시그널링을 위해 JVET-N0275에서 제안된 시그널링 메커니즘과 유사하게, 각각의 그리드 위치에 대한 sub_pic_id를 표시한다.
코딩된 픽처는 픽처가 분할된 수평 및 수직 그리드 요소의 시그널링된 수에 의해 결정되는 그리드로 분할된다. 각각의 (i,j) 번째 그리드 위치에 대해, sub_pic_id[i][j]가 시그널링된다. sub_pic_id 값의 순서에는 제한 사항이 없다. 그러나 서브-픽처는 연속적인 직사각형이어야 하고, 그래서 특정 sub_pic_id 값을 가진 모든 그리드 샘플은 연속적이어야 하며 직사각형 모양이어야 한다. 예를 들어, 도 1a는 그리드의 sub_pic_id 값의 유효한 예를 도시한다. 도 1b는 서브-픽처 3이 직사각형 모양이 아니기 때문에 유효하지 않은 예를 도시한다.
인코더는 그리드 요소 크기를 결정할 수 있다. 더 미세한 그리드 세분성을 사용하는 것은 더 많은 시그널링 오버헤드를 필요로 하지만, 서브-픽처의 크기를 변경하는 필요한 더 많은 유연성을 제공한다. 신택스의 일부 실시예에서, 세분성은 4x4이지만, 최소 코딩 트리 블록(coding tree block)(CTB) 크기를 비롯한, 다른 옵션이 가능하다. 서브-픽처 파라미터 시그널링을 위한 총 오버헤드는 서브-픽처의 수에 따라 증가한다.
그리드 시그널링 접근법의 장점은, 예를 들어, 병합 또는 분할 프로세스 동안, 코딩된 비트스트림에서 서브-픽처 id 할당을 변경하는 것이 매우 쉽다는 것이다.
일부 실시예는 픽처 파라미터 세트(picture parameter set)(PPS)에서 수행될 수 있는 통상의 타일 시그널링을 이용할 수 있다. SPS에서 존재하는 서브-픽처 파라미터에 기초하여 타일 파라미터 시그널링을 변경하는 것이 유리할 수 있지만, 이것은 파라미터 세트의 독립적인 파싱에 관한 제한 사항을 위반할 수 있다.
SPS의 여러 신택스 요소 유형은 일부 실시예에서 고정 길이 코드로 변환되어 SPS의 서브-픽처 파라미터에 더 쉽게 액세스할 수 있게 한다.
신택스의 일부 실시예에서, 서브-픽처의 수는 256으로 제한되며, 더 많은 서브-픽처에 대한 지원이 필요하면, 확장을 할 수 있도록 하기 위해 가장 높은 값이 예약된다.
슬라이스 헤더 시그널링의 예
일부 실시예는 슬라이스 PPS 직후에, 슬라이스 헤더의 시작 부분에서 slice_sub_pic_id 신택스 요소를 포함시킬 수 있다. 슬라이스 PPS는 고정 비트 폭의 필드로 변경되어 slice_sub_pic_id 신택스 요소에 대한 쉬운 액세스 및/또는 수정을 가능하게 할 수 있다.
일부 실시예에서, slice_address 또는 브릭 파라미터의 시그널링 및/또는 계산은 sub_pic_id[i][j], SubPicTop[slice_sub_pic_id] 및 SubPicLeft[slice_sub_pic_id]의 값에 기초하도록 수정될 수 있다.
서브-픽처 세트의 예
서브-픽처 세트는 하나 이상의 서브-픽처로 구성될 수 있다. 서브-픽처 세트 파라미터는 SPS 내에서 명시적으로 시그널링되지 않지만, 직사각형 영역을 형성하는 서브-픽처의 임의의 조합에 기초하여 도출될 수 있다. 디코더가 디코딩할 것으로 예상되는 서브-픽처 세트에 어떤 서브-픽처가 있는지를 결정하는 외부 수단이 사용될 수 있다.
도 2a는 여러 개의 서브-픽처로 분할된 픽처를 도시한다. 도 2b, 도 2c 및 도 2d는 이러한 서브-픽처로부터 형성될 수 있는 상이한 서브-픽처 세트의 예를 도시하며, 두꺼운 윤곽선은 각자의 서브-픽처 세트(예를 들어, 도 2b에서 서브-픽처 0 및 1의 세트; 도 2c에서 서브-픽처 0, 1, 3의 세트; 및 도 2d에서 서브-픽처 0, 1, 2의 세트)를 표시한다.
사용 예는 큐브 맵을 사용하는 360 비디오 코딩(360 video coding)이다. 예를 들어, 6개의 큐브 면 각각은 4개의 영역으로 분할되어, 24개의 서브-픽처를 만들 수 있다. 디코더는 보이는 영역에 대응하는 서브-픽처를 포함하는 서브-픽처 세트만을 디코딩하고 렌더링하도록 선택할 수 있다.
서브-픽처 시퀀스 및 서브-픽처 세트 시퀀스의 프로파일, 계층, 레벨의 예
모든 서브-픽처 시퀀스 및 서브-픽처 세트 시퀀스는 CVS와 동일한 프로파일을 준수한다. 일부 실시예는 CVS에 대한 모든 서브-픽처 시퀀스 및 서브-픽처 세트 시퀀스에 대한 레벨이 코딩된 픽처 크기에 대한 서브-픽처 또는 서브-픽처 세트 크기의 비율 각각에 기초하여 도출될 수 있다는 것을 표시하는 SPS 플래그를 포함할 수 있다. 이러한 플래그가 설정될 때, CVS에 대한 계층과 동일한 계층이 서브-픽처 시퀀스 및 서브-픽처 세트 시퀀스에 대해 사용된다.
인코더는 모든 서브-픽처 및 모든 가능한 서브-픽처 세트 시퀀스가 비트레이트, 샘플 레이트 등에 관한 모든 제한 사항을 비롯한, 플래그가 설정될 때 도출된 계층 및 레벨을 준수하도록 보장할 수 있다.
서브-픽처 시퀀스 및 서브-픽처 세트 시퀀스의 프로파일, 계층, 레벨 시그널링을 위한 SEI 메시지의 예
추가적인 레벨 시그널링이 필요하면, 일부 실시예는 임의의 원하는 서브-픽처 및 서브-픽처 세트에 대해 계층 및 레벨의 시그널링을 가능하게 하는 SEI 메시지를 이용할 수 있다. 신택스의 실시예는 HEVC 시간적 움직임 제약 타일 세트 SEI 메시지에서 사용되는 것과 상이할 수 있다. 유리하게는, 신택스의 실시예는 병합된 비트스트림이 형성될 때 더 쉽게 수정될 수 있다.
Figure pct00001
sub_pics_present_flag가 1이라는 것은 서브-픽처 파라미터가 신택스 구조에서 존재한다는 것을 표시한다. sub_pics_present_flag가 0이라는 것은 서브-픽처 파라미터가 신택스 구조에서 존재하지 않는다는 것을 표시한다.
sub_ pic _derive_tier_level_flag가 1이라는 것은 CVS의 모든 서브-픽처 및 서브-픽처 세트의 계층 및 레벨 표시기가 도출될 수 있다는 것을 표시한다.
max_sub_pics_minus1 더하기 1은 CVS에서 존재할 수 있는 서브-픽처의 최대 수를 명시한다. max_sub_pics_minus1은 0 내지 254의 범위에 있어야 한다. 255의 값은 향후 사용을 위해 예약될 수 있다.
sub_pic_grid_element_width_minus1은 8 샘플 단위의 서브-픽처 식별자 그리드의 각 요소의 너비를 명시한다. 신택스 요소의 길이는 Ceil(　Log2(　PicWidthInMinCbsY )) 비트이다.
sub_pic_grid_element_height_minus1은 8 샘플 단위의 서브-픽처 식별자 그리드의 각 요소의 너비를 명시한다. 신택스 요소의 길이는 Ceil(Log2(　PicHeightInMinCbsY)) 비트이다.
sub_pic_id[ i ][ j ]는 (i,j)번째 그리드 위치의 서브-픽처 식별자를 명시한다. 신택스 요소의 길이는 Ceil(　Log2(　max_sub_pics_minus1 + 1)) 비트이다.
비트스트림 적합성의 요구사항은 다음과 같다.
if (i > 0 && j > 0)
if (sub_pic_id[ i ][ j ] = = sub_pic_id[ i - 1][ j ] && (sub_pic_id[ i ][ j ] = = sub_pic_id[ i ][ j - 1])
sub_pic_id[ i ][ j ] shall equal sub_pic_id[ i - 1][ j - 1]
변수 SubPicTop[ i [ j ]], SubPicLeft[ i ][ j ]는 다음과 같이 도출된다.
if ( i == 0)
SubPicTop[sub_pic_id[　i　][ j ]] = 0
else if (sub_pic_id[　i　][ j ] != sub_pic_id[　i　- 1][ j ] )
SubPicTop[sub_pic_id[　i　][ j ]] = i
if ( j == 0)
SubPicLeft[sub_pic_id[　i　][ j ]] = 0
else if (sub_pic_id[　i　][ j ] != sub_pic_id[　i　][ j - 1 ] )
SubPicLeft[sub_pic_id[　i　][ j ]] = j
Figure pct00002
slice_sub_pic_id 는 슬라이스의 서브-픽처 식별자를 명시한다. 신택스 요소의 길이는 Ceil(Log2(max_sub_pics_minus1 + 1)) 비트이다.
Figure pct00003
sp_id_len은 sp_sub_ic_id 신택스 요소를 시그널링하는 데 사용되는 비트 수를 명시한다.
sp _tier_present_flag가 1이라는 것은 sp_tier_idc[sp_sub_pic_id] 및 sp_set_tier_idc[sp_sub_pic_set_id] 신택스 요소가 신택스 구조에서 존재한다는 것을 명시한다. sp_tier_present_flag가 0이라는 것은 sp_tier_idc[sp_sub_pic_id] 및 sp_set_tier_idc[sp_sub_pic_set_id] 신택스 요소가 신택스 구조에서 존재하지 않는다는 것을 명시한다.
num_sub_pic_params_minus1 + 1은 파라미터가 신택스 구조에서 존재하는 서브-픽처의 수를 명시한다.
sp_sub_pic_id는 시그널링된 파라미터에 대한 서브-픽처의 식별자를 명시한다.
sp_tier_idc[sp_sub_pic_id]는 sp_level_idc[ sp_sub_pic_id]의 해석을 위한 레벨 컨텍스트를 명시한다. 존재하지 않을 때, sp_tier_idc[ sp_sub_pic_id]의 값은 활성 SPS에 대한 tier_idc와 동일한 것을 암시한다.
sp_level_idc[sp_sub_pic_id]는 sp_sub_pic_id-th 서브-비트스트림 시퀀스가 준수하는 레벨을 표시한다. 존재하지 않을 때, sp_level_idc[ sp_sub_pic_id]의 값은 활성 SPS에 대한 level_idc와 동일한 것을 암시한다.
num_sub_pic_sets_params는 파라미터가 신택스 구조에 존재하는 서브-픽처 세트의 수를 명시한다.
sp_sub_pic_set_id는 시그널링된 파라미터에 대한 서브-픽처 세트의 식별자를 명시한다.
sp_sub_pic_id_in_set[sp_sub_pic_set_id][ j ]가 1이라는 것은 j 번째 서브-픽처가 sp_sub_pic_set_id 번째 서브-픽처 세트에 포함된다는 것을 명시한다. sp_sub_pic_id_in_set[sp_sub_pic_set_id][ j ]가 0이라는 것은 j 번째 서브-픽처가 sp-sub_pic_set_id 번째 서브-픽처 세트에 포함되지 않는 것을 명시한다.
sp_set_tier_idc[sp_sub_pic_set_id]는 sp_level_idc[sp_sub_pic_id]의 해석을 위한 레벨 컨텍스트를 명시한다. 존재하지 않을 때, sp_tier_idc[sp_sub_pic_set_id]의 값은 활성 SPS에 대한 tier_idc와 동일한 것을 암시한다.
sp_set_level_idc[sp_sub_pic_set_id]는 sp_sub_pic_id 번째 서브 비트스트림 시퀀스가 준수하는 레벨을 표시한다. 존재하지 않을 때, sp_set_level_idc[ sp_sub_pic_set_id]의 값은 활성 SPS에 대한 level_idc와 동일한 것을 암시한다.
서브-픽처 추출 프로세스의 예
서브-픽처 추출 프로세스에서 사용되는, 전체 CVS에 적용 가능한, 서브-픽처 세트에 포함된 서브-픽처 ID 값의 리스트를 제공하는 외부 수단이 예상된다. 서브-픽처 세트는 직사각형을 형성해야 한다.
서브-비트스트림 추출 프로세스는 서브-픽처 세트에 포함된 서브-픽처 ID 값의 리스트에 없는 모든 NAL 유닛을 폐기한다.
서브-픽처 세트 추출 프로세스는 추출된 서브-픽처 세트 시퀀스가 유효한 디코딩 가능 비트스트림이라는 제약 조건을 부과한다.
대안적인 실시예에서, 서브-픽처 세트는 직사각형 모양일 필요가 없다.
레벨 도출의 예
일부 실시예는 (예를 들어, HEVC 부록 A의 레벨 한계에 기초하여) 서브-픽처 세트에 대한 레벨 값을 도출할 수 있다. 예를 들어, HEVC 부록 A에서, general_level_idc 신택스 요소 값은 30 * 표 A.6에 표시된 레벨 값이다.
개별 서브-픽처에 대한 레벨은 개별 서브-픽처만을 포함하는 서브-픽처 세트에 대한 레벨을 도출함으로써 도출된다.
도출은 서브-픽처 세트 크기 대 픽처 크기의 비율만큼 CVS의 level_idc에 대한 최대 루마 샘플 레이트를 스케일링하는 것에 기초한다. 이것은 시퀀스에서 서브-픽처에 대한 프레임 레이트가 시퀀스에서 픽처에 대한 프레임 레이트와 동일하다는 가정에 기초한다.
비트레이트 한계를 비롯한 CVS에 대한 레벨 한계는 이러한 제한 사항을 추출된 서브-픽처 세트 시퀀스에도 적용한다. 이러한 제약 조건이 모든 서브-픽처 및 가능한 모든 서브-픽처 세트에 의해 지켜지는지를 보장하는 것이 인코더의 책임이다.
서브-픽처 세트에 포함된 서브-픽처의 세트는 외부 수단을 통해 제공된다.
그리드 샘플 단위의 n 번째 서브-픽처의 크기, SubPicNumGridSamples[ n ] (n은 0 .. max_sub_pics_minus1 에 속함)는 다음과 같이 도출된다.
SubPicNumGridSamples[ n ] = 0
for (i = 0; i < SubPicGridRows; i ++)
for (j = 0; i < SubPicGridCols; j ++)
if (n = sub_pic_id[ i ][ j ])
SubPicNumGridSamples[ n ]++
그리드 샘플 단위의 서브-픽처 세트의 크기, SubPicSetNumGridSamples는 다음과 같이 도출된다.
SubPicSetNumGridSamples = 0
for (n = 0; n <= max_sub_pics_minus1; n++)
if (sub-picture n is in the sub-picture set)
SubPicSetNumGridSamples += SubPicNumGridSamples[ n ]
루마 샘플 단위의 서브-픽처 세트의 크기, SubPicSetSizeY는 SubPicSetNumGridSamples*(sub_pic_grid_element_width_minus1*4+1)*(sub_pic_grid_element_height_minus*4 + 1)와 동일하게 설정된다.
MaxLumarSr[LeveIdcl] 및 MaxLumaSr[LevelIdc]의 값은 표 A.X로부터 가져온다. 표 A.X에서 LevelIdc 값이 없는 경우, MaxLumaPs[LevelIdc] = 0이고 MaxLumaSr LevelIdc] = 0이다. A 열은 "레벨"에 대응하고; B 열은 "레벨 Idc"에 대응하고; C 열은 "최대 루마 픽처 크기 MaxLumaPs[LevelIdc] (샘플)"에 대응하고; D 열은 "최대 루마 샘플 레이트 MaxLumaSr LevelIdc] (샘플/초)"에 대응한다.
[표 A.X]
Figure pct00004
서브-픽처 세트 시퀀스 레벨 표시자, SubPicSetLevelIdc의 값은 다음과 같이 도출된다.
SubPicSetLevelIdc = level_idc
for (k = level_idc; k > 0; k --)
if ( SubPicSetSizeY <= MaxLumaPs[ k ] &&
MaxLumaSr[ level_idc ]*SubPicSetSizeY/ PicSizeInSamplesY <= MaxLumaSr[ k ] )
SubPicSetLevelIdc = k
대안적인 실시예에서, 서브-픽처 세트는 직사각형 모양일 필요가 없다. 그 대신, 서브-픽처 세트에 대한 레벨 도출은 서브-픽처 세트 자체의 샘플의 크기보다는, 서브-픽처 세트를 포함하는 경계 사각형의 샘플의 크기에 기초한다.
본 명세서에서 설명된 시스템의 다양한 컴포넌트는 소프트웨어, 펌웨어, 및/또는 하드웨어 및/또는 이들의 임의의 조합으로 구현될 수 있다. 예를 들어, 본 명세서에서 논의된 시스템 또는 디바이스의 다양한 컴포넌트는, 이를테면, 예를 들어, 스마트 폰과 같은 컴퓨팅 시스템에서 찾을 수 있는 컴퓨팅 시스템 온 칩(System-on-a-Chip)(SoC)의 하드웨어에 의해 적어도 부분적으로 제공될 수 있다. 관련 기술분야에서 통상의 기술자는 본 명세서에서 설명된 시스템이 대응하는 도면에 도시되지 않은 추가적인 컴포넌트를 포함할 수 있다는 것을 인식할 수 있다. 예를 들어, 본 명세서에서 논의된 시스템은 명확성을 위해 도시되지 않은 비트 스트림 멀티플렉서 또는 디멀티플렉서 모듈 등과 같은 추가적인 컴포넌트를 포함할 수 있다.
본 명세서에서 논의된 예시적인 프로세스의 구현은 예시된 순서로 도시된 모든 동작의 시도를 포함할 수 있지만, 본 개시내용은 이러한 점에서 제한되지 않으며, 다양한 예에서, 본 명세서의 예시적인 프로세스의 구현은 도시된 동작, 예시된 것과 다른 순서로 수행되는 동작 또는 추가적인 동작의 서브세트만을 포함할 수 있다.
또한, 본 명세서에서 논의된 동작 중 임의의 하나 이상의 동작은 하나 이상의 컴퓨터 프로그램 제품에 의해 제공되는 명령어에 응답하여 시도될 수 있다. 그러한 프로그램 제품은, 예를 들어, 프로세서에 의해 실행될 때 본 명세서에서 설명된 기능성을 제공할 수 있는 명령어를 제공하는 신호 수록 매체를 포함할 수 있다. 컴퓨터 프로그램 제품은 임의의 형태의 하나 이상의 머신 판독 가능 매체에서 제공될 수 있다. 따라서, 예를 들어, 하나 이상의 그래픽 프로세싱 유닛(들) 또는 프로세서 코어(들)를 포함하는 프로세서는 하나 이상의 머신 판독 가능 매체에 의해 프로세서에 전달되는 프로그램 코드 및/또는 명령어 또는 명령어 세트에 응답하여 본 명세서의 예시적인 프로세스의 블록 중 하나 이상을 시도할 수 있다. 일반적으로, 머신 판독 가능 매체는 본 명세서에서 설명된 임의의 디바이스 및/또는 시스템이 본 명세서에서 논의된 동작의 적어도 일부 및/또는 본 명세서에서 논의된 디바이스, 시스템, 또는 모듈 또는 컴포넌트의 임의의 일부를 구현하게 할 수 있는 프로그램 코드 및/또는 명령어 또는 명령어 세트의 형태의 소프트웨어를 전달할 수 있다.
본 명세서에서 설명된 임의의 구현에서 사용되는 바와 같이, "모듈"이라는 용어는 본 명세서에서 설명된 기능성을 제공하도록 구성된 소프트웨어 로직, 펌웨어 로직, 하드웨어 로직 및/또는 회로의 임의의 조합을 지칭한다. 소프트웨어는 소프트웨어 패키지, 코드 및/또는 명령어 세트 또는 명령어로서 구현될 수 있으며, 본 명세서에서 설명된 임의의 구현에서 사용되는 바와 같은 "하드웨어"는, 예를 들어, 단일로 또는 임의의 조합으로 고정 배선 회로(hardwired circuitry), 프로그램 가능 회로, 상태 머신 회로, 고정 기능 회로, 실행 유닛 회로 및/또는 프로그램 가능 회로에 의해 실행되는 명령어를 저장하는 펌웨어를 포함할 수 있다. 모듈은 더 큰 시스템, 예를 들어, 집적 회로(IC), 시스템 온 칩(SoC) 등의 일부를 형성하는 회로로서 집합적으로 또는 개별적으로 구현될 수 있다.
도 3을 참조하면, 전자 시스템(510)의 실시예는 비디오 데이터를 저장하는 메모리(512), 메모리(512)에 연결된 프로세서(511) 및 프로세서(511)와 메모리(512)에 연결된 로직(513)을 포함할 수 있다. 로직(513)은 비디오 데이터에서 코딩된 비디오 시퀀스의 코딩된 픽처의 서브-영역에 대한 적합성 지점을 도출하도록 구성될 수 있다. 예를 들어, 로직(513)은 비디오 데이터에서 직사각형 영역을 형성하는 하나 이상의 서브-픽처의 조합을 서브-픽처 세트로 그룹화하고/하거나, 코딩된 비디오 시퀀스의 레벨 및 코딩된 픽처와 서브-픽처 세트의 상대적인 크기에 기초하여 서브-픽처에 대응하는 레벨 표시기를 도출하도록 구성될 수 있다. 로직(513)은 또한 본 명세서에서 설명된 시퀀스 파라미터 세트 신택스의 하나 이상의 양태를 구현하고, 본 명세서에서 설명된 시그널링의 하나 이상의 양태를 구현하고/하거나, 본 명세서에서 설명된 서브-픽처 추출 및 레벨 도출의 하나 이상의 양태를 구현하도록 구성될 수 있다. 일부 실시예에서, 로직(513)은 서브-픽처 및 서브-픽처 세트 중 하나 이상에 대한 계층 및 레벨 정보 중 하나 이상을 비디오 데이터에서 메시지와 함께 시그널링하도록 구성될 수 있다. 일부 실시예에서, 로직(513)은 파라미터 세트에서 서브-픽처 파라미터를 시그널링하고, 그리드에 기초하여 서브-픽처의 크기 및 위치를 표시하도록 구성될 수 있다. 로직(513)은 또한 임의의 서브-픽처 또는 서브-픽처 세트에 대한 레벨이 픽처 크기를 서브-픽처 및 서브-픽처 세트 샘플 크기 중 하나에 대하여 스케일링하는 것에 기초하여 도출될 것이라는 것을 비디오 데이터에서의 메시지에 표시를 제공하도록 구성될 수 있다. 본 명세서의 임의의 실시예에서, 로직(513)은 또한 VVC 코덱을 제공하여 서브-픽처 및 서브-픽처의 세트를 이용하여 비디오 데이터를 인코딩 및 디코딩하는 것 중 하나 이상을 수행하도록 구성될 수 있다.
위의 프로세서(511), 메모리(512), 로직(513) 및 다른 시스템 컴포넌트 각각의 실시예는 하드웨어, 소프트웨어 또는 이들의 임의의 적합한 조합으로 구현될 수 있다. 예를 들어, 하드웨어 구현은 프로그램 가능 로직 어레이(programmable logic array)(PLA), 필드 프로그램 가능 게이트 어레이(field programmable gate array)(FPGA), 복합 프로그램 가능 로직 디바이스(complex programmable logic device)(CPLD) 또는 예를 들어, 주문형 집적 회로(application specific integrated circuit)(ASIC), 상보형 금속 산화물 반도체(complementary metal oxide semiconductor)(CMOS)나 트랜지스터-트랜지스터 로직(transistor-transistor logic)(TTL) 기술과 같은 회로 기술을 사용하는 고정 기능성 로직 하드웨어와 같은 구성 가능한 로직 또는 이들의 임의의 조합을 포함할 수 있다. 프로세서(511)의 실시예는 범용 프로세서, 특수 목적 프로세서, 중앙 프로세서 유닛(central processor unit)(CPU), 그래픽 프로세서, 실행 유닛, 특수 목적 제어기, 범용 제어기, 마이크로-제어기 등을 포함할 수 있다. 일부 실시예에서, 로직(513)은 프로세서(511)를 비롯한 다양한 컴포넌트에서 위치하거나 또는 그와 함께 (예를 들어, 동일한 다이 상에) 위치할 수 있다.
대안적으로 또는 추가적으로, 이러한 컴포넌트의 전부 또는 일부는 프로세서 또는 컴퓨팅 디바이스에 의해 실행되는, 랜덤 액세스 메모리(random access memory)(RAM), 판독 전용 메모리(read only memory)(ROM), 프로그램 가능 ROM(programmable ROM)(PROM), 펌웨어, 플래시 메모리 등과 같은 머신 또는 컴퓨터 판독 가능 저장 매체에 저장된 한 세트의 로직 명령어로서 하나 이상의 모듈로 구현될 수 있다. 예를 들어, 컴포넌트의 동작을 수행하기 위한 컴퓨터 프로그램 코드는 PYTHON, PERL, JAVA, SMALLTALK, C++, C# 등과 같은 객체 지향 프로그래밍 언어 및 "C" 프로그래밍 언어 또는 유사한 프로그래밍 언어와 같은 통상의 절차적 프로그래밍 언어를 비롯한, 하나 이상의 운영 체제(operating system)(OS) 적용 가능한/적절한 프로그래밍 언어의 임의의 조합으로 작성될 수 있다. 예를 들어, 메모리(512), 펌웨어 메모리, 영구 저장 매체 또는 다른 시스템 메모리는 프로세서(511)에 의해 실행될 때 시스템(510)으로 하여금 시스템(510)의 하나 이상의 컴포넌트, 특징 또는 양태를 구현하게 하는 한 세트의 명령어(예를 들어, 서브-픽처를 서브-픽처 세트로 그룹화하고, 레벨 표시기를 도출하는 등의 로직(513))를 저장할 수 있다.
이제 도 4로 가보면, 비디오 코덱 장치(520)의 실시예는 하나 이상의 기판(521) 및 하나 이상의 기판(521)에 연결된 로직(522)을 포함할 수 있다. 로직(522)은 비디오 데이터에서 코딩된 비디오 시퀀스의 코딩된 픽처의 서브-영역에 대한 적합성 지점을 도출하도록 구성될 수 있다. 예를 들어, 로직(522)은 직사각형 영역을 형성하는 서브-픽처의 임의의 조합을 서브-픽처 세트로 그룹화하고/하거나, 코딩된 비디오 시퀀스의 레벨 및 코딩된 픽처와 서브-픽처 세트의 상대적인 크기에 기초하여 서브-픽처에 대응하는 레벨 표시기를 도출하도록 구성될 수 있다. 로직(522)은 또한 본 명세서에서 설명된 시퀀스 파라미터 세트 신택스의 하나 이상의 양태를 구현하고, 본 명세서에서 설명된 시그널링의 하나 이상의 양태를 구현하고/하거나, 본 명세서에서 설명된 서브-픽처 추출 및 레벨 도출의 하나 이상의 양태를 구현하도록 구성될 수 있다. 일부 실시예에서, 로직(522)은 서브-픽처 및 서브-픽처 세트 중 하나 이상에 대한 계층 및 레벨 정보 중 하나 이상을 비디오 데이터에서 메시지와 함께 시그널링하도록 구성될 수 있다. 일부 실시예에서, 로직(522)은 파라미터 세트에서 서브-픽처 파라미터를 시그널링하고, 그리드에 기초하여 서브-픽처의 크기 및 위치를 표시하도록 구성될 수 있다. 로직(522)은 또한 임의의 서브-픽처 또는 서브-픽처 세트에 대한 레벨이 픽처 크기를 서브-픽처 및 서브-픽처 세트 샘플 크기 중 하나에 대하여 스케일링하는 것에 기초하여 도출된다는 표시를 비디오 데이터에서의 메시지에 제공하도록 구성될 수 있다. 본 명세서의 임의의 실시예에서, 로직(522)은 또한 VVC 코덱을 제공하여 서브-픽처 및 서브-픽처의 세트를 이용하여 비디오 데이터를 인코딩 및 디코딩하는 것 중 하나 이상을 수행하도록 구성될 수 있다.
로직(522)의 일부 실시예는 추가적으로 또는 대안적으로 상보적 디코드 로직으로 구성될 수 있다. 예를 들어, 로직(522)은 비디오 데이터의 비트스트림을 수신하고, 하나 이상의 서브-픽처의 그룹에 대응하는 디코딩될 서브-픽처 세트를 식별하고, 식별된 서브-픽처 세트의 크기에 기초하여 서브-픽처 세트 레벨을 도출하고, 도출된 레벨이 디코드 임계 레벨(threshold level decode) 이하인지를 결정하도록 구성될 수 있다. 하나 이상의 서브-픽처의 그룹은 비디오 데이터에서 직사각형 영역을 형성할 수 있다. 일부 실시예에서, 로직(522)은 또한 비디오 데이터에서 메시지에 기초하여 서브-픽처 세트에 대한 계층 및 레벨 정보 중 하나 이상을 시그널링하도록 구성될 수 있다. 일부 실시예에서, 로직(522)은 또한 비디오 데이터에서 파라미터 세트로부터 서브-픽처 파라미터를 결정하고, 그리드에 기초하여 서브-픽처의 크기 및 위치를 결정하도록 구성될 수 있다. 예를 들어, 로직(522)은 비디오 데이터에서의 메시지에서 제공된 표시에 기초하여, 임의의 서브-픽처 또는 서브-픽처 세트에 대한 레벨이 픽처 크기를 서브-픽처 및 서브-픽처 세트 샘플 크기 중 하나에 대하여 스케일링하는 것에 기초하여 도출된다고 결정하도록 구성될 수 있다.
예를 들어, 로직(522)은 하나 이상의 기판(521)을 포함할 수 있는 반도체 장치 상에서 구현될 수 있고, 로직(522)은 하나 이상의 기판(521)에 연결된다. 일부 실시예에서, 로직(522)은 반도체 기판(들)(521)(예를 들어, 실리콘, 사파이어, 갈륨-비소 등) 상의 구성 가능한 로직 및 고정 기능성 하드웨어 로직 중 하나 이상으로 적어도 부분적으로 구현될 수 있다. 예를 들어, 로직(522)은 기판(들)(521) 내에 위치된 트랜지스터 채널 영역과 함께, 기판(들)(521)에 연결된 트랜지스터 어레이 및/또는 다른 집적 회로 컴포넌트를 포함할 수 있다. 로직(522)과 기판(들)(521) 사이의 인터페이스는 계단 접합(abrupt junction)이 아닐 수 있다. 로직(522)은 또한 기판(들)(521)의 초기 웨이퍼 상에서 성장되는 에피택셜 층을 포함하는 것으로 간주될 수 있다.
도 5를 참조하면, 비디오 데이터를 처리하는 방법(530)의 실시예는 블록(531)에서 비디오 데이터를 저장하는 단계 및 블록(532)에서 비디오 데이터에서 코딩된 비디오 시퀀스의 코딩된 픽처의 서브-영역에 대한 적합성 지점을 도출하는 단계를 포함할 수 있다. 예를 들어, 방법(530)은 블록(533)에서 비디오 데이터에서 직사각형 영역을 형성하는 하나 이상의 서브-픽처의 조합을 서브-픽처 세트로 그룹화하는 단계, 및/또는 블록(534)에서 코딩된 비디오 시퀀스의 레벨 및 코딩된 픽처와 서브-픽처 세트의 상대적인 크기에 기초하여 서브-픽처에 대응하는 레벨 표시기를 도출하는 단계를 포함할 수 있다. 방법(530)의 일부 실시예는 블록(535)에서 서브-픽처 및 서브-픽처 세트 중 하나 이상에 대한 계층 및 레벨 정보 중 하나 이상을 비디오 데이터에서 메시지와 함께 시그널링하는 단계를 더 포함할 수 있다. 방법(530)은 또한 블록(536)에서 파라미터 세트에서 서브-픽처 파라미터를 시그널링하는 단계 및 블록(537)에서 그리드에 기초하여 서브-픽처의 크기 및 위치를 표시하는 단계를 포함할 수 있다. 예를 들어, 방법(530)은 블록(538)에서 임의의 서브-픽처 또는 서브-픽처 세트에 대한 레벨이 픽처 크기를 서브-픽처 및 서브-픽처 세트 샘플 크기 중 하나에 대하여 스케일링하는 것에 기초하여 도출된다는 표시를 비디오 데이터에서의 메시지에 제공하는 단계를 더 포함할 수 있다. 본 명세서의 임의의 실시예에서, 방법(530)은 블록(539)에서 VVC 코덱을 제공하여 서브-픽처 및 서브-픽처의 세트를 이용하여 비디오 데이터를 인코딩 및 디코딩하는 것 중 하나 이상을 수행하는 단계를 더 포함할 수 있다.
방법(530)의 실시예는, 예를 들어, 본 명세서에서 설명된 것과 같은 시스템, 장치, 컴퓨터, 디바이스 등에서 구현될 수 있다. 특히, 방법(530)의 하드웨어 구현은, 예를 들어 PLA, FPGA, CPLD와 같은 구성 가능한 로직, 또는 예를 들어 ASIC, CMOS나 TTL 기술과 같은 회로 기술을 사용하는 고정 기능성 로직 하드웨어, 또는 이들의 임의의 조합을 포함할 수 있다. 대안적으로 또는 추가적으로, 방법(530)은 프로세서 또는 컴퓨팅 디바이스에 의해 실행되는, RAM, ROM, PROM, 펌웨어, 플래시 메모리 등과 같은 머신 또는 컴퓨터 판독 가능 저장 매체에 저장된 한 세트의 로직 명령어로서 하나 이상의 모듈로 구현될 수 있다. 예를 들어, 컴포넌트의 동작을 수행하기 위한 컴퓨터 프로그램 코드는 PYTHON, PERL, JAVA, SMALLTALK, C++, C# 등과 같은 객체 지향 프로그래밍 언어 및 "C" 프로그래밍 언어 또는 유사한 프로그래밍 언어와 같은 통상의 절차적 프로그래밍 언어를 비롯한, 하나 이상의 OS 적용 가능한/적절한 프로그래밍 언어의 임의의 조합으로 작성될 수 있다.
예를 들어, 방법(530)은 아래의 예 14 내지 예 19와 관련하여 설명되는 바와 같이 컴퓨터 판독가능 매체 상에서 구현될 수 있다. 방법(530)의 실시예 또는 그 일부는 펌웨어, (예를 들어, 애플리케이션 프로그래밍 인터페이스(API)를 통해) 애플리케이션 또는 운영 체제(OS)에서 실행되는 드라이버 소프트웨어로 구현될 수 있다. 또한, 로직 명령어는 어셈블러 명령어, 명령어 세트 아키텍처(instruction set architecture)(ISA) 명령어, 머신 명령어, 머신 종속 명령어, 마이크로코드, 상태 설정 데이터, 집적 회로용 구성 데이터, 전자 회로를 개인화하는 상태 정보 및/또는 하드웨어(예를 들어, 호스트 프로세서, 중앙 프로세싱 유닛/CPU, 마이크로제어기 등)에 고유한 다른 구조적 컴포넌트를 포함할 수 있다.
도 6은 본 개시내용의 적어도 일부 구현에 따라 배열된, 예시적인 시스템(1000)의 예시도이다. 다양한 구현에서, 시스템(1000)은 이동 시스템일 수 있지만, 시스템(1000)은 이러한 맥락으로 제한되지 않는다. 예를 들어, 시스템(1000)은 퍼스널 컴퓨터(personal computer)(PC), 랩톱 컴퓨터, 울트라-랩톱 컴퓨터, 태블릿, 터치 패드, 휴대용 컴퓨터, 핸드헬드 컴퓨터, 팜톱 컴퓨터, 개인 휴대 정보 단말기(personal digital assistant)(PDA), 셀룰러 텔레폰, 겸용 셀룰러 텔레폰/PDA, 텔레비전, 스마트 디바이스(예를 들어, 스마트 폰, 스마트 태블릿 또는 스마트 텔레비전), 이동 인터넷 디바이스(mobile internet device)(MID), 메시징 디바이스, 데이터 통신 디바이스, 카메라(예를 들어, 포인트-앤-슛-카메라(point-and-shoot camera), 슈퍼-줌 카메라, 디지털 일안 반사식(digital single-lens reflex)(DSLR) 카메라) 등에 포함될 수 있다.
다양한 구현에서, 시스템(1000)은 디스플레이(1020)에 연결된 플랫폼(1002)을 포함한다. 플랫폼(1002)은 콘텐츠 서비스 디바이스(들)(1030) 또는 콘텐츠 전달 디바이스(들)(1040) 또는 다른 유사한 콘텐츠 소스와 같은 콘텐츠 디바이스로부터 콘텐츠를 수신할 수 있다. 하나 이상의 내비게이션 특징을 포함하는 내비게이션 제어기(1050)는 예를 들어 플랫폼(1002) 및/또는 디스플레이(1020)와 상호작용하기 위해 사용될 수 있다. 이러한 각각의 컴포넌트는 아래에서 더 상세히 설명된다.
다양한 구현에서, 플랫폼(1002)은 칩셋(1005), 프로세서(1010), 메모리(1012), 안테나(1013), 저장소(1014), 그래픽 서브시스템(1015), 애플리케이션(1016) 및/또는 라디오(1018)의 임의의 조합을 포함할 수 있다. 칩셋(1005)은 프로세서(1010), 메모리(1012), 저장소(1014), 그래픽 서브시스템(1015), 애플리케이션(1016) 및/또는 라디오(1018) 사이의 상호통신을 제공할 수 있다. 예를 들어, 칩셋(1005)은 저장소(1014)와의 상호통신을 제공할 수 있는 저장소 어댑터(도시되지 않음)를 포함할 수 있다.
프로세서(1010)는 복합 명령어 세트 컴퓨터(Complex Instruction Set Computer)(CISC) 또는 감소된 명령어 세트 컴퓨터(Reduced Instruction Set Computer)(RISC) 프로세서, x86 명령어 세트 호환 프로세서, 멀티-코어, 또는 임의의 다른 마이크로프로세서 또는 중앙 프로세싱 유닛(CPU)으로서 구현될 수 있다. 다양한 구현에서, 프로세서(1010)는 듀얼-코어 프로세서(들), 듀얼-코어 모바일 프로세서(들) 등일 수 있다.
메모리(1012)는 이것으로 제한되는 것은 아니지만, 랜덤 액세스 메모리(Random Access Memory)(RAM), 동적 랜덤 액세스 메모리(Dynamic Random Access Memory)(DRAM) 또는 정적 RAM(Static RAM)(SRAM)과 같은 휘발성 메모리 디바이스로서 구현될 수 있다.
저장소(1014)는 이것으로 제한되는 것은 아니지만, 자기 디스크 드라이브, 광학 디스크 드라이브, 테이프 드라이브, 내부 저장 디바이스, 연결형 저장 디바이스(attached storage device), 플래시 메모리, 배터리 백업 SDRAM(synchronous DRAM) 및/또는 네트워크 액세스 가능한 저장 디바이스와 같은 비휘발성 저장 디바이스로서 구현될 수 있다. 다양한 구현에서, 저장소(1014)는, 예를 들어, 다수의 하드 드라이브가 포함될 때 귀중한 디지털 미디어에 필요한 보호가 강화된 저장 성능을 증가시키는 기술을 포함할 수 있다.
그래픽 서브시스템(1015)은 디스플레이를 위한 스틸 또는 비디오와 같은 이미지의 처리를 수행할 수 있다. 그래픽 서브시스템(1015)은, 예를 들어 그래픽 프로세싱 유닛(graphics processing unit)(GPU) 또는 비주얼 프로세싱 유닛(visual processing unit)(VPU)일 수 있다. 아날로그 또는 디지털 인터페이스는 그래픽 서브시스템(1015)과 디스플레이(1020)를 통신 가능하게 연결하기 위해 사용될 수 있다. 예를 들어, 인터페이스는 고화질 멀티미디어(High-Definition Multimedia) 인터페이스, 디스플레이포트(DisplayPort), 무선 HDMI 및/또는 무선 HD 호환 기술 중 하나일 수 있다. 그래픽 서브시스템(1015)은 프로세서(1010) 또는 칩셋(1005)에 통합될 수 있다. 일부 구현에서, 그래픽 서브시스템(1015)은 칩셋(1005)에 통신 가능하게 연결된 스탠드얼론 디바이스일 수 있다.
본 명세서에서 설명된 그래픽 및/또는 비디오 처리 기술은 다양한 하드웨어 아키텍처로 구현될 수 있다. 예를 들어, 그래픽 및/또는 비디오 기능성은 칩셋 내에 통합될 수 있다. 대안적으로, 개별 그래픽 및/또는 비디오 프로세서가 사용될 수 있다. 또 다른 구현으로서, 그래픽 및/또는 비디오 기능은 멀티-코어 프로세서를 비롯한 범용 프로세서에 의해 제공될 수 있다. 추가 실시예에서, 기능은 소비자 전자 디바이스에서 구현될 수 있다.
라디오(1018)는 다양한 적합한 무선 통신 기술을 사용하여 신호를 송신 및 수신할 수 있는 하나 이상의 라디오를 포함할 수 있다. 이러한 기술은 하나 이상의 무선 네트워크를 통한 통신을 수반할 수 있다. 예시적인 무선 네트워크는 (이것으로 제한되는 것은 아니지만) 무선 근거리 네트워크(wireless local area network)(WLAN), 무선 개인 영역 네트워크(wireless personal area network)(WPANs), 무선 도시 영역 네트워크(wireless metropolitan area network)(WMAN), 셀룰러 네트워크 및 위성 네트워크를 포함한다. 이러한 네트워크를 통해 통신할 때, 라디오(1018)는 임의의 버전의 하나 이상의 적용 가능한 표준에 따라 동작할 수 있다.
다양한 구현에서, 디스플레이(1020)는 임의의 텔레비전 유형 모니터 또는 디스플레이를 포함할 수 있다. 디스플레이(1020)는, 예를 들어, 컴퓨터 디스플레이 스크린, 터치 스크린 디스플레이, 비디오 모니터, 텔레비전형 디바이스 및/또는 텔레비전을 포함할 수 있다. 디스플레이(1020)는 디지털 및/또는 아날로그일 수 있다. 다양한 구현에서, 디스플레이(1020)는 홀로그래픽 디스플레이일 수 있다. 또한, 디스플레이(1020)는 시각적 투영을 수신할 수 있는 투명 표면일 수 있다. 이러한 투영은 다양한 형태의 정보, 이미지 및/또는 객체를 전달할 수 있다. 예를 들어, 이러한 투영은 이동 증강 현실(mobile augmented reality)(MAR) 애플리케이션용 시각적 오버레이일 수 있다. 하나 이상의 소프트웨어 애플리케이션(1016)의 제어 하에, 플랫폼(1002)은 디스플레이(1020) 상에서 사용자 인터페이스(1022)를 디스플레이할 수 있다.
다양한 구현에서, 콘텐츠 서비스 디바이스(들)(1030)는 임의의 국내, 국제 및/또는 독립 서비스에 의해 호스팅될 수 있고, 따라서, 예를 들어, 인터넷을 통해 플랫폼(1002)에 액세스할 수 있다. 콘텐츠 서비스 디바이스(들)(1030)는 플랫폼(1002) 및/또는 디스플레이(1020)에 연결될 수 있다. 플랫폼(1002) 및/또는 콘텐츠 서비스 디바이스(들)(1030)는 네트워크(1060)에 연결되어 미디어 정보를 네트워크(1060)로 및 네트워크(1060)로부터 통신(예를 들어, 송신 및/또는 수신)할 수 있다. 콘텐츠 전달 디바이스(들)(1040)는 또한 플랫폼(1002) 및/또는 디스플레이(1020)에 연결될 수 있다.
다양한 구현에서, 콘텐츠 서비스 디바이스(들)(1030)는 디지털 정보 및/또는 콘텐츠를 전달할 수 있는 케이블 텔레비전 박스, 퍼스널 컴퓨터, 네트워크, 텔레폰, 인터넷 가능 디바이스 또는 가전, 및 네트워크(1060)를 통해 또는 직접적으로, 콘텐츠 제공자와 플랫폼(1002) 및/또는 디스플레이(1020) 사이에서 단방향으로 또는 양방향으로 통신할 수 있는 임의의 다른 유사한 디바이스를 포함할 수 있다. 콘텐츠는 네트워크(1060)를 통해 시스템(1000) 내 어느 하나의 컴포넌트 및 콘텐츠 제공자로 및 그로부터 단방향으로 및/또는 양방향으로 통신될 수 있다는 것이 인식될 것이다. 콘텐츠의 예는, 예를 들어 비디오, 음악, 의료 및 게임 정보 등을 비롯한 임의의 미디어 정보를 포함할 수 있다.
콘텐츠 서비스 디바이스(들)(1030)는 미디어 정보, 디지털 정보 및/또는 다른 콘텐츠를 비롯한 케이블 텔레비전 프로그래밍과 같은 콘텐츠를 수신할 수 있다. 콘텐츠 제공자의 예는 임의의 케이블 또는 위성 텔레비전이나 라디오 또는 인터넷 콘텐츠 제공자를 포함할 수 있다. 제공된 예는 어떤 방식으로든 본 개시내용에 따른 구현을 제한하는 것을 의미하지 않는다.
다양한 구현에서, 플랫폼(1002)은 하나 이상의 내비게이션 특징을 갖는 내비게이션 제어기(1050)로부터 제어 신호를 수신할 수 있다. 내비게이션 특징은, 예를 들어, 사용자 인터페이스(1022)와 상호작용하는 데 사용될 수 있다. 다양한 실시예에서, 네비게이션은 사용자가 공간적(예를 들어, 연속적이고 다차원적인) 데이터를 컴퓨터에 입력할 수 있게 하는 컴퓨터 하드웨어 컴포넌트(특히, 휴먼 인터페이스 디바이스)일 수 있는 포인팅 디바이스일 수 있다. 그래픽 사용자 인터페이스(graphical user interface)(GUI) 및 텔레비전과 모니터와 같은 많은 시스템은 사용자가 물리적 제스처를 사용하여 데이터를 컴퓨터 또는 텔레비전에 제공하고 제어할 수 있게 한다.
내비게이션 특징의 움직임은 디스플레이 상에 디스플레이되는 포인터, 커서, 포커스 링 또는 다른 시각적 표시자의 움직임에 의해 디스플레이(예를 들어, 디스플레이(1020)) 상에 복제될 수 있다. 예를 들어, 소프트웨어 애플리케이션(1016)의 제어 하에, 내비게이션 상에 위치한 내비게이션 특징은, 예를 들어, 사용자 인터페이스(1022) 상에 디스플레이된 가상 내비게이션 특징에 매핑될 수 있다. 다양한 실시예에서, 별도의 컴포넌트가 아닐 수 있지만 플랫폼(1002) 및/또는 디스플레이(1020)에 통합될 수 있다. 그러나, 본 개시내용은 본 명세서에서 도시되거나 설명된 요소 또는 맥락으로 제한되지 않는다.
다양한 구현에서, 드라이버(도시되지 않음)는, 예를 들어, 활성화될 때 초기 부팅 후에 버튼의 터치로 사용자가 텔레비전과 같은 플랫폼(1002)을 즉시 턴 온 및 오프할 수 있게 하는 기술을 포함할 수 있다. 프로그램 로직은 플랫폼이 턴 "오프"된 때에도 플랫폼(1002)이 콘텐츠를 미디어 어댑터 또는 다른 콘텐츠 서비스 디바이스(들)(1030) 또는 콘텐츠 전달 디바이스(들)(1040)에 스트리밍하도록 할 수 있다. 또한, 칩셋(1005)은, 예를 들어 5.1 서라운드 사운드 오디오 및/또는 고선명 7.1 서라운드 사운드 오디오용 하드웨어 및/또는 소프트웨어 지원을 포함할 수 있다. 드라이버는 통합 그래픽 플랫폼용 그래픽 드라이버를 포함할 수 있다. 다양한 실시예에서, 그래픽 드라이버는 주변 컴포넌트 상호연결(Peripheral Component Interconnect)(PCI) 익스프레스 그래픽 카드를 포함할 수 있다.
다양한 구현에서, 시스템(1000)에 도시된 컴포넌트 중 임의의 하나 이상이 통합될 수 있다. 예를 들어, 플랫폼(1002) 및 콘텐츠 서비스 디바이스(들)(1030)가 통합될 수 있거나, 플랫폼(1002) 및 콘텐츠 전달 디바이스(들)(1040)가 통합될 수 있거나, 또는 플랫폼(1002), 콘텐츠 서비스 디바이스(들)(1030) 및 콘텐츠 전달 디바이스(들)(1040)가 통합될 수 있다. 다양한 실시예에서, 플랫폼(1002)과 디스플레이(1020)는 통합된 유닛일 수 있다. 예를 들어, 디스플레이(1020) 및 콘텐츠 서비스 디바이스(들)(1030)가 통합될 수 있거나 또는 디스플레이(1020) 및 콘텐츠 전달 디바이스(들)(1040)가 통합될 수 있다. 이러한 실시예는 본 개시내용을 제한하려는 것이 아니다.
다양한 실시예에서, 시스템(1000)은 무선 시스템, 유선 시스템 또는 둘 모두의 조합으로서 구현될 수 있다. 무선 시스템으로서 구현될 때, 시스템(1000)은 하나 이상의 안테나, 송신기, 수신기, 송수신기, 증폭기, 필터, 제어 로직 등과 같이, 무선 공유 매체를 통해 통신하기에 적합한 컴포넌트 및 인터페이스를 포함할 수 있다. 무선 공유 매체의 예는 RF 스펙트럼 등과 같은 무선 스펙트럼의 일부를 포함할 수 있다. 유선 시스템으로서 구현될 때, 시스템(1000)은 입력/출력(input/output)(I/O) 어댑터, I/O 어댑터를 대응하는 유선 통신 매체와 연결하는 물리적 커넥터, 네트워크 인터페이스 카드(network interface card)(NIC), 디스크 제어기, 비디오 제어기, 오디오 제어기 등과 같이, 유선 통신 매체를 통해 통신하기에 적합한 컴포넌트 및 인터페이스를 포함할 수 있다. 유선 통신 매체의 예는 와이어, 케이블, 금속 리드, 인쇄 회로 기판(printed circuit board)(PCB), 백플레인, 스위치 패브릭, 반도체 재료, 트위스트 페어 와이어, 동축 케이블, 섬유 광학 등을 포함할 수 있다.
플랫폼(1002)은 정보를 통신할 하나 이상의 논리적 또는 물리적 채널을 설정할 수 있다. 정보는 미디어 정보 및 제어 정보를 포함할 수 있다. 미디어 정보는 사용자에 의도된 콘텐츠를 나타내는 임의의 데이터를 지칭할 수 있다. 콘텐츠의 예는, 예를 들어 음성 대화, 화상 회의, 스트리밍 비디오, 전자 메일("이메일") 메시지, 음성 메일 메시지, 영숫자 기호, 그래픽, 이미지, 비디오, 텍스트 등으로부터의 데이터를 포함할 수 있다. 음성 대화로부터의 데이터는, 예를 들어 담화 정보, 묵음 기간, 배경 소음, 안락 소음, 톤 등일 수 있다. 제어 정보는 자동화 시스템에 의도된 커맨드, 명령어 또는 제어 워드를 나타내는 임의의 데이터를 지칭할 수 있다. 예를 들어, 제어 정보는 미디어 정보를 시스템을 통해 라우팅하거나 또는 노드에게 지시하여 미리 결정된 방식으로 미디어 정보를 처리하도록 하는 데 사용될 수 있다. 그러나, 실시예는 도 6에 도시되거나 설명된 요소 또는 맥락으로 제한되지 않는다.
위에서 설명한 바와 같이, 시스템(1000)은 다양한 물리적 스타일 또는 폼 팩터로 구현될 수 있다. 도 7은 본 개시내용의 적어도 일부 구현에 따라 배열된 예시적인 소형 폼 팩터 디바이스(1100)를 도시한다. 일부 예에서, 시스템(1000)은 디바이스(1100)를 통해 구현될 수 있다. 다른 예에서, 시스템(1000) 또는 그 일부는 디바이스(1100)를 통해 구현될 수 있다. 다양한 실시예에서, 예를 들어, 디바이스(1100)는 무선 역량을 갖는 이동 컴퓨팅 디바이스로서 구현될 수 있다. 이동 컴퓨팅 디바이스는 프로세싱 시스템 및 예를 들어, 하나 이상의 배터리와 같은 이동 전력원 또는 공급 장치를 갖는 임의의 디바이스를 지칭할 수 있다.
이동 컴퓨팅 디바이스의 예는 퍼스널 컴퓨터(PC), 랩톱 컴퓨터, 울트라-랩톱 컴퓨터, 태블릿, 터치 패드, 휴대용 컴퓨터, 핸드헬드 컴퓨터, 팜톱 컴퓨터, 개인 휴대 정보 단말기(PDA), 셀룰러 텔레폰, 겸용 셀룰러 텔레폰/PDA, 스마트 디바이스(예를 들어, 스마트 폰, 스마트 태블릿 또는 스마트 이동 텔레비전), 이동 인터넷 디바이스(MID), 메시징 디바이스, 데이터 통신 디바이스, 카메라 등을 포함할 수 있다.
이동 컴퓨팅 디바이스의 예는 또한 손목 컴퓨터, 손가락 컴퓨터, 반지 컴퓨터, 안경 컴퓨터, 벨트-클립 컴퓨터, 암-밴드 컴퓨터, 신발 컴퓨터, 의류 컴퓨터 및 다른 웨어러블 컴퓨터와 같이, 사람에 의해 착용되도록 배열된 컴퓨터를 포함할 수 있다. 다양한 실시예에서, 예를 들어, 이동 컴퓨팅 디바이스는 음성 통신 및/또는 데이터 통신뿐만 아니라, 컴퓨터 애플리케이션을 실행할 수 있는 스마트 폰으로서 구현될 수 있다. 일부 실시예가 예로서 스마트 폰으로서 구현된 이동 컴퓨팅 디바이스로 설명될 수 있지만, 다른 실시예는 다른 무선 이동 컴퓨팅 디바이스를 사용하여 구현될 수도 있다는 것을 이해할 수 있을 것이다. 실시예는 이러한 맥락으로 제한되지 않는다.
도 7에 도시된 바와 같이, 디바이스(1100)는 전면(1101) 및 후면(1102)을 갖는 하우징을 포함할 수 있다. 디바이스(1100)는 디스플레이(1104), 입력/출력(I/O) 디바이스(1106) 및 통합 안테나(1108)를 포함한다. 디바이스(1100)는 또한 내비게이션 특징(1112)을 포함할 수 있다. I/O 디바이스(1106)는 정보를 이동 컴퓨팅 디바이스에 입력하기 위한 임의의 적합한 I/O 디바이스를 포함할 수 있다. I/O 디바이스(1106)의 예는 영숫자 키보드, 숫자 키패드, 터치 패드, 입력 키, 버튼, 스위치, 마이크로폰, 스피커, 음성 인식 디바이스 및 소프트웨어 등을 포함할 수 있다. 정보는 또한 마이크로폰(도시되지 않음)을 통해 디바이스(1100)에 입력될 수 있거나 또는 음성 인식 디바이스에 의해 디지털화될 수 있다. 도시된 바와 같이, 디바이스(1100)는 카메라(1105)(예를 들어, 렌즈, 조리개 및 이미징 센서를 포함함) 및 디바이스(1100)의 후면(1102)(또는 다른 곳)에 통합된 플래시(1110)를 포함할 수 있다. 다른 예에서, 카메라(1105) 및 플래시(1110)는 디바이스(1100)의 전면(1101)에 통합될 수 있거나 또는 두 전면 및 후면 카메라 모두가 제공될 수 있다. 카메라(1105) 및 플래시(1110)는 예를 들어 디스플레이(1104)로 출력되고/되거나 예를 들어 안테나(1108)를 통해 디바이스(1100)로부터 원격으로 통신되는 스트리밍 비디오로 처리된 이미지 데이터를 발생시키는 카메라 모듈의 컴포넌트일 수 있다.
시스템(1000) 및/또는 디바이스(1100)는 비디오 데이터에서 코딩된 비디오 시퀀스의 코딩된 픽처의 서브-영역에 대한 적합성 지점을 도출하는 것, 직사각형 영역을 형성하는 서브-픽처의 임의의 조합을 서브-픽처 세트로 그룹화하는 것, 코딩된 비디오 시퀀스의 레벨 및 코딩된 픽처와 서브-픽처 세트의 상대 크기에 기초하여 서브-픽처에 대응하는 레벨 표시기를 도출하는 것, 본 명세서에서 설명된 시퀀스 파라미터 세트 신택스, 본 명세서에서 설명된 시그널링, 본 명세서에서 설명된 서브-픽처 추출 및 레벨 도출, VVC 코덱을 제공하여 서브-픽처 및 서브-픽처의 세트를 이용하여 비디오 데이터를 인코딩 및 디코딩하는 것 중 하나 이상을 수행하는 것, 또는 본 명세서에서 설명된 임의의 실시예와 관련하여 설명된 것을 비롯하여, 본 명세서에서 설명된 다양한 실시예의 하나 이상의 특징 또는 양태를 포함할 수 있다.
추가적 참고사항 및 예
예 1은 비디오 데이터를 저장하는 메모리와, 메모리에 연결된 프로세서와, 프로세서 및 메모리에 연결된 로직을 포함하는 전자 시스템을 포함하고, 로직은 비디오 데이터에서 코딩된 비디오 시퀀스의 코딩된 픽처의 서브-영역에 대한 적합성 지점을 도출하도록 한다.
예 2는 예 1의 시스템을 포함하고, 이 예에서 로직은 또한 비디오 데이터에서 직사각형 영역을 형성하는 하나 이상의 서브-픽처의 조합을 서브-픽처 세트로 그룹화하도록 한다.
예 3은 예 2의 시스템을 포함하고, 이 예에서 로직은 또한 코딩된 비디오 시퀀스의 레벨 및 코딩된 픽처와 서브-픽처 세트의 상대적 크기에 기초하여 서브-픽처에 대응하는 레벨 표시기를 도출하도록 한다.
예 4는 예 2 및 예 3 중 어느 한 예의 시스템을 포함하고, 이 예에서 로직은 또한 서브-픽처 및 서브-픽처 세트 중 하나 이상에 대한 계층 및 레벨 정보 중 하나 이상을 비디오 데이터에서 메시지와 함께 시그널링하도록 한다.
예 5는 예 2 및 예 3 중 어느 한 예의 시스템을 포함하고, 이 예에서, 로직은 또한 파라미터 세트에서 서브-픽처 파라미터를 시그널링하도록 하고, 그리드에 기초하여 서브-픽처의 크기 및 위치를 표시하도록 한다.
예 6은 예 5의 시스템을 포함하고, 이 예에서 로직은 또한 임의의 서브-픽처 또는 서브-픽처 세트에 대한 레벨이 픽처 크기를 서브-픽처 및 서브-픽처 세트 샘플 크기 중 하나에 대하여 스케일링하는 것에 기초하여 도출된다는 표시를 비디오 데이터에서의 메시지에 제공하도록 한다.
예 7은 예 1 내지 예 6 중 어느 한 예의 시스템을 포함하고, 이 예에서 로직은 또한 다용도 비디오 코딩(VVC) 코덱을 제공하여 서브-픽처 및 서브-픽처의 세트를 이용하여 비디오 데이터를 인코딩 및 디코딩하는 것 중 하나 이상을 수행하도록 한다.
예 8은 비디오 데이터를 저장하는 단계와 비디오 데이터에서 코딩된 비디오 시퀀스의 코딩된 픽처의 서브-영역에 대한 적합성 지점을 도출하는 단계를 포함하는, 비디오 데이터를 처리하는 방법을 포함한다.
예 9는 예 8의 방법을 포함하는 것으로, 비디오 데이터에서 직사각형 영역을 형성하는 하나 이상의 서브-픽처의 조합을 서브-픽처 세트로 그룹화하는 단계를 더 포함한다.
예 10은 예 9의 방법을 포함하는 것으로, 코딩된 비디오 시퀀스의 레벨 및 코딩된 픽처와 서브-픽처 세트의 상대적 크기에 기초하여 서브-픽처에 대응하는 레벨 표시기를 도출하는 단계를 더 포함한다.
예 11은 예 9 및 예 10 중 어느 한 예의 방법을 포함하는 것으로, 서브-픽처 및 서브-픽처 세트 중 하나 이상에 대한 계층 및 레벨 정보 중 하나 이상을 비디오 데이터에서 메시지와 함께 시그널링하는 단계를 더 포함한다.
예 12는 예 9 및 예 10 중 어느 한 예의 방법을 포함하는 것으로, 파라미터 세트에서 서브-픽처 파라미터를 시그널링하는 단계와, 그리드에 기초하여 서브-픽처의 크기 및 위치를 표시하는 단계를 더 포함한다.
예 13은 예 12의 방법을 포함하는 것으로, 임의의 서브-픽처 또는 서브-픽처 세트에 대한 레벨이 픽처 크기를 서브-픽처 및 서브-픽처 세트 샘플 크기 중 하나에 대하여 스케일링하는 것에 기초하여 도출된다는 표시를 비디오 데이터에서의 메시지에 제공하는 단계를 더 포함한다.
예 14는 컴퓨팅 디바이스 상에서 실행되는 것에 응답하여, 컴퓨팅 디바이스로 하여금 비디오 데이터를 저장하게 하고, 비디오 데이터에서 코딩된 비디오 시퀀스의 코딩된 픽처의 서브-영역에 대한 적합성 지점을 도출하게 하는 복수의 명령어를 포함하는 적어도 하나의 비일시적 머신 판독가능 매체를 포함한다.
예 15는 예 14의 적어도 하나의 비일시적 머신 판독 가능 매체를 포함하는 것으로, 컴퓨팅 디바이스 상에서 실행되는 것에 응답하여, 컴퓨팅 디바이스로 하여금 비디오 데이터에서 직사각형 영역을 형성하는 하나 이상의 서브-픽처의 조합을 서브-픽처 세트로 그룹화하게 하는 복수의 추가 명령어를 포함한다.
예 16은 예 15의 적어도 하나의 비일시적 머신 판독 가능 매체를 포함하는 것으로, 컴퓨팅 디바이스 상에서 실행되는 것에 응답하여, 컴퓨팅 디바이스로 하여금 코딩된 비디오 시퀀스의 레벨 및 코딩된 픽처와 서브-픽처 세트의 상대적 크기에 기초하여 서브-픽처에 대응하는 레벨 표시기를 도출하게 하는 복수의 추가 명령어를 포함한다.
예 17은 예 15 및 예 16 중 어느 한 예의 적어도 하나의 비일시적 머신 판독가능 매체를 포함하는 것으로, 컴퓨팅 디바이스 상에서 실행되는 것에 응답하여, 컴퓨팅 디바이스로 하여금 서브-픽처 및 서브-픽처 세트 중 하나 이상에 대한 계층 및 레벨 정보 중 하나 이상을 비디오 데이터에서 메시지와 함께 시그널링하게 하는 복수의 추가 명령어를 포함한다.
예 18은 예 15 및 예 16 중 어느 한 예의 적어도 하나의 비일시적 머신 판독가능 매체를 포함하는 것으로, 컴퓨팅 디바이스 상에서 실행되는 것에 응답하여, 컴퓨팅 디바이스로 하여금 파라미터 세트에서 서브-픽처 파라미터를 시그널링하게 하고, 그리드에 기초하여 서브-픽처의 크기 및 위치를 표시하게 하는 복수의 추가 명령어를 포함한다.
예 19는 예 18의 적어도 하나의 비일시적 머신 판독가능 매체를 포함하는 것으로, 컴퓨팅 디바이스 상에서 실행되는 것에 응답하여, 컴퓨팅 디바이스로 하여금 임의의 서브-픽처 또는 서브-픽처 세트에 대한 레벨이 픽처 크기를 서브-픽처 및 서브-픽처 세트 샘플 크기 중 하나에 대하여 스케일링하는 것에 기초하여 도출된다는 표시를 비디오 데이터에서의 메시지에 제공하게 하는 복수의 추가 명령어를 포함한다.
예 20은 하나 이상의 기판과, 하나 이상의 기판에 연결된 로직을 포함하는 전자 장치를 포함하고, 로직은 비디오 데이터에서 코딩된 비디오 시퀀스의 코딩된 픽처의 서브-영역에 대한 적합성 지점을 도출하도록 한다.
예 21은 예 20의 장치를 포함하고, 이 예에서 로직은 또한 비디오 데이터에서 직사각형 영역을 형성하는 하나 이상의 서브-픽처의 조합을 서브-픽처 세트로 그룹화하도록 한다.
예 22는 예 21의 장치를 포함하고, 이 예에서 로직은 또한 코딩된 비디오 시퀀스의 레벨 및 코딩된 픽처와 서브-픽처 세트의 상대적 크기에 기초하여 서브-픽처에 대응하는 레벨 표시기를 도출하도록 한다.
예 23은 예 21 및 예 22 중 어느 한 예의 장치를 포함하고, 이 예에서 로직은 또한 서브-픽처 및 서브-픽처 세트 중 하나 이상에 대한 계층 및 레벨 정보 중 하나 이상을 비디오 데이터에서 메시지와 함께 시그널링하도록 한다.
예 24는 예 21 및 예 22 중 어느 한 예의 장치를 포함하고, 이 예에서, 로직은 또한 파라미터 세트에서 서브-픽처 파라미터를 시그널링하도록 하고, 그리드에 기초하여 서브-픽처의 크기 및 위치를 표시하도록 한다.
예 25는 예 24의 장치를 포함하고, 이 예에서 로직은 또한 임의의 서브-픽처 또는 서브-픽처 세트에 대한 레벨이 픽처 크기를 서브-픽처 및 서브-픽처 세트 샘플 크기 중 하나에 대하여 스케일링하는 것에 기초하여 도출된다는 표시를 비디오 데이터에서의 메시지에 제공하도록 한다.
예 26은 예 20 내지 예 25 중 어느 한 예의 장치를 포함하고, 이 예에서 로직은 또한 VVC 코덱을 제공하여 서브-픽처 및 서브-픽처의 세트를 이용하여 비디오 데이터를 인코딩 및 디코딩하는 것 중 하나 이상을 수행하도록 한다.
예 27은 비디오 데이터를 저장하기 위한 수단과, 비디오 데이터에서 코딩된 비디오 시퀀스의 코딩된 픽처의 서브-영역에 대한 적합성 지점을 도출하기 위한 수단을 포함하는 비디오 코드 장치를 포함한다.
예 28은 예 27의 장치를 포함하는 것으로, 비디오 데이터에서 직사각형 영역을 형성하는 하나 이상의 서브-픽처의 조합을 서브-픽처 세트로 그룹화하기 위한 수단을 더 포함한다.
예 29는 예 28의 장치를 포함하는 것으로, 코딩된 비디오 시퀀스의 레벨 및 코딩된 픽처와 서브-픽처 세트의 상대적 크기에 기초하여 서브-픽처에 대응하는 레벨 표시기를 도출하기 위한 수단을 더 포함한다.
예 30은 예 28 및 예 29 중 어느 한 예의 장치를 포함하는 것으로, 서브-픽처 및 서브-픽처 세트 중 하나 이상에 대한 계층 및 레벨 정보 중 하나 이상을 비디오 데이터에서 메시지와 함께 시그널링하기 위한 수단을 더 포함한다.
예 31은 예 28 및 예 29 중 어느 한 예의 장치를 포함하는 것으로, 파라미터 세트에서 서브-픽처 파라미터를 시그널링하기 위한 수단과, 그리드에 기초하여 서브-픽처의 크기 및 위치를 표시하기 위한 수단을 더 포함한다.
예 32는 예 31의 장치를 포함하는 것으로, 임의의 서브-픽처 또는 서브-픽처 세트에 대한 레벨이 픽처 크기를 서브-픽처 및 서브-픽처 세트 샘플 크기 중 하나에 대하여 스케일링하는 것에 기초하여 도출된다는 표시를 비디오 데이터에서의 메시지에 제공하기 위한 수단을 더 포함한다.
예 33은 예 27 내지 예 32 중 어느 한 예의 장치를 포함하는 것으로, VVC 코덱을 제공하여 서브-픽처 및 서브-픽처의 세트를 이용하여 비디오 데이터를 인코딩 및 디코딩하는 것 중 하나 이상을 수행하기 위한 수단을 더 포함한다.
예 34는 비디오 데이터를 저장하는 메모리와, 메모리에 연결된 프로세서와, 프로세서 및 메모리에 연결된 로직을 포함하는 전자 시스템을 포함하고, 로직은 비디오 데이터에서 코딩된 비디오 시퀀스의 코딩된 픽처의 서브-영역에 대한 적합성 지점을 도출하고, 직사각형 영역을 형성하는 서브-픽처의 임의의 조합을 서브-픽처 세트로 그룹화하도록 한다.
예 35는 예 34의 시스템을 포함하고, 이 예에서 로직은 또한 코딩된 비디오 시퀀스의 레벨 및 코딩된 픽처와 서브-픽처 세트의 상대적 크기에 기초하여 서브-픽처에 대응하는 레벨 표시기를 도출하도록 한다.
예 36은 예 34 및 예 35 중 어느 한 예의 시스템을 포함하고, 이 예에서 로직은 또한 본 명세서에서 설명된 시퀀스 파라미터 세트 신택스의 하나 이상의 양태를 구현하도록 한다.
예 37은 예 34 내지 예 36 중 어느 한 예의 시스템을 포함하고, 이 예에서 로직은 또한 본 명세서에서 설명된 시그널링의 하나 이상의 양태를 구현하도록 한다.
예 38은 예 32 내지 예 37 중 어느 한 예의 시스템을 포함하고, 이 예에서 로직은 또한 본 명세서에서 설명된 서브-픽처 추출 및 레벨 도출의 하나 이상의 양태를 구현하도록 한다.
예 39는 예 34 내지 예 38 중 어느 한 예의 시스템을 포함하고, 이 예에서 로직은 또한 VVC 코덱을 제공하여 서브-픽처 및 서브-픽처의 세트를 이용하여 비디오 데이터를 인코딩 및 디코딩하는 것 중 하나 이상을 수행하도록 한다.
예 40은 비디오 데이터를 저장하는 단계와, 비디오 데이터에서 코딩된 비디오 시퀀스의 코딩된 픽처의 서브-영역에 대한 적합성 지점을 도출하는 단계와, 직사각형 영역을 형성하는 서브-픽처의 임의의 조합을 서브-픽처 세트로 그룹화하는 단계를 포함하는, 비디오 데이터를 인코딩/디코딩하는 방법을 포함한다.
예 41은 예 40의 방법을 포함하는 것으로, 코딩된 비디오 시퀀스의 레벨 및 코딩된 픽처와 서브-픽처 세트의 상대적 크기에 기초하여 서브-픽처에 대응하는 레벨 표시기를 도출하는 단계를 더 포함한다.
예 42는 예 40 및 예 41 중 어느 한 예의 방법을 포함하는 것으로, 본 명세서에서 설명된 시퀀스 파라미터 세트 신택스의 하나 이상의 양태를 구현하는 단계를 더 포함한다.
예 43은 예 40 내지 예 42 중 어느 한 예의 방법을 포함하는 것으로, 본 명세서에서 설명된 시그널링의 하나 이상의 양태를 구현하는 단계를 더 포함한다.
예 44는 예 40 내지 예 43 중 어느 한 예의 방법을 포함하는 것으로, 본 명세서에서 설명된 서브-픽처 추출 및 레벨 도출의 하나 이상의 양태를 구현하는 단계를 더 포함한다.
예 45는 예 40 내지 예 44 중 어느 한 예의 방법을 포함하는 것으로, VVC 코덱을 제공하여 서브-픽처 및 서브-픽처의 세트를 이용하여 비디오 데이터를 인코딩 및 디코딩하는 것 중 하나 이상을 수행하는 단계를 더 포함한다.
예 46은 컴퓨팅 디바이스 상에서 실행되는 것에 응답하여, 컴퓨팅 디바이스로 하여금 비디오 데이터에서 코딩된 비디오 시퀀스의 코딩된 픽처의 서브-영역에 대한 적합성 지점을 도출하게 하고, 직사각형 영역을 형성하는 서브-픽처의 임의의 조합을 서브-픽처 세트로 그룹화하게 하는 복수의 명령어를 포함하는 적어도 하나의 비일시적 머신 판독가능 매체를 포함한다.
예 47은 예 46의 적어도 하나의 비일시적 머신 판독 가능 매체를 포함하는 것으로, 컴퓨팅 디바이스 상에서 실행되는 것에 응답하여, 컴퓨팅 디바이스로 하여금 코딩된 비디오 시퀀스의 레벨 및 코딩된 픽처와 서브-픽처 세트의 상대적 크기에 기초하여 서브-픽처에 대응하는 레벨 표시기를 도출하게 하는 복수의 추가 명령어를 포함한다.
예 48은 예 46 및 예 47 중 어느 한 예의 머신 판독가능 매체를 포함하는 것으로, 컴퓨팅 디바이스 상에서 실행되는 것에 응답하여, 컴퓨팅 디바이스로 하여금 본 명세서에서 설명된 시퀀스 파라미터 세트 신택스의 하나 이상의 양태를 구현하게 하는 복수의 추가 명령어를 포함한다.
예 49는 예 46 내지 예 48 중 어느 한 예의 머신 판독가능 매체를 포함하는 것으로, 컴퓨팅 디바이스 상에서 실행되는 것에 응답하여, 컴퓨팅 디바이스로 하여금 본 명세서에서 설명된 시그널링의 하나 이상의 양태를 구현하게 하는 복수의 추가 명령어를 포함한다.
예 50은 예 46 내지 예 49 중 어느 한 예의 머신 판독가능 매체를 포함하는 것으로, 컴퓨팅 디바이스 상에서 실행되는 것에 응답하여, 컴퓨팅 디바이스로 하여금 본 명세서에서 설명된 서브-픽처 추출 및 레벨 도출의 하나 이상의 양태를 구현하게 하는 복수의 추가 명령어를 포함한다.
예 51은 예 46 내지 예 50 중 어느 한 예의 머신 판독가능 매체를 포함하는 것으로, 컴퓨팅 디바이스 상에서 실행되는 것에 응답하여, 컴퓨팅 디바이스로 하여금 VVC 코덱을 제공하여 서브-픽처 및 서브-픽처의 세트를 이용하여 비디오 데이터를 인코딩 및 디코딩하는 것 중 하나 이상을 수행하게 하는 복수의 추가 명령어를 포함한다.
예 52는 하나 이상의 기판과, 하나 이상의 기판에 연결된 로직을 포함하는 전자 장치를 포함하고, 로직은 비디오 데이터의 비트스트림을 수신하고, 하나 이상의 서브-픽처의 그룹에 대응하는 디코딩될 서브-픽처 세트를 식별하고, 식별된 서브-픽처 세트의 크기에 기초하여 서브-픽처 세트 레벨을 도출하고, 도출된 레벨이 디코드 임계 레벨 이하인지를 결정하도록 한다.
예 53은 예 52의 장치를 포함하고, 이 예에서 하나 이상의 서브-픽처의 그룹은 비디오 데이터에서 직사각형 영역을 형성한다.
예 54는 예 52 및 예 53 중 어느 한 예의 장치를 포함하고, 이 예에서 로직은 또한 비디오 데이터에서의 메시지에 기초하여 서브-픽처 세트에 대한 계층 및 레벨 정보 중 하나 이상을 디코딩하도록 한다.
예 55는 예 52 및 예 53 중 어느 한 예의 장치를 포함하고, 이 예에서 로직은 또한 비디오 데이터 내 파라미터 세트로부터 서브-픽처 파라미터를 결정하고, 그리드에 기초하여 서브-픽처의 크기 및 위치를 결정하도록 한다.
예 56은 예 55의 장치를 포함하고, 이 예에서 로직은 또한 비디오 데이터에서의 메시지에서 제공된 표시에 기초하여, 임의의 서브-픽처 또는 서브-픽처 세트에 대한 레벨이 픽처 크기를 서브-픽처 및 서브-픽처 세트 샘플 크기 중 하나에 대하여 스케일링하는 것에 기초하여 도출된다고 결정하도록 한다.
다양한 실시예는 하드웨어 요소, 소프트웨어 요소 또는 둘 모두의 조합을 사용하여 구현될 수 있다. 하드웨어 요소의 예는 프로세서, 마이크로프로세서, 회로, 회로 요소(예를 들어, 트랜지스터, 저항기, 커패시터, 인덕터 등), 집적 회로, 주문형 집적 회로(ASIC), 프로그램 가능 로직 디바이스(programmable logic device)(PLD), 디지털 신호 프로세서(DSP), 필드 프로그램 가능 게이트 어레이(FPGA), 로직 게이트, 레지스터, 반도체 디바이스, 칩, 마이크로칩, 칩셋 등을 포함할 수 있다. 소프트웨어의 예는 소프트웨어 컴포넌트, 프로그램, 애플리케이션, 컴퓨터 프로그램, 애플리케이션 프로그램, 시스템 프로그램, 머신 프로그램, 운영 체제 소프트웨어, 미들웨어, 펌웨어, 소프트웨어 모듈, 루틴, 서브루틴, 함수, 메소드, 절차, 소프트웨어 인터페이스, 애플리케이션 프로그램 인터페이스(API), 명령어 세트, 컴퓨팅 코드, 컴퓨터 코드, 코드 세그먼트, 컴퓨터 코드 세그먼트, 워드, 값, 심볼 또는 이들의 임의의 조합을 포함할 수 있다. 실시예가 하드웨어 요소 및/또는 소프트웨어 요소를 사용하여 구현되는지를 결정하는 것은 원하는 계산 레이트, 전력 레벨, 열 허용 오차, 처리 사이클 예산, 입력 데이터 레이트, 출력 데이터 레이트, 메모리 자원, 데이터 버스 속도 및 다른 설계 또는 성능 제약 조건과 같은 임의의 수의 인자에 따라 변할 수 있다.
적어도 하나의 실시예의 하나 이상의 양태는 머신에 의해 판독될 때 머신으로 하여금 본 명세서에서 설명된 기술을 수행하는 로직을 제작하게 하는 프로세서 내의 다양한 로직을 나타내는 머신 판독가능 매체에 저장된 대표적인 명령어에 의해 구현될 수 있다. IP 코어로 알려진 이러한 표현은 유형의 머신 판독 가능 매체에 저장되고 다양한 고객 또는 제조 시설에 공급되어 로직 또는 프로세서를 실제로 제작하는 제조 머신에 로드할 수 있다.
본 명세서에서 제시된 특정 특징이 다양한 구현을 참조하여 설명되었지만, 이러한 설명은 제한적인 의미로 해석되는 것으로 의도되지 않는다. 따라서, 본 개시내용이 속하는 기술분야에서 통상의 기술자에게 자명한 본 명세서에서 설명된 구현의 다양한 변형뿐만 아니라 다른 구현은 본 개시내용의 사상 및 범위 내에 있는 것으로 간주된다.
실시예는 그렇게 설명된 실시예로 제한되지 않고, 첨부된 청구항의 범위를 벗어나지 않고 수정 및 변경되어 실시될 수 있다는 것이 인식될 것이다. 예를 들어, 위의 실시예는 특징의 특정 조합을 포함할 수 있다. 그러나, 위의 실시예는 이 점에서 제한되지 않으며, 다양한 구현에서, 위의 실시예는 그러한 특징의 서브세트만을 시도하는 것, 그러한 특징의 상이한 순서를 시도하는 것, 그러한 특징의 상이한 조합을 시도하는 것 및/또는 명시적으로 나열된 특징 이외의 추가적인 특징을 시도하는 것을 포함할 수 있다. 그러므로, 실시예의 범위는 첨부의 청구항을 참조하여, 그러한 청구항의 자격이 부여되는 균등물의 전체 범위와 함께 결정되어야 한다.

Claims (24)

  1. 전자 시스템으로서,
    비디오 데이터를 저장하는 메모리와,
    상기 메모리에 연결된 프로세서와,
    상기 프로세서 및 상기 메모리에 연결된 로직을 포함하고, 상기 로직은,
    상기 비디오 데이터에서 코딩된 비디오 시퀀스의 코딩된 픽처의 서브-영역에 대한 적합성 지점(conformance point)을 도출하도록 하는
    전자 시스템.
  2. 제 1 항에 있어서,
    상기 로직은 또한,
    상기 비디오 데이터에서 직사각형 영역을 형성하는 하나 이상의 서브-픽처의 조합을 서브-픽처 세트로 그룹화하도록 하는
    전자 시스템.
  3. 제 2 항에 있어서,
    상기 로직은 또한,
    상기 코딩된 비디오 시퀀스의 레벨 및 코딩된 픽처와 상기 서브-픽처 세트의 상대적 크기에 기초하여 서브-픽처에 대응하는 레벨 표시기를 도출하도록 하는
    전자 시스템.
  4. 제 2 항 또는 제 3 항에 있어서,
    상기 로직은 또한,
    서브-픽처 및 서브-픽처 세트 중 하나 이상에 대한 계층 및 레벨 정보 중 하나 이상을 상기 비디오 데이터에서 메시지와 함께 시그널링하도록 하는
    전자 시스템.
  5. 제 2 항 또는 제 3 항에 있어서,
    상기 로직은 또한,
    파라미터 세트에서 서브-픽처 파라미터를 시그널링하도록 하고,
    그리드에 기초하여 상기 서브-픽처의 크기 및 위치를 표시하도록 하는
    전자 시스템.
  6. 제 5 항에 있어서,
    상기 로직은 또한,
    임의의 서브-픽처 또는 서브-픽처 세트에 대한 상기 레벨이 상기 픽처 크기를 상기 서브-픽처 및 서브-픽처 세트 샘플 크기 중 하나에 대하여 스케일링하는 것에 기초하여 도출된다는 표시를 상기 비디오 데이터에서의 메시지에 제공하도록 하는
    전자 시스템.
  7. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 로직은 또한,
    다용도 비디오 코딩(Versatile Video Coding)(VVC) 코덱을 제공하여 서브-픽처 및 서브-픽처의 세트를 이용하여 상기 비디오 데이터를 인코딩 및 디코딩하는 것 중 하나 이상을 수행하도록 하는
    전자 시스템.
  8. 비디오 데이터를 처리하는 방법으로서,
    상기 비디오 데이터를 저장하는 단계와,
    상기 비디오 데이터에서 코딩된 비디오 시퀀스의 코딩된 픽처의 서브-영역에 대한 적합성 지점을 도출하는 단계를 포함하는
    비디오 데이터 처리 방법.
  9. 제 8 항에 있어서,
    상기 비디오 데이터에서 직사각형 영역을 형성하는 하나 이상의 서브-픽처의 조합을 서브-픽처 세트로 그룹화하는 단계를 더 포함하는
    비디오 데이터 처리 방법.
  10. 제 9 항에 있어서,
    상기 코딩된 비디오 시퀀스의 레벨 및 코딩된 픽처와 상기 서브-픽처 세트의 상대적 크기에 기초하여 서브-픽처에 대응하는 레벨 표시기를 도출하는 단계를 더 포함하는
    비디오 데이터 처리 방법.
  11. 제 9 항 또는 제 10 항에 있어서,
    서브-픽처 및 서브-픽처 세트 중 하나 이상에 대한 계층 및 레벨 정보 중 하나 이상을 상기 비디오 데이터에서 메시지와 함께 시그널링하는 단계를 더 포함하는
    비디오 데이터 처리 방법.
  12. 제 9 항 또는 제 10 항에 있어서,
    파라미터 세트에서 서브-픽처 파라미터를 시그널링하는 단계와,
    그리드에 기초하여 상기 서브-픽처의 크기 및 위치를 표시하는 단계를 더 포함하는
    비디오 데이터 처리 방법.
  13. 제 12 항에 있어서,
    임의의 서브-픽처 또는 서브-픽처 세트에 대한 상기 레벨이 상기 픽처 크기를 상기 서브-픽처 및 서브-픽처 세트 샘플 크기 중 하나에 대하여 스케일링하는 것에 기초하여 도출된다는 표시를 상기 비디오 데이터에서의 메시지에 제공하는 단계를 더 포함하는
    비디오 데이터 처리 방법.
  14. 적어도 하나의 비일시적 머신 판독가능 매체로서,
    컴퓨팅 디바이스에서 실행되는 것에 응답하여, 상기 컴퓨팅 디바이스로 하여금,
    비디오 데이터를 저장하게 하고,
    상기 비디오 데이터에서 코딩된 비디오 시퀀스의 코딩된 픽처의 서브-영역에 대한 적합성 지점을 도출하게 하는 복수의 명령어를 포함하는
    적어도 하나의 비일시적 머신 판독가능 매체.
  15. 제 14 항에 있어서,
    상기 컴퓨팅 디바이스에서 실행되는 것에 응답하여, 상기 컴퓨팅 디바이스로 하여금,
    상기 비디오 데이터에서 직사각형 영역을 형성하는 하나 이상의 서브-픽처의 조합을 서브-픽처 세트로 그룹화하게 하는 복수의 추가 명령어를 포함하는
    적어도 하나의 비일시적 머신 판독가능 매체.
  16. 제 15 항에 있어서,
    상기 컴퓨팅 디바이스에서 실행되는 것에 응답하여, 상기 컴퓨팅 디바이스로 하여금,
    상기 코딩된 비디오 시퀀스의 레벨 및 코딩된 픽처와 상기 서브-픽처 세트의 상대적 크기에 기초하여 서브-픽처에 대응하는 레벨 표시기를 도출하게 하는 복수의 추가 명령어를 포함하는
    적어도 하나의 비일시적 머신 판독가능 매체.
  17. 제 15 항 또는 제 16 항에 있어서,
    상기 컴퓨팅 디바이스에서 실행되는 것에 응답하여, 상기 컴퓨팅 디바이스로 하여금,
    서브-픽처 및 서브-픽처 세트 중 하나 이상에 대한 계층 및 레벨 정보 중 하나 이상을 상기 비디오 데이터에서 메시지와 함께 시그널링하게 하는 복수의 추가 명령어를 포함하는
    적어도 하나의 비일시적 머신 판독가능 매체.
  18. 제 15 항 또는 제 16 항에 있어서,
    상기 컴퓨팅 디바이스에서 실행되는 것에 응답하여, 상기 컴퓨팅 디바이스로 하여금,
    파라미터 세트에서 서브-픽처 파라미터를 시그널링하게 하고,
    그리드에 기초하여 상기 서브-픽처의 크기 및 위치를 표시하게 하는 복수의 추가 명령어를 포함하는
    적어도 하나의 비일시적 머신 판독가능 매체.
  19. 제 18 항에 있어서,
    상기 컴퓨팅 디바이스에서 실행되는 것에 응답하여, 상기 컴퓨팅 디바이스로 하여금,
    임의의 서브-픽처 또는 서브-픽처 세트에 대한 상기 레벨이 상기 픽처 크기를 상기 서브-픽처 및 서브-픽처 세트 샘플 크기 중 하나에 대하여 스케일링하는 것에 기초하여 도출된다는 표시를 상기 비디오 데이터에서의 메시지에 제공하게 하는 복수의 추가 명령어를 포함하는
    적어도 하나의 비일시적 머신 판독가능 매체.
  20. 전자 장치로서,
    하나 이상의 기판과,
    상기 하나 이상의 기판에 연결된 로직을 포함하고, 상기 로직은,
    비디오 데이터의 비트스트림을 수신하도록 하고,
    하나 이상의 서브-픽처의 그룹에 대응하는 디코딩될 서브-픽처 세트를 식별하도록 하고,
    상기 식별된 서브-픽처 세트의 크기에 기초하여 서브-픽처 세트 레벨을 도출하도록 하고,
    상기 도출된 레벨이 디코드 임계 레벨 이하인지를 결정하도록 하는
    전자 장치.
  21. 제 20 항에 있어서,
    상기 하나 이상의 서브-픽처의 그룹은 상기 비디오 데이터에서 직사각형 영역을 형성하는
    전자 장치.
  22. 제 20 항 또는 제 21 항에 있어서,
    상기 로직은 또한,
    상기 비디오 데이터에서의 메시지에 기초하여 상기 서브-픽처 세트에 대한 계층 및 레벨 정보 중 하나 이상을 디코딩하도록 하는
    전자 장치.
  23. 제 20 항 또는 제 21 항에 있어서,
    상기 로직은 또한,
    상기 비디오 데이터에서의 파라미터 세트로부터 서브-픽처 파라미터를 결정하도록 하고,
    그리드에 기초하여 서브-픽처의 크기 및 위치를 결정하도록 하는
    전자 장치.
  24. 제 23 항에 있어서,
    상기 로직은 또한,
    상기 비디오 데이터에서의 메시지에 제공된 표시에 기초하여, 임의의 서브-픽처 또는 서브-픽처 세트에 대한 상기 레벨이 상기 픽처 크기를 상기 서브-픽처 및 서브-픽처 세트 샘플 크기 중 하나에 대하여 스케일링하는 것에 기초하여 도출된다고 결정하도록 하는
    전자 장치.
KR1020217038405A 2019-06-25 2020-06-23 레벨 도출이 있는 서브-픽처 및 서브-픽처 세트 KR20220023341A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962866156P 2019-06-25 2019-06-25
US62/866,156 2019-06-25
PCT/US2020/039123 WO2020263817A1 (en) 2019-06-25 2020-06-23 Sub-pictures and sub-picture sets with level derivation

Publications (1)

Publication Number Publication Date
KR20220023341A true KR20220023341A (ko) 2022-03-02

Family

ID=74062077

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217038405A KR20220023341A (ko) 2019-06-25 2020-06-23 레벨 도출이 있는 서브-픽처 및 서브-픽처 세트

Country Status (6)

Country Link
US (1) US20220174304A1 (ko)
EP (1) EP3991412A4 (ko)
JP (1) JP2022539489A (ko)
KR (1) KR20220023341A (ko)
CN (1) CN113875241A (ko)
WO (1) WO2020263817A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021039578A1 (ja) * 2019-08-29 2021-03-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
US11716488B2 (en) 2019-09-20 2023-08-01 Qualcomm Incorporated Subpicture signaling in high-level syntax for video coding

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101255226B1 (ko) * 2005-09-26 2013-04-16 한국과학기술원 스케일러블 비디오 코딩에서 다중 ｒｏｉ 설정, 복원을위한 장치 및 방법
CN102685487B (zh) * 2011-03-16 2015-07-08 华为技术有限公司 图像编解码方法、图像编解码设备及网络系统
US20140078249A1 (en) * 2012-09-20 2014-03-20 Qualcomm Incorporated Indication of frame-packed stereoscopic 3d video data for video coding
US8989508B2 (en) * 2012-09-28 2015-03-24 Sharp Kabushiki Kaisha Electronic device for signaling a sub-picture buffer parameter
US9402083B2 (en) * 2014-04-24 2016-07-26 Vidyo, Inc. Signaling conformance points using profile space
US20180242028A1 (en) * 2015-08-20 2018-08-23 Koninklijke Kpn N.V. Forming A Tiled Video On The Basis Of Media Streams
FR3044194A1 (fr) * 2015-11-20 2017-05-26 B<>Com Procede de traitement de donnees codees, procede de reception de donnees codees, dispositifs et programmes d'ordinateurs correspondants
KR102256855B1 (ko) * 2016-02-09 2021-05-26 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
JP7018447B2 (ja) * 2017-01-05 2022-02-10 シャープ株式会社 仮想現実アプリケーション用の、動き制約タイルセットのシグナリングのためのシステム及び方法
US10764575B2 (en) * 2017-03-03 2020-09-01 Qualcomm Incorporated Coding MCTS-nested SEI messages to exclude other SEI messages that are not MCTS-nested
GB2594615B (en) * 2017-03-20 2022-11-30 Canon Kk Method and apparatus for encoding and transmitting at least a spatial part of a video sequence
US11889100B2 (en) * 2017-11-14 2024-01-30 Qualcomm Incorporated Affine motion vector prediction in video coding
US11140403B2 (en) * 2018-12-20 2021-10-05 Tencent America LLC Identifying tile from network abstraction unit header

Also Published As

Publication number Publication date
US20220174304A1 (en) 2022-06-02
JP2022539489A (ja) 2022-09-12
CN113875241A (zh) 2021-12-31
EP3991412A4 (en) 2023-06-28
WO2020263817A1 (en) 2020-12-30
EP3991412A1 (en) 2022-05-04

Similar Documents

Publication Publication Date Title
US20150181216A1 (en) Inter-layer pixel sample prediction
CN113728625A (zh) 用于三自由度加/沉浸式视频的元数据（3DoF+/MIV）和视频-点云编码（V-PCC）的沉浸式视频编码技术
US9749636B2 (en) Dynamic on screen display using a compressed video stream
JP2023521553A (ja) 機械用のパッチベースのビデオコーディング
KR20220023341A (ko) 레벨 도출이 있는 서브-픽처 및 서브-픽처 세트
JP2016506165A (ja) インターレイヤの動きデータ継承
JP6005847B2 (ja) スケーラブルなビデオコーディングのためのアダプティブフィルタリング
US9872026B2 (en) Sample adaptive offset coding
US10484640B2 (en) Low power video composition using a stream out buffer
JP2022524305A (ja) イマーシブビデオ符号化のための高レベルシンタックス
JP6156808B2 (ja) 圧縮されたビデオデータをデコードするための装置、システム、方法、集積回路、およびプログラム
US20140192898A1 (en) Coding unit bit number limitation
US10104373B2 (en) Content based video encoding for wireless display
US9942552B2 (en) Low bitrate video coding
US10484714B2 (en) Codec for multi-camera compression
TWI578763B (zh) 編碼單元位元數限制
KR20220023826A (ko) 엔트로피 코딩을 위한 일반화된 바이패스 빈 및 애플리케이션
JP2015146599A (ja) レイヤ間画素サンプル予測