KR20220030191A

KR20220030191A - 동작 포인트 정보 속성들과 vvc 이미지 항목들의 연관

Info

Publication number: KR20220030191A
Application number: KR1020210116228A
Authority: KR
Inventors: 예-쿠이 왕; 리 장
Original assignee: 레몬 인크.
Priority date: 2020-09-02
Filing date: 2021-09-01
Publication date: 2022-03-10
Also published as: JP2023157974A; US11563983B2; JP2022042507A; EP3965423A1; KR20220030186A; CN114205597A; US20220070497A1; CN114205596A; JP7412395B2; JP2022042508A; JP2023159341A; US20220070495A1; EP3965421A1

Abstract

이미지 데이터를 프로세싱하기 위한 시스템들, 방법들 및 장치가 설명된다. 하나의 예시적인 방법은 비주얼 미디어 파일과 비트스트림 간의 변환을 수행하는 단계를 포함한다. 비주얼 미디어 파일은 미디어 파일 형식에 따른 하나 이상의 픽처의 시퀀스를 각각 포함하는 이미지 항목들을 포함하고, 비트스트림은 비디오 코딩 형식에 따른 계층에 각각 속하는 하나 이상의 픽처로 각각 구성되는 액세스 유닛들을 포함한다. 미디어 파일 형식은 비트스트림으로부터 유래한 픽처들을 포함하는 이미지 항목들이 비트스트림의 상위 레벨 특성들을 나타내는 속성 기술자의 상이한 인스턴스들과 연관되도록 허용되는 것으로 지정한다.

Description

동작 포인트 정보 속성들과 VVC 이미지 항목들의 연관{ASSOCIATION OF OPERATION POINT INFO PROPERTIES TO VVC IMAGE ITEMS}

관련 출원의 상호 참조

파리 협약에 따른 적용 가능한 특허법 및/또는 규칙에 따라, 본 출원은 2020년 9월 2일에 출원된 미국 가특허 출원 제63/073,829호에 대한 우선권 및 그 이익을 적시에 주장하기 위해 이루어졌다. 법에 따른 모든 목적들을 위해, 앞서 언급된 출원의 전체 개시는 본 출원의 개시의 일부로서 참고로 포함된다.

기술 분야

본 특허 문서는 이미지 및 비디오 코딩 및 디코딩에 관한 것이다.

디지털 비디오는 인터넷 및 다른 디지털 통신 네트워크들에서 가장 많은 대역폭 사용을 차지한다. 비디오를 수신하고 디스플레이할 수 있는 연결된 사용자 디바이스들의 수가 증가함에 따라, 디지털 비디오 사용에 대한 대역폭 수요가 계속 증가할 것으로 예상된다.

본 문서는 파일 형식에 따른 비디오 또는 이미지의 코딩된 표현을 프로세싱하기 위해 비디오 인코더 및 디코더에 의해 사용될 수 있는 기술을 개시한다.

하나의 예시적인 양태에서, 이미지 데이터를 프로세싱하기 위한 방법은 비주얼 미디어 파일과 비트스트림 간의 변환을 수행하는 단계를 포함한다. 비주얼 미디어 파일은 미디어 파일 형식에 따른 하나 이상의 픽처의 시퀀스를 포함하고, 비트스트림은 비디오 코딩 형식에 따른 하나 이상의 액세스 유닛을 포함한다. 비트스트림은 비디오 코딩 형식에 따라 코딩된다. 미디어 파일 형식은 비주얼 미디어 파일에서의 특정 유형 값의 이미지 항목이 비트스트림의 단일 액세스 유닛을 포함하는 것으로 지정한다. 단일 액세스 유닛은 비디오 코딩 형식에 따른 IRAP(Intra Random Access Picture) 액세스 유닛이거나 비디오 코딩 형식에 따른 GDR(Gradual Decoding Refresh) 액세스 유닛이다. GDR 액세스 유닛 내의 모든 픽처들은 비트스트림에서의 복구 포인트로서 식별된다.

다른 예시적인 양태에서, 이미지 데이터를 프로세싱하기 위한 방법은 비주얼 미디어 파일과 비트스트림 간의 변환을 수행하는 단계를 포함한다. 비주얼 미디어 파일은 미디어 파일 형식에 따른 하나 이상의 픽처의 시퀀스를 포함하고, 비트스트림은 비디오 코딩 형식에 따른 하나 이상의 액세스 유닛을 포함한다. 비트스트림은 비디오 코딩 형식에 따라 코딩된다. 미디어 파일 형식은 비주얼 미디어 파일에서의 특정 유형 값의 이미지 항목이 타깃 출력 계층 세트에 속하지 않는 계층들을 제외하는 것으로 지정한다.

다른 예시적인 양태에서, 이미지 데이터를 프로세싱하기 위한 방법은 비주얼 미디어 파일과 비트스트림 간의 변환을 수행하는 단계를 포함한다. 비주얼 미디어 파일은 미디어 파일 형식에 따른 하나 이상의 픽처의 시퀀스를 포함하고, 비트스트림은 비디오 코딩 형식에 따른 하나 이상의 액세스 유닛을 포함한다. 비트스트림은 비디오 코딩 형식에 따라 코딩된다. 미디어 파일 형식은 비주얼 미디어 파일에서의 특정 유형 값의 이미지 항목이 픽처가 하나 이상의 서브픽처를 포함하는 액세스 유닛의 적어도 일부를 포함하는 것으로 지정한다.

다른 예시적인 양태에서, 이미지 데이터를 프로세싱하기 위한 방법은 비주얼 미디어 파일과 비트스트림 간의 변환을 수행하는 단계를 포함한다. 비주얼 미디어 파일은 미디어 파일 형식에 따른 하나 이상의 픽처의 시퀀스를 각각 포함하는 이미지 항목들을 포함한다. 비트스트림은 비디오 코딩 형식에 따른 계층에 각각 속하는 하나 이상의 픽처로 각각 구성되는 액세스 유닛들을 포함한다. 미디어 파일 형식은 비트스트림으로부터 유래한 픽처들을 포함하는 이미지 항목들이 비트스트림의 상위 레벨 특성들을 나타내는 속성 기술자의 상이한 인스턴스들과 연관되도록 허용되는 것으로 지정한다.

다른 예시적인 양태에서, 이미지 데이터를 프로세싱하기 위한 방법은 비주얼 미디어 파일과 비트스트림 간의 변환을 수행하는 단계를 포함한다. 비주얼 미디어 파일은 미디어 파일 형식에 따른 하나 이상의 픽처의 시퀀스를 각각 포함하는 이미지 항목들을 포함하고, 비트스트림은 비디오 코딩 형식에 따른 계층에 각각 속하는 하나 이상의 픽처로 각각 구성되는 액세스 유닛들을 포함한다. 미디어 파일 형식은, 동작 포인트들의 레코드가 비트스트림의 상위 레벨 특성들을 나타내는 동작 포인트들의 속성 기술자에 포함되는 것에 응답하여, 레코드 내의 제1 신택스 요소의 값 또는 레코드 내의 제2 신택스 요소의 값 중 적어도 하나가 미리 결정된 값으로 제약되는 것으로 지정한다.

다른 예시적인 양태에서, 비디오 프로세싱 방법이 개시된다. 이 방법은 하나 이상의 이미지의 시퀀스를 포함하는 비주얼 미디어와 파일 형식에 따른 비트스트림 표현 사이의 변환을 수행하는 단계를 포함하고; 여기서 파일 형식은 하나 이상의 이미지를 디스플레이하는 동안 하나 이상의 이미지 사이의 전환 속성을 나타내는 하나 이상의 신택스 요소를 포함하도록 구성된다.

다른 예시적인 양태에서, 다른 비디오 프로세싱 방법이 개시된다. 이 방법은 하나 이상의 이미지의 시퀀스를 포함하는 비주얼 미디어와 파일 형식에 따른 비트스트림 표현 사이의 변환을 수행하는 단계를 포함하고; 여기서 파일 형식은, 비주얼 미디어가 특정 파일 브랜드를 갖는 파일로 표현되는 경우에, 파일 형식이 규칙에 따라 제한되는 것으로 지정한다.

다른 예시적인 양태에서, 다른 비디오 프로세싱 방법이 개시된다. 이 방법은 하나 이상의 이미지의 시퀀스를 포함하는 비주얼 미디어와 파일 형식에 따른 비트스트림 표현 사이의 변환을 수행하는 단계를 포함하고; 여기서 파일 형식은 규칙에 따라 하나 이상의 이미지에 대한 이미지 유형을 나타내도록 구성된다.

또 다른 예시적인 양태에서, 비디오 인코더 장치가 개시된다. 비디오 인코더는 위에서 설명된 방법들을 구현하도록 구성된 프로세서를 포함한다.

또 다른 예시적인 양태에서, 비디오 디코더 장치가 개시된다. 비디오 디코더는 위에서 설명된 방법들을 구현하도록 구성된 프로세서를 포함한다.

또 다른 예시적인 양태에서, 코드가 저장되어 있는 컴퓨터 판독 가능 매체가 개시된다. 코드는 본 명세서에 설명된 방법들 중 하나를 프로세서 실행 가능 코드의 형태로 구체화한다.

또 다른 예시적인 양태에서, 비트스트림이 저장되어 있는 컴퓨터 판독 가능 매체가 개시된다. 비트스트림은 본 문서에 설명된 방법을 사용하여 생성된다.

이들 및 다른 특징들이 본 문서 전체에 걸쳐 설명된다.

도 1은 예시적인 비디오 프로세싱 시스템의 블록 다이어그램이다.
도 2는 비디오 프로세싱 장치의 블록 다이어그램이다.
도 3은 예시적인 비디오 프로세싱 방법에 대한 플로차트이다.
도 4는 본 개시의 일부 실시예들에 따른 비디오 코딩 시스템을 예시하는 블록 다이어그램이다.
도 5는 본 개시의 일부 실시예들에 따른 인코더를 예시하는 블록 다이어그램이다.
도 6은 본 개시의 일부 실시예들에 따른 디코더를 예시하는 블록 다이어그램이다.
도 7은 인코더 블록 다이어그램의 예를 도시한다.
도 8은 본 기술의 하나 이상의 실시예에 따른 이미지 데이터를 프로세싱하는 방법의 플로차트 표현이다.
도 9는 본 기술의 하나 이상의 실시예에 따른 이미지 데이터를 프로세싱하는 방법의 플로차트 표현이다.
도 10은 본 기술의 하나 이상의 실시예에 따른 이미지 데이터를 프로세싱하는 방법의 플로차트 표현이다.
도 11은 본 기술의 하나 이상의 실시예에 따른 이미지 데이터를 프로세싱하는 방법의 플로차트 표현이다.
도 12는 본 기술의 하나 이상의 실시예에 따른 이미지 데이터를 프로세싱하는 방법의 플로차트 표현이다.

섹션 표제들은 본 문서에서 이해의 편의를 위해 사용되며 각각의 섹션에 개시된 기술들 및 실시예들의 적용 가능성을 해당 섹션으로만 제한하지 않는다. 게다가, H.266 전문용어는 일부 설명에서 이해의 편의를 위해서만 사용되며 개시된 기술들의 범위를 제한하기 위해 사용되지 않는다. 이에 따라, 본 명세서에 설명된 기술들은 다른 비디오 코덱 프로토콜들 및 설계들에도 적용 가능하다. 본 문서에서, 편집 변경 사항들은, VVC 사양의 현재 초안에 대해, 삭제된 텍스트를 나타내는 취소선(strikethrough)과 추가된 텍스트를 나타내는 강조 표시(굵은 기울임꼴을 포함함)로 텍스트에 표시된다.

1. 개관

이 문서는 이미지 파일 형식에 관한 것이다. 구체적으로는, 이는 ISO 기본 미디어 파일 형식에 기초한 미디어 파일에서의 이미지 전환 및 이미지의 시그널링 및 저장에 관한 것이다. 이러한 착안은 임의의 코덱, 예를 들면, VVC(Versatile Video Coding) 표준에 의해 코딩된 이미지에 대해 그리고 임의의 이미지 파일 형식, 예를 들면, 개발 중인 VVC 이미지 파일 형식에 대해 개별적으로 또는 다양한 조합으로 적용될 수 있다.

2. 약어

AU Access Unit(액세스 유닛)

AUD Access Unit Delimiter(액세스 유닛 구분자)

AVC Advanced Video Coding(고급 비디오 코딩)

BP Buffering Period(버퍼링 기간)

CLVS Coded Layer Video Sequence(코딩된 계층 비디오 시퀀스)

CLVSS Coded Layer Video Sequence Start(코딩된 계층 비디오 시퀀스 시작)

CPB Coded Picture Buffer(코딩된 픽처 버퍼)

CRA Clean Random Access(클린 랜덤 액세스)

CTU Coding Tree Unit(코딩 트리 유닛)

CVS Coded Video Sequence(코딩된 비디오 시퀀스)

DCI Decoding Capability Information(디코딩 능력 정보)

DPB Decoded Picture Buffer(디코딩된 픽처 버퍼)

DUI Decoding Unit Information(디코딩 유닛 정보)

EOB End Of Bitstream(비트스트림 끝)

EOS End Of Sequence(시퀀스 끝)

GDR Gradual Decoding Refresh(점진적 디코딩 리프레시)

HEVC High Efficiency Video Coding(고효율 비디오 코딩)

HRD Hypothetical Reference Decoder(가상 참조 디코더)

IDR Instantaneous Decoding Refresh(순간 디코딩 리프레시)

ILP Inter-Layer Prediction(계층 간 예측)

ILRP Inter-Layer Reference Picture(계층 간 참조 픽처)

IRAP Intra Random Access Picture(인트라 랜덤 액세스 픽처)

JEM Joint Exploration Model(결합 탐색 모델)

LTRP Long-Term Reference Picture(장기 참조 픽처)

MCTS Motion-Constrained Tile Sets(모션 제약 타일 세트)

NAL Network Abstraction Layer(네트워크 추상화 계층)

OLS Output Layer Set(출력 계층 세트)

PH Picture Header(픽처 헤더)

POC Picture Order Count(픽처 순서 카운트)

PPS Picture Parameter Set(픽처 파라미터 세트)

PT Picture Timing(픽처 타이밍)

PTL Profile, Tier and Level(프로파일, 티어 및 레벨)

PU Picture Unit(픽처 유닛)

RAP Random Access Point(랜덤 액세스 포인트)

RBSP Raw Byte Sequence Payload(원시 바이트 시퀀스 페이로드)

SEI Supplemental Enhancement Information(추가 개선 정보)

SLI Subpicture Level Information(서브픽처 레벨 정보)

SPS Sequence Parameter Set(시퀀스 파라미터 세트)

STRP Short-Term Reference Picture(단기 참조 픽처)

SVC Scalable Video Coding(확장 가능 비디오 코딩)

VCL Video Coding Layer(비디오 코딩 계층)

VPS Video Parameter Set(비디오 파라미터 세트)

VTM VVC Test Model(VVC 테스트 모델)

VUI Video Usability Information(비디오 사용성 정보)

VVC Versatile Video Coding(다용도 비디오 코딩)

3. 초기 논의

3.1. 비디오 코딩 표준

비디오 코딩 표준은 주로 잘 알려진 ITU-T 및 ISO/IEC 표준의 개발을 통해 발전해 왔다. ITU-T는 H.261 및 H.263 표준을 만들었고, ISO/IEC는 MPEG-1 및 MPEG-4 Visual 표준을 만들었으며, 두 조직은 공동으로 H.262/MPEG-2 Video 및 H.264/MPEG-4 AVC(Advanced Video Coding) 및 H.265/HEVC 표준을 만들었다. H.262 이후로, 비디오 코딩 표준은 시간 예측과 변환 코딩이 활용되는 하이브리드 비디오 코딩 구조를 기반으로 한다. HEVC 이후의 미래 비디오 코딩 기술을 탐구하기 위해, 2015년에 VCEG와 MPEG에 의해 공동으로 JVET(Joint Video Exploration Team)가 설립되었다. 그 이후로, 많은 새로운 방법들이 JVET에 의해 채택되었고 JEM(Joint Exploration Model)이라는 참조 소프트웨어에 추가되었다. JVET는 나중에 VVC(Versatile Video Coding) 프로젝트가 공식적으로 시작되었을 때 JVET(Joint Video Experts Team)로 이름이 변경되었다. VVC는 2020년 7월 1일에 종료된 19차 회의에서 JVET에 의해 확정된, HEVC에 비해 50% 비트레이트 감소를 목표로 하는, 새로운 코딩 표준이다.

VVC(Versatile Video Coding) 표준(ITU-T H.266 | ISO/IEC 23090-3) 및 관련 VSEI(Versatile Supplemental Enhancement Information) 표준(ITU-T H.274 | ISO/IEC 23002-7)은, 텔레비전 방송, 화상 회의 또는 저장 매체로부터의 재생과 같은 전통적인 사용과 또한 적응적 비트 레이트 스트리밍, 비디오 영역 추출, 다수의 코딩된 비디오 비트스트림으로부터의 콘텐츠 합성 및 병합, 멀티뷰 비디오, 확장 가능한 계층화된 코딩 및 뷰포트 적응적 360° 몰입형 미디어와 같은 더 새롭고 더 고급의 사용 사례들 둘 모두를 포함한, 최대한 넓은 범위의 응용 분야들에서 사용하도록 설계되었다.

3.2. 파일 형식 표준

미디어 스트리밍 응용들은 전형적으로 IP, TCP 및 HTTP 전송 방법을 기반으로 하며, 전형적으로 ISO 기본 미디어 파일 형식(ISOBMFF)과 같은 파일 형식에 의존한다. 하나의 그러한 스트리밍 시스템은 DASH(dynamic adaptive streaming over HTTP)이다. ISOBMFF 및 DASH와 함께 비디오 형식을 사용하기 위해, ISOBMFF 트랙에 그리고 DASH 표현 및 세그먼트에 비디오 콘텐츠를 캡슐화하기 위해, AVC 파일 형식 및 HEVC 파일 형식과 같은, 비디오 형식에 특정적인 파일 형식 사양이 필요하다. 콘텐츠 선택을 위해, 예를 들면, 스트리밍 세션의 시작 시의 초기화와 스트리밍 세션 동안의 스트림 적응 둘 모두에 적절한 미디어 세그먼트의 선택을 위해, 비디오 비트스트림에 관한 중요한 정보, 예를 들면, 프로파일, 티어, 레벨 및 많은 다른 정보가 파일 형식 레벨 메타데이터 및/또는 DASH MPD(media presentation description)로서 노출될 필요가 있을 것이다.

유사하게, ISOBMFF와 함께 이미지 형식을 사용하기 위해, AVC 이미지 파일 형식 및 HEVC 이미지 파일 형식과 같은, 이미지 형식에 특정적인 파일 형식 사양이 필요할 수 있다.

3.3. VVC 비디오 파일 형식

ISOBMFF 기반의 VVC 비디오 콘텐츠의 저장을 위한 파일 형식인 VVC 비디오 파일 형식은 현재 MPEG에 의해 개발 중이다.

3.4. VVC 이미지 파일 형식 및 이미지 전환

ISOBMFF 기반의, VVC를 사용하여 코딩된 이미지 콘텐츠의 저장을 위한 파일 형식인 VVC 이미지 파일 형식은 현재 MPEG에 의해 개발 중이다.

일부 경우에, 와이프(wipe), 줌(zoom), 페이드(fade), 분할(split) 및 디졸브(dissolve)와 같은 이미지 전환 효과를 지원하는, 슬라이드쇼 시그널링을 위한 설계가 포함된다. 전환 효과는 전환 효과 속성 구조에서 시그널링되며, 전환 효과 속성 구조는 전환에 관여된 2 개의 연속적인 항목 중 첫 번째 항목과 연관되고, 전환 유형을 나타내며, 어쩌면, 적용 가능한 경우, 전환 방향 및 전환 형상과 같은, 다른 전환 정보를 시그널링한다.

4. 개시된 기술 해결책으로 해결되는 기술적 문제의 예

VVC 이미지 파일 형식 및 이미지 전환 효과의 시그널링의 최신 설계는 다음과 같은 문제가 있다:

1) 한 이미지로부터 다른 이미지로의 전환 효과를 수반하는 슬라이드쇼 또는 다른 유형의 이미지 기반 응용들에서, 전환을 위한 시간 기간이 종종 정확할 필요는 없지만, 좋은 사용자 경험을 위해서는, 그것이 너무 길지 않아야 하며, 너무 짧지도 않아야 한다. 그리고 최상의 전환 기간은 콘텐츠 및 전환 유형 의존적이다. 따라서, 추천된 전환 기간을 시그널링하는 것이 사용 경험의 관점에서 도움이 될 것이며, 여기서 추천된 값은 콘텐츠 제작자에 의해 결정된다.

2) 최신 VVC 이미지 파일 형식 초안 사양에서, 지정된 VVC 이미지 항목 유형 및 파일 브랜드는 이미지 항목의 VVC 비트스트림이 다수의 계층들의 다수의 픽처들을 포함하는 액세스 유닛을 포함하도록 허용하며, 여기서 픽처들 중 일부는 인터 코딩될 수 있다, 즉, VVC에 지정된 바와 같이 계층 간 예측을 사용하여 예측된 B 또는 P 슬라이스를 포함할 수 있다. 환언하면, 이미지 항목 유형 또는 파일 브랜드를 통한 상호운용성 포인트(interoperability point)가 없으며, 여기서 이미지 항목은 인트라 코딩되는(즉, 인트라 코딩된 I 슬라이스만을 포함하는) 하나의 픽처만을 포함할 수 있다. VVC 표준 자체에서, 그러한 상호운용성 포인트는 2 개의 스틸 픽처 프로파일, 즉 메인 10 스틸 픽처 프로파일과 메인 10 4:4:4 스틸 픽처 프로파일의 정의를 통해 제공되었다.

3) 'vvc1' 유형의 항목은 다음과 같이 지정된다:

'vvc1' 유형의 항목은 아래에 지정된 바와 같이 길이로 구분되는(length-delimited) VVC 비트스트림의 NAL 유닛들로 구성되며, 비트스트림은 정확히 하나의 액세스 유닛을 포함한다.

비고 2 'vvc1' 유형의 항목은 ISO/IEC 23090-3에 정의된 바와 같은 IRAP 액세스 유닛으로 구성될 수 있고, 둘 이상의 코딩된 픽처를 포함할 수 있으며, nuh_layer_id의 임의의 특정 값을 갖는 최대 하나의 코딩된 픽처를 포함할 수 있다.

그렇지만, 어떤 액세스 유닛도 그러한 이미지 항목 내의 액세스 유닛일 수 없다. 따라서, 위의 비고 2의 첫 번째 부분은 기본 정의(즉, 위에서 인용된 첫 번째 문장)로 옮겨져야 하며, 누락된 GDR 액세스 유닛 부분이 추가되어야 한다.

4) 이하의 문장이 존재한다:

'vvc1' 이미지 항목은 연관된 TargetOlsProperty에 의해 식별되는 계층 세트에 포함되는 계층들을 포함해야 하고 다른 계층들도 포함할 수 있다.

식별된 OLS에 포함된 계층들 이외의 다른 계층들을 허용하려면, 응용 시스템 내의 어느 엔티티가 연관된 TargetOlsProperty에서의 타깃 OLS 인덱스의 올바른 값을 설정하도록 되어 있는가? 어쨌든 이 값이, 예를 들면, 파일 작성자에 의해, 올바르게 설정될 필요가 있기 때문에, 불필요한 계층에서 불필요한 픽처를 버리는 것도 파일 작성자에 의한 용이한 조작일 수 있으며, 따라서 불필요한 계층에서 불필요한 픽처를 허용하지 않는 것이 합리적일 것이다.

5) 이하의 제약이 존재한다:

동일한 비트스트림으로부터 유래하는 이미지 항목들은 동일한 VvcOperatingPointsInformationProperty와 연관되어야 한다.

그렇지만, VVC 비트스트림은 상이한 동작 포인트들을 가질 수 있는 다수의 CVS들을 포함할 수 있다.

6) 이하의 텍스트에서, ptl_max_temporal_id[ i ](레벨 정보가 제i profile_tier_level() 신택스 구조에 존재하는 최상위 서브계층 표현의 시간 ID) 및 op_max_temporal_id와 같은, VvcOperatingPointsRecord의 어떤 다른 신택스 요소들의 값들이 또한 제약되어야 한다.

VvcOperatingPointsInformationProperty에 포함될 때, VvcOperatingPointsRecord의 신택스 요소들의 값들은 다음과 같이 제약된다:

frame_rate_info_flag는 0과 동일해야 한다. 결과적으로, avgFrameRate와 constantFrameRate가 존재하지 않으며 이들의 시맨틱스가 지정되어 있지 않다.

bit_rate_info_flag가 0과 동일해야 한다. 결과적으로, maxBitRate와 avgBitRate가 존재하지 않으며 이들의 시맨틱스가 지정되어 있지 않다.

7) 이하의 텍스트가 존재한다:

VVC 서브픽처 항목이 VVC 디코더로 디코딩되기에 적합하고 다른 VVC 서브픽처 항목들 없이 소비되기에 적합한 경우, VVC 서브픽처 항목은 'vvc1' 유형의 항목으로서 저장되어야 한다. 그렇지 않은 경우, VVC 서브픽처 항목은, L.2.2.1.2에 정의된 바와 같이, 'vvs1' 유형의 항목으로서 저장되고 길이 필드들이 앞에 오는 일련의 NAL 유닛들로서 형식 지정된다.

이는 다음과 같은 문제가 있다:

a) 이 조건은 적합성 요구사항에 대한 조건으로서 사용될 정도로 명확하지 않으며(예를 들면, 요구사항이 충족되었는지 여부를 어떻게 확인할지를 생각할 때), 따라서 명확해야 한다.

b) 'vvc1' 유형의 이미지 항목의 사용이 비트스트림이 정확히 하나의 VVC 액세스 유닛을 포함한다는 이전의 정의와 정확히 부합하지 않는데, 그 이유는 본 명세서에서 'vvc1' 유형의 이미지 항목의 비트스트림이 VVC 액세스 유닛의 서브세트만을 포함할 수 있기 때문이다.

c) 비트스트림이 다수의 "추출 가능한" 서브픽처들을 포함하는 픽처를 포함하는, 이를테면, 'vvc1' 유형의, 하나의 VVC 이미지 항목을 갖도록 허용되는지 여부가 명확하지 않다.

8) 이하의 서술은 OPI NAL 유닛들을 포함하지 않는다:

VPS, DCI, SPS, PPS, AUD, PH, EOS 및 EOB NAL 유닛들이 항목에도 존재하지 않고 'vvs1' 항목들의 샘플들에도 존재하지 않아야 한다.

그렇지만, 동작 포인트 정보(OPI) NAL 유닛들은 본 명세서에서 유사하게 처리되어야 한다.

9) 주어진 이미지 또는 주어진 이미지 내의 영역에 대해 단지 하나의 전환 효과(예를 들면, 줌, 회전)가 허용된다. 그렇지만, 실제 응용들에서는, 하나의 이미지 또는 주어진 이미지 내의 하나의 영역에 다수의 효과들이 적용될 수 있다.

5. 예시적인 실시예 및 해결책

위의 문제들 및 다른 문제들을 해결하기 위해, 아래에 요약된 바와 같은 방법들이 개시된다. 항목들은 일반적인 개념을 설명하기 위한 예로서 간주되어야 하며 좁은 의미로 해석되어서는 안된다. 게다가, 이러한 항목들은 개별적으로 적용될 수 있거나 임의의 방식으로 조합될 수 있다.

1) 문제 1을 해결하기 위해, 한 이미지로부터 다른 이미지로의 전환에 대한 추천된 전환 기간이 시그널링될 수 있다.

a. 일 예에서, 대안적으로, 한 이미지로부터 다른 이미지로의 전환에 대한 필수적 전환 기간이 시그널링된다.

b. 일 예에서, 시그널링되는 값, 즉 추천된 또는 필수적 전환 기간의 값은 콘텐츠 제작자에 의해 결정된다.

c. 일 예에서, 각각의 전환 속성에 대한 하나의 전환 기간이 시그널링된다.

d. 일 예에서, 각각의 전환 유형에 대한 하나의 전환 기간이 시그널링된다.

e. 일 예에서, 전환 속성 목록에 대한 하나의 전환 기간이 시그널링된다.

f. 일 예에서, 전환 유형 목록에 대한 하나의 전환 기간이 시그널링된다.

g. 일 예에서, 모든 전환들에 대한 하나의 전환 기간이 시그널링된다.

2) 문제 2를 해결하기 위해, 하나 또는 둘 이상의 파일 브랜드가, 그러한 브랜드를 준수하는 이미지 항목에 포함된 VVC 비트스트림이 인트라 코딩된 단지 하나의 픽처(또는 그 일부)를 포함하는 단지 하나의 액세스 유닛을 포함할 필요가 있도록, 정의된다.

a. 대안적으로, 하나 또는 둘 이상의 파일 브랜드가, 그러한 브랜드를 준수하는 이미지 항목에 포함된 VVC 비트스트림이 인트라/IBC/팔레트 코딩된 단지 하나의 픽처(또는 그 일부)를 포함하는 단지 하나의 액세스 유닛을 포함할 필요가 있도록, 정의된다.

i. 대안적으로, 하나 또는 둘 이상의 파일 브랜드가, 그러한 브랜드를 준수하는 이미지 항목에 포함된 VVC 비트스트림이 단지 하나의 I 픽처(또는 그 일부)를 포함하는 단지 하나의 액세스 유닛을 포함할 필요가 있도록, 정의된다.

b. 일 예에서, 그러한 파일 브랜드의 값은 'vvic', 'vvi1', 'vvi2'로서 지정된다.

c. 일 예에서, 추가적으로, 그러한 이미지 항목에 포함된 VVC 비트스트림은 메인 10 스틸 픽처 프로파일, 메인 10 4:4:4 스틸 픽처 프로파일, 메인 10 프로파일, 메인 10 4:4:4 프로파일, 다층 메인 10 프로파일 또는 다층 메인 10 4:4:4 프로파일을 준수할 필요가 있다.

i. 대안적으로, 추가적으로, 그러한 이미지 항목에 포함된 VVC 비트스트림은 메인 10 스틸 픽처 프로파일, 메인 10 4:4:4 스틸 픽처 프로파일, 메인 10 프로파일, 또는 메인 10 4:4:4 프로파일을 준수할 필요가 있다.

ii. 대안적으로, 추가적으로, 그러한 이미지 항목에 포함된 VVC 비트스트림은 메인 10 스틸 픽처 프로파일 또는 메인 10 4:4:4 스틸 픽처 프로파일을 준수할 필요가 있다.

d. 일 예에서, 그러한 브랜드를 준수하는 이미지 항목이 다음 속성들: 타깃 출력 계층 세트 속성(TargetOlsProperty), VVC 동작 포인트 정보 속성(VvcOperatingPointsInformationProperty) 중 어느 것도 갖지 않아야 하는 것으로 지정될 수 있다.

3) 문제 2를 해결하기 위해, 하나 또는 둘 이상의 이미지 항목 유형이, 그러한 유형의 이미지 항목에 포함된 VVC 비트스트림이 인트라 코딩된 픽처만을 포함하는 단지 하나의 액세스 유닛을 포함하도록, 정의된다.

a. 대안적으로, 하나 또는 둘 이상의 이미지 항목 유형이, 그러한 유형의 이미지 항목에 포함된 VVC 비트스트림이 인트라/팔레트/IBC 코딩된 픽처만을 포함하는 단지 하나의 액세스 유닛을 포함하도록, 정의된다.

i. 대안적으로, 하나 또는 둘 이상의 이미지 항목 유형이, 그러한 유형의 이미지 항목에 포함된 VVC 비트스트림이 I 픽처들만을 포함하는 단지 하나의 액세스 유닛을 포함하도록, 정의된다.

b. 일 예에서, 그러한 이미지 항목 유형의 유형 값은 'vvc1' 또는 'vvc2'로서 지정된다.

c. 일 예에서, 추가적으로, 그러한 이미지 항목 내의 비트스트림은 메인 10 스틸 픽처 프로파일, 메인 10 4:4:4 스틸 픽처 프로파일, 메인 10 프로파일, 메인 10 4:4:4 프로파일, 다층 메인 10 프로파일 또는 다층 메인 10 4:4:4 프로파일을 준수할 필요가 있다.

i. 대안적으로, 추가적으로, 그러한 이미지 항목 내의 비트스트림은 메인 10 스틸 픽처 프로파일, 메인 10 4:4:4 스틸 픽처 프로파일, 메인 10 프로파일, 또는 메인 10 4:4:4 프로파일을 준수할 필요가 있다.

ii. 대안적으로, 추가적으로, 그러한 이미지 항목 내의 비트스트림은 메인 10 스틸 픽처 프로파일 또는 메인 10 4:4:4 스틸 픽처 프로파일을 준수할 필요가 있다.

d. 일 예에서, 그러한 유형의 이미지 항목이 다음 속성들: 타깃 출력 계층 세트 속성(TargetOlsProperty), VVC 동작 포인트 정보 속성(VvcOperatingPointsInformationProperty) 중 어느 것도 갖지 않아야 하는 것으로 지정될 수 있다.

4) 문제 3을 해결하기 위해, 예를 들면, 'vvc1' 유형의 VVC 이미지 항목은 ISO/IEC 23090-3에 정의된 바와 같은 IRAP 액세스 유닛 또는 ISO/IEC 23090-3에 정의된 바와 같이 모든 픽처들이 0과 동일한 ph_recovery_poc_cnt를 갖는 GDR 액세스 유닛인 정확히 하나의 액세스 유닛을 포함하는 VVC 비트스트림의 NAL 유닛들로 구성되도록 정의된다.

5) 문제 4를 해결하기 위해, 예를 들면, 'vvc1' 유형의 VVC 이미지 항목이 타깃 출력 계층 세트에 속하지 않는 계층들에서의 픽처들을 포함하는 것이 허용되지 않는다.

6) 문제 5를 해결하기 위해, 동일한 비트스트림으로부터 유래하는 이미지 항목들이 VvcOperatingPointsInformationProperty의 상이한 인스턴스들과 연관되는 것이 허용된다.

7) 문제 6을 해결하기 위해, VvcOperatingPointsRecord가 VvcOperatingPointsInformationProperty에 포함되어 있을 때, VvcOperatingPointsRecord의 신택스 요소 ptl_max_temporal_id[ i ] 및 op_max_temporal_id가 특정 값들로 제약된다.

8) 문제 7을 해결하기 위해, 예를 들면, 'vvc1' 유형의 VVC 이미지 항목에 대해 다음 중 어느 하나가 허용되는 것으로 지정될 수 있다:

a. 전체 VVC 액세스 유닛을 포함하며, 여기서 각각의 픽처는 다수의 "추출 가능한" 서브픽처들을 포함할 수 있다.

b. VVC 액세스 유닛의 서브세트를 포함하며, 여기서 비트스트림에 존재하는 각각의 계층에 대해, 집합적으로 직사각형 영역을 형성하는 하나 이상의 "추출 가능한" 서브픽처가 있다.

여기서 "추출 가능한" 서브픽처는 VVC에 지정된 바와 같은 대응하는 플래그 sps_subpic_treated_as_pic_flag[ i ]가 1과 동일한 서브픽처를 지칭한다.

9) 문제 8을 해결하기 위해, OPI NAL 유닛들이 항목에도 존재하지 않고 'vvs1' 항목들의 샘플들에도 존재하지 않아야 하는 것으로 지정될 수 있다.

10) 문제 9를 해결하기 위해, 슬라이드쇼에서 한 이미지(또는 그의 영역)로부터 다른 이미지(또는 그의 영역)로의 다수의 전환 효과들을 허용하는 것이 제안된다.

a. 일 예에서, 다수의 전환 효과들의 지시들은, 예를 들면, 2 개의 연속적인 이미지 항목 중 첫 번째 항목과 연관된 다수의 전환 효과 속성 구조들을 가지는 것에 의해 시그널링될 수 있다.

b. 일 예에서, 2 개의 연속적인 이미지 항목에 적용될 전환 효과들의 수의 지시가 파일에서 시그널링될 수 있다.

c. 대안적으로, 게다가, 다수의 전환 효과들을 어떻게 적용할지는 파일에서 시그널링되거나 미리 정의되거나 온 더 플라이로(on-the-fly) 도출될 수 있다.

i. 일 예에서, 다수의 전환 효과들을 적용하는 순서는 파일에서 시그널링될 수 있다.

ii. 일 예에서, 다수의 전환 효과들을 적용하는 순서는 비트스트림에서의 다수의 효과들의 지시들의 순서에 따라 도출될 수 있다.

11) 문제 9를 해결하기 위해, 슬라이드쇼에서 한 이미지로부터 다른 이미지로의 다수의 전환 효과들을 허용하는 것이 제안되며, 여기서 다수의 전환 효과들 각각은 전환에 관여된 2 개의 이미지 항목에서의 특정 영역에 적용된다.

a. 일 예에서, 전환 효과가 적용되는 전환에 관여된 2 개의 이미지 항목에서의 특정 영역은 전환 효과 속성에서 시그널링된다.

12) 문제 9를 해결하기 위해, 한 쌍의 연속적인 이미지 항목에 대해 다수의 대안적인 전환 효과들이 시그널링되도록 허용하는 것에 제안되고, 적용될 다수의 전환 효과들 중 하나를 선택하는 것은 파일의 플레이어에 달려 있다.

a. 일 예에서, 다수의 전환 효과들의 우선순위 순서(또는 선호도 순서)는 파일에서 시그널링되거나 미리 정의되거나 전환 속성들의 시그널링의 순서에 따라 도출된다.

6. 실시예들

아래는 VVC 이미지 파일 형식 및 슬라이드쇼 지원에 대한 표준 사양에 적용될 수 있는 앞서 섹션 5에 요약된 발명 양태들 중 일부에 대한 몇몇 예시적인 실시예들이다. 추가되거나 수정된 대부분의 관련 부분들은 굵은 기울임꼴로 밑줄이 그어져 있으며, 삭제된 부분들 중 일부는 [[]]를 사용하여 나타내어져 있다.

6.1. 제1 실시예

이 실시예는 적어도 항목 1, 항목 1.b 및 항목 1.c에 대한 것이다.

6.5.28 와이프 전환 효과

6.5.28.1 정의

상자 유형: 'wipe'

속성 유형: 변환적 항목 속성

컨테이너: ItemPropertyContainerBox

필수적(항목별): 아니요

수량(항목별): 최대 1 개

WipeTransitionEffectProperty는 슬라이드쇼 엔티티 그룹의 2 개의 연속적인 항목의 디스플레이 사이에 적용할 제안된 와이프 전환 효과(이미지 항목의 한쪽으로부터 다른 쪽으로 한 이미지 항목이 다른 이미지 항목을 점차 대체함)를 문서화한다.

이 항목 속성은 전환에 관여된 2 개의 연속적인 항목 중 첫 번째 항목과 연관되어야 한다.

이 항목 속성은 임의의 다른 기술적(descriptive) 또는 변환적 속성들의 연관 이후에 이미지 항목과 연관되어야 한다.

6.5.28.2 신택스

aligned(8) class WipeTransitionEffectProperty

extends ItemFullProperty('wipe', version=0, flags=0) {

unsigned int(8) transition_direction;

unsigned int(8) transition_period;

}

6.5.28.3 시맨틱스

transition_direction은 적용할 전환 방향을 식별해 준다. 이는 다음 값들 중 하나를 취한다:

0: from-left;

1: from-right;

2: from-top;

3: from-bottom;

4: from-left-top;

5: from-right-top;

6: from-left-bottom;

7: from-right-bottom;

다른 값들이 예약되어 있다.

transition_period 는 초 단위의 추천된 전환 기간, 즉, 전환의 시작부터 끝까지의 시간 기간을 나타낸다. 그 값이 0과 동일한 것은 전환 기간이 추천되지 않음을 나타낸다.

6.5.29 줌 전환 효과

6.5.29.1 정의

상자 유형: 'zoom'

속성 유형: 변환적 항목 속성

컨테이너: ItemPropertyContainerBox

필수적(항목별): 아니요

수량(항목별): 최대 1 개

ZoomTransitionEffectProperty는 슬라이드쇼 엔티티 그룹의 2 개의 연속적인 항목의 디스플레이 사이에 적용할 제안된 줌 전환 효과(한 이미지 항목이 다른 이미지 항목으로부터의 줌인 또는 줌아웃에 의해 다른 이미지 항목을 대체함)를 문서화한다.

이 항목 속성은 임의의 다른 기술적 또는 변환적 속성들의 연관 이후에 이미지 항목과 연관되어야 한다.

6.5.29.2 신택스

aligned(8) class ZoomTransitionEffectProperty

extends ItemFullProperty('zoom', version=0, flags=0) {

unsigned int(1) transition_direction;

unsigned int(7) transition_shape;

unsigned int(8) transition_period;

}

6.5.29.3 시맨틱스

0: in; (transition_shape에 의해 정의된 형상을 사용하는 줌인)

1: out; (transition_shape에 의해 정의된 형상을 사용하는 줌아웃)

transition_shape는 적용할 전환 형상을 식별해 준다. 이는 다음 값들 중 하나를 취한다:

0: rectangular;

1: circle;

2: diamond;

다른 값들이 예약되어 있다.

6.5.30 페이드 전환 효과

6.5.30.1 정의

상자 유형: 'fade'

속성 유형: 변환적 항목 속성

컨테이너: ItemPropertyContainerBox

필수적(항목별): 아니요

수량(항목별): 최대 1 개

FadeTransitionEffectProperty는 슬라이드쇼 엔티티 그룹의 2 개의 연속적인 항목의 디스플레이 사이에 적용할 제안된 페이드 전환 효과(먼저 백색 또는 흑색 이미지로 점차적으로 전환하고 이어서 이 백색 또는 흑색 이미지로부터 새로운 이미지 항목으로 점차적으로 전환하는 것에 의해 한 이미지 항목이 다른 이미지 항목을 대체함)를 문서화한다.

이 항목 속성은 2 개의 연속적인 항목 중 첫 번째 항목과 연관되어야 한다.

6.5.30.2 신택스

aligned(8) class FadeTransitionEffectProperty

extends ItemFullProperty('fade', version=0, flags=0) {

unsigned int(8) transition_direction;

unsigned int(8) transition_period;

}

6.5.30.3 시맨틱스

transition_direction은 사용할 전환 이미지를 식별해 준다. 이는 다음 값들 중 하나를 취한다:

0: through_white;

1: through_black;

다른 값들이 예약되어 있다.

6.5.31 분할 전환 효과

6.5.31.1 정의

상자 유형: 'split'

속성 유형: 변환적 항목 속성

컨테이너: ItemPropertyContainerBox

필수적(항목별): 아니요

수량(항목별): 최대 1 개

SplitTransitionEffectProperty는 슬라이드쇼 엔티티 그룹의 2 개의 연속적인 항목의 디스플레이 사이에 적용할 제안된 분할 전환 효과(먼저 수평 또는 수직으로 분할되는 것에 의해 한 이미지 항목이 다른 이미지 항목을 점차적으로 대체함)를 문서화한다.

6.5.31.2 신택스

aligned(8) class SplitTransitionEffectProperty

extends ItemFullProperty('split', version=0, flags=0) {

unsigned int(8) transition_direction;

unsigned int(8) transition_period;

}

6.5.31.3 시맨틱스

0: vertical_in;

1: vertical_out;

2: horizontal_in;

3: horizontal_out;

다른 값들이 예약되어 있다.

6.5.32 디졸브 전환 효과

6.5.32.1 정의

상자 유형: 'dsvl'

속성 유형: 변환적 항목 속성

컨테이너: ItemPropertyContainerBox

필수적(항목별): 아니요

수량(항목별): 최대 1 개

DissolveTransitionEffectProperty는 슬라이드쇼 엔티티 그룹의 2 개의 연속적인 항목의 디스플레이 사이에 적용할 제안된 디졸브 전환 효과(다른 이미지 항목이 점차적으로 페이드 아웃(fade out)되는 동안 한 이미지 항목이 점차적으로 페이드 인(fade in)하는 것에 의해 다른 항목을 대체함)를 문서화한다.

6.5.32.2 신택스

aligned(8) class DissolveTransitionEffectProperty

extends ItemFullProperty('dsvl', version=0, flags=0) {

unsigned int(8) transition_period;

}

6.5.32.3 시맨틱스

6.8

하위 조항 6.8.8 이후에 이하의 새로운 하위 조항을 추가한다.

6.5.33 슬라이드쇼

6.8.9.1 'slid' 엔티티 그룹

슬라이드쇼 엔티티 그룹('slid')은 슬라이드쇼를 형성하도록 의도된 엔티티 세트를 나타낸다. 이 엔티티 그룹은 이미지 항목을 가리키는 entity_id 값을 포함해야 하고 트랙을 가리키는 entity_id 값을 포함하지 않아야 한다.

비고 1 입력 이미지 항목은 (어쩌면 캔버스 상에서의) 이미지들의 합성을 필요로 하는 고급 슬라이드쇼를 위한 도출된 항목(예를 들면, 아이덴티티(identity), 오버레이(overlay) 또는 그리드(grid))일 수 있다.

슬라이드쇼 엔티티 그룹 내의 입력 슬라이드쇼 이미지들의 entity_id 값들은 증가하는 디스플레이 순서로 나열되어야 한다.

동일한 파일에 상이한 group_id 값들을 갖는 다수의 슬라이드쇼 엔티티 그룹들이 있을 수 있다.

슬라이드쇼 엔티티 그룹의 한 이미지 항목과 엔티티 목록에서의 연속적인 이미지 항목 사이에 적용할 전환 효과를 문서화하기 위해 전환 효과 항목 속성이 슬라이드쇼 엔티티 그룹의 이 이미지 항목과 연관될 수 있다.

비고 2 동일한 이미지가 상이한 슬라이드쇼들에 포함될 필요가 있을 때, 상이한 전환 효과와 연관된 상이한 슬라이드쇼에서 'iden' 유형의 도출된 항목을 사용하는 것에 의해 또는 ('iloc'를 통해) 동일한 데이터를 공유하는 2개의 항목을 갖지만 상이한 슬라이드쇼들에서 상이한 전환 효과를 갖는 것에 의해 동일한 이미지를 상이한 슬라이드쇼에서 상이한 전환 효과와 연관시키는 것이 가능하다.

비고 3 필수적인 것으로 표시되어 있는 인식되지 않은 전환 속성이 단일 이미지를 디스플레이하는 것을 방해할 수 있기 때문에, 전환 효과 항목 속성들은, 진정으로 필수적인 경우에만, 필수적인 것으로 표시되어야 한다. 대부분의 슬라이드쇼에서, 전환 효과들은 '있으면 좋은 것'이지만 리더(reader)가 전환 효과를 이해하지 못하더라도 이미지를 디스플레이하는 것을 방해해서는 안 된다.

6.2. 제2 실시예

이 실시예는 적어도 항목 4 및 항목 5에 대한 것이다.

L.2.2.1.2 'vvc1' 유형의 이미지 항목

'vvc1' 유형의 항목은 아래에 지정된 바와 같이 길이로 구분되는 VVC 비트스트림의 NAL 유닛들로 구성되며, 비트스트림은 ISO/IEC 23090-3에 정의된 바와 같은 IRAP 액세스 유닛 또는 ISO/IEC 23090-3에 정의된 바와 같이 모든 픽처들이 0과 동일한 ph_recovery_poc_cnt를 갖는 GDR 액세스 유닛인 정확히 하나의 액세스 유닛을 포함한다.

0보다 큰 nuh_layer_id를 갖는 NAL 유닛들은 'vvc1' 유형의 항목들에 존재할 수 있다. 리더는 'vvc1' 유형의 항목에서의 0보다 큰 nuh_layer_id를 갖는 NAL 유닛들을 0과 동일한 nuh_layer_id를 갖는 NAL 유닛들과 유사한 방식으로 프로세싱해야 한다.

비고 1 'vvc1' 유형의 이미지 항목에서, 비독립적인 계층들에서의 픽처들은 계층 간 예측을 사용할 수 있으며 따라서 인터 코딩된 슬라이스들을 포함할 수 있다. 이미지 항목에서의 계층 간 예측을 사용하지 않는 픽처는 ISO/IEC 23090-3에 정의된 바와 같이 0과 동일한 ph_recovery_poc_cnt를 갖는 GDR 픽처 또는 IDR 또는 CRA 픽처일 수 있다.

비고 2 'vvc1' 유형의 항목은 [[ISO/IEC 23090-3에 정의된 바와 같은 IRAP 액세스 유닛으로 구성될 수 있고, 둘 이상의 코딩된 픽처를 포함할 수 있으며]], nuh_layer_id의 임의의 특정 값을 갖는 최대 하나의 코딩된 픽처를 포함할 수 있다.

다수의 계층들을 갖는 'vvc1' 유형의 모든 이미지 항목들은 연관된 항목 속성 VvcOperatingPointsInformationProperty를 가져야 한다. VvcOperatingPointsInformationProperty는, ISO/IEC 14496-15의 'vopi' 샘플 그룹화와 유사하게, 다수의 계층들을 갖는 이미지 항목에 포함된 비트스트림의 상위 레벨 특성들에 대한 요약을 제공한다.

'vvc1' 유형의 모든 이미지 항목들은 0 개 또는 1 개의 연관된 항목 속성 TargetOlsProperty를 가져야 한다. TargetOlsProperty는 VVC 코딩된 이미지 항목의 디코딩 프로세스에 대한 입력으로서 사용될 출력 계층 세트 인덱스를 제공하는 target_ols_idx를 포함한다. target_ols_idx는 TargetOlsIdx 변수의 값으로서 사용되며 VVC에서와 동일한 코딩 형식으로 지정된다. TargetOlsProperty의 수는 이미지 항목에 단지 하나의 픽처가 있지 않는 한 0이 아니어야 한다. 'vvc1' 이미지 항목은 연관된 TargetOlsProperty에 의해 식별되는 출력 계층 세트에 포함되는 계층들을 포함해야 하고 [[다른 계층들도 포함할 수 있다]]다른 계층들을 포함해서는 안된다.

'vvc1' 유형의 이미지 항목은 연관된 항목 속성 LayerSelectorProperty를 가질 수 있다. LayerSelectorProperty는 동일한 이미지 항목과 연관된 TargetOlsProperty에 의해 식별되는 출력 계층 세트의 출력 계층들의 nuh_layer_id 값들 중에 있는 layer_id를 포함해야 한다.

6.3. 제3 실시예

이 실시예는 적어도 항목 6 및 항목 7에 대한 것이다.

L.2.3.3 VVC 동작 포인트 정보 속성

L.2.3.3.1 정의

상자 유형: 'vopi'

속성 유형: 기술적 항목 속성

컨테이너: ItemPropertyContainerBox

필수적(항목별): 'vvc1' 유형의 이미지 항목에 대해, 아니오

수량(항목별): 'vvc1' 유형의 이미지 항목에 대해 0 또는 1

VvcOperatingPointsInformationProperty는 ISO/IEC 14496-15에 지정된 VvcOperatingPointsInformation과 유사하지만 이미지 항목들에 적용된다.

[[동일한 비트스트림으로부터 유래하는 이미지 항목들은 동일한 VvcOperatingPointsInformationProperty와 연관되어야 한다.]] VvcOperatingPointsInformationProperty는 비트스트림에 의해 제공되는 상이한 동작 포인트들 및 이들의 구성에 관해 알려준다. 각각의 동작 포인트는 출력 계층 세트, 및 프로파일, 티어 및 레벨의 조합에 관련되어 있다. 이미지 항목과 연관된 TargetOlsProperty는 VvcOperatingPointsInformationProperty의 어느 동작 포인트 특정 정보가 이미지 항목에 적용되는지를 선택하는 데 사용될 수 있는 출력 계층 세트 인덱스를 제공한다. VvcOperatingPointsInformationProperty는 또한 계층들 간의 종속성 정보(dependency information)를 제공한다.

L.2.3.3.2 신택스

aligned(8) class VvcOperatingPointsInformationProperty

extends ItemFullProperty('vopi', version = 0, flags = 0){

VvcOperatingPointsRecord; // specified in ISO/IEC　14496-15

}

L.2.3.3.3 시맨틱스

VvcOperatingPointsRecord의 시맨틱스는 ISO/IEC 14496-15에 지정되어 있다. VvcOperatingPointsInformationProperty에 포함될 때, VvcOperatingPointsRecord의 신택스 요소들의 값들은 다음과 같이 제약된다:

0 내지 num_profile_tier_level_minus1(경계 포함)의 범위에 있는 i의 각각의 값에 대한 ptl_max_temporal_id[i]는 0과 동일해야 한다.

max_temporal_id는 0과 동일해야 한다.

6.4. 제4 실시예

이 실시예는 적어도 항목 9에 대한 것이다.

VVC 서브픽처 항목

ISO/IEC 23090-3은 픽처를 서브픽처들로 분할하는 것을 허용한다. ISO/IEC 23090-3은 서브픽처의 속성들의 정확한 정의 및 시그널링 을 포함하는 반면, 일부 속성들은 이하에서 정보 제공 목적으로(informatively) 반복된다:

- 서브픽처는 하나 이상의 슬라이스를 갖는 픽처의 직사각형 영역이다.

- [[서브픽처들 사이에 인트라 예측, 엔트로피 디코딩 및 루프 필터 종속성이 없는]] 서브픽처 경계가 인터 예측 프로세스에서 픽처 경계로서 취급되는 경우 (즉, ISO/IEC 23090-3에 지정된 바와 같은 대응하는 플래그 sps_subpic_treated_as_pic_flag[ i ]가 1과 동일할 때) , 서브픽처는 다른 서브픽처들과 독립적으로 디코딩될 수 있다.

'vvc1' 유형으로서 저장된 서브픽처 항목은 하위 조항 L.2.2.1.2의 모든 요구사항들을 따라야 한다.

VVC 서브픽처 항목이 'vvs1' 유형의 항목으로서 저장될 때, 그 항목에 대해 이하의 제약이 적용된다:

- VCL NAL 유닛 세트에 포함된 서브픽처들이 직사각형 픽셀 어레이를 나타내도록, ISO/IEC 23090-3에 정의된 바와 같이, VCL NAL 유닛 세트는 하나 이상의 서브픽처를 포함한다;

- VPS, DCI, OPI, SPS, PPS, AUD, PH, EOS 및 EOB NAL 유닛들이 항목에도 존재하지 않고 'vvs1' 항목들의 샘플들에도 존재하지 않아야 한다.

- 항목은 ISO/IEC 14496-15에 지정된 바와 같은 VvcNALUConfigBox와 동일한 신택스 및 시맨틱스를 가진 'vvnC' 항목 속성과 연관되어야 한다.

비고 0보다 큰 nuh_layer_id를 갖는 NAL 유닛들은 'vvs1' 유형의 항목들에 존재할 수 있다. 리더는 'vvs1' 유형의 항목에서의 0보다 큰 nuh_layer_id를 갖는 NAL 유닛들을 0과 동일한 nuh_layer_id를 갖는 NAL 유닛들과 유사한 방식으로 프로세싱해야 한다.

VVC 서브픽처 항목의 디코딩 순서는 하위 조항 L.2.5에 정의되는 VVC 기본 항목에 의해 결정된다.

도 1은 본 명세서에 개시된 다양한 기술들이 구현될 수 있는 예시적인 비디오 프로세싱 시스템(1900)을 도시하는 블록 다이어그램이다. 다양한 구현들은 시스템(1900)의 컴포넌트들의 일부 또는 전부를 포함할 수 있다. 시스템(1900)은 비디오 콘텐츠를 수신하기 위한 입력(1902)을 포함할 수 있다. 비디오 콘텐츠는 원시 또는 압축되지 않은 형식, 예를 들면, 8 또는 10 비트 다중 성분 픽셀 값으로 수신될 수 있거나, 또는 압축된 또는 인코딩된 형식으로 되어 있을 수 있다. 입력(1902)은 네트워크 인터페이스, 주변기기 버스 인터페이스, 또는 스토리지 인터페이스를 나타낼 수 있다. 네트워크 인터페이스의 예는 이더넷, PON(passive optical network) 등과 같은 유선 인터페이스 및 Wi-Fi 또는 셀룰러 인터페이스와 같은 무선 인터페이스를 포함한다.

시스템(1900)은 본 문서에 설명된 다양한 코딩 또는 인코딩 방법들을 구현할 수 있는 코딩 컴포넌트(1904)를 포함할 수 있다. 코딩 컴포넌트(1904)는 비디오의 코딩된 표현을 생성하기 위해 입력(1902)으로부터 코딩 컴포넌트(1904)의 출력으로의 비디오의 평균 비트레이트를 감소시킬 수 있다. 따라서 코딩 기술은 때때로 비디오 압축 또는 비디오 트랜스코딩 기술이라고 불린다. 코딩 컴포넌트(1904)의 출력은, 컴포넌트(1906)에 의해 표현된 바와 같이, 저장되거나 연결된 통신을 통해 전송될 수 있다. 입력(1902)에 수신되는 비디오의 저장된 또는 통신된 비트스트림(또는 코딩된) 표현은 디스플레이 인터페이스(1910)로 송신되는 픽셀 값 또는 디스플레이 가능한 비디오를 생성하기 위해 컴포넌트(1908)에 의해 사용될 수 있다. 비트스트림 표현으로부터 사용자가 볼 수 있는 비디오를 생성하는 프로세스는 때때로 비디오 압축 해제라고 불린다. 게다가, 특정 비디오 프로세싱 동작이 "코딩" 동작 또는 도구라고 지칭되지만, 코딩 도구 또는 동작은 인코더에서 사용되고 코딩의 결과를 반대로 행하는 대응하는 디코딩 도구 또는 동작은 디코더에 의해 수행될 것임이 이해될 것이다.

주변기기 버스 인터페이스 또는 디스플레이 인터페이스의 예는 USB(universal serial bus) 또는 HDMI(high definition multimedia interface) 또는 Displayport 등을 포함할 수 있다. 스토리지 인터페이스의 예는 SATA(serial advanced technology attachment), PCI, IDE 인터페이스 등을 포함한다. 본 문서에서 설명되는 기술은 디지털 데이터 프로세싱 및/또는 비디오 디스플레이를 수행할 수 있는 모바일 폰, 랩톱, 스마트폰 또는 다른 디바이스와 같은 다양한 전자 디바이스들에서 구체화될 수 있다.

도 2는 비디오 프로세싱 장치(3600)의 블록 다이어그램이다. 장치(3600)는 본 명세서에 설명된 방법들 중 하나 이상을 구현하는 데 사용될 수 있다. 장치(3600)는 스마트폰, 태블릿, 컴퓨터, IoT(Internet of Things) 수신기 등으로 구체화될 수 있다. 장치(3600)는 하나 이상의 프로세서(3602), 하나 이상의 메모리(3604) 및 비디오 프로세싱 하드웨어(3606)를 포함할 수 있다. 프로세서(들)(3602)는 본 문서에 설명된 하나 이상의 방법을 구현하도록 구성될 수 있다. 메모리(메모리들)(3604)는 본 명세서에 설명된 방법들 및 기술들을 구현하는 데 사용되는 데이터 및 코드를 저장하는 데 사용될 수 있다. 비디오 프로세싱 하드웨어(3606)는, 하드웨어 회로로, 본 문서에 설명된 일부 기술들을 구현하는 데 사용될 수 있다. 일부 실시예들에서, 비디오 프로세싱 하드웨어(3606)는 프로세서(3602), 예를 들면, 그래픽 코프로세서에 적어도 부분적으로 포함될 수 있다.

도 4는 본 개시의 기술들을 활용할 수 있는 예시적인 비디오 코딩 시스템(100)을 예시하는 블록 다이어그램이다.

도 4에 도시된 바와 같이, 비디오 코딩 시스템(100)은 소스 디바이스(110) 및 목적지 디바이스(120)를 포함할 수 있다. 비디오 인코딩 디바이스라고 지칭될 수 있는 소스 디바이스(110)는 인코딩된 비디오 데이터를 생성한다. 비디오 디코딩 디바이스라고 지칭될 수 있는 목적지 디바이스(120)는 소스 디바이스(110)에 의해 생성되는 인코딩된 비디오 데이터를 디코딩할 수 있다.

소스 디바이스(110)는 비디오 소스(112), 비디오 인코더(114), 및 입출력(I/O) 인터페이스(116)를 포함할 수 있다.

비디오 소스(112)는 비디오 캡처 디바이스와 같은 소스, 비디오 콘텐츠 제공자로부터 비디오 데이터를 수신하기 위한 인터페이스, 및/또는 비디오 데이터를 생성하기 위한 컴퓨터 그래픽 시스템, 또는 그러한 소스들의 조합을 포함할 수 있다. 비디오 데이터는 하나 이상의 픽처를 포함할 수 있다. 비디오 인코더(114)는 비디오 소스(112)로부터의 비디오 데이터를 인코딩하여 비트스트림을 생성한다. 비트스트림은 비디오 데이터의 코딩된 표현을 형성하는 비트 시퀀스를 포함할 수 있다. 비트스트림은 코딩된 픽처들 및 관련 데이터를 포함할 수 있다. 코딩된 픽처는 픽처의 코딩된 표현이다. 관련 데이터는 시퀀스 파라미터 세트, 픽처 파라미터 세트, 및 다른 신택스 구조를 포함할 수 있다. I/O 인터페이스(116)는 변조기/복조기(모뎀) 및/또는 송신기를 포함할 수 있다. 인코딩된 비디오 데이터는 I/O 인터페이스(116)를 통해 네트워크(130a)를 거쳐 목적지 디바이스(120)로 직접 전송될 수 있다. 인코딩된 비디오 데이터는 또한 목적지 디바이스(120)에 의한 액세스를 위해 저장 매체/서버(130b)에 저장될 수 있다.

목적지 디바이스(120)는 I/O 인터페이스(126), 비디오 디코더(124), 및 디스플레이 디바이스(122)를 포함할 수 있다.

I/O 인터페이스(126)는 수신기 및/또는 모뎀을 포함할 수 있다. I/O 인터페이스(126)는 소스 디바이스(110) 또는 저장 매체/서버(130b)로부터 인코딩된 비디오 데이터를 취득할 수 있다. 비디오 디코더(124)는 인코딩된 비디오 데이터를 디코딩할 수 있다. 디스플레이 디바이스(122)는 디코딩된 비디오 데이터를 사용자에게 디스플레이할 수 있다. 디스플레이 디바이스(122)는 목적지 디바이스(120)와 통합될 수 있거나, 또는 외부 디스플레이 디바이스와 인터페이싱하도록 구성된 목적지 디바이스(120)의 외부에 있을 수 있다.

비디오 인코더(114) 및 비디오 디코더(124)는, HEVC(High Efficiency Video Coding) 표준, VVM(Versatile Video Coding) 표준 및 다른 현재 및/또는 추가 표준들과 같은, 비디오 압축 표준에 따라 동작할 수 있다.

도 5는 도 4에 예시된 시스템(100) 내의 비디오 인코더(114)일 수 있는, 비디오 인코더(200)의 예를 예시하는 블록 다이어그램이다.

비디오 인코더(200)는 본 개시의 기술들의 일부 또는 전부를 수행하도록 구성될 수 있다. 도 5의 예에서, 비디오 인코더(200)는 복수의 기능 컴포넌트들을 포함한다. 본 개시에 설명된 기술들은 비디오 인코더(200)의 다양한 컴포넌트들 사이에서 공유될 수 있다. 일부 예들에서, 프로세서는 본 개시에 설명된 기술들의 일부 또는 전부를 수행하도록 구성될 수 있다.

비디오 인코더(200)의 기능 컴포넌트들은 분할 유닛(201), 모드 선택 유닛(203), 모션 추정 유닛(204), 모션 보상 유닛(205) 및 인트라 예측 유닛(206)을 포함할 수 있는 예측 유닛(202), 잔차 생성 유닛(207), 변환 유닛(208), 양자화 유닛(209), 역양자화 유닛(210), 역변환 유닛(211), 재구성 유닛(212), 버퍼(213), 및 엔트로피 인코딩 유닛(214)을 포함할 수 있다.

다른 예들에서, 비디오 인코더(200)는 보다 많은, 보다 적은 또는 상이한 기능 컴포넌트들을 포함할 수 있다. 예에서, 예측 유닛(202)은 인트라 블록 복사(intra block copy, IBC) 유닛을 포함할 수 있다. IBC 유닛은 적어도 하나의 참조 픽처가 현재 비디오 블록이 위치하는 픽처인 IBC 모드에서 예측을 수행할 수 있다.

게다가, 모션 추정 유닛(204) 및 모션 보상 유닛(205)과 같은 일부 컴포넌트들은 고도로 통합될 수 있지만, 설명의 목적을 위해 도 5의 예에서 개별적으로 표현되어 있다.

분할 유닛(201)은 픽처를 하나 이상의 비디오 블록으로 분할할 수 있다. 비디오 인코더(200) 및 비디오 디코더(300)는 다양한 비디오 블록 크기들을 지원할 수 있다.

모드 선택 유닛(203)은, 예를 들어, 오차 결과들에 기초하여, 코딩 모드들, 즉 인트라(intra) 또는 인터(inter) 중 하나를 선택할 수 있고, 결과적인 인트라 코딩된 또는 인터 코딩된 블록을 잔차 생성 유닛(207)에 제공하여 잔차 블록 데이터를 생성하도록 하고 재구성 유닛(212)에 제공하여 참조 픽처로서 사용하기 위한 인코딩된 블록을 재구성하도록 할 수 있다. 일부 예에서, 모드 선택 유닛(203)은 예측이 인터 예측 신호 및 인트라 예측 신호에 기초하는 CIIP(combination of intra and inter predication) 모드를 선택할 수 있다. 모드 선택 유닛(203)은 또한 인터 예측의 경우에 블록에 대한 모션 벡터의 분해능(예를 들면, 서브 픽셀 또는 정수 픽셀 정밀도)을 선택할 수 있다.

현재 비디오 블록에 대한 인터 예측을 수행하기 위해, 모션 추정 유닛(204)은 버퍼(213)로부터의 하나 이상의 참조 프레임을 현재 비디오 블록과 비교하는 것에 의해 현재 비디오 블록에 대한 모션 정보를 생성할 수 있다. 모션 보상 유닛(205)은 현재 비디오 블록과 연관된 픽처 이외의 버퍼(213)로부터의 픽처들의 디코딩된 샘플들 및 모션 정보에 기초하여 현재 비디오 블록에 대한 예측된 비디오 블록을 결정할 수 있다.

모션 추정 유닛(204) 및 모션 보상 유닛(205)은, 예를 들어, 현재 비디오 블록이 I 슬라이스, P 슬라이스, 또는 B 슬라이스에 있는지 여부에 따라, 현재 비디오 블록에 대해 상이한 동작들을 수행할 수 있다.

일부 예들에서, 모션 추정 유닛(204)은 현재 비디오 블록에 대한 단방향 예측을 수행할 수 있고, 모션 추정 유닛(204)은 현재 비디오 블록에 대한 참조 비디오 블록에 대해 목록 0 또는 목록 1의 참조 픽처들을 탐색할 수 있다. 모션 추정 유닛(204)은 이어서 참조 비디오 블록을 포함하는 목록 0 또는 목록 1 내의 참조 픽처를 나타내는 참조 인덱스 및 현재 비디오 블록과 참조 비디오 블록 사이의 공간적 변위를 나타내는 모션 벡터를 생성할 수 있다. 모션 추정 유닛(204)은 참조 인덱스, 예측 방향 지시자, 및 모션 벡터를 현재 비디오 블록의 모션 정보로서 출력할 수 있다. 모션 보상 유닛(205)은 현재 비디오 블록의 모션 정보가 나타내는 참조 비디오 블록에 기초하여 현재 블록의 예측된 비디오 블록을 생성할 수 있다.

다른 예들에서, 모션 추정 유닛(204)은 현재 비디오 블록에 대해 양방향 예측을 수행할 수 있고, 모션 추정 유닛(204)은 현재 비디오 블록에 대한 참조 비디오 블록에 대해 목록 0 내의 참조 픽처들을 탐색할 수 있고, 또한 현재 비디오 블록에 대한 다른 참조 비디오 블록에 대해 목록 1 내의 참조 픽처들을 탐색할 수 있다. 모션 추정 유닛(204)은 이어서 참조 비디오 블록들을 포함하는 목록 0 및 목록 1 내의 참조 픽처들을 나타내는 참조 인덱스들 및 참조 비디오 블록들과 현재 비디오 블록 사이의 공간적 변위들을 나타내는 모션 벡터들을 생성할 수 있다. 모션 추정 유닛(204)은 현재 비디오 블록의 모션 정보로서 참조 인덱스들 및 현재 비디오 블록의 모션 벡터들을 출력할 수 있다. 모션 보상 유닛(205)은 현재 비디오 블록의 모션 정보가 나타내는 참조 비디오 블록들에 기초하여 현재 비디오 블록의 예측된 비디오 블록을 생성할 수 있다.

일부 예들에서, 모션 추정 유닛(204)은 디코더의 디코딩 프로세싱을 위한 모션 정보의 전체 세트를 출력할 수 있다.

일부 예들에서, 모션 추정 유닛(204)은 현재 비디오에 대한 모션 정보의 전체 세트를 출력하지 않을 수 있다. 오히려, 모션 추정 유닛(204)은 다른 비디오 블록의 모션 정보를 참조하여 현재 비디오 블록의 모션 정보를 시그널링할 수 있다. 예를 들어, 모션 추정 유닛(204)은 현재 비디오 블록의 모션 정보가 이웃 비디오 블록의 모션 정보와 충분히 유사하다고 결정할 수 있다.

일 예에서, 모션 추정 유닛(204)은, 현재 비디오 블록과 연관된 신택스 구조에, 현재 비디오 블록이 다른 비디오 블록과 동일한 모션 정보를 갖는다는 것을 비디오 디코더(300)에 알려주는 값을 표시할 수 있다.

다른 예에서, 모션 추정 유닛(204)은, 현재 비디오 블록과 연관된 신택스 구조에서, 다른 비디오 블록 및 모션 벡터 차이(MVD)를 식별할 수 있다. 모션 벡터 차이는 현재 비디오 블록의 모션 벡터와 지시된 비디오 블록의 모션 벡터 간의 차이를 나타낸다. 비디오 디코더(300)는 지시된 비디오 블록의 모션 벡터 및 모션 벡터 차이를 이용하여 현재 비디오 블록의 모션 벡터를 결정할 수 있다.

위에서 논의된 바와 같이, 비디오 인코더(200)는 모션 벡터를 예측적으로 시그널링할 수 있다. 비디오 인코더(200)에 의해 구현될 수 있는 예측적 시그널링 기술의 두 가지 예는 AMVP(advanced motion vector predication) 및 병합 모드 시그널링을 포함한다.

인트라 예측 유닛(206)은 현재 비디오 블록에 대해 인트라 예측을 수행할 수 있다. 인트라 예측 유닛(206)이 현재 비디오 블록에 대해 인트라 예측을 수행할 때, 인트라 예측 유닛(206)은 동일한 픽처 내의 다른 비디오 블록들의 디코딩된 샘플들에 기초하여 현재 비디오 블록에 대한 예측 데이터를 생성할 수 있다. 현재 비디오 블록에 대한 예측 데이터는 예측된 비디오 블록 및 다양한 신택스 요소들을 포함할 수 있다.

잔차 생성 유닛(207)은 현재 비디오 블록으로부터 현재 비디오 블록의 예측된 비디오 블록(들)을 차감(예를 들면, 마이너스 부호로 표시됨)하는 것에 의해 현재 비디오 블록에 대한 잔차 데이터를 생성할 수 있다. 현재 비디오 블록의 잔차 데이터는 현재 비디오 블록 내의 샘플들의 상이한 샘플 성분들에 대응하는 잔차 비디오 블록들을 포함할 수 있다.

다른 예들에서, 예를 들어, 스킵 모드에서 현재 비디오 블록에 대한 현재 비디오 블록의 잔차 데이터가 없을 수 있고, 잔차 생성 유닛(207)은 차감 동작을 수행하지 않을 수 있다.

변환 프로세싱 유닛(208)은 현재 비디오 블록과 연관된 잔차 비디오 블록에 하나 이상의 변환을 적용하는 것에 의해 현재 비디오 블록에 대한 하나 이상의 변환 계수 비디오 블록을 생성할 수 있다.

변환 프로세싱 유닛(208)이 현재 비디오 블록과 연관된 변환 계수 비디오 블록을 생성한 후에, 양자화 유닛(209)은 현재 비디오 블록과 연관된 하나 이상의 양자화 파라미터(QP) 값에 기초하여 현재 비디오 블록과 연관된 변환 계수 비디오 블록을 양자화할 수 있다.

역양자화 유닛(210) 및 역변환 유닛(211)은, 제각기, 변환 계수 비디오 블록에 역양자화 및 역변환을 적용하여 변환 계수 비디오 블록으로부터 잔차 비디오 블록을 재구성할 수 있다. 재구성 유닛(212)은 버퍼(213)에 저장할 현재 블록과 연관된 재구성된 비디오 블록을 생성하기 위해 예측 유닛(202)에 의해 생성되는 하나 이상의 예측된 비디오 블록으로부터의 대응하는 샘플들에 재구성된 잔차 비디오 블록을 가산할 수 있다.

재구성 유닛(212)이 비디오 블록을 재구성한 후에, 비디오 블록에서의 비디오 블로킹 아티팩트를 감소시키기 위해 루프 필터링 동작이 수행될 수 있다.

엔트로피 인코딩 유닛(214)은 비디오 인코더(200)의 다른 기능 컴포넌트들로부터 데이터를 수신할 수 있다. 엔트로피 인코딩 유닛(214)이 데이터를 수신할 때, 엔트로피 인코딩 유닛(214)은 엔트로피 인코딩된 데이터를 생성하고 엔트로피 인코딩된 데이터를 포함하는 비트스트림을 출력하기 위해 하나 이상의 엔트로피 인코딩 동작을 수행할 수 있다.

도 6은 도 4에 예시된 시스템(100) 내의 비디오 디코더(114)일 수 있는 비디오 디코더(300)의 예를 예시하는 블록 다이어그램이다.

비디오 디코더(300)는 본 개시의 기술들의 일부 또는 전부를 수행하도록 구성될 수 있다. 도 6의 예에서, 비디오 디코더(300)는 복수의 기능 컴포넌트들을 포함한다. 본 개시에 설명된 기술들은 비디오 디코더(300)의 다양한 컴포넌트들 사이에서 공유될 수 있다. 일부 예들에서, 프로세서는 본 개시에 설명된 기술들의 일부 또는 전부를 수행하도록 구성될 수 있다.

도 6의 예에서, 비디오 디코더(300)는 엔트로피 디코딩 유닛(301), 모션 보상 유닛(302), 인트라 예측 유닛(303), 역양자화 유닛(304), 역변환 유닛(305), 및 재구성 유닛(306) 및 버퍼(307)를 포함한다. 비디오 디코더(300)는, 일부 예들에서, 비디오 인코더(200)(도 5)와 관련하여 설명된 인코딩 패스(encoding pass)와 일반적으로 반대인 디코딩 패스(decoding pass)를 수행할 수 있다.

엔트로피 디코딩 유닛(301)은 인코딩된 비트스트림을 검색할 수 있다. 인코딩된 비트스트림은 엔트로피 코딩된 비디오 데이터(예를 들면, 비디오 데이터의 인코딩된 블록들)를 포함할 수 있다. 엔트로피 디코딩 유닛(301)은 엔트로피 코딩된 비디오 데이터를 디코딩할 수 있고, 엔트로피 디코딩된 비디오 데이터로부터, 모션 보상 유닛(302)은 모션 벡터, 모션 벡터 정밀도, 참조 픽처 목록 인덱스, 및 다른 모션 정보를 포함하는 모션 정보를 결정할 수 있다. 모션 보상 유닛(302)은, 예를 들어, AMVP 및 병합 모드를 수행하는 것에 의해 그러한 정보를 결정할 수 있다.

모션 보상 유닛(302)은 모션 보상된 블록들을 생성할 수 있으며, 어쩌면 보간 필터들에 기초하여 보간을 수행할 수 있다. 사용될 보간 필터들에 대한 식별자들이 서브픽셀 정밀도와 함께 신택스 요소들에 포함될 수 있다.

모션 보상 유닛(302)은 참조 블록의 서브-정수 픽셀들에 대한 보간된 값들을 계산하기 위해 비디오 블록의 인코딩 동안 비디오 인코더(200)에 의해 사용되는 바와 같이 보간 필터들을 사용할 수 있다. 모션 보상 유닛(302)은 수신된 신택스 정보에 따라 비디오 인코더(200)에 의해 사용되는 보간 필터들을 결정할 수 있고 예측 블록들을 생성하기 위해 보간 필터들을 사용할 수 있다.

모션 보상 유닛(302)은 인코딩된 비디오 시퀀스의 프레임(들) 및/또는 슬라이스(들)를 인코딩하는 데 사용되는 블록들의 크기들, 인코딩된 비디오 시퀀스의 픽처의 각각의 매크로블록이 어떻게 분할되는지를 기술하는 분할 정보, 각각의 분할이 어떻게 인코딩되는지를 나타내는 모드들, 각각의 인터 인코딩된 블록에 대한 하나 이상의 참조 프레임(및 참조 프레임 목록), 및 인코딩된 비디오 시퀀스를 디코딩하기 위한 다른 정보를 결정하기 위해 신택스 정보의 일부를 사용할 수 있다.

인트라 예측 유닛(303)은 공간적으로 인접한 블록들로부터 예측 블록을 형성하기 위해, 예를 들어, 비트스트림에서 수신되는 인트라 예측 모드들을 사용할 수 있다. 역양자화 유닛(303)은 비트스트림에서 제공되고 엔트로피 디코딩 유닛(301)에 의해 디코딩되는 양자화된 비디오 블록 계수들을 역양자화(inverse quantize), 즉 역양자화(de-quantize)한다. 역변환 유닛(303)은 역변환을 적용한다.

재구성 유닛(306)은 디코딩된 블록들을 형성하기 위해 모션 보상 유닛(202) 또는 인트라 예측 유닛(303)에 의해 생성되는 대응하는 예측 블록들과 잔차 블록들을 합산할 수 있다. 원하는 경우, 디코딩된 블록들을 필터링하여 블록성 아티팩트(blockiness artifact)를 제거하기 위해 디블록킹 필터가 또한 적용될 수 있다. 디코딩된 비디오 블록들은 이어서 버퍼(307)에 저장되고, 버퍼(307)는 후속하는 모션 보상/인트라 예측을 위한 참조 블록들을 제공하고 또한 디스플레이 디바이스 상에 제시할 디코딩된 비디오를 생성한다.

일부 실시예들에 의해 선호되는 해결책들의 목록이 다음에 제공된다.

이하의 해결책들은 이전 섹션(예를 들면, 항목 1, 항목 10 및 항목 11)에서 논의된 기술들의 예시적인 실시예들을 보여준다.

1. 비주얼 미디어 프로세싱 방법(예를 들면, 도 3에 묘사된 방법(700))으로서, 하나 이상의 이미지의 시퀀스를 포함하는 비주얼 미디어와 파일 형식에 따른 비트스트림 표현 사이의 변환을 수행하는 단계(702)를 포함하고; 여기서 파일 형식은 하나 이상의 이미지를 디스플레이하는 동안 하나 이상의 이미지 사이의 전환 속성을 나타내는 하나 이상의 신택스 요소를 포함하도록 구성된다.

2. 해결책 1의 방법으로서, 여기서 전환 속성은 전환 시간이고, 여기서 파일 형식은 전환 시간들의 유형을 나타내는 다른 신택스 요소를 포함하며, 여기서 유형은 필수적 전환 시간 또는 추천된 전환 시간을 포함한다.

3. 해결책 1의 방법으로서, 여기서 전환 속성은 하나 이상의 이미지 사이의 하나 이상의 전환 효과를 포함한다.

4. 해결책 2의 방법으로서, 여기서 파일 형식은 연속적인 이미지들 또는 연속적인 이미지들의 부분들 사이의 전환들에 적용 가능한 하나 이상의 전환 효과를 기술하기 위한 하나 이상의 신택스 요소를 포함한다.

5. 해결책 3의 방법으로서, 여기서 파일 형식은 다수의 전환 효과들 및 하나의 이미지로부터 다음 이미지로의 전환 동안 다수의 전환 효과들이 적용 가능한 이미지들의 대응하는 부분들을 지정하는 신택스 구조를 포함한다.

이하의 해결책들은 이전 섹션(예를 들면, 항목 2)에서 논의된 기술들의 예시적인 실시예들을 보여준다.

6. 비주얼 미디어 프로세싱 방법으로서, 하나 이상의 이미지의 시퀀스를 포함하는 비주얼 미디어와 파일 형식에 따른 비트스트림 표현 사이의 변환을 수행하는 단계를 포함하고; 여기서 파일 형식은, 비주얼 미디어가 특정 파일 브랜드를 갖는 파일로 표현되는 경우에, 파일 형식이 규칙에 따라 제한되는 것으로 지정한다.

7. 해결책 6의 방법으로서, 여기서 규칙은 특정 코딩 도구를 사용하여 코딩되는 이미지의 일 부분의 단지 하나의 액세스 유닛을 포함하도록 지정한다.

8. 해결책 6 및 해결책 7의 방법으로서, 여기서 특정 코딩 도구는 인트라 코딩 도구를 포함한다.

9. 해결책 6 및 해결책 7의 방법으로서, 여기서 특정 코딩 도구는 인트라 블록 복사 코딩 도구를 포함한다.

10. 해결책 6의 방법으로서, 여기서 특정 코딩 도구는 팔레트 코딩 도구를 포함한다.

11. 해결책 6의 방법으로서, 여기서 규칙은 파일 형식이 코딩 속성에 따라 코딩되는 하나 이상의 이미지를 저장하도록 허용되지 않는 것으로 지정한다.

12. 해결책 11의 방법으로서, 여기서 코딩 속성은 타깃 출력 계층 세트 속성을 포함한다.

이하의 해결책들은 이전 섹션(예를 들면, 항목 3, 항목 4, 항목 5 및 항목 8)에서 논의된 기술들의 예시적인 실시예들을 보여준다.

13. 비주얼 미디어 프로세싱 방법으로서, 하나 이상의 이미지의 시퀀스를 포함하는 비주얼 미디어와 파일 형식에 따른 비트스트림 표현 사이의 변환을 수행하는 단계를 포함하고; 여기서 파일 형식은 규칙에 따라 하나 이상의 이미지에 대한 이미지 유형을 나타내도록 구성된다.

14. 해결책 13의 방법으로서, 여기서 규칙은 파일 형식이, 하나의 이미지 유형에 대해, 인트라 코딩된 이미지를 포함하는 단지 하나의 액세스 유닛을 포함하도록 허용하는 것으로 더 지정하는 것으로 지정한다.

15. 해결책 13의 방법으로서, 여기서 규칙은 특정 이미지 유형이 인트라 랜덤 액세스 픽처 유닛인 정확히 하나의 액세스 유닛을 포함하는 네트워크 추상화 계층 유닛들만을 포함하도록 허용되는 것으로 지정한다.

16. 해결책 13의 방법으로서, 여기서 규칙은, 특정 이미지 유형에 대해, 파일 형식이 상이한 타깃 출력 계층 세트들로부터의 계층들에 픽처들을 포함하도록 허용하지 않는 것으로 지정한다.

17. 해결책 13의 방법으로서, 여기서 규칙은 파일 형식이, 특정 이미지 유형에 대해, 다수의 추출 가능한 서브픽처들을 포함하는 하나 이상의 픽처가 포함되는 전체 액세스 유닛을 포함하도록 허용하는 것으로 지정한다.

18. 해결책 1 내지 해결책 17 중 어느 하나의 방법으로서, 여기서 변환은 파일 형식에 따른 비트스트림 표현을 생성하기 위해 하나 이상의 이미지를 인코딩하는 것을 포함한다.

19. 해결책 18의 방법으로서, 여기서 파일 형식에 따른 비트스트림 표현은 컴퓨터 판독 가능 매체에 저장되거나 통신 연결을 통해 전송된다.

20. 해결책 1 내지 해결책 17 중 어느 하나의 방법으로서, 여기서 변환은, 비트스트림 표현으로부터, 하나 이상의 이미지를 디코딩하고 재구성하는 것을 포함한다.

21. 해결책 20의 방법으로서, 디코딩 및 재구성 이후에 하나 이상의 이미지를 디스플레이하는 것을 용이하게 하는 단계를 더 포함한다.

22. 해결책 1 내지 해결책 21 중 하나 이상에 언급된 방법을 구현하도록 구성된 프로세서를 포함하는 비디오 디코딩 장치.

23. 해결책 1 내지 해결책 21 중 하나 이상에 언급된 방법을 구현하도록 구성된 프로세서를 포함하는 비디오 인코딩 장치.

24. 코드가 저장되어 있는 컴퓨터 프로그램 제품으로서, 코드는, 프로세서에 의해 실행될 때, 프로세서로 하여금 해결책 1 내지 해결책 21 중 어느 하나에 언급된 방법을 구현하게 한다.

25. 해결책 1에서 해결책 21 중 어느 하나에 따라 생성되는 파일 형식을 준수하는 비트스트림 표현이 있는 컴퓨터 판독 가능 매체.

26. 본 문서에 설명된 방법, 장치 또는 시스템.

도 8은 본 기술의 하나 이상의 실시예에 따른 이미지 데이터를 프로세싱하는 방법의 플로차트 표현이다. 방법(800)은, 동작(810)에서, 비주얼 미디어 파일과 비트스트림 사이의 변환을 수행하는 단계를 포함한다. 비주얼 미디어 파일은 미디어 파일 형식에 따른 하나 이상의 픽처의 시퀀스를 포함하고, 비트스트림은 비디오 코딩 형식에 따른 하나 이상의 액세스 유닛을 포함한다. 비트스트림은 비디오 코딩 형식에 따라 코딩된다. 미디어 파일 형식은 비주얼 미디어 파일에서의 특정 유형 값의 이미지 항목이 비트스트림의 단일 액세스 유닛을 포함하는 것으로 지정한다. 단일 액세스 유닛은 비디오 코딩 형식에 따른 IRAP(Intra Random Access Picture) 액세스 유닛이거나 비디오 코딩 형식에 따른 GDR(Gradual Decoding Refresh) 액세스 유닛이다. GDR 액세스 유닛 내의 모든 픽처들은 비트스트림에서의 복구 포인트로서 식별된다.

도 9는 본 기술의 하나 이상의 실시예에 따른 이미지 데이터를 프로세싱하는 방법의 플로차트 표현이다. 방법(900)은, 동작(910)에서, 비주얼 미디어 파일과 비트스트림 사이의 변환을 수행하는 단계를 포함한다. 비주얼 미디어 파일은 미디어 파일 형식에 따른 하나 이상의 픽처의 시퀀스를 포함하고, 비트스트림은 비디오 코딩 형식에 따른 하나 이상의 액세스 유닛을 포함한다. 비트스트림은 비디오 코딩 형식에 따라 코딩된다. 미디어 파일 형식은 비주얼 미디어 파일에서의 특정 유형 값의 이미지 항목이 타깃 출력 계층 세트에 속하지 않는 계층들을 제외하는 것으로 지정한다.

도 10은 본 기술의 하나 이상의 실시예에 따른 이미지 데이터를 프로세싱하는 방법의 플로차트 표현이다. 방법(1000)은, 동작(1010)에서, 비주얼 미디어 파일과 비트스트림 사이의 변환을 수행하는 단계를 포함한다. 비주얼 미디어 파일은 미디어 파일 형식에 따른 하나 이상의 픽처의 시퀀스를 포함하고, 비트스트림은 비디오 코딩 형식에 따른 하나 이상의 액세스 유닛을 포함한다. 비트스트림은 비디오 코딩 형식에 따라 코딩된다. 미디어 파일 형식은 비주얼 미디어 파일에서의 특정 유형 값의 이미지 항목이 픽처가 하나 이상의 서브픽처를 포함하는 액세스 유닛의 적어도 일부를 포함하는 것으로 지정한다.

이하는 도 8 내지 도 10과 관련하여 논의된 기술들의 예들이다.

1. 비디오 데이터를 프로세싱하기 위한 예시적인 방법으로서, 비주얼 미디어 파일과 비트스트림 간의 변환을 수행하는 단계를 포함하며, 여기서 비주얼 미디어 파일은 미디어 파일 형식에 따른 하나 이상의 픽처의 시퀀스를 포함하고, 여기서 비트스트림은 비디오 코딩 형식에 따른 하나 이상의 액세스 유닛을 포함하며, 여기서 비트스트림은 비디오 코딩 형식에 따라 코딩되고, 여기서 미디어 파일 형식은 비주얼 미디어 파일에서의 특정 유형 값의 이미지 항목이 비트스트림의 단일 액세스 유닛을 포함하는 것으로 지정하며, 여기서 단일 액세스 유닛은 비디오 코딩 형식에 따른 IRAP(Intra Random Access Picture) 액세스 유닛이거나 비디오 코딩 형식에 따른 GDR(Gradual Decoding Refresh) 액세스 유닛이고, 여기서 GDR 액세스 유닛 내의 모든 픽처들은 비트스트림에서의 복구 포인트로서 식별된다.

2. 예 1의 방법으로서, 여기서 비디오 코딩 형식은 ISO/IEC 23090-3에 따른 다용도 비디오 코딩(Versatile Video Coding) 표준에 대응한다.

3. 예 1 또는 예 2의 방법으로서, 여기서 특정 유형 값은 'vvc1'로서 지정된다.

4. 예 1 내지 예 3 중 어느 하나의 방법으로서, 여기서 GDR 액세스 유닛 내의 모든 픽처들 각각은 대응하는 픽처가 복구 포인트임을 나타내는 값 0을 갖는 픽처 헤더 필드를 포함한다.

5. 예 3의 방법으로서, 여기서 픽처 헤더 필드는 ph_recovery_poc_cnt 필드에 대응한다.

6. 비디오 데이터를 프로세싱하기 위한 예시적인 방법으로서, 비주얼 미디어 파일과 비트스트림 간의 변환을 수행하는 단계를 포함하며, 여기서 비주얼 미디어 파일은 미디어 파일 형식에 따른 하나 이상의 픽처의 시퀀스를 포함하고, 여기서 비트스트림은 비디오 코딩 형식에 따른 하나 이상의 액세스 유닛을 포함하며, 여기서 비트스트림은 비디오 코딩 형식에 따라 코딩되고, 여기서 미디어 파일 형식은 비주얼 미디어 파일에서의 특정 유형 값의 이미지 항목이 타깃 출력 계층 세트에 속하지 않는 계층들을 제외하는 것으로 지정한다.

7. 예 6의 방법으로서, 여기서 비디오 코딩 형식은 ISO/IEC 23090-3에 따른 다용도 비디오 코딩 표준에 대응한다.

8. 예 6 또는 예 7의 방법으로서, 여기서 특정 유형 값은 'vvc1'로서 지정된다.

9. 예 6 내지 예 8 중 어느 하나의 방법으로서, 여기서 이미지 항목은 타깃 출력 계층 세트를 나타내는 속성에 의해 식별되는 출력 계층 세트 내의 계층들을 포함하고 다른 계층들을 포함하지 않는다.

10. 비디오 데이터를 프로세싱하기 위한 예시적인 방법으로서, 비주얼 미디어 파일과 비트스트림 간의 변환을 수행하는 단계를 포함하며, 여기서 비주얼 미디어 파일은 미디어 파일 형식에 따른 하나 이상의 픽처의 시퀀스를 포함하고, 여기서 비트스트림은 비디오 코딩 형식에 따른 하나 이상의 액세스 유닛을 포함하며, 여기서 비트스트림은 비디오 코딩 형식에 따라 코딩되고, 여기서 미디어 파일 형식은 비주얼 미디어 파일에서의 특정 유형 값의 이미지 항목이 픽처가 하나 이상의 서브픽처를 포함하는 액세스 유닛의 적어도 일부를 포함하는 것으로 지정한다.

11. 예 10의 방법으로서, 여기서 비디오 코딩 형식은 ISO/IEC 23090-3에 따른 다용도 비디오 코딩 표준에 대응하고, 여기서 특정 유형 값은 'vvc1'로서 지정된다.

12. 예 10 또는 예 11의 방법으로서, 여기서 이미지 항목은 액세스 유닛 전체를 포함한다.

13. 예 10 내지 예 12 중 어느 하나의 방법으로서, 여기서 이미지 항목은 액세스 유닛의 일부를 포함하고, 여기서, 비트스트림에 존재하는 각각의 계층에 대해, 하나 이상의 서브픽처는 직사각형 영역을 형성한다.

14. 프로세서를 포함하는 비디오 프로세싱 장치로서, 여기서 프로세서는 예 1 내지 예 13 중 어느 하나의 방법을 수행하도록 구성된다.

15. 비디오 프로세싱 장치에 의해 수행되는 예 1 내지 예 13 중 어느 하나의 방법에 의해 생성되는 비디오의 비트스트림을 저장하는 비일시적 컴퓨터 판독 가능 기록 매체.

도 11은 본 기술의 하나 이상의 실시예에 따른 이미지 데이터를 프로세싱하는 방법의 플로차트 표현이다. 방법(1100)은, 동작(1110)에서, 비주얼 미디어 파일과 비트스트림 사이의 변환을 수행하는 단계를 포함한다. 비주얼 미디어 파일은 미디어 파일 형식에 따른 하나 이상의 픽처의 시퀀스를 각각 포함하는 이미지 항목들을 포함한다. 비트스트림은 비디오 코딩 형식에 따른 계층에 각각 속하는 하나 이상의 픽처로 각각 구성되는 액세스 유닛들을 포함한다. 미디어 파일 형식은 비트스트림으로부터 유래한 픽처들을 포함하는 이미지 항목들이 비트스트림의 상위 레벨 특성들을 나타내는 속성 기술자의 상이한 인스턴스들과 연관되도록 허용되는 것으로 지정한다.

도 12는 본 기술의 하나 이상의 실시예에 따른 이미지 데이터를 프로세싱하는 방법의 플로차트 표현이다. 방법(1200)은, 동작(1210)에서, 비주얼 미디어 파일과 비트스트림 사이의 변환을 수행하는 단계를 포함한다. 비주얼 미디어 파일은 미디어 파일 형식에 따른 하나 이상의 픽처의 시퀀스를 각각 포함하는 이미지 항목들을 포함한다. 비트스트림은 비디오 코딩 형식에 따른 계층에 각각 속하는 하나 이상의 픽처로 각각 구성되는 액세스 유닛들을 포함한다. 미디어 파일 형식은, 동작 포인트들의 레코드가 비트스트림의 상위 레벨 특성들을 나타내는 동작 포인트들의 속성 기술자에 포함되는 것에 응답하여, 레코드 내의 제1 신택스 요소의 값 또는 레코드 내의 제2 신택스 요소의 값 중 적어도 하나가 미리 결정된 값으로 제약되는 것으로 지정한다.

이하는 도 11 및 도 12와 관련하여 논의된 기술들의 예시적인 해결책들이다.

1. 이미지 데이터를 프로세싱하기 위한 예시적인 해결책 방법으로서, 비주얼 미디어 파일과 비트스트림 간의 변환을 수행하는 단계를 포함하며, 여기서 비주얼 미디어 파일은 미디어 파일 형식에 따른 하나 이상의 픽처의 시퀀스를 각각 포함하는 이미지 항목들을 포함하고, 여기서 비트스트림은 비디오 코딩 형식에 따른 계층에 각각 속하는 하나 이상의 픽처로 각각 구성되는 액세스 유닛들을 포함하며, 여기서 미디어 파일 형식은 비트스트림으로부터 유래한 픽처들을 포함하는 이미지 항목들이 비트스트림의 상위 레벨 특성들을 나타내는 속성 기술자의 상이한 인스턴스들과 연관되도록 허용되는 것으로 지정한다.

2. 예시적인 해결책 1의 방법으로서, 여기서 비디오 코딩 형식은 ISO/IEC 23090-3에 따른 다용도 비디오 코딩 표준에 대응한다.

3. 예시적인 해결책 1 또는 예시적인 해결책 2의 방법으로서, 여기서 속성 기술자는 VvcOperatingPointsInformationProperty로서 표현된다.

4. 이미지 데이터를 프로세싱하기 위한 예시적인 해결책 방법으로서, 비주얼 미디어 파일과 비트스트림 간의 변환을 수행하는 단계를 포함하며, 여기서 비주얼 미디어 파일은 미디어 파일 형식에 따른 하나 이상의 픽처의 시퀀스를 각각 포함하는 이미지 항목들을 포함하고, 여기서 비트스트림은 비디오 코딩 형식에 따른 계층에 각각 속하는 하나 이상의 픽처로 각각 구성되는 액세스 유닛들을 포함하며, 여기서 미디어 파일 형식은, 동작 포인트들의 레코드가 비트스트림의 상위 레벨 특성들을 나타내는 동작 포인트들의 속성 기술자에 포함되는 것에 응답하여, 레코드 내의 제1 신택스 요소의 값 또는 레코드 내의 제2 신택스 요소의 값 중 적어도 하나가 미리 결정된 값으로 제약되는 것으로 지정한다.

5. 예시적인 해결책 4의 방법으로서, 여기서 비디오 코딩 형식은 ISO/IEC 23090-3에 따른 다용도 비디오 코딩 표준에 대응한다.

6. 예시적인 해결책 4 또는 예시적인 해결책 5의 방법으로서, 여기서 제1 신택스 요소는 제i 프로파일 티어 레벨 신택스 구조와 연관된 최대 시간 ID(identification)를 지정하고, i는 0 내지 (프로파일 티어 레벨 수 - 1)의 범위에 있다.

7. 예시적인 해결책 6의 방법으로서, 여기서 제1 신택스 요소는 ptl_max_temporal_id[i]로서 표현된다.

8. 예시적인 해결책 4 내지 예시적인 해결책 7 중 어느 하나의 방법으로서, 여기서 제2 신택스 요소는 동작 포인트들의 레코드와 연관된 최대 시간 ID(identification)를 지정한다.

9. 예시적인 해결책 8의 방법으로서, 여기서 제2 신택스 요소는 max_temproal_id로서 표현된다.

10. 예시적인 해결책 4 내지 예시적인 해결책 9 중 어느 하나의 방법으로서, 여기서 레코드는 프레임 레이트 정보가 존재하는지 여부를 지정하는 제3 신택스 요소를 포함하고, 여기서 제3 신택스 요소의 값은 미리 결정된 값으로 제약된다.

11. 예시적인 해결책 4 내지 예시적인 해결책 10 중 어느 하나의 방법으로서, 여기서 레코드는 비트 레이트 정보가 존재하는지 여부를 지정하는 제4 신택스 요소를 포함하고, 여기서 제4 신택스 요소의 값은 미리 결정된 값으로 제약된다.

12. 예시적인 해결책 4 내지 예시적인 해결책 11 중 어느 하나의 방법으로서, 여기서 미리 결정된 값은 0과 동일하다.

13. 프로세서를 포함하는 비디오 프로세싱 장치로서, 여기서 프로세서는 예시적인 해결책 1 내지 예시적인 해결책 12 중 어느 하나의 방법을 수행하도록 구성된다.

14. 비디오 프로세싱 장치에 의해 수행되는 예시적인 해결책 1 내지 예시적인 해결책 12 중 어느 하나의 방법에 의해 생성되는 비디오의 비트스트림을 저장하는 비일시적 컴퓨터 판독 가능 기록 매체.

본 명세서에 설명된 해결책들에서, 인코더는 형식 규칙에 따라 코딩된 표현을 생성하는 것에 의해 형식 규칙을 준수할 수 있다. 본 명세서에 설명된 해결책들에서, 디코더는 디코딩된 비디오를 생성하기 위해 형식 규칙에 따라 신택스 요소들의 존재 및 부재에 대한 지식으로 코딩된 표현의 신택스 요소들을 파싱하기 위해 형식 규칙을 사용할 수 있다.

본 문서에서, "비디오 프로세싱"이라는 용어는 비디오 인코딩, 비디오 디코딩, 비디오 압축 또는 비디오 압축 해제를 지칭할 수 있다. 예를 들어, 비디오의 픽셀 표현으로부터 대응하는 비트스트림 표현으로 또는 그 반대로 변환하는 동안 비디오 압축 알고리즘들이 적용될 수 있다. 현재 비디오 블록의 비트스트림 표현은, 예를 들어, 신택스에 의해 정의된 바와 같이, 비트스트림 내의 상이한 위치들에 병치(co-locate)되거나 분산되는 비트들에 대응할 수 있다. 예를 들어, 매크로블록은 변환되고 코딩된 오차 잔차 값의 관점에서 그리고 또한 헤더 내의 비트들 및 비트스트림 내의 다른 필드들을 사용하여 인코딩될 수 있다. 게다가, 변환 동안, 디코더는, 위의 해결책들에 설명된 바와 같이, 결정에 기초하여, 일부 필드들이 존재하거나 존재하지 않을 수 있다는 것에 대한 지식으로 비트스트림을 파싱할 수 있다. 유사하게, 인코더는 특정 신택스 필드들이 포함되어야 하는지 여부를 결정할 수 있고, 그에 따라 코딩된 표현으로부터 신택스 필드들을 포함하거나 제외하는 것에 의해 코딩된 표현을 생성할 수 있다.

본 문서에 설명된 개시된 및 다른 해결책들, 예들, 실시예들, 모듈들 및 기능 동작들은 디지털 전자 회로로, 또는 본 문서에 개시된 구조 및 그의 구조적 등가물을 포함한, 컴퓨터 소프트웨어, 펌웨어, 또는 하드웨어로, 또는 이들 중 하나 이상의 조합으로 구현될 수 있다. 개시된 및 다른 실시예들은 하나 이상의 컴퓨터 프로그램 제품으로서, 즉 데이터 프로세싱 장치에 의한 실행을 위해 또는 데이터 프로세싱 장치의 동작을 제어하기 위해 컴퓨터 판독 가능 매체에 인코딩된 컴퓨터 프로그램 명령어들의 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터 판독 가능 매체는 머신 판독 가능 저장 디바이스, 머신 판독 가능 저장 기판, 메모리 디바이스, 머신 판독 가능 전파 신호를 실현하는 조성물(composition of matter), 또는 이들 중 하나 이상의 조합일 수 있다. “데이터 프로세싱 장치"라는 용어는, 예로서, 프로그래밍 가능 프로세서, 컴퓨터, 또는 다수의 프로세서들 또는 컴퓨터들을 포함한, 데이터를 프로세싱하기 위한 모든 장치, 디바이스, 및 머신을 포괄한다. 장치는, 하드웨어 외에도, 문제의 컴퓨터 프로그램을 위한 실행 환경을 생성하는 코드, 예를 들면, 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제, 또는 이들 중 하나 이상의 조합을 구성하는 코드를 포함할 수 있다. 전파 신호는 인공적으로 생성된 신호, 예를 들면, 적합한 수신기 장치로 전송하기 위한 정보를 인코딩하기 위해 생성되는 머신 생성 전기, 광학, 또는 전자기 신호이다.

컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트 또는 코드라고도 함)은, 컴파일되는(compiled) 또는 인터프리트되는(interpreted) 언어들을 포함한, 임의의 형태의 프로그래밍 언어로 작성될 수 있고, 독립형 프로그램(stand-alone program)으로서 또는 모듈, 컴포넌트, 서브루틴 또는 컴퓨팅 환경에서 사용하기에 적합한 다른 유닛으로서를 포함한, 임의의 형태로 배포(deploy)될 수 있다. 컴퓨터 프로그램이 파일 시스템에서의 파일에 반드시 대응하는 것은 아니다. 프로그램은 다른 프로그램들 또는 데이터(예를 들면, 마크업 언어 문서에 저장된 하나 이상의 스크립트)를 보유하는 파일의 일 부분에, 문제의 프로그램에 전용된 단일 파일에, 또는 다수의 통합 파일들(coordinated files)(예를 들면, 하나 이상의 모듈, 서브 프로그램(sub program), 또는 코드 부분(portion of code)을 저장하는 파일들)에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터에서 또는 하나의 사이트에 위치하거나 다수의 사이트들에 걸쳐 분산되고 통신 네트워크에 의해 상호연결되는 다수의 컴퓨터들에서 실행되도록 배포될 수 있다.

본 문서에 설명된 프로세스들 및 논리 흐름들은 입력 데이터에 대해 동작하여 출력을 생성하는 것에 의해 기능들을 수행하기 위해 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그래밍 가능 프로세서에 의해 수행될 수 있다. 프로세스들 및 논리 흐름들이 또한 특수 목적 로직 회로, 예를 들면, FPGA(field programmable gate array) 또는 ASIC(application specific integrated circuit)에 의해 수행될 수 있고, 장치가 또한 이들로서 구현될 수 있다.

컴퓨터 프로그램의 실행에 적합한 프로세서는, 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 모두, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서를 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 모두로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 필수 요소들은 명령어들을 수행하기 위한 프로세서 및 명령어들과 데이터를 저장하기 위한 하나 이상의 메모리 디바이스이다. 일반적으로, 컴퓨터는 또한 데이터를 저장하기 위한 하나 이상의 대용량 저장 디바이스, 예를 들면, 자기, 자기 광학 디스크, 또는 광학 디스크를 포함할 것이거나, 또는 이들로부터 데이터를 수신하거나 이들로 데이터를 전송하도록 동작 가능하게 결합될 수 있거나, 또는 둘 모두일 것이다. 그렇지만, 컴퓨터가 그러한 디바이스들을 가질 필요는 없다. 컴퓨터 프로그램 명령어들과 데이터를 저장하기에 적합한 컴퓨터 판독 가능 매체는, 예로서, 반도체 메모리 디바이스, 예를 들면, EPROM, EEPROM, 및 플래시 메모리 디바이스; 자기 디스크, 예를 들면, 내장형 하드 디스크 또는 이동식 디스크; 자기 광학 디스크; 및 CD ROM과 DVD-ROM 디스크를 포함한, 모든 형태의 비휘발성 메모리, 매체 및 메모리 디바이스를 포함한다. 프로세서 및 메모리는 특수 목적 로직 회로에 의해 보완되거나 그에 통합될 수 있다.

본 특허 문서가 많은 구체적 사항들을 포함하지만, 이들은 임의의 주제의 범위 또는 청구될 수 있는 것의 범위에 대한 제한으로서 해석되어서는 안되며, 오히려 특정 기술들의 특정의 실시예들에 특정적일 수 있는 특징들에 대한 설명으로서 해석되어야 한다. 개별적인 실시예들의 맥락에서 본 특허 문서에 설명되는 특정한 특징들이 또한 단일 실시예에서 조합하여 구현될 수 있다. 이와 달리, 단일 실시예의 맥락에서 설명되는 다양한 특징들이 또한 다수의 실시예들에서 개별적으로 또는 임의의 적합한 하위 조합으로 구현될 수 있다. 더욱이, 특징들이 특정 조합들로 기능하는 것으로 위에서 설명되고 심지어 처음에 그 자체로서 청구될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징이 일부 경우에 그 조합으로부터 제거될 수 있고, 청구된 조합은 하위 조합 또는 하위 조합의 변형에 관한 것일 수 있다.

유사하게, 동작들이 도면에서 특정의 순서로 묘사되지만, 이것은, 바람직한 결과를 달성하기 위해, 그러한 동작들이 도시된 특정의 순서로 또는 순차적 순서로 수행되어야 하거나, 모든 예시된 동작들이 수행되어야 하는 것을 요구하는 것으로 이해되어서는 안된다. 더욱이, 본 특허 문서에 설명된 실시예들에서 다양한 시스템 컴포넌트들의 분리가 모든 실시예들에서 그러한 분리를 요구하는 것으로서 이해되어서는 안된다.

단지 몇 가지 구현들 및 예들이 설명되고 다른 구현들, 향상들 및 변형들이 이 특허 문서에 설명되고 예시된 것에 기초하여 이루어질 수 있다.

Claims

이미지 데이터를 프로세싱하기 위한 방법으로서,
비주얼 미디어 파일과 비트스트림 간의 변환을 수행하는 단계
를 포함하며, 상기 비주얼 미디어 파일은 미디어 파일 형식에 따른 하나 이상의 픽처의 시퀀스를 각각 포함하는 이미지 항목들을 포함하고, 상기 비트스트림은 비디오 코딩 형식에 따른 계층에 각각 속하는 하나 이상의 픽처로 각각 구성되는 액세스 유닛들을 포함하며,
상기 미디어 파일 형식은 상기 비트스트림으로부터 유래한 픽처들을 포함하는 이미지 항목들이 상기 비트스트림의 상위 레벨 특성들을 나타내는 속성 기술자의 상이한 인스턴스들과 연관되도록 허용되는 것으로 지정하는, 방법.
제1항에 있어서, 상기 비디오 코딩 형식은 ISO/IEC 23090-3에 따른 다용도 비디오 코딩(Versatile Video Coding) 표준에 대응하는, 방법.
제1항 또는 제2항에 있어서, 상기 속성 기술자는 VvcOperatingPointsInformationProperty로서 표현되는, 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 미디어 파일 형식은, 동작 포인트들의 레코드가 상기 비트스트림의 상위 레벨 특성들을 나타내는 상기 동작 포인트들의 속성 기술자에 포함되는 것에 응답하여, 상기 레코드 내의 제1 신택스 요소의 값 또는 상기 레코드 내의 제2 신택스 요소의 값 중 적어도 하나가 미리 결정된 값으로 제약되는 것으로 더 지정하는, 방법.
제4항에 있어서, 상기 제1 신택스 요소는 제i 프로파일 티어 레벨 신택스 구조와 연관된 최대 시간 ID(identification)를 지정하고, i는 0 내지 (프로파일 티어 레벨 수 - 1)의 범위에 있으며, 상기 제2 신택스 요소는 상기 동작 포인트들의 상기 레코드와 연관된 최대 시간 ID(identification)를 지정하는, 방법.
제5항에 있어서, 상기 제1 신택스 요소는 ptl_max_temporal_id[i]로서 표현되고, 상기 제2 신택스 요소는 max_temproal_id로서 표현되는, 방법.
제4항 내지 제6항 중 어느 한 항에 있어서, 상기 미리 결정된 값은 0과 동일한, 방법.
제1항 내지 제7항 중 어느 한 항에 있어서, 상기 변환은 상기 비주얼 미디어 파일을 상기 비트스트림으로 인코딩하는 것을 포함하는, 방법.
제1항 내지 제7항 중 어느 한 항에 있어서, 상기 변환은 상기 비트스트림으로부터 상기 비주얼 미디어 파일을 디코딩하는 것을 포함하는, 방법.
비주얼 미디어 파일 데이터를 프로세싱하기 위한 장치로서, 프로세서 및 명령어들을 갖는 비일시적 메모리를 포함하며, 상기 명령어들은, 상기 프로세서에 의한 실행 시에, 상기 프로세서로 하여금:
비주얼 미디어 파일과 비트스트림 간의 변환을 수행하게 하며, 상기 비주얼 미디어 파일은 미디어 파일 형식에 따른 하나 이상의 픽처의 시퀀스를 각각 포함하는 이미지 항목들을 포함하고, 상기 비트스트림은 비디오 코딩 형식에 따른 계층에 각각 속하는 하나 이상의 픽처로 각각 구성되는 액세스 유닛들을 포함하며,
상기 미디어 파일 형식은 상기 비트스트림으로부터 유래한 픽처들을 포함하는 이미지 항목들이 상기 비트스트림의 상위 레벨 특성들을 나타내는 속성 기술자의 상이한 인스턴스들과 연관되도록 허용되는 것으로 지정하는, 장치.
명령어들을 저장하는 비일시적 컴퓨터 판독 가능 저장 매체로서, 상기 명령어들은 프로세서로 하여금:
비주얼 미디어 파일과 비트스트림 간의 변환을 수행하게 하며, 상기 비주얼 미디어 파일은 미디어 파일 형식에 따른 하나 이상의 픽처의 시퀀스를 각각 포함하는 이미지 항목들을 포함하고, 상기 비트스트림은 비디오 코딩 형식에 따른 계층에 각각 속하는 하나 이상의 픽처로 각각 구성되는 액세스 유닛들을 포함하며,
상기 미디어 파일 형식은 상기 비트스트림으로부터 유래한 픽처들을 포함하는 이미지 항목들이 상기 비트스트림의 상위 레벨 특성들을 나타내는 속성 기술자의 상이한 인스턴스들과 연관되도록 허용되는 것으로 지정하는, 비일시적 컴퓨터 판독 가능 저장 매체.
비디오 프로세싱 장치에 의해 수행되는 방법에 의해 생성되는 이미지 항목들을 포함하는 비트스트림을 저장하는 비일시적 컴퓨터 판독 가능 기록 매체로서, 상기 방법은:
비주얼 미디어 파일로부터 비트스트림을 생성하는 단계를 포함하며,
상기 비주얼 미디어 파일은 미디어 파일 형식에 따른 하나 이상의 픽처의 시퀀스를 각각 포함하는 이미지 항목들을 포함하고, 상기 비트스트림은 비디오 코딩 형식에 따른 계층에 각각 속하는 하나 이상의 픽처로 각각 구성되는 액세스 유닛들을 포함하며,
상기 미디어 파일 형식은 상기 비트스트림으로부터 유래한 픽처들을 포함하는 이미지 항목들이 상기 비트스트림의 상위 레벨 특성들을 나타내는 속성 기술자의 상이한 인스턴스들과 연관되도록 허용되는 것으로 지정하는, 비일시적 컴퓨터 판독 가능 기록 매체.