KR20220042125A - 서브픽처 디코딩에서의 버퍼 관리 - Google Patents

서브픽처 디코딩에서의 버퍼 관리 Download PDF

Info

Publication number
KR20220042125A
KR20220042125A KR1020227002901A KR20227002901A KR20220042125A KR 20220042125 A KR20220042125 A KR 20220042125A KR 1020227002901 A KR1020227002901 A KR 1020227002901A KR 20227002901 A KR20227002901 A KR 20227002901A KR 20220042125 A KR20220042125 A KR 20220042125A
Authority
KR
South Korea
Prior art keywords
video
subpicture
picture
luma
block
Prior art date
Application number
KR1020227002901A
Other languages
English (en)
Inventor
카이 장
즈핀 덩
훙빈 류
리 장
지정 쉬
Original Assignee
베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드
바이트댄스 아이엔씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드, 바이트댄스 아이엔씨 filed Critical 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드
Publication of KR20220042125A publication Critical patent/KR20220042125A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/55Motion estimation with spatial constraints, e.g. at image or region borders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • H04N19/54Motion estimation other than block-based using feature points or meshes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

비디오 프로세싱 방법은 규칙에 따라 코딩 모드를 사용하여 다수의 서브픽처들을 포함하는 픽처를 포함하는 비디오와 비디오의 코딩된 표현 사이의 변환을 수행하는 단계를 포함한다. 규칙은 이전 서브픽처에 관한 특정 저장된 정보가 다수의 서브픽처들의 각각의 다음 서브픽처를 프로세싱하기 전에 리셋된다는 것을 지정한다.

Description

서브픽처 디코딩에서의 버퍼 관리
관련 출원들의 상호 참조
파리 협약에 따른 적용 가능한 특허법 및/또는 규칙들에 따라, 본 출원은 2019년 8월 10일에 출원된 국제 특허 출원 제PCT/CN2019/100114호에 대한 우선권 및 그 이익을 적시에 주장하기 위해 이루어졌다. 법에 따른 모든 목적들을 위해, 앞서 언급된 출원의 전체 개시는 본 출원의 개시의 일부로서 참고로 포함된다.
기술 분야
이 문서는 비디오 및 이미지 코딩 및 디코딩 기술들에 관한 것이다.
디지털 비디오는 인터넷 및 다른 디지털 통신 네트워크들에서 가장 많은 대역폭 사용을 차지한다. 비디오를 수신하고 디스플레이할 수 있는 연결된 사용자 디바이스들의 수가 증가함에 따라, 디지털 비디오 사용에 대한 대역폭 수요가 계속 증가할 것으로 예상된다.
개시된 기술들은 서브픽처 기반 코딩 또는 디코딩이 수행되는 비디오 또는 이미지 디코더 또는 인코더 실시예들에 의해 사용될 수 있다.
일 예시적인 양태에서, 비디오 프로세싱 방법이 개시된다. 이 방법은, 비디오의 제1 픽처의 현재 블록과 비디오의 비트스트림 표현 사이의 변환을 위해, 규칙에 따라 제2 픽처로부터의 모션 정보에 기초하여 모션 후보를 결정하는 단계를 포함한다. 규칙은 모션 정보가 액세스되는 위치가 제2 픽처의 특정 서브픽처 내에 있도록 제약된다는 것을 지정한다. 이 방법은 결정에 기초하여 변환을 수행하는 단계를 또한 포함한다.
다른 예시적인 양태에서, 비디오 프로세싱 방법이 개시된다. 이 방법은, 비디오의 제1 픽처의 현재 블록과 비디오의 비트스트림 표현 사이의 변환을 위해, 규칙에 따라 제2 픽처로부터의 정수 샘플을 결정하는 단계를 포함한다. 제2 픽처는 보간 프로세스에서 사용되지 않는 참조 픽처를 포함한다. 규칙은 정수 샘플이 액세스되는 위치가 제2 픽처의 특정 서브픽처 내에 있도록 제약된다는 것을 지정한다. 이 방법은 결정에 기초하여 변환을 수행하는 단계를 또한 포함한다.
다른 예시적인 양태에서, 비디오 프로세싱 방법이 개시된다. 이 방법은, 비디오의 현재 블록과 비디오의 비트스트림 표현 사이의 변환을 위해, 규칙에 따라 재구성된 루마 샘플이 액세스되는 위치를 결정하는 단계를 포함한다. 규칙은 그 위치가 비디오 픽처의 특정 서브픽처 내에 있도록 제약된다는 것을 지정한다. 이 방법은 결정에 기초하여 변환을 수행하는 단계를 또한 포함한다.
다른 예시적인 양태에서, 비디오 프로세싱 방법이 개시된다. 이 방법은, 비디오의 현재 블록과 비디오의 비트스트림 표현 사이의 변환을 위해, 규칙에 따라 픽처 경계 검사가 수행되는 위치를 결정하는 단계를 포함한다. 규칙은 그 위치가 비디오 픽처의 특정 서브픽처 내에 있도록 제약된다는 것을 지정한다. 이 방법은 결정에 기초하여 변환을 수행하는 단계를 또한 포함한다.
다른 예시적인 양태에서, 비디오 프로세싱 방법이 개시된다. 이 방법은, 비디오의 비디오 픽처의 서브픽처와 비디오의 비트스트림 표현 사이의 변환 후에, 과거 변환들에 기초하여 도출되는 모션 후보들의 테이블을 리셋하는 단계 및 리셋 이후에 테이블을 사용하여 비디오 픽처의 후속 서브픽처와 비트스트림 표현 사이의 변환을 수행하는 단계를 포함한다.
다른 예시적인 양태에서, 비디오 프로세싱 방법이 개시된다. 이 방법은, 규칙에 따라 다수의 서브픽처들 및 다수의 비디오 블록들을 포함하는 비디오 픽처를 포함하는 비디오와 비디오의 코딩된 표현 사이의 변환을 수행하는 단계를 포함한다. 규칙은 임의의 2 개의 서브픽처 사이의 경계가 또한 2 개의 비디오 블록 사이의 경계라는 것을 지정한다. 비디오 픽처 내의 비디오 블록은 비디오 픽처의 단일 서브픽처에 의해 커버된다.
다른 예시적인 양태에서, 비디오 프로세싱 방법이 개시된다. 이 방법은 적어도 비디오 픽처를 사용하여 비디오의 비디오 유닛과 비디오의 코딩된 표현 사이의 변환을 수행하는 단계를 포함하며, 여기서 서브픽처 코딩 모드 또는 해상도 변경 코딩 모드 중 하나만이 비디오 유닛에 대해 인에이블된다. 서브픽처 코딩 모드는 비디오 픽처가 다수의 서브픽처들로 분할되는 모드이고, 해상도 변경 코딩 모드는 변환 동안 비디오 픽처의 해상도가 조정되는 모드이다.
다른 예시적인 양태에서, 비디오 프로세싱 방법이 개시된다. 이 방법은 적어도 비디오 픽처를 사용하여 비디오의 비디오 유닛과 비디오의 코딩된 표현 사이의 변환을 수행하는 단계를 포함하며, 여기서 서브픽처 코딩 모드와 해상도 변경 코딩 모드 양쪽 모두가 비디오 유닛에 대해 인에이블된다. 서브픽처 코딩 모드는 비디오 픽처가 다수의 서브픽처들로 분할되는 모드이고, 해상도 변경 코딩 모드는 변환 동안 비디오 픽처의 해상도가 조정되는 모드이다.
다른 예시적인 양태에서, 비디오 프로세싱 방법이 개시된다. 이 방법은 하나 이상의 비디오 픽처를 포함하는 비디오와 비디오의 코딩된 표현 사이의 변환을 수행하는 단계를 포함하며, 여기서 개별 비디오 픽처의 치수는 8보다 크거나 같도록 제약된다. 일부 실시예들에서, 치수는 개별 비디오 픽처의 폭이다.
다른 예시적인 양태에서, 비디오 프로세싱 방법이 개시된다. 이 방법은 규칙에 따라 비디오의 비디오 픽처와 비디오의 코딩된 표현 사이의 변환을 수행하는 단계를 포함한다. 비디오 픽처는 적어도 하나의 서브픽처를 포함하고, 규칙은 서브픽처의 특성이 코딩된 표현에 적어도 하나의 신택스 요소로서 표현되고, 적어도 하나의 신택스 요소가 비디오 픽처 내의 서브픽처 그리드의 인덱스 값과 상이하다는 것을 지정한다.
다른 예시적인 양태에서, 비디오 프로세싱 방법이 개시된다. 이 방법은 규칙에 따라 비디오의 비디오 픽처와 비디오의 코딩된 표현 사이의 변환을 수행하는 단계를 포함한다. 비디오 픽처는 다수의 서브픽처들을 포함하고, 각각의 서브픽처는 다수의 요소들을 포함한다. 규칙은 서브픽처 내의 개별 요소들의 치수가 제약을 충족시킨다는 것을 지정한다.
다른 예시적인 양태에서, 비디오 프로세싱 방법이 개시된다. 이 방법은 규칙에 따라 코딩 모드를 사용하여 다수의 서브픽처들을 포함하는 픽처를 포함하는 비디오와 비디오의 코딩된 표현 사이의 변환을 수행하는 단계를 포함한다. 규칙은 이전 서브픽처에 관한 특정 저장된 정보가 다수의 서브픽처들의 각각의 다음 서브픽처를 프로세싱하기 전에 리셋된다는 것을 지정한다.
다른 예시적인 양태에서, 비디오 프로세싱 방법이 개시된다. 이 방법은 규칙에 따라 비디오와 비디오의 코딩된 표현 사이의 변환에서 시간 필터링 동작을 수행하는 단계를 포함한다. 비디오는, 각각이 다수의 서브픽처들을 포함하는, 다수의 비디오 픽처들을 포함한다. 규칙은, 비디오 픽처의 현재 서브픽처 내의 현재 샘플의 시간 필터링을 위해, 동일한 현재 서브픽처 또는 현재 서브픽처에 대응하는 상이한 비디오 픽처 내의 서브픽처 내의 샘플들만이 이용 가능하다는 것을 지정한다.
다른 예시적인 양태에서, 비디오 프로세싱 방법이 개시된다. 이 방법은, 비디오의 비디오 픽처 내의 블록과 비디오의 코딩된 표현 사이의 변환을 위해, 블록이 비디오 픽처의 하나 이상의 서브픽처 경계와 교차하는지 여부에 기초하여 블록에 분할 방법을 적용하는 방식을 결정하는 단계를 포함한다. 이 방법은 결정에 기초하여 변환을 수행하는 단계를 또한 포함한다.
다른 예시적인 양태에서, 비디오 프로세싱 방법이 개시된다. 이 방법은, 비디오의 비디오 픽처와 비디오의 코딩된 표현 사이의 변환을 위해, 비디오 픽처의 2 개의 서브영역을 결정하는 단계를 포함한다. 제1 서브영역은 비디오 픽처의 다수의 서브픽처들을 포함하고 제2 서브영역은 비디오 픽처 내의 나머지 샘플들을 포함한다. 이 방법은 결정에 기초하여 변환을 수행하는 단계를 또한 포함한다.
다른 예시적인 양태에서, 비디오 프로세싱 방법이 개시된다. 이 방법은, 비디오의 제1 비디오 영역 내의 비디오 블록에 대해, 아핀 모드를 사용하는 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 변환을 위한 시간적 모션 벡터 예측자가 결정되는 위치가 제2 비디오 영역 내에 있는지 여부를 결정하는 단계; 및 결정에 기초하여 변환을 수행하는 단계를 포함한다.
다른 예시적인 양태에서, 다른 비디오 프로세싱 방법이 개시된다. 이 방법은, 비디오의 제1 비디오 영역 내의 비디오 블록에 대해, 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 변환을 위한 참조 픽처 내의 정수 샘플이 페치되는 위치가 제2 비디오 영역 내에 있는지 여부를 결정하는 단계 - 참조 픽처는 변환 동안 보간 프로세스에서 사용되지 않음 -; 및 결정에 기초하여 변환을 수행하는 단계를 포함한다.
다른 예시적인 양태에서, 다른 비디오 프로세싱 방법이 개시된다. 이 방법은, 비디오의 제1 비디오 영역 내의 비디오 블록에 대해, 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 변환을 위한 재구성된 루마 샘플 값이 페치되는 위치가 제2 비디오 영역 내에 있는지 여부를 결정하는 단계; 및 결정에 기초하여 변환을 수행하는 단계를 포함한다.
다른 예시적인 양태에서, 다른 비디오 프로세싱 방법이 개시된다. 이 방법은, 비디오의 제1 비디오 영역 내의 비디오 블록에 대해, 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 변환 동안 비디오 블록에 대한 분할, 깊이 도출 또는 분할 플래그 시그널링에 관한 검사가 수행되는 위치가 제2 비디오 영역 내에 있는지 여부를 결정하는 단계; 및 결정에 기초하여 변환을 수행하는 단계를 포함한다.
다른 예시적인 양태에서, 다른 비디오 프로세싱 방법이 개시된다. 이 방법은 하나 이상의 비디오 블록을 포함하는 하나 이상의 비디오 픽처를 포함하는 비디오와 비디오의 코딩된 표현 사이의 변환을 수행하는 단계를 포함하며, 여기서 코딩된 표현은 변환이 비디오 유닛 내에서 서브픽처 코딩/디코딩 및 동적 해상도 변환 코딩/디코딩 툴 또는 참조 픽처 리샘플링 툴을 사용하지 않아야 한다는 코딩 신택스 요구사항을 준수한다.
다른 예시적인 양태에서, 다른 비디오 프로세싱 방법이 개시된다. 이 방법은 하나 이상의 비디오 블록을 포함하는 하나 이상의 비디오 픽처를 포함하는 비디오와 비디오의 코딩된 표현 사이의 변환을 수행하는 단계를 포함하며, 여기서 코딩된 표현은 제1 신택스 요소 subpic_grid_idx[i][j]가 제2 신택스 요소 max_subpics_minus1보다 크지 않아야 한다는 코딩 신택스 요구사항을 준수한다.
또 다른 예시적인 양태에서, 위에서 설명된 방법은 프로세서를 포함하는 비디오 인코더 장치에 의해 구현될 수 있다.
또 다른 예시적인 양태에서, 위에서 설명된 방법은 프로세서를 포함하는 비디오 디코더 장치에 의해 구현될 수 있다.
또 다른 예시적인 양태에서, 이러한 방법들은 프로세서 실행 가능 명령어들의 형태로 구체화되고 컴퓨터 판독 가능 프로그램 매체에 저장될 수 있다.
이들 및 다른 양태들이 본 문서에서 더 설명된다.
도 1은 시간적 모션 벡터 예측(temporal motion vector prediction, TMVP) 및 서브블록 TMVP에서의 영역 제약의 예를 도시한다.
도 2는 계층적 모션 추정 방식의 예를 도시한다.
도 3은 본 문서에 설명된 기술들을 구현하는 데 사용되는 하드웨어 플랫폼의 예의 블록 다이어그램이다.
도 4는 예시적인 비디오 프로세싱 방법에 대한 플로차트이다.
도 5는 본 명세서에 개시된 다양한 기술들이 구현될 수 있는 예시적인 비디오 프로세싱 시스템을 도시하는 블록 다이어그램이다.
도 6은 본 기술에 따른 비디오 프로세싱 방법의 플로차트 표현이다.
도 7은 본 기술에 따른 다른 비디오 프로세싱 방법의 플로차트 표현이다.
도 8은 본 기술에 따른 다른 비디오 프로세싱 방법의 플로차트 표현이다.
도 9는 본 기술에 따른 다른 비디오 프로세싱 방법의 플로차트 표현이다.
도 10은 본 기술에 따른 다른 비디오 프로세싱 방법의 플로차트 표현이다.
도 11은 본 기술에 따른 다른 비디오 프로세싱 방법의 플로차트 표현이다.
도 12는 본 기술에 따른 다른 비디오 프로세싱 방법의 플로차트 표현이다.
도 13은 본 기술에 따른 다른 비디오 프로세싱 방법의 플로차트 표현이다.
도 14는 본 기술에 따른 다른 비디오 프로세싱 방법의 플로차트 표현이다.
도 15는 본 기술에 따른 다른 비디오 프로세싱 방법의 플로차트 표현이다.
도 16은 본 기술에 따른 다른 비디오 프로세싱 방법의 플로차트 표현이다.
도 17은 본 기술에 따른 다른 비디오 프로세싱 방법의 플로차트 표현이다.
도 18은 본 기술에 따른 다른 비디오 프로세싱 방법의 플로차트 표현이다.
도 19는 본 기술에 따른 다른 비디오 프로세싱 방법의 플로차트 표현이다.
도 20은 본 기술에 따른 또 다른 비디오 프로세싱 방법의 플로차트 표현이다.
본 문서는 압축 해제되거나 디코딩된 디지털 비디오 또는 이미지들의 품질을 개선시키기 위해 이미지 또는 비디오 비트스트림들의 디코더에 의해 사용될 수 있는 다양한 기술들을 제공한다. 간결함을 위해, 본 명세서에서 "비디오"라는 용어는 픽처들의 시퀀스(전통적으로 비디오라고 불림) 및 개별 이미지들 양쪽 모두를 포함하도록 사용된다. 게다가, 비디오 인코더는 또한 추가의 인코딩에 사용되는 디코딩된 프레임들을 재구성하기 위해 인코딩 프로세스 동안 이러한 기술들을 구현할 수 있다.
섹션 표제들은 이해의 편의를 위해 본 문서에서 사용되며 실시예들 및 기술들을 대응하는 섹션들로 제한하지 않는다. 이에 따라, 하나의 섹션으로부터의 실시예들은 다른 섹션들로부터의 실시예들과 결합될 수 있다.
1. 요약
이 문서는 비디오 코딩 기술들에 관련되어 있다. 구체적으로, 이는 비디오 코딩에서 기본 색상들 기반 표현을 이용하는 팔레트 코딩에 관련되어 있다. 이는 HEVC와 같은 기존의 비디오 코딩 표준, 또는 완성될 표준(다목적 비디오 코딩(Versatile Video Coding))에 적용될 수 있다. 이는 또한 미래의 비디오 코딩 표준들 또는 비디오 코덱에 적용 가능할 수 있다.
2. 초기 논의
비디오 코딩 표준들은 주로 잘 알려진 ITU-T 및 ISO/IEC 표준들의 개발을 통해 발전해 왔다. ITU-T는 H.261 및 H.263 표준들을 만들었고, ISO/IEC는 MPEG-1 및 MPEG-4 Visual 표준들을 만들었으며, 두 조직은 공동으로 H.262/MPEG-2 Video 및 H.264/MPEG-4 AVC(Advanced Video Coding) 및 H.265/HEVC 표준들 [1,2]를 만들었다. H.262 이후로, 비디오 코딩 표준들은 시간 예측과 변환 코딩이 활용되는 하이브리드 비디오 코딩 구조를 기반으로 한다. HEVC 이후의 미래의 비디오 코딩 기술들을 탐구하기 위해, 2015년에 VCEG와 MPEG에 의해 공동으로 JVET(Joint Video Exploration Team)가 설립되었다. 그 이후로, 많은 새로운 방법들이 JVET에 의해 채택되었고 JEM(Joint Exploration Model)이라는 참조 소프트웨어에 추가되었다. 2018년 4월에, HEVC에 비해 50% 비트레이트 감소를 목표로 하는 VVC 표준에 대해 연구하기 위해 VCEG(Q6/16)와 ISO/IEC JTC1 SC29/WG11(MPEG) 간의 협력 하에 JVET(Joint Video Expert Team)가 만들어졌다.
2.1 VVC에서 TMVP 및 서브블록 TMVP에서의 영역 제약
도 1은 TMVP 및 서브블록 TMVP에서의 예시적인 영역 제약을 예시한다. TMVP 및 서브블록 TMVP에서, 도 1에 도시된 바와 같이 시간적 MV는 동일 위치(collocated) CTU와 4x4 블록들의 열로부터만 페치될 수 있는 것으로 제약된다.
2.2 예시적인 서브픽처
일부 실시예들에서, 유연한 타일링 접근법에 기초한 서브픽처 기반 코딩 기술들이 구현될 수 있다. 서브픽처 기반 코딩 기술들의 요약은 다음을 포함한다:
(1) 픽처들이 서브픽처들로 분할될 수 있다.
(2) 서브픽처들의 존재의 표시는, 서브픽처들의 다른 시퀀스 레벨 정보와 함께, SPS에 표시된다.
(3) (인루프 필터링 동작들을 제외한) 디코딩 프로세스에서 서브픽처가 픽처로서 취급되는지 여부는 비트스트림에 의해 제어될 수 있다.
(4) 서브픽처 경계들에 걸친 인루프 필터링이 디스에이블되는지 여부는 각각의 서브픽처에 대한 비트스트림에 의해 제어될 수 있다. DBF, SAO 및 ALF 프로세스들은 서브픽처 경계들에 걸친 인루프 필터링 동작들의 제어를 위해 업데이트된다.
(5) 간단함을 위해, 시작점으로서, 서브픽처 폭, 높이, 수평 오프셋, 및 수직 오프셋이 SPS에서 루마 샘플 단위로 시그널링된다. 서브픽처 경계들은 슬라이스 경계들로 제약된다.
(6) (인루프 필터링 동작들을 제외한) 디코딩 프로세스에서 서브픽처를 픽처로서 취급하는 것은 coding_tree_unit() 신택스를 약간 업데이트하는 것 및 이하의 디코딩 프로세스들에 대한 업데이트들에 의해 지정된다:
- (진보된) 시간적 루마 모션 벡터 예측을 위한 도출 프로세스
- 루마 샘플 이중선형 보간 프로세스
- 루마 샘플 8-탭 보간 필터링 프로세스
- 크로마 샘플 보간 프로세스
(7) VCL NAL 유닛들을 변경할 필요 없이 서브픽처 시퀀스들의 추출을 가능하게 하기 위해 서브픽처 ID들이 SPS에 명시적으로 지정되고 타일 그룹 헤더들에 포함된다.
(8) 서브픽처들 및 그의 세트들에 대한 규범적 추출 및 적합성 지점들을 지정하기 위해 출력 서브픽처 세트들(OSPS)이 제안된다.
2.3 다목적 비디오 코딩에서의 예시적인 서브픽처들
Figure pct00001
subpics_present_flag가 1과 동일한 것은 서브픽처 파라미터들이 SPS RBSP 신택스에 현재 존재한다는 것을 나타낸다. subpics_present_flag가 0과 동일한 것은 서브픽처 파라미터들이 SPS RBSP 신택스에 현재 존재하지 않는다는 것을 나타낸다.
비고 2 - 비트스트림이 서브비트스트림 추출 프로세스의 결과이고 서브비트스트림 추출 프로세스에 대한 입력 비트스트림의 서브픽처들의 서브세트만을 포함할 때, SPS들의 RBSP에서 subpics_present_flag의 값을 1과 동일하게 설정하는 것이 요구될 수 있다.
max_subpics_minus1 + 1은 CVS에 존재할 수 있는 서브픽처들의 최대 수를 지정한다. max_subpics_minus1은 0 내지 254의 범위에 있어야 한다. 255의 값은 ITU-T | ISO/IEC에 의해 향후 사용을 위해 예약되어 있다.
subpic_grid_col_width_minus1 + 1은 4 샘플 단위로 서브픽처 식별자 그리드의 각각의 요소의 폭을 지정한다. 신택스 요소의 길이는 Ceil( Log2( pic_width_max_in_luma_samples / 4) ) 비트이다.
변수 NumSubPicGridCols는 다음과 같이 도출된다:
Figure pct00002
subpic_grid_row_height_minus1 + 1은 4 샘플 단위로 서브픽처 식별자 그리드의 각각의 요소의 높이를 지정한다. 신택스 요소의 길이는 Ceil( Log2( pic_height_max_in_luma_samples / 4) ) 비트이다.
변수 NumSubPicGridRows는 다음과 같이 도출된다:
Figure pct00003
subpic_grid_idx[ i ][ j ]는 그리드 위치(i, j)의 서브픽처 인덱스를 지정한다. 신택스 요소의 길이는 Ceil( Log2( max_subpics_minus1 + 1 ) ) 비트이다.
변수들 SubPicTop[ subpic_grid_idx[ i ][ j ] ], SubPicLeft[ subpic_grid_idx[ i ][ j ] ], SubPicWidth[ subpic_grid_idx [ i ][ j ] ], SubPicHeight[ subpic_grid_idx[ i ][ j ] ], 및 NumSubPics는 다음과 같이 도출된다:
Figure pct00004
subpic_treated_as_pic_flag[ i ]가 1과 동일한 것은 CVS에서의 각각의 코딩된 픽처의 i 번째 서브픽처가 인루프 필터링 동작들을 제외한 디코딩 프로세스에서 픽처로서 취급된다는 것을 지정한다. subpic_treated_as_pic_flag[ i ]가 0과 동일한 것은 CVS에서의 각각의 코딩된 픽처의 i 번째 서브픽처가 인루프 필터링 동작들을 제외한 디코딩 프로세스에서 픽처로서 취급되지 않는다는 것을 지정한다. 존재하지 않을 때, subpic_treated_as_pic_flag[ i ]의 값은 0과 동일한 것으로 추론된다.
loop_filter_across_subpic_enabled_flag[ i ]가 1과 동일한 것은 인루프 필터링 동작들이 CVS에서의 각각의 코딩된 픽처 내의 i 번째 서브픽처의 경계들에 걸쳐 수행될 수 있다는 것을 지정한다. loop_filter_across_subpic_enabled_flag[ i ]가 0과 동일한 것은 인루프 필터링 동작들이 CVS에서의 각각의 코딩된 픽처 내의 i 번째 서브픽처의 경계들에 걸쳐 수행되지 않는다는 것을 지정한다. 존재하지 않을 때, loop_filter_across_subpic_enabled_pic_flag[ i ]의 값은 1과 동일한 것으로 추론된다.
다음 제약들이 적용되는 것은 비트스트림 적합성의 요구사항이다:
- 임의의 2 개의 서브픽처 subpicA 및 subpicB에 대해, subpicA의 인덱스가 subpicB의 인덱스보다 작을 때, subPicA의 임의의 코딩된 NAL 유닛은 디코딩 순서에서 subPicB의 임의의 코딩된 NAL 유닛의 뒤에 와야 한다.
- 서브픽처들의 형상들은 각각의 서브픽처가, 디코딩될 때, 그의 전체 좌측 경계와 전체 상단 경계가 픽처 경계들로 구성되거나 이전에 디코딩된 서브픽처들의 경계들로 구성되어야 하도록 되어 있다.
픽처 래스터 스캔에서의 CTB 어드레스로부터 서브픽처 인덱스로의 변환을 지정하는 0 내지 PicSizeInCtbsY - 1의 범위(경계 포함)에 있는 ctbAddrRs에 대한 리스트 CtbToSubPicIdx[ ctbAddrRs ]는 다음과 같이 도출된다:
Figure pct00005
num_bricks_in_slice_minus1은, 존재할 때, 슬라이스 내의 브릭 수에서 1을 뺀 것을 지정한다. num_bricks_in_slice_minus1의 값은 0 내지 NumBricksInPic - 1의 범위(경계 포함)에 있어야 한다. rect_slice_flag가 0과 동일하고 single_brick_per_slice_flag가 1과 동일할 때, num_bricks_in_slice_minus1의 값은 0과 동일한 것으로 추론된다. single_brick_per_slice_flag가 1과 동일할 때, num_bricks_in_slice_minus1의 값은 0과 동일한 것으로 추론된다.
현재 슬라이스 내의 브릭 수를 지정하는 변수 NumBricksInCurrSlice, 및 현재 슬라이스 내의 i 번째 브릭의 브릭 인덱스를 지정하는 SliceBrickIdx[ i ]는 다음과 같이 도출된다:
Figure pct00006
Figure pct00007
변수들 SubPicIdx, SubPicLeftBoundaryPos, SubPicTopBoundaryPos, SubPicRightBoundaryPos, 및 SubPicBotBoundaryPos는 다음과 같이 도출된다:
Figure pct00008
...
시간적 루마 모션 벡터 예측을 위한 도출 프로세스
이 프로세스에 대한 입력들은 다음과 같다:
- 현재 픽처의 좌측 상단 루마 샘플을 기준으로 현재 루마 코딩 블록의 좌측 상단 샘플의 루마 위치 ( xCb , yCb ),
- 루마 샘플들에서의 현재 코딩 블록의 폭을 지정하는 변수 cbWidth,
- 루마 샘플들에서의 현재 코딩 블록의 높이를 지정하는 변수 cbHeight,
- 참조 인덱스 refIdxLX(단, X는 0 또는 1임).
이 프로세스의 출력들은 다음과 같다.
- 1/16 분수 샘플 정확도의 모션 벡터 예측 mvLXCol,
- 이용 가능성 플래그 availableFlagLXCol.
변수 currCb는 루마 위치 ( xCb, yCb )에 있는 현재 루마 코딩 블록을 지정한다.
변수들 mvLXCol 및 availableFlagLXCol은 다음과 같이 도출된다:
- slice_temporal_mvp_enabled_flag가 0과 동일하거나 ( cbWidth * cbHeight )가 32보다 작거나 같은 경우, mvLXCol의 양쪽 성분들은 0과 동일하게 설정되고 availableFlagLXCol은 0과 동일하게 설정된다.
- 그렇지 않은 경우(slice_temporal_mvp_enabled_flag가 1과 동일한 경우), 다음과 같은 순서의 단계들이 적용된다:
1. 우측 하단 동일 위치 모션 벡터와 우측 및 하단 경계 샘플 위치들은 다음과 같이 도출된다:
Figure pct00009
- yCb  >>  CtbLog2SizeY가 yColBr  >>  CtbLog2SizeY와 동일하고, yColBr이 botBoundaryPos보다 작거나 같으며 xColBr이 rightBoundaryPos보다 작거나 같은 경우, 다음이 적용된다:
- 변수 colCb는 ColPic에 의해 지정되는 동일 위치 픽처 내부의 ( ( xColBr  >>  3 )  <<  3, ( yColBr  >>  3 )  <<  3 )에 의해 주어지는 수정된 위치를 커버하는 루마 코딩 블록을 지정한다.
- 루마 위치 ( xColCb, yColCb )는 ColPic에 의해 지정되는 동일 위치 픽처의 좌측 상단 루마 샘플을 기준으로 colCb에 의해 지정되는 동일 위치 루마 코딩 블록의 좌측 상단 샘플과 동일하게 설정된다.
- 8.5.2.12 절에 명시된 바와 같은 동일 위치 모션 벡터들에 대한 도출 프로세스는 0과 동일하게 설정된 currCb, colCb, ( xColCb, yColCb ), refIdxLX 및 sbFlag를 입력들로 하여 호출되고, 출력은 mvLXCol 및 availableFlagLXCol에 할당된다.
그렇지 않은 경우, mvLXCol의 양쪽 성분들은 0과 동일하게 설정되고, availableFlagLXCol은 0과 동일하게 설정된다.
...
루마 샘플 이중선형 보간 프로세스
이 프로세스에 대한 입력들은 다음과 같다:
- 완전 샘플(full-sample) 단위의 루마 위치 ( xIntL, yIntL ),
- 분수 샘플 단위의 루마 위치 ( xFracL, yFracL ),
- 루마 참조 샘플 어레이 refPicLXL.
이 프로세스의 출력은 예측된 루마 샘플 값 predSampleLXL이다
변수들 shift1, shift2, shift3, shift4, offset1, offset2 및 offset3은 다음과 같이 도출된다:
Figure pct00010
Figure pct00011
변수 picW는 pic_width_in_luma_samples와 동일하게 설정되고 변수 picH는 pic_height_in_luma_samples와 동일하게 설정된다.
xFracL 또는 yFracL과 동일한 각각의 1/16 분수 샘플 위치 p에 대한 루마 보간 필터 계수들 fbL[ p ]는 표 8-10에 명시되어 있다.
완전 샘플 단위의 루마 위치들 ( xInti, yInti )(단, i = 0..1)는 다음과 같이 도출된다:
- subpic_treated_as_pic_flag[ SubPicIdx ]가 1과 동일한 경우, 다음이 적용된다:
Figure pct00012
- 그렇지 않은 경우(subpic_treated_as_pic_flag[ SubPicIdx ]가 0과 동일한 경우), 다음이 적용된다:
Figure pct00013
...
서브블록 기반 시간적 병합 후보들에 대한 도출 프로세스
이 프로세스에 대한 입력들은 다음과 같다:
- 현재 픽처의 좌측 상단 루마 샘플을 기준으로 현재 루마 코딩 블록의 좌측 상단 샘플의 루마 위치 ( xCb , yCb ),
- 루마 샘플들에서의 현재 코딩 블록의 폭을 지정하는 변수 cbWidth,
- 루마 샘플들에서의 현재 코딩 블록의 높이를 지정하는 변수 cbHeight.
- 이웃 코딩 유닛의 이용 가능성 플래그 availableFlagA1,
- 이웃 코딩 유닛의 참조 인덱스 refIdxLXA1(단, X는 0 또는 1임),
- 이웃 코딩 유닛의 예측 리스트 활용 플래그 predFlagLXA1(단, X는 0 또는 1임),
- 이웃 코딩 유닛의 1/16 분수 샘플 정확도의 모션 벡터 mvLXA1(단, X는 0 또는 1임).
이 프로세스의 출력들은 다음과 같다.
- 이용 가능성 플래그 availableFlagSbCol,
- 수평 방향에서의 루마 코딩 서브블록 수 numSbX 및 수직 방향에서의 루마 코딩 서브블록 수 numSbY.
- 참조 인덱스들 refIdxL0SbCol 및 refIdxL1SbCol,
- 1/16 분수 샘플 정확도의 루마 모션 벡터들 mvL0SbCol[ xSbIdx ][ ySbIdx ] 및 mvL1SbCol[ xSbIdx ][ ySbIdx ](단, xSbIdx = 0..numSbX - 1, ySbIdx = 0 .. numSbY - 1),
- 예측 리스트 활용 플래그들 predFlagL0SbCol[ xSbIdx ][ ySbIdx ] 및 predFlagL1SbCol[ xSbIdx ][ ySbIdx ](단, xSbIdx = 0..numSbX - 1, ySbIdx = 0 .. numSbY - 1).
이용 가능성 플래그 availableFlagSbCol은 다음과 같이 도출된다:
- 다음 조건들 중 하나 이상이 참인 경우, availableFlagSbCol은 0과 동일하게 설정된다.
- slice_temporal_mvp_enabled_flag가 0과 동일하다.
- sps_sbtmvp_enabled_flag가 0과 동일하다.
- cbWidth가 8보다 작다.
- cbHeight가 8보다 작다.
- 그렇지 않은 경우, 다음과 같은 순서의 단계들이 적용된다:
1. 현재 코딩 블록을 포함하는 루마 코딩 트리 블록의 좌측 상단 샘플의 위치 ( xCtb, yCtb )와 현재 루마 코딩 블록의 우측 아래 중앙 샘플의 위치 ( xCtr, yCtr )는 다음과 같이 도출된다:
Figure pct00014
2. 루마 위치 ( xColCtrCb, yColCtrCb )는 ColPic에 의해 지정되는 동일 위치 픽처의 좌측 상단 루마 샘플을 기준으로 ColPic 내부의 ( xCtr, yCtr )에 의해 주어지는 위치를 커버하는 동일 위치 루마 코딩 블록의 좌측 상단 샘플과 동일하게 설정된다.
3. 8.5.5.4 절에 명시된 바와 같은 서브블록 기반 시간적 병합 기본 모션 데이터에 대한 도출 프로세스는 위치 ( xCtb, yCtb ), 위치 ( xColCtrCb, yColCtrCb ), 이용 가능성 플래그 availableFlagA1, 및 예측 리스트 활용 플래그 predFlagLXA1, 및 참조 인덱스 refIdxLXA1, 및 모션 벡터 mvLXA1(단, X는 0 및 1임)을 입력들로 하고 모션 벡터들 ctrMvLX, 및 동일 위치 블록의 예측 리스트 활용 플래그들 ctrPredFlagLX(단, X는 0 및 1임), 및 시간적 모션 벡터 tempMv를 출력들로 하여 호출된다.
4. 변수 availableFlagSbCol은 다음과 같이 도출된다:
- ctrPredFlagL0 및 ctrPredFlagL1 양쪽 모두가 0과 동일한 경우, availableFlagSbCol은 0과 동일하게 설정된다.
- 그렇지 않은 경우, availableFlagSbCol은 1과 동일하게 설정된다.
availableFlagSbCol이 1과 동일할 때, 다음이 적용된다:
- 변수들 numSbX, numSbY, sbWidth, sbHeight 및 refIdxLXSbCol은 다음과 같이 도출된다:
Figure pct00015
- xSbIdx = 0..numSbX - 1 및 ySbIdx = 0 .. numSbY - 1에 대해, 모션 벡터들 mvLXSbCol[ xSbIdx ][ ySbIdx ] 및 예측 리스트 활용 플래그들 predFlagLXSbCol[ xSbIdx ][ ySbIdx ]는 다음과 같이 도출된다:
- 현재 픽처의 좌측 상단 루마 샘플을 기준으로 현재 코딩 서브블록의 좌측 상단 샘플을 지정하는 루마 위치 ( xSb, ySb )는 다음과 같이 도출된다:
Figure pct00016
- ColPic 내부의 동일 위치 서브블록의 위치 ( xColSb, yColSb )는 다음과 같이 도출된다.
- 다음이 적용된다:
Figure pct00017
- subpic_treated_as_pic_flag[ SubPicIdx ]가 1과 동일한 경우, 다음이 적용된다:
Figure pct00018
- 그렇지 않은 경우(subpic_treated_as_pic_flag[ SubPicIdx ]가 0과 동일한 경우), 다음이 적용된다:
Figure pct00019
...
서브블록 기반 시간적 병합 기본 모션 데이터에 대한 도출 프로세스
이 프로세스에 대한 입력들은 다음과 같다:
- 현재 코딩 블록을 포함하는 루마 코딩 트리 블록의 좌측 상단 샘플의 위치 ( xCtb, yCtb ),
- 우측 아래 중앙 샘플을 커버하는 동일 위치 루마 코딩 블록의 좌측 상단 샘플의 위치 ( xColCtrCb, yColCtrCb ).
- 이웃 코딩 유닛의 이용 가능성 플래그 availableFlagA1,
- 이웃 코딩 유닛의 참조 인덱스 refIdxLXA1,
- 이웃 코딩 유닛의 예측 리스트 활용 플래그 predFlagLXA1,
- 이웃 코딩 유닛의 1/16 분수 샘플 정확도의 모션 벡터 mvLXA1.
이 프로세스의 출력들은 다음과 같다.
- 모션 벡터들 ctrMvL0 및 ctrMvL1,
- 예측 리스트 활용 플래그들 ctrPredFlagL0 및 ctrPredFlagL1,
- 시간적 모션 벡터 tempMv.
변수 tempMv는 다음과 같이 설정된다:
Figure pct00020
변수 currPic은 현재 픽처를 지정한다.
availableFlagA1이 TRUE와 동일할 때, 다음이 적용된다:
- 다음 조건들 모두가 참인 경우, tempMv는 mvL0A1과 동일하게 설정된다:
- predFlagL0A1이 1과 동일하다,
- DiffPicOrderCnt(ColPic, RefPicList[ 0 ][refIdxL0A1])이 0과 동일하다,
- 그렇지 않고, 다음 조건들 모두가 참인 경우, tempMv는 mvL1A1과 동일하게 설정된다:
- slice_type이 B와 동일하다,
- predFlagL1A1이 1과 동일하다,
- DiffPicOrderCnt(ColPic, RefPicList[ 1 ][refIdxL1A1])이 0과 동일하다.
ColPic 내부의 동일 위치 블록의 위치 ( xColCb, yColCb )는 다음과 같이 도출된다:
- 다음이 적용된다:
Figure pct00021
- subpic_treated_as_pic_flag[ SubPicIdx ]가 1과 동일한 경우, 다음이 적용된다:
Figure pct00022
- 그렇지 않은 경우(subpic_treated_as_pic_flag[ SubPicIdx ]가 0과 동일한 경우), 다음이 적용된다:
Figure pct00023
...
루마 샘플 보간 필터링 프로세스
이 프로세스에 대한 입력들은 다음과 같다:
- 완전 샘플 단위의 루마 위치 ( xIntL, yIntL ),
- 분수 샘플 단위의 루마 위치 ( xFracL, yFracL ),
- 참조 픽처의 좌측 상단 루마 샘플을 기준으로 참조 샘플 패딩을 위한 경계 블록의 좌측 상단 샘플을 지정하는 완전 샘플 단위의 루마 위치 ( xSbIntL, ySbIntL ),
- 루마 참조 샘플 어레이 refPicLXL,
- 1/2 샘플 보간 필터 인덱스 hpelIfIdx,
- 현재 서브블록의 폭을 지정하는 변수 sbWidth,
- 현재 서브블록의 높이를 지정하는 변수 sbHeight,
- 현재 픽처의 좌측 상단 루마 샘플을 기준으로 현재 서브블록의 좌측 상단 샘플을 지정하는 루마 위치 ( xSb, ySb ),
이 프로세스의 출력은 예측된 루마 샘플 값 predSampleLXL이다
변수들 shift1, shift2 및 shift3은 다음과 같이 도출된다:
- 변수 shift1은 Min( 4, BitDepthY - 8 )과 동일하게 설정되고, 변수 shift2는 6과 동일하게 설정되며 변수 shift3은 Max( 2, 14 - BitDepthY )와 동일하게 설정된다.
변수 picW는 pic_width_in_luma_samples와 동일하게 설정되고 변수 picH는 pic_height_in_luma_samples와 동일하게 설정된다.
xFracL 또는 yFracL과 동일한 각각의 1/16 분수 샘플 위치 p에 대한 루마 보간 필터 계수들 fL[ p ]는 다음과 같이 도출된다:
- MotionModelIdc[ xSb ][ ySb ]가 0보다 크고 sbWidth 및 sbHeight가 양쪽 모두 4와 동일한 경우, 루마 보간 필터 계수들 fL[ p ]는 표 8-12에 명시되어 있다.
- 그렇지 않은 경우, 루마 보간 필터 계수들 fL[ p ]는 hpelIfIdx에 따라 표 8-11에 명시되어 있다.
완전 샘플 단위의 루마 위치들 ( xInti, yInti )(단, i = 0..7)는 다음과 같이 도출된다:
- subpic_treated_as_pic_flag[ SubPicIdx ]가 1과 동일한 경우, 다음이 적용된다:
Figure pct00024
- 그렇지 않은 경우(subpic_treated_as_pic_flag[ SubPicIdx ]가 0과 동일한 경우), 다음이 적용된다:
Figure pct00025
...
크로마 샘플 보간 프로세스
이 프로세스에 대한 입력들은 다음과 같다:
- 완전 샘플 단위의 크로마 위치 ( xIntC, yIntC ),
- 1/32 분수 샘플 단위의 크로마 위치 ( xFracC, yFracC ),
- 참조 픽처의 좌측 상단 크로마 샘플을 기준으로 참조 샘플 패딩을 위한 경계 블록의 좌측 상단 샘플을 지정하는 완전 샘플 단위의 크로마 위치 ( xSbIntC, ySbIntC ),
- 현재 서브블록의 폭을 지정하는 변수 sbWidth,
- 현재 서브블록의 높이를 지정하는 변수 sbHeight,
- 크로마 참조 샘플 어레이 refPicLXC,
이 프로세스의 출력은 예측된 크로마 샘플 값 predSampleLXC이다
변수들 shift1, shift2 및 shift3은 다음과 같이 도출된다:
- 변수 shift1은 Min( 4, BitDepthC - 8 )과 동일하게 설정되고, 변수 shift2는 6과 동일하게 설정되며 변수 shift3은 Max( 2, 14 - BitDepthC )와 동일하게 설정된다.
변수 picWC는 pic_width_in_luma_samples / SubWidthC와 동일하게 설정되고 변수 picHC는 pic_height_in_luma_samples / SubHeightC와 동일하게 설정된다.
xFracC 또는 yFracC와 동일한 각각의 1/32 분수 샘플 위치 p에 대한 크로마 보간 필터 계수들 fC[ p ]는 표 8-13에 명시되어 있다.
변수 xOffset은 ( sps_ref_wraparound_offset_minus1 + 1 ) * MinCbSizeY ) / SubWidthC와 동일하게 설정된다.
완전 샘플 단위의 크로마 위치들 ( xInti, yInti )(단, i = 0..3)는 다음과 같이 도출된다:
- subpic_treated_as_pic_flag[ SubPicIdx ]가 1과 동일한 경우, 다음이 적용된다:
Figure pct00026
- 그렇지 않은 경우(subpic_treated_as_pic_flag[ SubPicIdx ]가 0과 동일한 경우), 다음이 적용된다:
Figure pct00027
2.4 예시적인 인코더 전용 GOP 기반 시간 필터
일부 실시예들에서, 인코더 전용 시간 필터가 구현될 수 있다. 필터링은 인코더 측에서 프리프로세싱(pre-processing) 단계로서 수행된다. 인코딩할 선택된 픽처 이전 및 이후의 소스 픽처들이 판독되고, 선택된 픽처에 대한 블록 기반 모션 보상 방법이 해당 소스 픽처들에 적용된다. 선택된 픽처 내의 샘플들은 모션 보상 이후에 샘플 값들을 사용하여 시간적으로 필터링된다.
전체 필터 강도는 QP 뿐만 아니라 선택된 픽처의 시간적 서브계층에 따라 설정된다. 시간적 서브계층 0과 시간적 서브계층 1에 있는 픽처들만이 필터링되고, 계층 0의 픽처들은 계층 1의 픽처들보다 더 강한 필터에 의해 필터링된다. 모션 보상된 픽처와 선택된 픽처 사이의 작은 차이들이 보다 큰 차이들보다 더 강하게 필터링되도록 샘플당 필터 강도가 선택된 픽처 내의 샘플 값과 모션 보상된 픽처들 내의 동일 위치 샘플들 사이의 차이에 따라 조정된다.
GOP 기반 시간 필터
시간 필터는 픽처를 판독한 직후 인코딩 이전에 도입된다. 아래에서 단계들이 보다 상세히 설명된다.
동작 1: 픽처들이 인코더에 의해 판독된다
동작 2: 픽처가 코딩 계층구조에서 충분히 낮은 경우, 이는 인코딩 이전에 필터링된다. 그렇지 않은 경우, 픽처는 필터링 없이 인코딩된다. POC % 8 == 0인 RA 픽처들은 물론 POC % 4 == 0인 LD 픽처들이 필터링된다. AI 픽처들은 필터링되지 않는다.
전체 필터 강도
Figure pct00028
는 RA에 대해 아래의 방정식에 따라 설정된다.
Figure pct00029
여기서
Figure pct00030
은 판독된 픽처들의 수이다.
LD의 경우에,
Figure pct00031
가 사용된다.
동작 3: 선택된 픽처(추가의 아래에서 원래 픽처라고 지칭됨) 이전 및/또는 이후의 2 개의 픽처가 판독된다. 에지 케이스들에서, 예를 들면, 제1 픽처이거나 마지막 픽처에 가까운 경우, 이용 가능한 픽처들만이 판독된다.
동작 4: 원래 픽처를 기준으로 이전 및 이후의 판독된 픽처들의 모션이 8x8 픽처 블록마다 추정된다.
계층적 모션 추정 방식이 사용되며 계층 L0, 계층 L1 및 계층 L2가 도 2에 예시되어 있다. 서브샘플링된 픽처들은 모든 판독된 픽처들 및 원래 픽처, 예를 들면, 도 1에서의 L1에 대해 각각의 2x2 블록을 평균화하는 것에 의해 생성된다. L2는 동일한 서브샘플링 방법을 사용하여 L1로부터 도출된다.
도 2는 계층적 모션 추정의 상이한 계층들의 예들을 도시한다. L0은 원래 해상도이다. L1은 L0의 서브샘플링된 버전이다. L2는 L1의 서브샘플링된 버전이다.
먼저, L2에서의 각각의 16x16 블록에 대해 모션 추정이 행해진다. 각각의 선택된 모션 벡터에 대해 제곱 차이가 계산되고 가장 작은 차이에 대응하는 모션 벡터가 선택된다. 선택된 모션 벡터는 이어서 L1에서의 모션을 추정할 때 초기 값으로서 사용된다. 이어서 L0에서의 모션을 추정하기 위해 동일한 일이 행해진다. 마지막 단계로서, L0에 대해 보간 필터를 사용하는 것에 의해 각각의 8x8 블록에 대한 서브픽셀 모션이 추정된다.
VTM 6-탭 보간 필터가 사용될 수 있다:
Figure pct00032
동작 5: 예를 들면, 각각의 블록 내의 원래 픽처의 샘플 좌표들이 참조된 픽처들에서의 가장 잘 매칭하는 좌표들을 갖도록 각각의 블록에 대한 가장 잘 매칭하는 모션에 따라 원래 픽처 이전 및 이후의 픽처들에 대해 모션 보상이 적용된다.
동작 6: 다음 단계들에 설명된 바와 같이 샘플들은 루마 및 크로마 채널들에 대해 하나씩 프로세싱된다.
동작 7: 새로운 샘플 값
Figure pct00033
은 다음 수식을 사용하여 계산된다.
Figure pct00034
여기서
Figure pct00035
는 원래 샘플의 샘플 값이고,
Figure pct00036
는 모션 보상된 픽처
Figure pct00037
의 대응하는 샘플의 강도이며,
Figure pct00038
는 이용 가능한 모션 보상된 픽처들의 수가
Figure pct00039
일 때의 모션 보상된 픽처
Figure pct00040
의 가중치이다.
루마 채널에서, 가중치들
Figure pct00041
는 다음과 같이 정의된다:
Figure pct00042
여기서
Figure pct00043
Figure pct00044
Figure pct00045
의 모든 다른 경우들에 대해:
Figure pct00046
Figure pct00047
크로마 채널들의 경우, 가중치들
Figure pct00048
는 다음과 같이 정의된다:
Figure pct00049
여기서
Figure pct00050
이고
Figure pct00051
이다
동작 8: 필터가 현재 샘플에 대해 적용된다. 결과적인 샘플 값은 별도로 저장된다.
동작 9: 필터링된 픽처가 인코딩된다.
3. 개시된 실시예들에 의해 해결되는 기술적 문제들의 예들
(1) 서브픽처 제약을 위반할 수 있는 일부 설계들이 있다.
A. 아핀 구성된 후보들에서의 TMVP는 현재 서브픽처의 범위를 벗어난 동일 위치 픽처에서의 MV를 페치할 수 있다.
B. 양방향 광학 흐름(Bi-Directional Optical Flow, BDOF) 및 예측 개선 광학 흐름(Prediction Refinement Optical Flow, PROF)에서의 구배들을 도출할 때, 정수 참조 샘플들의 2 개의 확장된 행과 2 개의 확장된 열이 페치될 필요가 있다. 이러한 참조 샘플들은 현재 서브픽처의 범위를 벗어날 수 있다.
C. 루마 매핑 크로마 스케일링(luma mapping chroma scaling, LMCS)에서 크로마 잔차 스케일링 인자를 도출할 때, 액세스된 재구성된 루마 샘플들은 현재 서브픽처의 범위를 벗어날 수 있다.
D. 루마 인트라 예측 모드, 인트라 예측을 위한 참조 샘플들, CCLM을 위한 참조 샘플들, 병합/AMVP/CIIP/IBC/LMCS를 위한 공간적 이웃 후보들에 대한 이웃 블록 이용 가능성, 양자화 파라미터들, CABAC 초기화 프로세스, 좌측 및 위쪽 신택스 요소들을 사용한 ctxInc 도출, 및 신택스 요소 mtt_split_cu_vertical_flag에 대한 ctxInc를 도출할 때, 이웃 블록은 현재 서브픽처의 범위를 벗어날 수 있다. 서브픽처의 표현이 불완전한 CTU들을 갖는 서브픽처로 이어질 수 있다. CTU 분할들 및 CU 분할 프로세스는 불완전한 CTU들을 고려할 필요가 있을 수 있다.
(2) 서브픽처에 관련된 시그널링된 신택스 요소들은 임의적으로 클 수 있으며, 이는 오버플로 문제를 야기할 수 있다.
(3) 서브픽처들의 표현은 직사각형이 아닌 서브픽처들로 이어질 수 있다.
(4) 현재, 서브픽처와 서브픽처 그리드는 4 샘플 단위로 정의된다. 그리고 신택스 요소의 길이는 픽처 높이를 4로 나눈 것에 의존한다. 그렇지만, 현재 pic_width_in_luma_samples 및 pic_height_in_luma_samples는 Max(8, MinCbSizeY)의 정수배여야 하기 때문에, 서브픽처 그리드는 8 샘플 단위로 정의될 필요가 있을 수 있다.
(5) SPS 신택스 pic_width_max_in_luma_samples 및 pic_height_max_in_luma_samples는 8보다 작지 않도록 제한될 필요가 있을 수 있다.
(6) 참조 픽처 리샘플링/확장성과 서브픽처 사이의 상호작용은 현재 설계에서 고려되지 않는다.
(7) 시간 필터링에서, 상이한 서브픽처들에 걸친 샘플들이 필요할 수 있다.
4. 예시적인 기술들 및 실시예들
아래의 상세한 목록은 일반 개념들을 설명하기 위한 예들로 간주되어야 한다. 이러한 항목들이 좁은 의미로 해석되어서는 안 된다. 게다가, 이러한 항목들은 임의의 방식으로 조합될 수 있다. 이후부터, 다른 픽처들 내의 샘플들을 필요로 하는 필터들을 표현하기 위해 시간 필터가 사용된다. Max(x, y)는 x 및 y 중 큰 쪽을 리턴한다. Min(x, y)는 x 및 y 중 작은 쪽을 리턴한다.
1. 요구된 서브픽처의 좌측 상단 코너 좌표가 (xTL, yTL)이고 요구된 서브픽처의 우측 하단 좌표가 (xBR, yBR)이라고 가정할 때, 아핀 모션 후보들(예를 들면, 구성된 아핀 병합 후보)을 생성하기 위해 픽처에서 시간적 MV 예측자가 페치되는 위치(위치 RB라고 명명됨)는 요구된 서브픽처에 있어야 한다.
a. 일 예에서, 요구된 서브픽처는 현재 블록을 커버하는 서브픽처이다.
b. 일 예에서, 좌표 (x, y)를 갖는 위치 RB가 요구된 서브픽처를 벗어나 있는 경우, 시간적 MV 예측자는 이용 불가능한 것으로 취급된다.
i. 일 예에서, x > xBR인 경우 위치 RB는 요구된 서브픽처를 벗어나 있다.
ii. 일 예에서, y > yBR인 경우 위치 RB는 요구된 서브픽처를 벗어나 있다.
iii. 일 예에서, x < xTL인 경우 위치 RB는 요구된 서브픽처를 벗어나 있다.
iv. 일 예에서, y < yTL인 경우 위치 RB는 요구된 서브픽처를 벗어나 있다.
c. 일 예에서, 위치 RB가 요구된 서브픽처 외부에 있는 경우, RB의 대체가 활용된다.
i. 대안적으로, 게다가, 대체 위치는 요구된 서브픽처에 있어야 한다.
d. 일 예에서, 위치 RB는 요구된 서브픽처에 있도록 클리핑된다.
i. 일 예에서, x는 x = Min(x, xBR)로서 클리핑된다.
ii. 일 예에서, y는 y = Min(y, yBR)로서 클리핑된다.
iii. 일 예에서, x는 x = Max(x, xTL)로서 클리핑된다.
iv. 일 예에서, y는 y = Max(y, yTL)로서 클리핑된다.
e. 일 예에서, 위치 RB는 동일 위치 픽처 내의 현재 블록의 대응하는 블록 내부의 우측 하단 위치일 수 있다.
f. 제안된 방법은 현재 픽처와 상이한 픽처로부터의 모션 정보에 액세스할 필요가 있는 다른 코딩 툴들에서 활용될 수 있다.
g. 일 예에서, 위의 방법들이 적용되는지 여부(예를 들면, (예를 들면, 1.a 및/또는 1.b에서 요구된 바와 같이 행하기 위해) 위치 RB가 요구된 서브픽처에 있어야 하는지 여부)는 VPS/DPS/SPS/PPS/APS/슬라이스 헤더/타일 그룹 헤더에서 시그널링되는 하나 이상의 신택스 요소에 의존할 수 있다. 예를 들어, 신택스 요소는 subpic_treated_as_pic_flag[ SubPicIdx ]일 수 있으며, 여기서 SubPicIdx는 현재 블록을 커버하는 서브픽처의 서브픽처 인덱스이다.
2. 요구된 서브픽처의 좌측 상단 코너 좌표가 (xTL, yTL)이고 요구된 서브픽처의 우측 하단 좌표가 (xBR, yBR)이라고 가정할 때, 보간 프로세스에서 사용되지 않는 참조에서 정수 샘플이 페치되는 위치(위치 S라고 명명됨)는 요구된 서브픽처에 있어야 한다.
a. 일 예에서, 요구된 서브픽처는 현재 블록을 커버하는 서브픽처이다.
b. 일 예에서, 좌표 (x, y)를 갖는 위치 S가 요구된 서브픽처를 벗어나 있는 경우, 참조 샘플은 이용 불가능한 것으로 취급된다.
i. 일 예에서, x > xBR인 경우 위치 S는 요구된 서브픽처를 벗어나 있다.
ii. 일 예에서, y > yBR인 경우 위치 S는 요구된 서브픽처를 벗어나 있다.
iii. 일 예에서, x < xTL인 경우 위치 S는 요구된 서브픽처를 벗어나 있다.
iv. 일 예에서, y < yTL인 경우 위치 S는 요구된 서브픽처를 벗어나 있다.
c. 일 예에서, 위치 S는 요구된 서브픽처에 있도록 클리핑된다.
i. 일 예에서, x는 x = Min(x, xBR)로서 클리핑된다.
ii. 일 예에서, y는 y = Min(y, yBR)로서 클리핑된다.
iii. 일 예에서, x는 x = Max(x, xTL)로서 클리핑된다.
iv. 일 예에서, y는 y = Max(y, yTL)로서 클리핑된다.
d. 일 예에서, (예를 들면, 2.a 및/또는 2.b에서 요구된 바와 같이 행하기 위해) 위치 S가 요구된 서브픽처에 있어야 하는지 여부는 VPS/DPS/SPS/PPS/APS/슬라이스 헤더/타일 그룹 헤더에서 시그널링되는 하나 이상의 신택스 요소에 의존할 수 있다. 예를 들어, 신택스 요소는 subpic_treated_as_pic_flag[ SubPicIdx ]일 수 있으며, 여기서 SubPicIdx는 현재 블록을 커버하는 서브픽처의 서브픽처 인덱스이다.
e. 일 예에서, 페치된 정수 샘플은 BDOF 및/또는 PROF에서의 구배들을 생성하는 데 사용된다.
3. 요구된 서브픽처의 좌측 상단 코너 좌표가 (xTL, yTL)이고 요구된 서브픽처의 우측 하단 좌표가 (xBR, yBR)이라고 가정할 때, 재구성된 루마 샘플 값이 페치되는 위치(위치 R이라고 명명됨)는 요구된 서브픽처에 있을 수 있다.
a. 일 예에서, 요구된 서브픽처는 현재 블록을 커버하는 서브픽처이다.
b. 일 예에서, 좌표 (x, y)를 갖는 위치 R이 요구된 서브픽처를 벗어나 있는 경우, 참조 샘플은 이용 불가능한 것으로 취급된다.
i. 일 예에서, x > xBR인 경우 위치 R은 요구된 서브픽처를 벗어나 있다.
ii. 일 예에서, y > yBR인 경우 위치 R은 요구된 서브픽처를 벗어나 있다.
iii. 일 예에서, x < xTL인 경우 위치 R은 요구된 서브픽처를 벗어나 있다.
iv. 일 예에서, y < yTL인 경우 위치 R은 요구된 서브픽처를 벗어나 있다.
c. 일 예에서, 위치 R은 요구된 서브픽처에 있도록 클리핑된다.
i. 일 예에서, x는 x = Min(x, xBR)로서 클리핑된다.
ii. 일 예에서, y는 y = Min(y, yBR)로서 클리핑된다.
iii. 일 예에서, x는 x = Max(x, xTL)로서 클리핑된다.
iv. 일 예에서, y는 y = Max(y, yTL)로서 클리핑된다.
d. 일 예에서, (예를 들면, 4.a 및/또는 4.b에서 요구된 바와 같이 행하기 위해) 위치 R이 요구된 서브픽처에 있어야 하는지 여부는 VPS/DPS/SPS/PPS/APS/슬라이스 헤더/타일 그룹 헤더에서 시그널링되는 하나 이상의 신택스 요소에 의존할 수 있다. 예를 들어, 신택스 요소는 subpic_treated_as_pic_flag[ SubPicIdx ]일 수 있으며, 여기서 SubPicIdx는 현재 블록을 커버하는 서브픽처의 서브픽처 인덱스이다.
e. 일 예에서, 페치된 루마 샘플은 LMCS에서 크로마 성분(들)에 대한 스케일링 인자를 도출하는 데 사용된다.
4. 요구된 서브픽처의 좌측 상단 코너 좌표가 (xTL, yTL)이고 요구된 서브픽처의 우측 하단 좌표가 (xBR, yBR)이라고 가정할 때, BT/TT/QT 분할, BT/TT/QT 깊이 도출, 및/또는 CU 분할 플래그의 시그널링을 위한 픽처 경계 검사가 수행되는 위치(위치 N이라고 명명됨)는 요구된 서브픽처에 있어야 한다.
a. 일 예에서, 요구된 서브픽처는 현재 블록을 커버하는 서브픽처이다.
b. 일 예에서, 좌표 (x, y)를 갖는 위치 N이 요구된 서브픽처를 벗어나 있는 경우, 참조 샘플은 이용 불가능한 것으로 취급된다.
i. 일 예에서, x > xBR인 경우 위치 N은 요구된 서브픽처를 벗어나 있다.
ii. 일 예에서, y > yBR인 경우 위치 N은 요구된 서브픽처를 벗어나 있다.
iii. 일 예에서, x < xTL인 경우 위치 N은 요구된 서브픽처를 벗어나 있다.
iv. 일 예에서, y < yTL인 경우 위치 N은 요구된 서브픽처를 벗어나 있다.
c. 일 예에서, 위치 N은 요구된 서브픽처에 있도록 클리핑된다.
i. 일 예에서, x는 x = Min(x, xBR)로서 클리핑된다.
ii. 일 예에서, y는 y = Min(y, yBR)로서 클리핑된다.
iii. 일 예에서, x는 x = Max(x, xTL)로서 클리핑된다.
d. 일 예에서, y는 y = Max(y, yTL)로서 클리핑된다.일 예에서, (예를 들면, 5.a 및/또는 5.b에서 요구된 바와 같이 행하기 위해) 위치 N이 요구된 서브픽처에 있어야 하는지 여부는 VPS/DPS/SPS/PPS/APS/슬라이스 헤더/타일 그룹 헤더에서 시그널링되는 하나 이상의 신택스 요소에 의존할 수 있다. 예를 들어, 신택스 요소는 subpic_treated_as_pic_flag[ SubPicIdx ]일 수 있으며, 여기서 SubPicIdx는 현재 블록을 커버하는 서브픽처의 서브픽처 인덱스이다.
5. 히스토리 기반 모션 벡터 예측(History-based Motion Vector Prediction, HMVP) 테이블은 하나의 픽처 내의 새로운 서브픽처를 디코딩하기 전에 리셋될 수 있다.
a. 일 예에서, IBC 코딩에 사용되는 HMVP 테이블은 리셋될 수 있다.
b. 일 예에서, 인터 코딩에 사용되는 HMVP 테이블은 리셋될 수 있다.
c. 일 예에서, 인트라 코딩에 사용되는 HMVP 테이블은 리셋될 수 있다.
6. 서브픽처 신택스 요소들은 N(예컨대, N = 8, 32 등) 샘플 단위로 정의될 수 있다.
a. 일 예에서, N 샘플 단위의 서브픽처 식별자 그리드의 각각의 요소의 폭.
b. 일 예에서, N 샘플 단위의 서브픽처 식별자 그리드의 각각의 요소의 높이.
c. 일 예에서, N은 CTU의 폭 및/또는 높이로 설정된다.
7. 픽처 폭 및 픽처 높이의 신택스 요소는 K(K>=8)보다 작지 않도록 제한될 수 있다.
a. 일 예에서, 픽처 폭은 8보다 작지 않도록 제한될 필요가 있을 수 있다.
b. 일 예에서, 픽처 높이는 8보다 작지 않도록 제한될 필요가 있을 수 있다.
8. 적합성 비트스트림은 서브픽처 코딩 및 적응적 해상도 변환(ARC)/동적 해상도 변환(DRC)/참조 픽처 리샘플링(RPR)이 하나의 비디오 유닛(예를 들면, 시퀀스)에 대해 인에이블되도록 허용되지 않는다는 것을 충족시켜야 한다.
a. 일 예에서, 서브픽처 코딩의 인에이블의 시그널링은 ARC/DRC/RPR을 허용하지 않는다는 조건들 하에서 있을 수 있다.
i. 일 예에서, 서브픽처가 인에이블될 때, 예컨대, subpics_present_flag가 1과 동일할 때, 이 SPS가 활성인 모든 픽처들에 대한 pic_width_in_luma_samples는 max_width_in_luma_samples와 동일하다.
b. 대안적으로, 서브픽처 코딩 및 ARC/DRC/RPR은 양쪽 모두 하나의 비디오 유닛(예를 들면, 시퀀스)에 대해 인에이블될 수 있다.
i. 일 예에서, 적합성 비트스트림은 ARC/DRC/RPR로 인한 다운샘플링된 서브픽처가 여전히 폭이 K 개의 CTU이고 높이가 M 개의 CTU인 형태여야 한다는 것을 충족시켜야 하며 여기서 K와 M은 양쪽 모두 정수들이다.
ii. 일 예에서, 적합성 비트스트림은, 픽처 경계들(예를 들면, 우측 경계 및/또는 하단 경계)에 위치하지 않는 서브픽처들의 경우, ARC/DRC/RPR로 인한 다운샘플링된 서브픽처가 여전히 폭이 K 개의 CTU이고 높이가 M 개의 CTU인 형태여야 한다는 것을 충족시켜야 하며 여기서 K와 M은 양쪽 모두 정수들이다.
iii. 일 예에서, CTU 크기들은 픽처 해상도에 기초하여 적응적으로 변경될 수 있다.
1) 일 예에서, 최대 CTU 크기는 SPS에서 시그널링될 수 있다. 보다 낮은 해상도를 갖는 각각의 픽처에 대해, CTU 크기는 감소된 해상도에 기초하여 그에 따라 변경될 수 있다.
2) 일 예에서, CTU 크기는 SPS 및 PPS, 및/또는 서브픽처 레벨에서 시그널링될 수 있다.
9. 신택스 요소 subpic_grid_col_width_minus1 및 subpic_grid_row_height_minus1은 제약될 수 있다.
a. 일 예에서, subpic_grid_col_width_minus1은 T1보다 크지 않아야 한다(또는 작아야 한다).
b. 일 예에서, subpic_grid_row_height_minus1은 T2보다 크지 않아야 한다(또는 작아야 한다).
c. 일 예에서, 적합성 비트스트림에서, subpic_grid_col_width_minus1 및/또는 subpic_grid_row_height_minus1은 글머리 기호 3.a 또는 글머리 기호 3.b와 같은 제약을 따라야 한다.
d. 일 예에서, 3.a에서의 T1 및/또는 3.b에서의 T2는 비디오 코딩 표준의 프로필/레벨/티어(tier)에 의존할 수 있다.
e. 일 예에서, 3.a에서의 T1은 픽처 폭에 의존할 수 있다.
i. 예를 들어, T1은 pic_width_max_in_luma_samples/4 또는 pic_width_max_in_luma_samples/4+Off와 동일하다. Off는 1, 2, -1, -2 등일 수 있다.
f. 일 예에서, 3.b에서의 T2는 픽처 폭에 의존할 수 있다.
i. 예를 들어, T2는 pic_height_max_in_luma_samples/4 또는 pic_height_max_in_luma_samples /4-1+Off와 동일하다. Off는 1, 2, -1, -2 등일 수 있다.
10. 2 개의 서브픽처 사이의 경계가 2 개의 CTU 사이의 경계여야 하는 것으로 제약된다.
a. 환언하면, CTU는 둘 이상의 서브픽처에 의해 커버될 수 없다.
b. 일 예에서, subpic_grid_col_width_minus1의 단위는, VVC에서와 같이 4 대신에, CTU 폭(예컨대, 32, 64, 128)일 수 있다. 서브픽처 그리드 폭은 (subpic_grid_col_width_minus1+1) * CTU 폭이어야 한다.
c. 일 예에서, subpic_grid_col_height_minus1의 단위는, VVC에서와 같이 4 대신에, CTU 높이(예컨대, 32, 64, 128)일 수 있다. 서브픽처 그리드 높이는 (subpic_grid_col_height_minus1+1) * CTU 높이여야 한다.
d. 일 예에서, 적합성 비트스트림에서, 서브픽처 접근법이 적용되는 경우 제약이 충족되어야만 한다.
11. 서브픽처의 형상이 직사각형이어야 하는 것으로 제약된다.
a. 일 예에서, 적합성 비트스트림에서, 서브픽처 접근법이 적용되는 경우 제약이 충족되어야만 한다.
b. 서브픽처는 직사각형 슬라이스들만을 포함할 수 있다. 예를 들어, 적합성 비트스트림에서, 서브픽처 접근법이 적용되는 경우 제약이 충족되어야만 한다.
12. 2 개의 서브픽처가 중첩될 수 없는 것으로 제약된다.
a. 일 예에서, 적합성 비트스트림에서, 서브픽처 접근법이 적용되는 경우 제약이 충족되어야만 한다.
b. 대안적으로, 2 개의 서브픽처가 서로 중첩될 수 있다.
13. 픽처 내의 임의의 위치가 단 하나의 서브픽처에 의해 커버되어야 하는 것으로 제약된다.
a. 일 예에서, 적합성 비트스트림에서, 서브픽처 접근법이 적용되는 경우 제약이 충족되어야만 한다.
b. 대안적으로, 하나의 샘플이 어떤 서브픽처에도 속하지 않을 수 있다.
c. 대안적으로, 하나의 샘플이 둘 이상의 서브픽처에 속할 수 있다.
14. 동일한 시퀀스에서 제시되는 모든 해상도에 매핑되는 SPS에 정의되는 서브픽처들이 위에서 언급된 제약된 위치 및/또는 크기를 준수해야 하는 것으로 제약될 수 있다.
a. 일 예에서, 동일한 시퀀스에서 제시되는 해상도에 매핑되는 SPS에 정의되는 서브픽처의 폭 및 높이는 N(예컨대, 8, 16, 32) 루마 샘플의 정수배여야 한다.
b. 일 예에서, 서브픽처들은 특정 계층에 대해 정의될 수 있고 다른 계층들에 매핑될 수 있다.
i. 예를 들어, 서브픽처들은 시퀀스에서 최고 해상도를 갖는 계층에 대해 정의될 수 있다.
ii. 예를 들어, 서브픽처들은 시퀀스에서 최저 해상도를 갖는 계층에 대해 정의될 수 있다.
iii. 서브픽처들이 어느 계층에 대해 정의되는지는 SPS/VPS/PPS/슬라이스 헤더에서 시그널링될 수 있다.
c. 일 예에서, 서브픽처들 및 상이한 해상도들이 양쪽 모두 적용될 때, 모든 해상도들(예를 들어, 폭 및/또는 높이)는 주어진 해상도의 정수배일 수 있다.
d. 일 예에서, SPS에 정의되는 서브픽처의 폭 및/또는 높이는 CTU 크기의 정수배(예를 들어, M 배)일 수 있다.
e. 대안적으로, 시퀀스에서의 서브픽처들 및 상이한 해상도들은 동시에 허용되지 않을 수 있다.
15. 서브픽처들은 특정 계층(들)에만 적용될 수 있다.
a. 일 예에서, SPS에 정의되는 서브픽처들은 시퀀스에서 최고 해상도를 갖는 계층에만 적용될 수 있다.
b. 일 예에서, SPS에 정의되는 서브픽처들은 시퀀스에서 가장 낮은 시간 id(temporal id)를 갖는 계층에만 적용될 수 있다.
c. 서브픽처들이 어느 계층(들)에 적용될 수 있는지는 SPS/VPS/PPS에서의 하나 또는 다수의 신택스 요소에 의해 표시될 수 있다.
d. 서브픽처가 어느 계층(들)에 적용될 수 없는지는 SPS/VPS/PPS에서의 하나 또는 다수의 신택스 요소에 의해 표시될 수 있다.
16. 일 예에서, 서브픽처의 위치 및/또는 치수는 subpic_grid_idx를 사용하지 않고 시그널링될 수 있다.
a. 일 예에서, 서브픽처의 좌측 상단 위치가 시그널링될 수 있다.
b. 일 예에서, 서브픽처의 우측 하단 위치가 시그널링될 수 있다.
c. 일 예에서, 서브픽처의 폭이 시그널링될 수 있다.
d. 일 예에서, 서브픽처의 높이가 시그널링될 수 있다.
17. 시간 필터의 경우, 샘플의 시간 필터링을 수행할 때, 현재 샘플이 속하는 동일한 서브픽처 내의 샘플들만이 사용될 수 있다. 요구된 샘플들은 현재 샘플이 속하는 동일한 픽처에 또는 다른 픽처들에 있을 수 있다.
18. 일 예에서, 분할 방법(예컨대, QT, 수평 BT, 수직 BT, 수평 TT, 수직 TT, 분할 없음 등)을 적용할지 여부 및/또는 어떻게 적용할지는 현재 블록(또는 파티션)이 서브픽처의 하나 또는 다수의 경계와 교차하는지 여부에 의존할 수 있다.
a. 일 예에서, VVC에서의 분할을 위한 픽처 경계 처리 방법은 픽처 경계가 서브픽처 경계로 대체될 때에도 적용될 수 있다.
b. 일 예에서, 분할 방법(예컨대, QT, 수평 BT, 수직 BT, 수평 TT, 수직 TT, 분할 없음 등)을 나타내는 신택스 요소(예를 들면, 플래그)를 파싱할지 여부는 현재 블록(또는 파티션)이 서브픽처의 하나 또는 다수의 경계와 교차하는지 여부에 의존할 수 있다.
19. 하나의 픽처를 각각의 서브픽처의 독립적인 코딩을 갖는 다수의 서브픽처들로 분할하는 대신에, 하나의 픽처를 적어도 2 개의 서브영역 세트로 분할하는 것이 제안되며, 제1 세트는 다수의 서브픽처들을 포함하고 제2 세트는 나머지 샘플들 전부를 포함한다.
a. 일 예에서, 제2 세트 내의 샘플은 어떤 서브픽처들에도 없다.
b. 대안적으로, 게다가, 제2 세트는 제1 세트의 정보에 기초하여 인코딩/디코딩될 수 있다.
c. 일 예에서, 디폴트 값은 샘플/MxK 서브영역이 제2 세트에 속하는지 여부를 표시하는 데 활용될 수 있다.
i. 일 예에서, 디폴트 값은 (max_subpics_minus1 + K)와 동일하게 설정될 수 있고 여기서 K는 1보다 큰 정수이다.
ii. 그리드가 제2 세트에 속한다는 것을 나타내기 위해 디폴트 값이 subpic_grid_idx[i][j]에 할당될 수 있다.
20. 신택스 요소 subpic_grid_idx[i][j]가 max_subpics_minus1보다 클 수 없다는 것이 제안된다.
a. 예를 들어, 적합성 비트스트림에서, subpic_grid_idx[i][j]가 max_subpics_minus1보다 클 수 없는 것으로 제약된다.
b. 예를 들어, subpic_grid_idx[i][j]를 코딩하는 코드워드는 max_subpics_minus1보다 클 수 없다.
21. 0부터 max_subpics_minus1까지의 임의의 정수가 적어도 하나의 subpic_grid_idx[i][j]와 동일해야 한다는 것이 제안된다.
22. IBC 가상 버퍼는 하나의 픽처 내의 새로운 서브픽처를 디코딩하기 전에 리셋될 수 있다.
a. 일 예에서, IBC 가상 버퍼 내의 모든 샘플들이 -1로 리셋될 수 있다.
23. 팔레트 엔트리 리스트는 하나의 픽처 내의 새로운 서브픽처를 디코딩하기 전에 리셋될 수 있다.
a. 일 예에서, PredictorPaletteSize는 하나의 픽처 내의 새로운 서브픽처를 디코딩하기 전에 0과 동일하게 설정될 수 있다.
5. 실시예들
이하의 실시예들에서, 새로 추가된 텍스트들은 굵은 기울임꼴로 되어 있고 삭제된 텍스트들은 "[[ ]]"에 의해 표시되어 있다.
5.1 실시예 1: 아핀 구성된 병합 후보들에 대한 서브픽처 제약
8.5.5.6 구성된 아핀 제어점 모션 벡터 병합 후보들에 대한 도출 프로세스
이 프로세스에 대한 입력들은 다음과 같다:
- 현재 픽처의 좌측 상단 루마 샘플을 기준으로 현재 루마 코딩 블록의 좌측 상단 샘플을 지정하는 루마 위치 ( xCb , yCb ),
- 현재 루마 코딩 블록의 폭과 높이를 지정하는 2 개의 변수 cbWidth 및 cbHeight,
- 이용 가능성 플래그들 availableA0, availableA1, availableA2, availableB0, availableB1, availableB2, availableB3,
- 샘플 위치들 ( xNbA0, yNbA0 ), ( xNbA1, yNbA1 ), ( xNbA2, yNbA2 ), ( xNbB0, yNbB0 ), ( xNbB1, yNbB1 ), ( xNbB2, yNbB2 ) 및 ( xNbB3, yNbB3 ).
이 프로세스의 출력은 다음과 같다.
- 구성된 아핀 제어점 모션 벡터 병합 후보들의 이용 가능성 플래그 availableFlagConstK(단, K = 1..6),
- 참조 인덱스들 refIdxLXConstK(단, K = 1..6이고, X는 0 또는 1임),
- 예측 리스트 활용 플래그들 predFlagLXConstK(단, K = 1..6이고, X는 0 또는 1임),
- 아핀 모션 모델 인덱스들 motionModelIdcConstK(단, K = 1..6),
- 양방향 예측 가중치 인덱스들 bcwIdxConstK(단, K = 1..6),
- 구성된 아핀 제어점 모션 벡터들 cpMvLXConstK[ cpIdx ](단, cpIdx = 0..2이고, K = 1..6이며 X는 0 또는 1임).
...
네 번째(동일 위치 우측 하단) 제어점 모션 벡터 cpMvLXCorner[ 3 ], 참조 인덱스 refIdxLXCorner[ 3 ], 예측 리스트 활용 플래그 predFlagLXCorner[ 3 ] 및 이용 가능성 플래그 availableFlagCorner[ 3 ](단, X는 0 및 1임)은 다음과 같이 도출된다:
- 시간적 병합 후보에 대한 참조 인덱스들 refIdxLXCorner[ 3 ](단, X는 0 또는 1임)은 0과 동일하게 설정된다.
- 변수들 mvLXCol 및 availableFlagLXCol(단, X는 0 또는 1임)은 다음과 같이 도출된다:
- slice_temporal_mvp_enabled_flag가 0과 동일한 경우, mvLXCol의 양쪽 성분들은 0과 동일하게 설정되고, availableFlagLXCol은 0과 동일하게 설정된다.
- 그렇지 않은 경우(slice_temporal_mvp_enabled_flag가 1과 동일한 경우), 다음이 적용된다:
Figure pct00052
Figure pct00053
- yCb  >>  CtbLog2SizeY가 yColBr  >>  CtbLog2SizeY와 동일하고, yColBr이 botBoundaryPos보다 작거나 같으며 xColBr이 rightBoundaryPos보다 작거나 같은 경우, 다음이 적용된다:
- 변수 colCb는 ColPic에 의해 지정되는 동일 위치 픽처 내부의 ( ( xColBr  >>  3 )  <<  3, ( yColBr  >>  3 )  <<  3 )에 의해 주어지는 수정된 위치를 커버하는 루마 코딩 블록을 지정한다.
- 루마 위치 ( xColCb, yColCb )는 ColPic에 의해 지정되는 동일 위치 픽처의 좌측 상단 루마 샘플을 기준으로 colCb에 의해 지정되는 동일 위치 루마 코딩 블록의 좌측 상단 샘플과 동일하게 설정된다.
- 8.5.2.12 절에 명시된 바와 같은 동일 위치 모션 벡터들에 대한 도출 프로세스는 currCb, colCb, ( xColCb, yColCb ), refIdxLXCorner[ 3 ] 및 0과 동일하게 설정된 sbFlag를 입력들로 하여 호출되고, 출력은 mvLXCol 및 availableFlagLXCol에 할당된다.
- 그렇지 않은 경우, mvLXCol의 양쪽 성분들은 0과 동일하게 설정되고, availableFlagLXCol은 0과 동일하게 설정된다.
...
5.2 실시예 2: 아핀 구성된 병합 후보들에 대한 서브픽처 제약
8.5.5.6 구성된 아핀 제어점 모션 벡터 병합 후보들에 대한 도출 프로세스
이 프로세스에 대한 입력들은 다음과 같다:
- 현재 픽처의 좌측 상단 루마 샘플을 기준으로 현재 루마 코딩 블록의 좌측 상단 샘플을 지정하는 루마 위치 ( xCb , yCb ),
- 현재 루마 코딩 블록의 폭과 높이를 지정하는 2 개의 변수 cbWidth 및 cbHeight,
- 이용 가능성 플래그들 availableA0, availableA1, availableA2, availableB0, availableB1, availableB2, availableB3,
- 샘플 위치들 ( xNbA0, yNbA0 ), ( xNbA1, yNbA1 ), ( xNbA2, yNbA2 ), ( xNbB0, yNbB0 ), ( xNbB1, yNbB1 ), ( xNbB2, yNbB2 ) 및 ( xNbB3, yNbB3 ).
이 프로세스의 출력은 다음과 같다.
- 구성된 아핀 제어점 모션 벡터 병합 후보들의 이용 가능성 플래그 availableFlagConstK(단, K = 1..6),
- 참조 인덱스들 refIdxLXConstK(단, K = 1..6이고, X는 0 또는 1임),
- 예측 리스트 활용 플래그들 predFlagLXConstK(단, K = 1..6이고, X는 0 또는 1임),
- 아핀 모션 모델 인덱스들 motionModelIdcConstK(단, K = 1..6),
- 양방향 예측 가중치 인덱스들 bcwIdxConstK(단, K = 1..6),
- 구성된 아핀 제어점 모션 벡터들 cpMvLXConstK[ cpIdx ](단, cpIdx = 0..2이고, K = 1..6이며 X는 0 또는 1임).
...
네 번째(동일 위치 우측 하단) 제어점 모션 벡터 cpMvLXCorner[ 3 ], 참조 인덱스 refIdxLXCorner[ 3 ], 예측 리스트 활용 플래그 predFlagLXCorner[ 3 ] 및 이용 가능성 플래그 availableFlagCorner[ 3 ](단, X는 0 및 1임)은 다음과 같이 도출된다:
- 시간적 병합 후보에 대한 참조 인덱스들 refIdxLXCorner[ 3 ](단, X는 0 또는 1임)은 0과 동일하게 설정된다.
- 변수들 mvLXCol 및 availableFlagLXCol(단, X는 0 또는 1임)은 다음과 같이 도출된다:
- slice_temporal_mvp_enabled_flag가 0과 동일한 경우, mvLXCol의 양쪽 성분들은 0과 동일하게 설정되고, availableFlagLXCol은 0과 동일하게 설정된다.
- 그렇지 않은 경우(slice_temporal_mvp_enabled_flag가 1과 동일한 경우), 다음이 적용된다:
Figure pct00054
Figure pct00055
- yCb >> CtbLog2SizeY가 yColBr >> CtbLog2SizeY와 동일한 경우, [[yColBr이 pic_height_in_luma_samples보다 작고 xColBr이 pic_width_in_luma_samples보다 작은 경우, 다음이 적용된다]]:
- 변수 colCb는 ColPic에 의해 지정되는 동일 위치 픽처 내부의 ( ( xColBr  >>  3 )  <<  3, ( yColBr  >>  3 )  <<  3 )에 의해 주어지는 수정된 위치를 커버하는 루마 코딩 블록을 지정한다.
- 루마 위치 ( xColCb, yColCb )는 ColPic에 의해 지정되는 동일 위치 픽처의 좌측 상단 루마 샘플을 기준으로 colCb에 의해 지정되는 동일 위치 루마 코딩 블록의 좌측 상단 샘플과 동일하게 설정된다.
- 8.5.2.12 절에 명시된 바와 같은 동일 위치 모션 벡터들에 대한 도출 프로세스는 currCb, colCb, ( xColCb, yColCb ), refIdxLXCorner[ 3 ] 및 0과 동일하게 설정된 sbFlag를 입력들로 하여 호출되고, 출력은 mvLXCol 및 availableFlagLXCol에 할당된다.
- 그렇지 않은 경우, mvLXCol의 양쪽 성분들은 0과 동일하게 설정되고, availableFlagLXCol은 0과 동일하게 설정된다.
...
5.3 실시예 3: 서브픽처 제약 하에서의 정수 샘플들의 페치
8.5.6.3.3 루마 정수 샘플 페치 프로세스
이 프로세스에 대한 입력들은 다음과 같다:
- 완전 샘플 단위의 루마 위치 ( xIntL, yIntL ),
- 루마 참조 샘플 어레이 refPicLXL,
이 프로세스의 출력은 예측된 루마 샘플 값 predSampleLXL이다
변수 shift는 Max( 2, 14 - BitDepthY )와 동일하게 설정된다.
변수 picW는 pic_width_in_luma_samples와 동일하게 설정되고 변수 picH는 pic_height_in_luma_samples와 동일하게 설정된다.
완전 샘플 단위의 루마 위치들 (xInt, yInt)는 다음과 같이 도출된다:
- subpic_treated_as_pic_flag[ SubPicIdx ]가 1과 동일한 경우, 다음이 적용된다:
Figure pct00056
- 그렇지 않은 경우:
Figure pct00057
예측된 루마 샘플 값 predSampleLXL은 다음과 같이 도출된다:
Figure pct00058
5.4 실시예 4: LMCS의 크로마 잔차 스케일링에서의 변수 invAvgLuma의 도출
8.7.5.3 크로마 샘플들에 대한 루마 의존적 크로마 잔차 스케일링 프로세스를 사용한 픽처 재구성
이 프로세스에 대한 입력들은 다음과 같다:
- 현재 픽처의 좌측 상단 크로마 샘플을 기준으로 현재 크로마 변환 블록의 좌측 상단 크로마 샘플의 크로마 위치( xCurr, yCurr ),
- 크로마 변환 블록 폭을 지정하는 변수 nCurrSw,
- 크로마 변환 블록 높이를 지정하는 변수 nCurrSh,
- 현재 크로마 변환 블록의 코딩된 블록 플래그를 지정하는 변수 tuCbfChroma,
- 현재 블록의 크로마 예측 샘플들을 지정하는 (nCurrSw)x(nCurrSh) 어레이 predSamples,
- 현재 블록의 크로마 잔차 샘플들을 지정하는 (nCurrSw)x(nCurrSh) 어레이 resSamples.
이 프로세스의 출력은 재구성된 크로마 픽처 샘플 어레이 recSamples이다.
변수 sizeY는 Min( CtbSizeY, 64 )와 동일하게 설정된다.
재구성된 크로마 픽처 샘플 recSamples는 i = 0..nCurrSw - 1, j = 0..nCurrSh - 1에 대해 다음과 같이 도출된다:
- ...
- 그렇지 않은 경우, 다음이 적용된다:
- ...
- 변수 currPic은 현재 픽처에서의 재구성된 루마 샘플들의 어레이를 지정한다.
- 변수 varScale의 도출을 위해, 다음과 같은 순서의 단계들이 적용된다:
1. 변수 invAvgLuma는 다음과 같이 도출된다:
- 어레이 recLuma[ i ](단, i=0..( 2 * sizeY - 1 )) 및 변수 cnt는 다음과 같이 도출된다:
- 변수 cnt는 0과 동일하게 설정된다.
- 변수들 rightBoundaryPos 및 botBoundaryPos는 다음과 같이 도출된다:
Figure pct00059
- availL이 TRUE와 동일할 때, 어레이 recLuma[ i ](단, i = 0..sizeY - 1)는 currPic[ xCuCb - 1 ][ Min( yCuCb + i, [[pic_height_in_luma_samples - 1]] botBoundaryPos   ) ](단, i = 0..sizeY - 1)와 동일하게 설정되고, cnt는 sizeY와 동일하게 설정된다
- availT가 TRUE와 동일할 때, 어레이 recLuma[ cnt + i ](단, i = 0..sizeY - 1)는 currPic[ Min( xCuCb + i, [[pic_width_in_luma_samples - 1]]  rightBoundaryPos  ) ][ yCuCb - 1 ](단, i = 0..sizeY - 1)와 동일하게 설정되고, cnt는 ( cnt + sizeY )와 동일하게 설정된다
- 변수 invAvgLuma는 다음과 같이 도출된다:
- cnt가 0보다 큰 경우, 다음이 적용된다:
Figure pct00060
- 그렇지 않은 경우(cnt가 0과 동일한 경우), 다음이 적용된다:
Figure pct00061
5.5 실시예 5: 4 이외의 N(예컨대, N=8 또는 32) 샘플 단위로 서브픽처 요소를 정의하는 예
7.4.3.3 시퀀스 파라미터 세트 RBSP 시맨틱스
subpic _grid_ col _width_ minus1 + 1은
Figure pct00062
샘플 단위로 서브픽처 식별자 그리드의 각각의 요소의 폭을 지정한다. 신택스 요소의 길이는 Ceil( Log2( pic_width_max_in_luma_samples / 
Figure pct00063
) ) 비트이다.
변수 NumSubPicGridCols는 다음과 같이 도출된다:
Figure pct00064
subpic_grid_row_height_minus1 + 1은 4 샘플 단위로 서브픽처 식별자 그리드의 각각의 요소의 높이를 지정한다. 신택스 요소의 길이는 Ceil( Log2( pic_height_max_in_luma_samples / 
Figure pct00065
) ) 비트이다.
변수 NumSubPicGridRows는 다음과 같이 도출된다:
Figure pct00066
7.4.7.1 일반 슬라이스 헤더 시맨틱스
변수들 SubPicIdx, SubPicLeftBoundaryPos, SubPicTopBoundaryPos, SubPicRightBoundaryPos, 및 SubPicBotBoundaryPos는 다음과 같이 도출된다:
Figure pct00067
Figure pct00068
5.6 실시예 6: 픽처 폭 및 픽처 높이를 8보다 크거나 같도록 제한
7.4.3.3 시퀀스 파라미터 세트 RBSP 시맨틱스
pic_width_max_in_luma_samples는 SPS를 참조하는 각각의 디코딩된 픽처의 최대 폭을, 루마 샘플 단위로, 지정한다. pic_width_max_in_luma_samples는 0과 동일하지 않아야 하며 [[MinCbSizeY]] Max( 8, MinCbSizeY ) 의 정수배여야 한다.
pic_height_max_in_luma_samples는 SPS를 참조하는 각각의 디코딩된 픽처의 최대 높이를, 루마 샘플 단위로, 지정한다. pic_height_max_in_luma_samples는 0과 동일하지 않아야 하며 [[MinCbSizeY]] Max( 8, MinCbSizeY ) 의 정수배여야 한다.
5.7 실시예 7: BT/TT/QT 분할, BT/TT/QT 깊이 도출 및/또는 CU 분할 플래그의 시그널링을 위한 서브픽처 경계 검사
6.4.2 허용된 이진 분할 프로세스
변수 allowBtSplit는 다음과 같이 도출된다:
- ...
- 그렇지 않고, 다음 조건들 모두가 참인 경우, allowBtSplit는 FALSE와 동일하게 설정된다.
- btSplit가 SPLIT_BT_VER과 동일하다.
- y0 + cbHeight가 [[pic_height_in_luma_samples ]] subpic_treated_as_pic_flag[ SubPicIdx ] ? SubPicBotBoundaryPos + 1: pic_height_in_luma_samples 보다 크다.
- 그렇지 않고, 다음 조건들 모두가 참인 경우, allowBtSplit는 FALSE와 동일하게 설정된다.
- btSplit가 SPLIT_BT_VER과 동일하다.
- cbHeight가 MaxTbSizeY보다 크다.
- x0 + cbWidth가 [[pic_width_in_luma_samples]] subpic_treated_as_pic_flag[ SubPicIdx ] ? SubPicRightBoundaryPos + 1 : pic_width_in_luma_samples 보다 크다
- 그렇지 않고, 다음 조건들 모두가 참인 경우, allowBtSplit는 FALSE와 동일하게 설정된다.
- btSplit가 SPLIT_BT_HOR과 동일하다
- cbWidth가 MaxTbSizeY보다 크다
- y0 + cbHeight가 [[pic_height_in_luma_samples]] subpic_treated_as_pic_flag[ SubPicIdx ] ? SubPicBotBoundaryPos + 1: pic_height_in_luma_samples 보다 크다.
- 그렇지 않고, 다음 조건들 모두가 참인 경우, allowBtSplit는 FALSE와 동일하게 설정된다.
- x0 + cbWidth가 [[pic_width_in_luma_samples]] subpic_treated_as_pic_flag[ SubPicIdx ] ? SubPicRightBoundaryPos + 1 : pic_width_in_luma_samples 보다 크다
- y0 + cbHeight가 [[pic_height_in_luma_samples]] subpic_treated_as_pic_flag[ SubPicIdx ] ? SubPicBotBoundaryPos + 1: pic_height_in_luma_samples 보다 크다.
- cbWidth가 minQtSize보다 크다
- 그렇지 않고, 다음 조건들 모두가 참인 경우, allowBtSplit는 FALSE와 동일하게 설정된다.
- btSplit가 SPLIT_BT_HOR과 동일하다
- x0 + cbWidth가 [[pic_width_in_luma_samples]] subpic_treated_as_pic_flag[ SubPicIdx ] ? SubPicRightBoundaryPos + 1 : pic_width_in_luma_samples 보다 크다
- y0 + cbHeight가 [[pic_height_in_luma_samples]] subpic_treated_as_pic_flag[ SubPicIdx ] ? SubPicBotBoundaryPos + 1: pic_height_in_luma_samples 보다 작거나 같다.
6.4.2 허용된 삼진 분할 프로세스
변수 allowTtSplit는 다음과 같이 도출된다:
- 다음 조건들 중 하나 이상이 참인 경우, allowTtSplit는 FALSE와 동일하게 설정된다:
- cbSize가 2 * MinTtSizeY보다 작거나 같다
- cbWidth가 Min( MaxTbSizeY, maxTtSize )보다 크다
- cbHeight가 Min( MaxTbSizeY, maxTtSize )보다 크다
- mttDepth가 maxMttDepth보다 크거나 같다
- x0 + cbWidth가 [[pic_width_in_luma_samples]] subpic_treated_as_pic_flag[ SubPicIdx ] ? SubPicRightBoundaryPos + 1 : pic_width_in_luma_samples 보다 크다
- y0 + cbHeight가 [[pic_height_in_luma_samples]] subpic_treated_as_pic_flag[ SubPicIdx ] ? SubPicBotBoundaryPos + 1: pic_height_in_luma_samples 보다 크다.
- treeType이 DUAL_TREE_CHROMA와 동일하고 ( cbWidth / SubWidthC ) * ( cbHeight / SubHeightC )가 32보다 작거나 같다
- treeType이 DUAL_TREE_CHROMA와 동일하고 modeType이 MODE_TYPE_INTRA와 동일하다
- 그렇지 않은 경우, allowTtSplit는 TRUE와 동일하게 설정된다.
Figure pct00069
Figure pct00070
도 3은 비디오 프로세싱 장치(300)의 블록 다이어그램이다. 장치(300)는 본 명세서에 설명된 방법들 중 하나 이상을 구현하는 데 사용될 수 있다. 장치(300)는 스마트폰, 태블릿, 컴퓨터, IoT(Internet of Things) 수신기 등에 구체화될 수 있다. 장치(300)는 하나 이상의 프로세서(302), 하나 이상의 메모리(304) 및 비디오 프로세싱 하드웨어(306)를 포함할 수 있다. 프로세서(들)(302)는 본 문서에 설명된 하나 이상의 방법을 구현하도록 구성될 수 있다. 메모리(메모리들)(304)는 본 명세서에 설명된 방법들 및 기술들을 구현하는 데 사용되는 데이터 및 코드를 저장하는 데 사용될 수 있다. 비디오 프로세싱 하드웨어(306)는, 하드웨어 회로로, 본 문서에 설명된 일부 기술들을 구현하는 데 사용될 수 있다.
도 4은 비디오를 프로세싱하는 방법(400)에 대한 플로차트이다. 방법(400)은, 비디오의 제1 비디오 영역 내의 비디오 블록에 대해, 아핀 모드를 사용하는 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 변환을 위한 시간적 모션 벡터 예측자가 결정되는 위치가 제2 비디오 영역 내에 있는지 여부를 결정하는 단계(402), 및 결정에 기초하여 변환을 수행하는 단계(404)를 포함한다.
다음 해결책들은 일부 실시예들에서 선호된 해결책들로서 구현될 수 있다.
다음 해결책들은 이전 섹션에 나열된 항목들(예를 들면, 항목 1)에서 설명된 추가적인 기술들과 함께 구현될 수 있다.
1. 비디오 프로세싱 방법으로서, 비디오의 제1 비디오 영역 내의 비디오 블록에 대해, 아핀 모드를 사용하는 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 변환을 위한 시간적 모션 벡터 예측자가 결정되는 위치가 제2 비디오 영역 내에 있는지 여부를 결정하는 단계; 및 결정에 기초하여 변환을 수행하는 단계를 포함하는, 방법.
2. 해결책 1의 방법으로서, 비디오 블록은 제1 영역 및 제2 영역에 의해 커버되는, 방법.
3. 해결책 1 또는 해결책 2의 방법으로서, 시간적 모션 벡터 예측자의 위치가 제2 비디오 영역 외부에 있는 경우에, 시간적 모션 벡터 예측자는 이용 불가능한 것으로서 표시되고 변환에서 사용되지 않는, 방법.
다음 해결책들은 이전 섹션에 나열된 항목들(예를 들면, 항목 2)에서 설명된 추가적인 기술들과 함께 구현될 수 있다.
4. 비디오 프로세싱 방법으로서, 비디오의 제1 비디오 영역 내의 비디오 블록에 대해, 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 변환을 위한 참조 픽처 내의 정수 샘플이 페치되는 위치가 제2 비디오 영역 내에 있는지 여부를 결정하는 단계 - 참조 픽처는 변환 동안 보간 프로세스에서 사용되지 않음 -; 및 결정에 기초하여 변환을 수행하는 단계를 포함하는, 방법.
5. 해결책 4의 방법으로서, 비디오 블록은 제1 영역 및 제2 영역에 의해 커버되는, 방법.
6. 해결책 4 또는 해결책 5의 방법으로서, 샘플의 위치가 제2 비디오 영역 외부에 있는 경우에, 샘플은 이용 불가능한 것으로서 표시되고 변환에서 사용되지 않는, 방법.
다음 해결책들은 이전 섹션에 나열된 항목들(예를 들면, 항목 3)에서 설명된 추가적인 기술들과 함께 구현될 수 있다.
7. 비디오 프로세싱 방법으로서, 비디오의 제1 비디오 영역 내의 비디오 블록에 대해, 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 변환을 위한 재구성된 루마 샘플 값이 페치되는 위치가 제2 비디오 영역 내에 있는지 여부를 결정하는 단계; 및 결정에 기초하여 변환을 수행하는 단계를 포함하는, 방법.
8. 해결책 7의 방법으로서, 루마 샘플은 제1 영역 및 제2 영역에 의해 커버되는, 방법.
9. 해결책 7 또는 해결책 8의 방법으로서, 루마 샘플의 위치가 제2 비디오 영역 외부에 있는 경우에, 루마 샘플은 이용 불가능한 것으로서 표시되고 변환에서 사용되지 않는, 방법.
다음 해결책들은 이전 섹션에 나열된 항목들(예를 들면, 항목 4)에서 설명된 추가적인 기술들과 함께 구현될 수 있다.
10. 비디오 프로세싱 방법으로서, 비디오의 제1 비디오 영역 내의 비디오 블록에 대해, 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 변환 동안 비디오 블록에 대한 분할, 깊이 도출 또는 분할 플래그 시그널링에 관한 검사가 수행되는 위치가 제2 비디오 영역 내에 있는지 여부를 결정하는 단계; 및 결정에 기초하여 변환을 수행하는 단계를 포함하는, 방법.
11. 해결책 10의 방법으로서, 그 위치는 제1 영역 및 제2 영역에 의해 커버되는, 방법.
12. 해결책 10 또는 해결책 11의 방법으로서, 그 위치가 제2 비디오 영역 외부에 있는 경우에, 루마 샘플은 이용 불가능한 것으로서 표시되고 변환에서 사용되지 않는, 방법.
다음 해결책들은 이전 섹션에 나열된 항목들(예를 들면, 항목 8)에서 설명된 추가적인 기술들과 함께 구현될 수 있다.
13. 비디오 프로세싱 방법으로서, 하나 이상의 비디오 블록을 포함하는 하나 이상의 비디오 픽처를 포함하는 비디오와 비디오의 코딩된 표현 사이의 변환을 수행하는 단계를 포함하며, 코딩된 표현은 변환이 비디오 유닛 내에서 서브픽처 코딩/디코딩 및 동적 해상도 변환 코딩/디코딩 툴 또는 참조 픽처 리샘플링 툴을 사용하지 않아야 한다는 코딩 신택스 요구사항을 준수하는, 방법.
14. 해결책 13의 방법으로서, 비디오 유닛은 하나 이상의 비디오 픽처의 시퀀스에 대응하는, 방법.
15. 해결책 13 또는 해결책 14의 방법으로서, 동적 해상도 변환 코딩/디코딩 툴은 적응적 해상도 변환 코딩/디코딩 툴을 포함하는, 방법.
16. 해결책 13 또는 해결책 14의 방법으로서, 동적 해상도 변환 코딩/디코딩 툴은 동적 해상도 변환 코딩/디코딩 툴을 포함하는, 방법.
17. 해결책 13 내지 해결책 16 중 어느 한 해결책의 방법으로서, 코딩된 표현은 비디오 유닛이 코딩 신택스 요구사항을 준수한다는 것을 표시하는, 방법.
18. 해결책 17의 방법으로서, 코딩된 표현은 비디오 유닛이 서브픽처 코딩을 사용한다는 것을 표시하는, 방법.
19. 해결책 17의 방법으로서, 코딩된 표현은 비디오 유닛이 동적 해상도 변환 코딩/디코딩 툴 또는 참조 픽처 리샘플링 툴을 사용한다는 것을 표시하는, 방법.
다음 해결책들은 이전 섹션에 나열된 항목들(예를 들면, 항목 10)에서 설명된 추가적인 기술들과 함께 구현될 수 있다.
20. 해결책 1 내지 해결책 19 중 어느 한 해결책의 방법으로서, 제2 비디오 영역은 비디오 서브픽처를 포함하고, 제2 비디오 영역과 다른 비디오 영역의 경계들은 또한 2 개의 코딩 트리 유닛 사이의 경계인, 방법.
21. 해결책 1 내지 해결책 19 중 어느 한 해결책의 방법으로서, 제2 비디오 영역은 비디오 서브픽처를 포함하고, 제2 비디오 영역과 다른 비디오 영역의 경계들은 또한 2 개의 코딩 트리 유닛 사이의 경계인, 방법.
다음 해결책들은 이전 섹션에 나열된 항목들(예를 들면, 항목 11)에서 설명된 추가적인 기술들과 함께 구현될 수 있다.
22. 해결책 1 내지 해결책 21 중 어느 한 해결책의 방법으로서, 제1 비디오 영역 및 제2 비디오 영역은 직사각형 형상들을 갖는, 방법.
다음 해결책들은 이전 섹션에 나열된 항목들(예를 들면, 항목 12)에서 설명된 추가적인 기술들과 함께 구현될 수 있다.
23. 해결책 1 내지 해결책 22 중 어느 한 해결책의 방법으로서, 제1 비디오 영역과 제2 비디오 영역은 중첩하지 않는, 방법.
다음 해결책들은 이전 섹션에 나열된 항목들(예를 들면, 항목 13)에서 설명된 추가적인 기술들과 함께 구현될 수 있다.
24. 해결책 1 내지 해결책 23 중 어느 한 해결책의 방법으로서, 비디오 픽처 내의 픽셀이 단 하나의 비디오 영역에 의해 커버되도록 비디오 픽처가 비디오 영역들로 분할되는, 방법.
다음 해결책들은 이전 섹션에 나열된 항목들(예를 들면, 항목 15)에서 설명된 추가적인 기술들과 함께 구현될 수 있다.
25. 해결책 1 내지 해결책 24 중 어느 한 해결책의 방법으로서, 비디오 픽처가 비디오 시퀀스의 특정 계층에 있는 것으로 인해 비디오 픽처가 제1 비디오 영역 및 제2 비디오 영역으로 분할되는, 방법.
다음 해결책들은 이전 섹션에 나열된 항목들(예를 들면, 항목 10)에서 설명된 추가적인 기술들과 함께 구현될 수 있다.
26. 비디오 프로세싱 방법으로서, 하나 이상의 비디오 블록을 포함하는 하나 이상의 비디오 픽처를 포함하는 비디오와 비디오의 코딩된 표현 사이의 변환을 수행하는 단계를 포함하며, 코딩된 표현은 제1 신택스 요소 subpic_grid_idx[i][j]가 제2 신택스 요소 max_subpics_minus1보다 크지 않아야 한다는 코딩 신택스 요구사항을 준수하는, 방법.
27. 해결책 26의 방법으로서, 제1 신택스 요소를 나타내는 코드워드는 제2 신택스 요소를 나타내는 코드워드보다 크지 않은, 방법.
28. 해결책 1 내지 해결책 27 중 어느 한 해결책의 방법으로서, 제1 비디오 영역은 비디오 서브픽처를 포함하는, 방법.
29. 해결책 1 내지 해결책 28 중 어느 한 해결책의 방법으로서, 제2 비디오 영역은 비디오 서브픽처를 포함하는, 방법.
30. 해결책 1 내지 해결책 29 중 어느 한 해결책의 방법으로서, 변환은 비디오를 코딩된 표현으로 인코딩하는 것을 포함하는, 방법.
31. 해결책 1 내지 해결책 29 중 어느 한 해결책의 방법으로서, 변환은 코딩된 표현을 디코딩하여 비디오의 픽셀 값들을 생성하는 것을 포함하는, 방법.
32. 해결책 1 내지 해결책 31 중 하나 이상에 기재된 방법을 구현하도록 구성된 프로세서를 포함하는 비디오 디코딩 장치.
33. 해결책 1 내지 해결책 31 중 하나 이상에 기재된 방법을 구현하도록 구성된 프로세서를 포함하는 비디오 인코딩 장치.
34. 컴퓨터 코드가 저장되어 있는 컴퓨터 프로그램 제품으로서, 코드는, 프로세서에 의해 실행될 때, 프로세서로 하여금 해결책 1 내지 해결책 31 중 어느 한 해결책에 기재된 방법을 구현하게 하는, 컴퓨터 프로그램 제품.
35. 본 문서에 설명된 방법, 장치 또는 시스템.
도 5는 본 명세서에 개시된 다양한 기술들이 구현될 수 있는 예시적인 비디오 프로세싱 시스템(500)을 도시하는 블록 다이어그램이다. 다양한 구현들은 시스템(500)의 컴포넌트들의 일부 또는 전부를 포함할 수 있다. 시스템(500)은 비디오 콘텐츠를 수신하기 위한 입력(502)을 포함할 수 있다. 비디오 콘텐츠는 원시 또는 압축되지 않은 포맷, 예를 들면, 8 또는 10 비트 다중 성분 픽셀 값들로 수신될 수 있거나, 또는 압축된 또는 인코딩된 포맷으로 되어 있을 수 있다. 입력(502)은 네트워크 인터페이스, 주변기기 버스 인터페이스, 또는 스토리지 인터페이스를 나타낼 수 있다. 네트워크 인터페이스의 예들은 이더넷, PON(passive optical network) 등과 같은 유선 인터페이스들 및 Wi-Fi 또는 셀룰러 인터페이스들과 같은 무선 인터페이스들을 포함한다.
시스템(500)은 본 문서에 설명된 다양한 코딩 또는 인코딩 방법들을 구현할 수 있는 코딩 컴포넌트(504)를 포함할 수 있다. 코딩 컴포넌트(504)는 비디오의 코딩된 표현을 생성하기 위해 입력(502)으로부터 코딩 컴포넌트(504)의 출력으로의 비디오의 평균 비트레이트를 감소시킬 수 있다. 따라서 코딩 기술들은 때때로 비디오 압축 또는 비디오 트랜스코딩 기술들이라고 불린다. 코딩 컴포넌트(504)의 출력은 저장되거나, 컴포넌트(506)에 의해 표현된 바와 같은, 연결된 통신을 통해 전송될 수 있다. 입력(502)에 수신되는 비디오의 저장되거나 통신되는 비트스트림 표현(또는 코딩된 표현)은 디스플레이 인터페이스(510)로 송신되는 픽셀 값들 또는 디스플레이 가능한 비디오를 생성하기 위해 컴포넌트(508)에 의해 사용될 수 있다. 비트스트림 표현으로부터 사용자가 볼 수 있는 비디오를 생성하는 프로세스는 때때로 비디오 압축 해제라고 불린다. 게다가, 특정 비디오 프로세싱 동작들이 "코딩" 동작들 또는 툴들이라고 지칭되지만, 코딩 툴들 또는 동작들이 인코더에서 사용되고 코딩의 결과들을 반대로 하는 대응하는 디코딩 툴들 또는 동작들은 디코더에 의해 수행될 것임이 이해될 것이다.
주변기기 버스 인터페이스 또는 디스플레이 인터페이스의 예들은 USB(universal serial bus) 또는 HDMI(high definition multimedia interface) 또는 Displayport 등을 포함할 수 있다. 스토리지 인터페이스들의 예들은 SATA(serial advanced technology attachment), PCI, IDE 인터페이스 등을 포함한다. 본 문서에서 설명되는 기술들은 디지털 데이터 프로세싱 및/또는 비디오 디스플레이를 수행할 수 있는 모바일 폰들, 랩톱들, 스마트폰들 또는 다른 디바이스들과 같은 다양한 전자 디바이스들에서 구체화될 수 있다.
도 6은 본 기술에 따른 비디오 프로세싱 방법(600)의 플로차트 표현이다. 방법(600)은, 동작(610)에서, 비디오의 제1 픽처의 현재 블록과 비디오의 비트스트림 표현 사이의 변환을 위해, 규칙에 따라 제2 픽처로부터의 모션 정보에 기초하여 모션 후보를 결정하는 단계를 포함한다. 규칙은 모션 정보가 액세스되는 위치가 제2 픽처의 특정 서브픽처 내에 있도록 제약된다는 것을 지정한다. 방법(600)은, 동작(620)에서, 결정에 기초하여 변환을 수행하는 단계를 또한 포함한다.
일부 실시예들에서, 모션 정보는 모션 벡터를 포함하고 모션 후보는 아핀 모션 후보를 포함한다. 일부 실시예들에서, 규칙은 제1 위치가 특정 서브픽처 외부에 있는 경우에 상기 위치가 제1 위치에 대한 대체물로서 사용된다는 것을 지정한다. 일부 실시예들에서, 상기 위치는 현재 블록에 대응하는 비디오 픽처 내의 블록의 우측 하단 코너에 있다.
도 7은 본 기술에 따른 비디오 프로세싱 방법(700)의 플로차트 표현이다. 방법(700)은, 동작(710)에서, 비디오의 제1 픽처의 현재 블록과 비디오의 비트스트림 표현 사이의 변환을 위해, 규칙에 따라 제2 픽처로부터의 정수 샘플을 결정하는 단계를 포함한다. 제2 픽처는 보간 프로세스에서 사용되지 않는 참조 픽처를 포함한다. 규칙은 정수 샘플이 액세스되는 위치가 제2 픽처의 특정 서브픽처 내에 있도록 제약된다는 것을 지정한다. 방법(700)은, 동작(720)에서, 결정에 기초하여 변환을 수행하는 단계를 또한 포함한다. 일부 실시예들에서, 정수 샘플은 양방향 광학 흐름 또는 예측 개선 광학 흐름 프로세스에서 하나 이상의 구배를 생성하는 데 사용된다.
도 8은 본 기술에 따른 비디오 프로세싱 방법(800)의 플로차트 표현이다. 방법(800)은, 동작(810)에서, 비디오의 현재 블록과 비디오의 비트스트림 표현 사이의 변환을 위해, 규칙에 따라 재구성된 루마 샘플이 액세스되는 위치를 결정하는 단계를 포함한다. 규칙은 그 위치가 비디오 픽처의 특정 서브픽처 내에 있도록 제약된다는 것을 지정한다. 방법(800)은, 동작(820)에서, 결정에 기초하여 변환을 수행하는 단계를 또한 포함한다. 일부 실시예들에서, 재구성된 루마 샘플은 루마 매핑 크로마 스케일링 프로세스에서 크로마 성분에 대한 스케일링 인자를 도출하기 위해 액세스된다.
도 9는 본 기술에 따른 비디오 프로세싱 방법(900)의 플로차트 표현이다. 방법(900)은, 동작(910)에서, 비디오의 현재 블록과 비디오의 비트스트림 표현 사이의 변환을 위해, 규칙에 따라 픽처 경계 검사가 수행되는 위치를 결정하는 단계를 포함한다. 규칙은 그 위치가 비디오 픽처의 특정 서브픽처 내에 있도록 제약된다는 것을 지정한다. 방법(900)은, 동작(920)에서, 결정에 기초하여 변환을 수행하는 단계를 또한 포함한다.
일부 실시예들에서, 픽처 경계 검사는 (1) 이진 트리, 삼진 트리 또는 쿼드 트리의 분할, (2) 이진 트리, 삼진 트리 또는 쿼드 트리에 대한 깊이 도출, 또는 (3) 현재 블록에 대한 분할 플래그의 시그널링 중 적어도 하나를 위해 수행된다. 일부 실시예들에서, 특정 서브픽처는 현재 블록을 커버하는 동일 위치 서브픽처이다.
일부 실시예들에서, 규칙은 그 위치가 특정 서브픽처 외부에 있는 경우에 그 위치에서의 정보가 이용 불가능한 것으로서 취급된다는 것을 지정한다. 그 위치는 (x, y)로서 표현되고, 특정 서브픽처의 좌측 상단 코너는 (xTL, yTL)로서 표현되며, 특정 서브픽처의 우측 하단 코너는 (xBR, yBR)로서 표현된다. 일부 실시예들에서, x > xBR, y > yBR, x < xTL, 또는 y < yTL인 경우에 그 위치는 특정 서브픽처 외부에 있다. 일부 실시예들에서, 규칙은 그 위치가 비디오 픽처의 특정 서브픽처 내에 있도록 클리핑된다는 것을 지정한다. 그 위치는 (x, y)로서 표현되고, 특정 서브픽처의 좌측 상단 코너는 (xTL, yTL)로서 표현되며, 특정 서브픽처의 우측 하단 코너는 (xBR, yBR)로서 표현된다. 일부 실시예들에서, x는 x 및 xBR 중 작은 쪽 값으로 클리핑된다. 일부 실시예들에서, y는 y 및 yBR 중 작은 쪽 값으로 클리핑된다. 일부 실시예들에서, x는 x 및 xTL 중 큰 쪽 값으로 클리핑된다. 일부 실시예들에서, y는 y 및 yTL 중 큰 쪽 값으로 클리핑된다.
일부 실시예들에서, 규칙이 적용 가능한지 여부는 비트스트림 표현 내의 신택스 요소에 기초한다. 일부 실시예들에서, 신택스 요소는 비디오 파라미터 세트, 의존성 파라미터 세트, 슬라이스 파라미터 세트, 픽처 파라미터 세트, 활성 파라미터 세트, 슬라이스 헤더, 또는 타일 그룹 헤더에서 시그널링된다. 일부 실시예들에서, 신택스 요소는 subpic_treated_as_pic_flag[SubPicIdx]를 포함하고, 여기서 SubPicIdx는 현재 블록을 커버하는 특정 서브픽처의 서브픽처 인덱스이다.
일부 실시예들에서, 변환은 비트스트림 표현으로부터 현재 블록을 생성한다. 일부 실시예들에서, 변환은 현재 블록으로부터 비트스트림 표현을 생성한다.
도 10은 본 기술에 따른 비디오 프로세싱 방법(1000)의 플로차트 표현이다. 방법(1000)은, 동작(1010)에서, 비디오의 비디오 픽처의 서브픽처와 비디오의 비트스트림 표현 사이의 변환 후에, 과거 변환들에 기초하여 도출되는 모션 후보들의 테이블을 리셋하는 단계를 포함한다. 방법(1000)은, 동작(1020)에서, 리셋 이후에 테이블을 사용하여 비디오 픽처의 후속 서브픽처와 비트스트림 표현 사이의 변환을 수행하는 단계를 또한 포함한다.
일부 실시예들에서, 모션 후보들의 테이블은 인트라 블록 코딩 모드에 대한 모션 후보들을 포함한다. 일부 실시예들에서, 모션 후보들의 테이블은 인터 코딩 모드에 대한 모션 후보들을 포함한다. 일부 실시예들에서, 모션 후보들의 테이블은 인트라 코딩 모드에 대한 모션 후보들을 포함한다.
일부 실시예들에서, 변환은 비트스트림 표현으로부터 서브픽처 또는 후속 서브픽처를 생성한다. 일부 실시예들에서, 변환은 서브픽처 또는 후속 서브픽처로부터 비트스트림 표현을 생성한다.
도 11은 본 기술에 따른 비디오 프로세싱 방법(1100)의 플로차트 표현이다. 방법(1100)은, 동작(1110)에서, 규칙에 따라 다수의 서브픽처들 및 다수의 비디오 블록들을 포함하는 비디오 픽처를 포함하는 비디오와 비디오의 코딩된 표현 사이의 변환을 수행하는 단계를 포함한다. 규칙은 임의의 2 개의 서브픽처 사이의 경계가 또한 2 개의 비디오 블록 사이의 경계라는 것을 지정한다. 비디오 픽처 내의 비디오 블록은 비디오 픽처의 단일 서브픽처에 의해 커버된다.
일부 실시예들에서, 비디오 픽처 내의 임의의 위치는 비디오 픽처의 기껏해야 하나의 서브픽처에 의해 커버된다. 일부 실시예들에서, 비디오 픽처 내의 위치는 비디오 픽처의 어떤 서브픽처에 의해서도 커버되지 않는다. 일부 실시예들에서, 비디오 픽처의 2 개의 서브픽처는 중첩 영역을 갖지 않는다.
일부 실시예들에서, 비디오 픽처의 서브픽처의 치수는 비디오 블록의 치수에 기초하여 결정된다. 일부 실시예들에서, 서브픽처는 다수의 요소들을 포함한다. 서브픽처 내의 요소의 폭을 나타내는 신택스 요소는 N 개의 샘플로서 표현되며, N 개의 샘플에 기초하여 서브픽처의 폭이 결정된다. 일부 실시예들에서, 비디오 블록의 폭은 N 개의 샘플을 포함한다.
일부 실시예들에서, 서브픽처는 다수의 요소들을 포함한다. 서브픽처 내의 요소의 높이를 나타내는 신택스 요소는 N 개의 샘플로서 표현되며, N 개의 샘플에 기초하여 서브픽처의 높이가 결정된다. 일부 실시예들에서, 비디오 블록의 높이는 N 개의 샘플을 포함한다.
일부 실시예들에서, 비디오 블록은 코딩 트리 블록(CTB) 또는 코딩 트리 유닛(CTU)이다. 일부 실시예들에서, 서브픽처는 직사각형 형상을 갖는다. 일부 실시예들에서, 서브픽처는 직사각형 슬라이스들을 포함한다. 일부 실시예들에서, 서브픽처는 비디오의 선택된 하나 이상의 계층에만 적용 가능하다. 일부 실시예들에서, 서브픽처는 비트스트림 표현 내의 시퀀스 파라미터 세트에 정의되어 있고, 서브픽처는 대응하는 시퀀스에서 최고 해상도를 갖는 계층에 적용 가능하다. 일부 실시예들에서, 서브픽처는 비트스트림 표현 내의 시퀀스 파라미터 세트에 정의되어 있고, 서브픽처는 대응하는 시퀀스에서 최저 해상도를 갖는 계층에 적용 가능하다. 일부 실시예들에서, 서브픽처가 적용가능한 선택된 하나 이상의 계층은 비트스트림 표현 내의 하나 이상의 신택스 요소에서 시그널링된다. 일부 실시예들에서, 서브픽처가 적용 불가능한 하나 이상의 계층은 비트스트림 표현 내의 하나 이상의 신택스 요소에서 시그널링된다. 일부 실시예들에서, 하나 이상의 신택스 요소는 비트스트림 표현 내의 시퀀스 파라미터 세트, 비디오 파라미터 세트, 또는 픽처 파라미터 세트에서 시그널링된다.
도 12는 본 기술에 따른 비디오 프로세싱 방법(1200)의 플로차트 표현이다. 방법(1200)은, 동작(1210)에서, 적어도 비디오 픽처를 사용하여 비디오의 비디오 유닛과 비디오의 코딩된 표현 사이의 변환을 수행하는 단계를 포함하며, 여기서 서브픽처 코딩 모드 또는 해상도 변경 코딩 모드 중 하나만이 비디오 유닛에 대해 인에이블된다. 서브픽처 코딩 모드는 비디오 픽처가 다수의 서브픽처들로 분할되는 모드이고, 해상도 변경 코딩 모드는 변환 동안 비디오 픽처의 해상도가 조정되는 모드이다.
일부 실시예들에서, 비디오 픽처는 현재 픽처 또는 참조 픽처를 포함한다. 일부 실시예들에서, 해상도 변경 코딩 모드는 참조 픽처 리샘플링(PRP) 모드를 포함한다. 일부 실시예들에서, 해상도 변경 코딩 모드는 동적 해상도 변환(DRC) 모드를 포함한다. 일부 실시예들에서, 해상도 변경 코딩 모드는 적응적 해상도 변환(ARC) 모드를 포함한다.
일부 실시예들에서, 비디오 유닛은 비디오 시퀀스를 포함한다. 일부 실시예들에서, 해상도 변경 코딩 모드가 허용되지 않는 경우에 서브픽처 코딩 모드가 코딩 유닛에 대해 인에이블된다는 것을 나타내기 위해 신택스 요소가 코딩된 표현에 포함된다. 일부 실시예들에서, 서브픽처 코딩 모드가 인에이블된다는 것을 나타내기 위해 신택스 요소가 코딩된 표현에 포함되는 경우에 해상도 변경 코딩 모드는 허용되지 않는다. 일부 실시예들에서, 신택스 요소는 subpics_present_flag를 포함한다. 일부 실시예들에서, 신택스 요소가 서브픽처 코딩 모드가 인에이블된다는 것을 나타내는 경우에 비디오 픽처의 폭은 비디오 유닛 내의 비디오 픽처들에 대해 허용되는 최대 폭과 동일하도록 설정된다.
도 13은 본 기술에 따른 비디오 프로세싱 방법(1300)의 플로차트 표현이다. 방법(1300)은, 동작(1310)에서, 적어도 비디오 픽처를 사용하여 비디오의 비디오 유닛과 비디오의 코딩된 표현 사이의 변환을 수행하는 단계를 포함하며, 여기서 서브픽처 코딩 모드와 해상도 변경 코딩 모드 양쪽 모두가 비디오 유닛에 대해 인에이블된다. 서브픽처 코딩 모드는 비디오 픽처가 다수의 서브픽처들로 분할되는 모드이고, 해상도 변경 코딩 모드는 변환 동안 비디오 픽처의 해상도가 조정되는 모드이다.
일부 실시예들에서, 비디오 유닛은 비디오 시퀀스를 포함한다. 일부 실시예들에서, 해상도 변경 코딩 모드는 적응적 해상도 변환(ARC) 모드, 동적 해상도 변환(DRC) 모드, 참조 픽처 리샘플링(PRP) 모드를 포함한다.
일부 실시예들에서, 비디오 픽처는, 각각이 W×H의 치수를 갖는, 다수의 비디오 블록들을 포함한다. 해상도 변경 코딩 모드에 따라 조정되는 서브픽처는 K×W의 폭 및 M×H의 높이를 가지며, K와 M은 정수들이다. 일부 실시예들에서, 서브픽처는 비디오 픽처의 경계에 위치하지 않는다. 일부 실시예들에서, 경계는 우측 경계 또는 하단 경계를 포함한다.
일부 실시예들에서, 비디오 픽처는 다수의 비디오 블록들을 포함하고, 개별 비디오 블록들의 치수는 비디오 픽처의 해상도에 기초하여 조정된다. 일부 실시예들에서, 코딩된 표현은 비디오 블록에 대한 최대 치수를 나타내는 신택스 요소를 포함하고, 개별 비디오 블록의 치수는 최대 치수 및 비디오 픽처의 해상도에 기초하여 조정된다. 일부 실시예들에서, 개별 비디오 블록들의 치수는 코딩된 표현 내의 시퀀스 파라미터 세트, 픽처 파라미터 세트에서, 또는 서브픽처 레벨에서 시그널링된다.
도 14는 본 기술에 따른 비디오 프로세싱 방법(1400)의 플로차트 표현이다. 방법(1400)은, 동작(1410)에서, 하나 이상의 비디오 픽처를 포함하는 비디오와 비디오의 코딩된 표현 사이의 변환을 수행하는 단계를 포함하며, 여기서 개별 비디오 픽처의 치수는 8보다 크거나 같도록 제약된다. 일부 실시예들에서, 치수는 개별 비디오 픽처의 폭이다. 일부 실시예들에서, 치수는 개별 비디오 픽처의 높이이다.
도 15는 본 기술에 따른 비디오 프로세싱 방법(1500)의 플로차트 표현이다. 방법(1500)은, 동작(1510)에서, 규칙에 따라 비디오의 비디오 픽처와 비디오의 코딩된 표현 사이의 변환을 수행하는 단계를 포함한다. 비디오 픽처는 적어도 하나의 서브픽처를 포함하고, 규칙은 서브픽처의 특성이 코딩된 표현에 적어도 하나의 신택스 요소로서 표현되고, 적어도 하나의 신택스 요소가 비디오 픽처 내의 서브픽처 그리드의 인덱스 값과 상이하다는 것을 지정한다.
일부 실시예들에서, 특성은 서브픽처의 좌측 상단 위치를 포함한다. 일부 실시예들에서, 특성은 서브픽처의 우측 하단 위치를 포함한다. 일부 실시예들에서, 특성은 서브픽처의 폭을 포함한다. 일부 실시예들에서, 특성은 서브픽처의 높이를 포함한다. 일부 실시예들에서, 비디오 픽처 내의 서브픽처의 인덱스 값은 비디오 픽처 내의 서브픽처들의 최대 수보다 작다. 일부 실시예들에서, [0, 서브픽처들의 최대 수-1]의 범위에 있는 정수 값은 비디오 픽처 내의 서브픽처들의 인덱스 값들과 일대일 대응관계를 갖는다.
도 16은 본 기술에 따른 비디오 프로세싱 방법(1600)의 플로차트 표현이다. 방법(1600)은, 동작(1610)에서, 규칙에 따라 비디오의 비디오 픽처와 비디오의 코딩된 표현 사이의 변환을 수행하는 단계를 포함한다. 비디오 픽처는 다수의 서브픽처들을 포함하고, 각각의 서브픽처는 다수의 요소들을 포함한다. 규칙은 서브픽처 내의 개별 요소들의 치수가 제약을 충족시킨다는 것을 지정한다.
일부 실시예들에서, 제약은 개별 요소의 폭이 T1보다 작다는 것을 지정한다. 일부 실시예들에서, 제약은 개별 요소의 높이가 T2보다 작다는 것을 지정한다. 일부 실시예들에서, 비디오 픽처는 다수의 비디오 블록들을 포함하고, 제약은 개별 요소들의 치수에 기초하여 결정되는 서브픽처가 변환 동안 프로세싱되고 있는 현재 비디오 블록에 의해 커버된다는 것을 지정한다. 일부 실시예들에서, 현재 비디오 블록에 의해 커버되는 서브픽처 외부의 샘플은 변환에 이용 불가능한 것으로 간주된다. 일부 실시예들에서, 제약은 개별 요소들의 치수가 비디오 코딩 표준의 프로필, 레벨, 또는 티어에 기초하여 결정된다는 것을 지정한다. 일부 실시예들에서, 제약은 개별 요소들의 치수가 비디오 픽처의 폭에 기초하여 결정된다는 것을 지정한다. 일부 실시예들에서, 개별 요소들의 폭은 pic_width_max_in_luma_samples/4+offset과 동일하며, 여기서 pic_width_max_in_luma_samples는 루마 샘플 단위의 최대 픽처 폭을 나타내고 offset은 0 또는 0이 아닌 정수이다. 일부 실시예들에서, 제약은 개별 요소들의 치수가 비디오 픽처의 높이에 기초하여 결정된다는 것을 지정한다. 일부 실시예들에서, 개별 요소들의 높이는 pic_height_max_in_luma_samples/4+offset과 동일하며, 여기서 pic_height_max_in_luma_samples는 루마 샘플 단위의 최대 픽처 높이를 나타내고 offset은 0 또는 0이 아닌 정수이다.
일부 실시예들에서, 변환은 비트스트림 표현으로부터 비디오 픽처를 생성한다. 일부 실시예들에서, 변환은 비디오 픽처로부터 비트스트림 표현을 생성한다.
도 17은 본 기술에 따른 비디오 프로세싱 방법(1700)의 플로차트 표현이다. 방법(1700)은, 동작(1710)에서, 규칙에 따라 코딩 모드를 사용하여 다수의 서브픽처들을 포함하는 픽처를 포함하는 비디오와 비디오의 코딩된 표현 사이의 변환을 수행하는 단계를 포함한다. 규칙은 이전 서브픽처에 관한 특정 저장된 정보가 다수의 서브픽처들의 각각의 다음 서브픽처를 프로세싱하기 전에 리셋된다는 것을 지정한다.
일부 실시예들에서, 특정 저장된 정보는 비디오 픽처 내의 현재 블록이 비디오 픽처로부터의 샘플들로 코딩되는 인트라 블록 복사 코딩 모드에 사용되는 가상 버퍼를 포함한다. 일부 실시예들에서, 특정 저장된 정보는 비디오 픽처 내의 현재 블록이 대표 샘플 값들의 팔레트를 사용하여 코딩되는 팔레트 코딩 모드에 사용되는 엔트리들의 리스트를 포함한다.
도 18은 본 기술에 따른 비디오 프로세싱 방법(1800)의 플로차트 표현이다. 방법(1800)은, 동작(1810)에서, 규칙에 따라 비디오와 비디오의 코딩된 표현 사이의 변환에서 시간 필터링 동작을 수행하는 단계를 포함한다. 비디오는, 각각이 다수의 서브픽처들을 포함하는, 다수의 비디오 픽처들을 포함한다. 규칙은, 비디오 픽처의 현재 서브픽처 내의 현재 샘플의 시간 필터링을 위해, 동일한 현재 서브픽처 또는 현재 서브픽처에 대응하는 상이한 비디오 픽처 내의 서브픽처 내의 샘플들만이 이용 가능하다는 것을 지정한다.
도 19는 본 기술에 따른 비디오 프로세싱 방법(1900)의 플로차트 표현이다. 방법(1900)은, 동작(1910)에서, 비디오의 비디오 픽처 내의 블록과 비디오의 코딩된 표현 사이의 변환을 위해, 블록이 비디오 픽처의 하나 이상의 서브픽처 경계와 교차하는지 여부에 기초하여 블록에 분할 방법을 적용하는 방식을 결정하는 단계를 포함한다. 방법(1900)은, 동작(1920)에서, 결정에 기초하여 변환을 수행하는 단계를 또한 포함한다.
일부 실시예들에서, 분할 방법은 쿼드 트리 분할 방법, 수평 이진 트리 분할 방법, 수직 이진 트리 분할 방법, 수평 삼진 트리 분할 방법, 수직 삼진 트리 분할 방법, 또는 분할 없음(no-splitting) 방법 중 적어도 하나를 포함한다. 일부 실시예들에서, 그 방식은 경계 처리 방법이 블록에 적용 가능한지 여부를 더 지정한다. 일부 실시예들에서, 이 방법은 블록이 비디오 픽처의 서브픽처의 하나 이상의 경계에 걸쳐 위치하는지 여부에 기초하여 분할 방법을 나타내는 코딩된 표현 내의 신택스 요소를 프로세싱하는 방식을 결정하는 단계를 포함한다.
도 20은 본 기술에 따른 비디오 프로세싱 방법(2000)의 플로차트 표현이다. 방법(2000)은, 동작(2010)에서, 비디오의 비디오 픽처와 비디오의 코딩된 표현 사이의 변환을 위해, 비디오 픽처의 2 개의 서브영역을 결정하는 단계를 포함한다. 제1 서브영역은 비디오 픽처의 다수의 서브픽처들을 포함하고 제2 서브영역은 비디오 픽처 내의 나머지 샘플들을 포함한다. 방법(2000)은, 동작(2020)에서, 결정에 기초하여 변환을 수행하는 단계를 또한 포함한다.
일부 실시예들에서, 제2 서브영역 내의 샘플은 비디오 픽처의 어떤 서브픽처에도 위치하지 않는다. 일부 실시예들에서, 제2 서브영역은 제1 서브영역에 관한 정보에 기초하여 변환을 위해 프로세싱된다. 일부 실시예들에서, 비디오 픽처의 샘플 또는 영역이 제2 서브영역 내에 위치하는지 여부를 나타내기 위해 디폴트 값이 변환에서 사용된다. 일부 실시예들에서, 디폴트 값은 (max_subpics_minus1 + K)로 설정되고, 여기서 max_subpics_minus1은 비디오 픽처 내의 서브픽처들의 최대 수를 나타내고, K는 1보다 큰 정수이다. 일부 실시예들에서, 디폴트 값은 비디오 픽처 내의 서브픽처들을 나타내는 인덱스 값들의 어레이 내의 각각의 요소에 할당된다.
일부 실시예들에서, 변환은 코딩된 표현으로부터 비디오를 생성한다. 일부 실시예들에서, 변환은 비디오로부터 코딩된 표현을 생성한다.
개시된 기술의 일부 실시예들은 비디오 프로세싱 툴 또는 모드를 인에이블시키기로 의사 결정하거나 결정하는 것을 포함한다. 예에서, 비디오 프로세싱 툴 또는 모드가 인에이블될 때, 인코더는 비디오 블록의 프로세싱에서 툴 또는 모드를 사용하거나 구현할 것이지만, 툴 또는 모드의 사용에 기초하여 결과적인 비트스트림을 반드시 수정하는 것은 아닐 수 있다. 즉, 비디오 블록으로부터 비디오의 비트스트림 표현으로의 변환은 의사 결정 또는 결정에 기초하여 비디오 프로세싱 툴 또는 모드가 인에이블될 때 이를 사용할 것이다. 다른 예에서, 비디오 프로세싱 툴 또는 모드가 인에이블될 때, 디코더는 비디오 프로세싱 툴 또는 모드에 기초하여 비트스트림이 수정되었다는 지식을 사용하여 비트스트림을 프로세싱할 것이다. 즉, 비디오의 비트스트림 표현으로부터 비디오 블록으로의 변환은 의사 결정 또는 결정에 기초하여 인에이블된 비디오 프로세싱 툴 또는 모드를 사용하여 수행될 것이다.
개시된 기술의 일부 실시예들은 비디오 프로세싱 툴 또는 모드를 디스에이블시키도록 의사 결정하거나 결정하는 것을 포함한다. 예에서, 비디오 프로세싱 툴 또는 모드가 디스에이블될 때, 인코더는 비디오 블록을 비디오의 비트스트림 표현으로 변환하는 데 툴 또는 모드를 사용하지 않을 것이다. 다른 예에서, 비디오 프로세싱 툴 또는 모드가 디스에이블될 때, 디코더는 의사 결정 또는 결정에 기초하여 인에이블된 비디오 프로세싱 툴 또는 모드를 사용하여 비트스트림이 수정되지 않았다는 지식을 사용하여 비트스트림을 프로세싱할 것이다.
본 문서에 설명된 개시된 및 다른 해결책들, 예들, 실시예들, 모듈들 및 기능 동작들은 디지털 전자 회로로, 또는 본 문서에 개시된 구조 및 그의 구조적 등가물을 포함한, 컴퓨터 소프트웨어, 펌웨어, 또는 하드웨어로, 또는 이들 중 하나 이상의 조합으로 구현될 수 있다. 개시된 및 다른 실시예들은 하나 이상의 컴퓨터 프로그램 제품으로서, 예를 들면, 데이터 프로세싱 장치에 의해 실행하기 위해 또는 데이터 프로세싱 장치의 동작을 제어하기 위해 컴퓨터 판독 가능 매체에 인코딩된 컴퓨터 프로그램 명령어들의 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터 판독 가능 매체는 머신 판독 가능 저장 디바이스, 머신 판독 가능 저장 기판, 메모리 디바이스, 머신 판독 가능 전파 신호를 실현하는 조성물(composition of matter), 또는 이들 중 하나 이상의 조합일 수 있다. “데이터 프로세싱 장치"라는 용어는, 예로서, 프로그래밍 가능 프로세서, 컴퓨터, 또는 다수의 프로세서들 또는 컴퓨터들을 포함한, 데이터를 프로세싱하기 위한 모든 장치들, 디바이스들, 및 머신들을 포괄한다. 장치들은, 하드웨어 외에도, 문제의 컴퓨터 프로그램을 위한 실행 환경을 생성하는 코드, 예를 들면, 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제, 또는 이들 중 하나 이상의 조합을 구성하는 코드를 포함할 수 있다. 전파 신호는 인공적으로 생성된 신호, 예를 들면, 적합한 수신기 장치로 전송하기 위한 정보를 인코딩하기 위해 생성되는 머신 생성(machine-generated) 전기, 광학, 또는 전자기 신호이다.
컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트 또는 코드라고도 알려짐)은, 컴파일되는(compiled) 또는 인터프리트되는(interpreted) 언어들을 포함하여, 임의의 형태의 프로그래밍 언어로 작성될 수 있고, 독립형 프로그램(stand-alone program)으로서 또는 모듈, 컴포넌트, 서브루틴 또는 컴퓨팅 환경에서 사용하기에 적합한 다른 유닛으로서를 포함하여, 임의의 형태로 배포(deploy)될 수 있다. 컴퓨터 프로그램이 파일 시스템에서의 파일에 반드시 대응하는 것은 아니다. 프로그램은 다른 프로그램들 또는 데이터(예를 들면, 마크업 언어 문서에 저장된 하나 이상의 스크립트)를 보유하는 파일의 일 부분에, 문제의 프로그램에 전용된 단일 파일에, 또는 다수의 통합 파일들(coordinated files)(예를 들면, 하나 이상의 모듈, 서브 프로그램(sub program), 또는 코드 부분(portion of code)을 저장하는 파일들)에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 상에서 또는 하나의 사이트에 위치하거나 다수의 사이트들에 걸쳐 분산되고 통신 네트워크에 의해 상호연결되는 다수의 컴퓨터들 상에서 실행되도록 배포될 수 있다.
본 문서에 설명된 프로세스들 및 논리 흐름들은 입력 데이터에 대해 작동하여 출력을 생성하는 것에 의해 기능들을 수행하기 위해 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그래밍 가능 프로세서에 의해 수행될 수 있다. 프로세스들 및 논리 흐름들이 또한 특수 목적 로직 회로, 예를 들면, FPGA(field programmable gate array) 또는 ASIC(application specific integrated circuit)에 의해 수행될 수 있고, 장치들이 또한 이들로서 구현될 수 있다.
컴퓨터 프로그램의 실행에 적합한 프로세서들은, 예로서, 범용 및 특수 목적 마이크로프로세서들 양쪽 모두, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서를 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 양쪽 모두로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 필수 요소들은 명령어들을 수행하기 위한 프로세서 및 명령어들과 데이터를 저장하기 위한 하나 이상의 메모리 디바이스이다. 일반적으로, 컴퓨터는 또한 데이터를 저장하기 위한 하나 이상의 대용량 저장 디바이스, 예를 들면, 자기, 자기 광학 디스크들, 또는 광학 디스크들을 포함할 것이거나, 또는 이들로부터 데이터를 수신하거나 이들로 데이터를 전송하도록 작동 가능하게 결합될 것이거나, 또는 양쪽 모두일 것이다. 그렇지만, 컴퓨터가 그러한 디바이스들을 가질 필요는 없다. 컴퓨터 프로그램 명령어들과 데이터를 저장하기에 적합한 컴퓨터 판독 가능 매체는, 예로서, 반도체 메모리 디바이스들, 예를 들면, EPROM, EEPROM, 및 플래시 메모리 디바이스들; 자기 디스크들, 예를 들면, 내장형 하드 디스크들 또는 이동식 디스크들; 자기 광학 디스크들; 및 CD ROM과 DVD-ROM 디스크들을 포함한, 모든 형태들의 비휘발성 메모리, 매체 및 메모리 디바이스들을 포함한다. 프로세서 및 메모리는 특수 목적 로직 회로에 의해 보완되거나 그에 통합될 수 있다.
본 특허 문서가 많은 구체적 사항들을 포함하지만, 이들은 임의의 주제의 범위 또는 청구될 수 있는 것의 범위에 대한 제한으로서 해석되어서는 안 되며, 오히려 특정 기술들의 특정의 실시예들에 특정적일 수 있는 특징들에 대한 설명으로서 해석되어야 한다. 개별 실시예들의 맥락에서 본 특허 문서에 설명되는 특정 특징들이 또한 단일 실시예에서 조합하여 구현될 수 있다. 이와 달리, 단일 실시예의 맥락에서 설명되는 다양한 특징들이 또한 다수의 실시예들에서 개별적으로 또는 임의의 적합한 하위 조합으로 구현될 수 있다. 더욱이, 특징들이 특정 조합들로 기능하는 것으로 위에서 설명되고 심지어 처음에 그 자체로서 청구될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징이 일부 경우에 그 조합으로부터 제거될 수 있고, 청구된 조합은 하위 조합 또는 하위 조합의 변형에 관한 것일 수 있다.
유사하게, 동작들이 도면에서 특정의 순서로 묘사되지만, 이것은, 바람직한 결과들을 달성하기 위해, 그러한 동작들이 도시된 특정의 순서로 또는 순차적 순서로 수행되어야 하거나, 모든 예시된 동작들이 수행되어야 하는 것을 요구하는 것으로 이해되어서는 안 된다. 더욱이, 본 특허 문서에 설명된 실시예들에서 다양한 시스템 컴포넌트들의 분리가 모든 실시예들에서 그러한 분리를 요구하는 것으로서 이해되어서는 안 된다.
단지 몇 가지 구현들 및 예들이 설명되고 다른 구현들, 향상들 및 변형들이 이 특허 문서에 설명되고 예시된 것에 기초하여 이루어질 수 있다.

Claims (18)

  1. 비디오 프로세싱 방법으로서,
    규칙에 따라 코딩 모드를 사용하여 다수의 서브픽처들을 포함하는 픽처를 포함하는 비디오와 상기 비디오의 코딩된 표현 사이의 변환을 수행하는 단계
    를 포함하며,
    상기 규칙은 이전 서브픽처에 관한 특정 저장된 정보가 상기 다수의 서브픽처들의 각각의 다음 서브픽처를 프로세싱하기 전에 리셋된다는 것을 지정하는, 방법.
  2. 제1항에 있어서, 상기 특정 저장된 정보는 상기 비디오 픽처 내의 현재 블록이 상기 비디오 픽처로부터의 샘플들로 코딩되는 인트라 블록 복사 코딩 모드에 사용되는 가상 버퍼를 포함하는, 방법.
  3. 제1항에 있어서, 상기 특정 저장된 정보는 상기 비디오 픽처 내의 현재 블록이 대표 샘플 값들의 팔레트를 사용하여 코딩되는 팔레트 코딩 모드에 사용되는 엔트리들의 리스트를 포함하는, 방법.
  4. 비디오 프로세싱 방법으로서,
    규칙에 따라 비디오와 상기 비디오의 코딩된 표현 사이의 변환에서 시간 필터링 동작을 수행하는 단계
    를 포함하며, 상기 비디오는, 각각이 다수의 서브픽처들을 포함하는, 다수의 비디오 픽처들을 포함하고,
    상기 규칙은, 비디오 픽처의 현재 서브픽처 내의 현재 샘플의 시간 필터링을 위해, 동일한 현재 서브픽처 또는 상기 현재 서브픽처에 대응하는 상이한 비디오 픽처 내의 서브픽처 내의 샘플들만이 이용 가능하다는 것을 지정하는, 방법.
  5. 비디오 프로세싱 방법으로서,
    비디오의 비디오 픽처 내의 블록과 상기 비디오의 코딩된 표현 사이의 변환을 위해, 상기 블록이 상기 비디오 픽처의 하나 이상의 서브픽처 경계와 교차하는지 여부에 기초하여 상기 블록에 분할 방법을 적용하는 방식을 결정하는 단계; 및
    상기 결정에 기초하여 상기 변환을 수행하는 단계
    를 포함하는, 방법.
  6. 제5항에 있어서, 상기 분할 방법은 쿼드 트리 분할 방법, 수평 이진 트리 분할 방법, 수직 이진 트리 분할 방법, 수평 삼진 트리 분할 방법, 수직 삼진 트리 분할 방법, 또는 분할 없음 방법 중 적어도 하나를 포함하는, 방법.
  7. 제5항 또는 제6항에 있어서, 상기 방식은 경계 처리 방법이 상기 블록에 적용 가능한지 여부를 더 지정하는, 방법.
  8. 제5항 내지 제7항 중 어느 한 항에 있어서,
    상기 블록이 상기 비디오 픽처의 상기 서브픽처의 상기 하나 이상의 경계에 걸쳐 위치하는지 여부에 기초하여 상기 분할 방법을 나타내는 상기 코딩된 표현 내의 신택스 요소를 프로세싱하는 방식을 결정하는 단계
    를 더 포함하는, 방법.
  9. 비디오 프로세싱 방법으로서,
    비디오의 비디오 픽처와 상기 비디오의 코딩된 표현 사이의 변환을 위해, 상기 비디오 픽처의 2 개의 서브영역을 결정하는 단계 - 제1 서브영역은 상기 비디오 픽처의 다수의 서브픽처들을 포함하고 제2 서브영역은 상기 비디오 픽처 내의 나머지 샘플들을 포함함 -; 및
    상기 결정에 기초하여 상기 변환을 수행하는 단계
    를 포함하는, 방법.
  10. 제9항에 있어서, 상기 제2 서브영역 내의 샘플은 상기 비디오 픽처의 어떤 서브픽처에도 위치하지 않는, 방법.
  11. 제9항 또는 제10항에 있어서, 상기 제2 서브영역은 상기 제1 서브영역에 관한 정보에 기초하여 상기 변환을 위해 프로세싱되는, 방법.
  12. 제9항 내지 제11항 중 어느 한 항에 있어서, 상기 비디오 픽처의 샘플 또는 영역이 상기 제2 서브영역 내에 위치하는지 여부를 나타내기 위해 디폴트 값이 상기 변환에서 사용되는, 방법.
  13. 제12항에 있어서, 상기 디폴트 값은 (max_subpics_minus1 + K)로 설정되고, max_subpics_minus1은 상기 비디오 픽처 내의 서브픽처들의 최대 수를 나타내고, K는 1보다 큰 정수인, 방법.
  14. 제12항 또는 제13항에 있어서, 상기 디폴트 값은 상기 비디오 픽처 내의 상기 서브픽처들을 나타내는 인덱스 값들의 어레이 내의 각각의 요소에 할당되는, 방법.
  15. 제1항 내지 제14항 중 어느 한 항에 있어서, 상기 변환은 상기 코딩된 표현으로부터 상기 비디오를 생성하는, 방법.
  16. 제1항 내지 제15항 중 어느 한 항에 있어서, 상기 변환은 상기 비디오로부터 상기 코딩된 표현을 생성하는, 방법.
  17. 비디오 프로세싱 장치로서,
    제1항 내지 제16항 중 어느 하나 이상의 항에 기재된 방법을 구현하도록 구성된 프로세서를 포함하는 비디오 프로세싱 장치.
  18. 코드가 저장되어 있는 컴퓨터 판독 가능 매체로서,
    상기 코드는, 실행될 때, 프로세서로 하여금 제1항 내지 제16항 중 어느 하나 이상의 항에 기재된 방법을 구현하게 하는, 컴퓨터 판독 가능 매체.
KR1020227002901A 2019-08-10 2020-08-10 서브픽처 디코딩에서의 버퍼 관리 KR20220042125A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2019100114 2019-08-10
CNPCT/CN2019/100114 2019-08-10
PCT/CN2020/108182 WO2021027776A1 (en) 2019-08-10 2020-08-10 Buffer management in subpicture decoding

Publications (1)

Publication Number Publication Date
KR20220042125A true KR20220042125A (ko) 2022-04-04

Family

ID=74570268

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020227002901A KR20220042125A (ko) 2019-08-10 2020-08-10 서브픽처 디코딩에서의 버퍼 관리
KR1020227003059A KR20220044271A (ko) 2019-08-10 2020-08-10 비디오 비트스트림들에서의 서브픽처 의존적 시그널링

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020227003059A KR20220044271A (ko) 2019-08-10 2020-08-10 비디오 비트스트림들에서의 서브픽처 의존적 시그널링

Country Status (8)

Country Link
US (5) US11553177B2 (ko)
EP (3) EP4307665A3 (ko)
JP (3) JP7478225B2 (ko)
KR (2) KR20220042125A (ko)
CN (5) CN114208165B (ko)
BR (1) BR112022002493A2 (ko)
MX (1) MX2022001465A (ko)
WO (4) WO2021027776A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021013239A1 (en) 2019-07-25 2021-01-28 Beijing Bytedance Network Technology Co., Ltd. Size restriction for intra-block copy virtual buffer
KR20220042125A (ko) 2019-08-10 2022-04-04 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브픽처 디코딩에서의 버퍼 관리
WO2021043299A1 (en) 2019-09-05 2021-03-11 Beijing Bytedance Network Technology Co., Ltd. Range constrains for block vector in intra-block copy mode
CN114556920A (zh) * 2019-09-19 2022-05-27 Vid拓展公司 用于通用视频编码的系统和方法
CN117459723A (zh) * 2019-09-23 2024-01-26 北京字节跳动网络技术有限公司 基于虚拟管线数据单元设置帧内块复制虚拟缓冲区
WO2021060834A1 (ko) * 2019-09-24 2021-04-01 엘지전자 주식회사 서브픽처 기반 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
JP7322290B2 (ja) 2019-10-02 2023-08-07 北京字節跳動網絡技術有限公司 ビデオビットストリームにおけるサブピクチャシグナリングのための構文
JP7482220B2 (ja) 2019-10-18 2024-05-13 北京字節跳動網絡技術有限公司 サブピクチャのパラメータセットシグナリングにおける構文制約
JP7395005B2 (ja) 2020-02-24 2023-12-08 バイトダンス インコーポレイテッド サブピクチャの高さの導出
WO2021178501A1 (en) 2020-03-03 2021-09-10 Bytedance Inc. Controlling a scaling process using slice header signaling
WO2021185306A1 (en) 2020-03-18 2021-09-23 Beijing Bytedance Network Technology Co., Ltd. Intra block copy buffer and palette predictor update
JP2023518494A (ja) * 2020-03-23 2023-05-01 北京字節跳動網絡技術有限公司 アフィンマージおよびアフィン動きベクトル予測モードの予測微調整
US20220394309A1 (en) * 2021-05-20 2022-12-08 Lemon Inc. On Padding Methods For Neural Network-Based In-Loop Filter
US11949863B2 (en) * 2021-08-02 2024-04-02 Tencent America LLC Geometric partition mode with intra block copy

Family Cites Families (240)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6047112A (en) 1992-06-30 2000-04-04 Discovision Associates Technique for initiating processing of a data stream of encoded video information
GB2382940A (en) 2001-11-27 2003-06-11 Nokia Corp Encoding objects and background blocks
FI114679B (fi) 2002-04-29 2004-11-30 Nokia Corp Satunnaisaloituspisteet videokoodauksessa
US20040177383A1 (en) 2003-01-24 2004-09-09 Chyron Corporation Embedded graphics metadata
JP3967691B2 (ja) * 2003-03-31 2007-08-29 株式会社東芝 情報記憶媒体と情報再生装置と情報記録再生装置
KR100983268B1 (ko) * 2003-07-21 2010-09-24 엘지전자 주식회사 트릭 플레이시 서브픽쳐 표시 방법
CN100502511C (zh) 2004-09-14 2009-06-17 华为技术有限公司 用于分数像素精度运动预测的插值图像内存组织方法
KR20080066784A (ko) 2005-10-11 2008-07-16 노키아 코포레이션 규모가변적 비디오 코딩을 위한 효율적 디코딩 화상 버퍼관리
US7688333B2 (en) 2007-02-28 2010-03-30 Lsi Corporation Method and/or apparatus for color space reduction for transcoding subpicture elements
WO2008134482A1 (en) 2007-04-26 2008-11-06 Polycom, Inc. De-blocking filter arrangements
KR100891768B1 (ko) * 2007-05-02 2009-04-07 삼성전자주식회사 모션 벡터 탐색 방법
CN101668219B (zh) * 2008-09-02 2012-05-23 华为终端有限公司 3d视频通信方法、发送设备和系统
US8879637B2 (en) 2008-10-06 2014-11-04 Lg Electronics Inc. Method and an apparatus for processing a video signal by which coding efficiency of a video signal can be raised by using a mixed prediction mode in predicting different macroblock sizes
WO2010041855A2 (en) * 2008-10-06 2010-04-15 Lg Electronics Inc. A method and an apparatus for processing a video signal
KR20150013776A (ko) 2010-04-09 2015-02-05 미쓰비시덴키 가부시키가이샤 동화상 부호화 장치 및 동화상 복호 장치
US8988531B2 (en) * 2010-07-08 2015-03-24 Texas Instruments Incorporated Method and apparatus for sub-picture based raster scanning coding order
US10327008B2 (en) 2010-10-13 2019-06-18 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
CN101990103B (zh) 2010-11-10 2013-01-16 香港应用科技研究院有限公司 用于多视点视频编码的方法和装置
US20120294353A1 (en) 2011-05-16 2012-11-22 Mediatek Inc. Apparatus and Method of Sample Adaptive Offset for Luma and Chroma Components
US9641866B2 (en) 2011-08-18 2017-05-02 Qualcomm Incorporated Applying partition-based filters
CN107483925B (zh) 2011-09-09 2020-06-19 株式会社Kt 用于解码视频信号的方法
US9131245B2 (en) 2011-09-23 2015-09-08 Qualcomm Incorporated Reference picture list construction for video coding
US9699457B2 (en) 2011-10-11 2017-07-04 Qualcomm Incorporated Most probable transform for intra prediction coding
US9807403B2 (en) 2011-10-21 2017-10-31 Qualcomm Incorporated Adaptive loop filtering for chroma components
CN103891292B (zh) 2011-10-24 2018-02-02 寰发股份有限公司 视频数据环路滤波处理方法及其装置
US9584819B2 (en) 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
US9253481B2 (en) 2012-01-13 2016-02-02 Qualcomm Incorporated Determining contexts for coding transform coefficient data in video coding
US9451252B2 (en) * 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
US9332259B2 (en) 2012-01-18 2016-05-03 Qualcomm Incorporated Indication of use of wavefront parallel processing in video coding
US9538200B2 (en) 2012-01-19 2017-01-03 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
US10244246B2 (en) * 2012-02-02 2019-03-26 Texas Instruments Incorporated Sub-pictures for pixel rate balancing on multi-core platforms
EP2735162A4 (en) 2012-02-03 2015-03-18 Mediatek Inc METHOD AND DEVICE FOR GRINDING FILTRATION OF CROSS-TILE OR DISC BOLTS
US9525861B2 (en) 2012-03-14 2016-12-20 Qualcomm Incorporated Disparity vector prediction in video coding
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
US9578326B2 (en) 2012-04-04 2017-02-21 Qualcomm Incorporated Low-delay video buffering in video coding
US20130294524A1 (en) 2012-05-04 2013-11-07 Qualcomm Incorporated Transform skipping and lossless coding unification
US9762903B2 (en) 2012-06-01 2017-09-12 Qualcomm Incorporated External pictures in video coding
US20130336406A1 (en) 2012-06-14 2013-12-19 Qualcomm Incorporated Redundancy removal for merge/skip mode motion information candidate list construction
US9800869B2 (en) 2012-06-15 2017-10-24 Google Technology Holdings LLC Method and apparatus for efficient slice header processing
US20140003504A1 (en) * 2012-07-02 2014-01-02 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
US10110890B2 (en) * 2012-07-02 2018-10-23 Sony Corporation Video coding system with low delay and method of operation thereof
US9602827B2 (en) * 2012-07-02 2017-03-21 Qualcomm Incorporated Video parameter set including an offset syntax element
US9351005B2 (en) 2012-09-24 2016-05-24 Qualcomm Incorporated Bitstream conformance test in video coding
US8989508B2 (en) 2012-09-28 2015-03-24 Sharp Kabushiki Kaisha Electronic device for signaling a sub-picture buffer parameter
US9491457B2 (en) 2012-09-28 2016-11-08 Qualcomm Incorporated Signaling of regions of interest and gradual decoding refresh in video coding
EP2904800A4 (en) 2012-10-05 2016-05-04 Mediatek Singapore Pte Ltd METHOD AND DEVICE FOR MOTION VECTOR REMOVAL FOR 3D VIDEO CODING
CN104885464A (zh) 2012-12-26 2015-09-02 索尼公司 图像处理装置和方法
US9674542B2 (en) 2013-01-02 2017-06-06 Qualcomm Incorporated Motion vector prediction for video coding
CN105144720B (zh) 2013-01-04 2018-12-28 Ge视频压缩有限责任公司 高效可伸缩编码概念
WO2014106692A1 (en) * 2013-01-07 2014-07-10 Nokia Corporation Method and apparatus for video coding and decoding
US20140218473A1 (en) * 2013-01-07 2014-08-07 Nokia Corporation Method and apparatus for video coding and decoding
US9445130B2 (en) 2013-01-09 2016-09-13 Qualcomm Incorporated Blockiness metric for large HEVC block artifacts
WO2014107853A1 (en) 2013-01-09 2014-07-17 Mediatek Singapore Pte. Ltd. Methods for disparity vector derivation
RU2625560C2 (ru) * 2013-02-20 2017-07-14 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство и способ кодирования или декодирования аудиосигнала с использованием перекрытия, зависящего от местоположения перехода
US9294776B2 (en) * 2013-03-05 2016-03-22 Qualcomm Incorporated Parallel processing for video coding
US10057594B2 (en) 2013-04-02 2018-08-21 Vid Scale, Inc. Enhanced temporal motion vector prediction for scalable video coding
US9591321B2 (en) 2013-04-07 2017-03-07 Dolby International Ab Signaling change in output layer sets
US9565437B2 (en) 2013-04-08 2017-02-07 Qualcomm Incorporated Parameter set designs for video coding extensions
US10015515B2 (en) 2013-06-21 2018-07-03 Qualcomm Incorporated Intra prediction from a predictive block
US9756335B2 (en) 2013-07-02 2017-09-05 Qualcomm Incorporated Optimizations on inter-layer prediction signalling for multi-layer video coding
JP2015015575A (ja) 2013-07-04 2015-01-22 シャープ株式会社 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法、画像復号プログラムおよび画像符号化プログラム
CN105531999B (zh) 2013-07-09 2019-08-09 诺基亚技术有限公司 涉及用于信号传输运动信息的语法的视频编码方法及装置
JP6505026B2 (ja) 2013-07-10 2019-04-24 シャープ株式会社 符号化方法
WO2015003383A1 (en) 2013-07-12 2015-01-15 Mediatek Singapore Pte. Ltd. Methods for inter-view motion prediction
US10250897B2 (en) * 2013-07-14 2019-04-02 Sharp Kabushiki Kaisha Tile alignment signaling and conformance constraints
CN105379273B (zh) 2013-07-14 2019-03-15 夏普株式会社 对来自比特流的视频进行解码的方法和设备
GB2516424A (en) 2013-07-15 2015-01-28 Nokia Corp A method, an apparatus and a computer program product for video coding and decoding
WO2015006951A1 (en) 2013-07-18 2015-01-22 Mediatek Singapore Pte. Ltd. Methods for fast encoder decision
GB2516824A (en) * 2013-07-23 2015-02-11 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
US20150078457A1 (en) 2013-09-13 2015-03-19 Qualcomm Incorporated Representation format signaling in multi-layer video coding
WO2015052942A1 (en) 2013-10-11 2015-04-16 Sharp Kabushiki Kaisha Signaling information for coding
US20150103924A1 (en) 2013-10-13 2015-04-16 Sharp Laboratories Of America, Inc. On operation of decoded picture buffer for interlayer pictures
WO2015056941A1 (ko) * 2013-10-14 2015-04-23 한국전자통신연구원 다계층 기반의 영상 부호화/복호화 방법 및 장치
KR20150057591A (ko) 2013-11-20 2015-05-28 주식회사 디오텍 동영상파일에 대한 자막데이터 생성방법 및 장치
US9912966B2 (en) * 2014-01-03 2018-03-06 Nokia Technologies Oy Parameter set coding
US10567804B2 (en) 2014-01-08 2020-02-18 Qualcomm Incorporated Carriage of HEVC extension bitstreams and buffer model with MPEG-2 systems
US10531116B2 (en) * 2014-01-09 2020-01-07 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
US20150271515A1 (en) * 2014-01-10 2015-09-24 Qualcomm Incorporated Block vector coding for intra block copy in video coding
US20150215631A1 (en) 2014-01-23 2015-07-30 Broadcom Corporation Parallel Coding with Overlapped Tiles
JP6280679B2 (ja) * 2014-02-24 2018-02-14 日本放送協会 フレーム間引き装置、フレーム補間装置、映像符号化装置、映像復号装置、及びこれらのプログラム
US10404988B2 (en) 2014-03-16 2019-09-03 Vid Scale, Inc. Method and apparatus for the signaling of lossless video coding
WO2015140401A1 (en) * 2014-03-17 2015-09-24 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
CN108989815B9 (zh) 2014-03-19 2021-06-04 株式会社Kt 针对多视图视频信号生成合并候选列表的方法及解码装置
US9712871B2 (en) 2014-05-01 2017-07-18 Qualcomm Incorporated Determination bitstream decoding capability in video coding
US10750198B2 (en) 2014-05-22 2020-08-18 Qualcomm Incorporated Maximum palette parameters in palette-based video coding
WO2016008157A1 (en) 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
KR20170066457A (ko) * 2014-09-26 2017-06-14 브이아이디 스케일, 인크. 시간적 블록 벡터 예측을 갖는 인트라 블록 카피 코딩
CN107079164B (zh) 2014-09-30 2020-07-10 寰发股份有限公司 用于视频编码的自适应运动向量分辨率的方法
US9800898B2 (en) 2014-10-06 2017-10-24 Microsoft Technology Licensing, Llc Syntax structures indicating completion of coded regions
WO2016056398A1 (ja) 2014-10-06 2016-04-14 ソニー株式会社 画像処理装置および方法
US9918105B2 (en) 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
GB2531993B (en) 2014-10-14 2018-04-25 Canon Kk Description of image composition with HEVC still image file format
KR102128216B1 (ko) * 2014-11-20 2020-06-30 에이치에프아이 이노베이션 인크. 모션 벡터 및 블록 벡터 해상도 제어의 방법
KR102150979B1 (ko) 2014-12-19 2020-09-03 에이치에프아이 이노베이션 인크. 비디오 및 이미지 코딩에서의 비-444 색채 포맷을 위한 팔레트 기반 예측의 방법
US11477477B2 (en) 2015-01-26 2022-10-18 Qualcomm Incorporated Sub-prediction unit based advanced temporal motion vector prediction
RU2686559C2 (ru) 2015-01-29 2019-04-29 Кэнон Кабусики Кайся Инициализатор предсказателя палитры при кодировании или декодировании самостоятельных кодируемых структур
US20160234522A1 (en) * 2015-02-05 2016-08-11 Microsoft Technology Licensing, Llc Video Decoding
CN104702963B (zh) 2015-02-13 2017-11-24 北京大学 一种自适应环路滤波的边界处理方法及装置
US10205968B2 (en) * 2015-02-13 2019-02-12 Mediatek Inc. Method and apparatus for palette index coding in video and image compression
US10362331B2 (en) * 2015-03-02 2019-07-23 Hfi Innovation Inc. Method and apparatus for intraBC mode with fractional-pel block vector resolution in video coding
WO2016172395A1 (en) * 2015-04-21 2016-10-27 Arris Enterprises Llc Scalable video coding system with parameter signaling
US10200713B2 (en) * 2015-05-11 2019-02-05 Qualcomm Incorporated Search region determination for inter coding within a particular picture of video data
CN109005407B (zh) 2015-05-15 2023-09-01 华为技术有限公司 视频图像编码和解码的方法、编码设备和解码设备
JP2017017629A (ja) * 2015-07-03 2017-01-19 富士通株式会社 動画像符号化装置、動画像符号化方法、及びプログラム
US11146794B2 (en) * 2015-07-27 2021-10-12 Mediatek Inc. Method of system for video coding using intra block copy mode
EP3338454A1 (en) 2015-08-20 2018-06-27 Koninklijke KPN N.V. Forming one or more tile streams on the basis of one or more video streams
US10375413B2 (en) 2015-09-28 2019-08-06 Qualcomm Incorporated Bi-directional optical flow for video coding
CN106559669B (zh) 2015-09-29 2018-10-09 华为技术有限公司 预测图像编解码方法及装置
US10715816B2 (en) 2015-11-11 2020-07-14 Apple Inc. Adaptive chroma downsampling and color space conversion techniques
US20190158870A1 (en) 2016-01-07 2019-05-23 Mediatek Inc. Method and apparatus for affine merge mode prediction for video coding system
MY201069A (en) 2016-02-05 2024-02-01 Hfi Innovation Inc Method and apparatus of motion compensation based on bi-directional optical flow techniques for video coding
CN118784881A (zh) * 2016-02-09 2024-10-15 弗劳恩霍夫应用研究促进协会 解码器、编码器、方法、网络设备以及可读存储介质
US10349067B2 (en) 2016-02-17 2019-07-09 Qualcomm Incorporated Handling of end of bitstream NAL units in L-HEVC file format and improvements to HEVC and L-HEVC tile tracks
WO2017147765A1 (en) 2016-03-01 2017-09-08 Mediatek Inc. Methods for affine motion compensation
SG11201806865YA (en) 2016-03-15 2018-09-27 Mediatek Inc Method and apparatus of video coding with affine motion compensation
US20170272758A1 (en) 2016-03-16 2017-09-21 Mediatek Inc. Video encoding method and apparatus using independent partition coding and associated video decoding method and apparatus
WO2017171107A1 (ko) 2016-03-28 2017-10-05 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN116156163A (zh) 2016-03-30 2023-05-23 韩国电子通信研究院 使用画面划分信息对视频进行编码和解码的方法和设备
US10834419B2 (en) 2016-04-13 2020-11-10 Qualcomm Incorporated Conformance constraint for collocated reference index in video coding
KR20180129860A (ko) 2016-04-25 2018-12-05 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
US10560718B2 (en) 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
US10419755B2 (en) 2016-05-16 2019-09-17 Qualcomm Incorporated Confusion of multiple filters in adaptive loop filtering in video coding
US10560712B2 (en) 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
CA3025490A1 (en) 2016-05-28 2017-12-07 Mediatek Inc. Method and apparatus of current picture referencing for video coding using affine motion compensation
CN107566848B (zh) * 2016-06-30 2020-04-14 华为技术有限公司 编解码的方法及装置
CN107801039B (zh) * 2016-08-30 2020-04-14 华为技术有限公司 运动补偿预测方法和装置
US10419757B2 (en) 2016-08-31 2019-09-17 Qualcomm Incorporated Cross-component filter
US10462462B2 (en) 2016-09-29 2019-10-29 Qualcomm Incorporated Motion vector difference coding technique for video coding
US20180098090A1 (en) 2016-10-04 2018-04-05 Mediatek Inc. Method and Apparatus for Rearranging VR Video Format and Constrained Encoding Parameters
US10448010B2 (en) 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
CN109983773A (zh) 2016-11-29 2019-07-05 联发科技股份有限公司 用于合并模式推导的视频编解码方法和装置
AU2016273973A1 (en) * 2016-12-16 2018-07-05 Canon Kabushiki Kaisha Transcode PCL delta-row compressed image to edges
CN110115032B (zh) 2016-12-22 2021-07-20 联发科技股份有限公司 用于视频编解码的运动细化的方法以及装置
US10911761B2 (en) 2016-12-27 2021-02-02 Mediatek Inc. Method and apparatus of bilateral template MV refinement for video coding
WO2018125972A1 (en) 2016-12-28 2018-07-05 Arris Enterprises Llc Adaptive unequal weight planar prediction
US10931969B2 (en) 2017-01-04 2021-02-23 Qualcomm Incorporated Motion vector reconstructions for bi-directional optical flow (BIO)
US20180199057A1 (en) 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
US10523964B2 (en) 2017-03-13 2019-12-31 Qualcomm Incorporated Inter prediction refinement based on bi-directional optical flow (BIO)
US10701390B2 (en) 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
US20180310017A1 (en) 2017-04-21 2018-10-25 Mediatek Inc. Sub-prediction unit temporal motion vector prediction (sub-pu tmvp) for video coding
KR102435881B1 (ko) 2017-05-26 2022-08-24 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
CN107277316B (zh) 2017-06-12 2020-05-12 京东方科技集团股份有限公司 显示装置及其制造方法
US10904565B2 (en) 2017-06-23 2021-01-26 Qualcomm Incorporated Memory-bandwidth-efficient design for bi-directional optical flow (BIO)
EP3422724B1 (en) * 2017-06-26 2024-05-01 Nokia Technologies Oy An apparatus, a method and a computer program for omnidirectional video
CN117478884A (zh) 2017-07-03 2024-01-30 Vid拓展公司 用于视频编解码的设备、方法
KR20240038175A (ko) 2017-07-06 2024-03-22 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 분할된 비디오 스트리밍 개념
US10483493B2 (en) 2017-08-01 2019-11-19 Apple Inc. Electronic device having display with thin-film encapsulation
US10856003B2 (en) 2017-10-03 2020-12-01 Qualcomm Incorporated Coding affine prediction motion information for video coding
RU2741507C1 (ru) * 2017-10-09 2021-01-26 Нокиа Текнолоджиз Ой Устройство и способ для кодирования и декодирования видео
US11877001B2 (en) 2017-10-10 2024-01-16 Qualcomm Incorporated Affine prediction in video coding
US20190116376A1 (en) 2017-10-12 2019-04-18 Qualcomm Incorporated Motion vector predictors using affine motion model in video coding
JP2021016016A (ja) 2017-10-20 2021-02-12 シャープ株式会社 動画像符号化装置及び動画像復号装置
US10776688B2 (en) 2017-11-06 2020-09-15 Nvidia Corporation Multi-frame video interpolation using optical flow
US20190141320A1 (en) 2017-11-07 2019-05-09 Qualcomm Incorporated Enhanced reference picture management in video coding
US11889100B2 (en) 2017-11-14 2024-01-30 Qualcomm Incorporated Affine motion vector prediction in video coding
CN109996072B (zh) * 2018-01-03 2021-10-15 华为技术有限公司 视频图像的处理方法及装置
US11388398B2 (en) 2018-01-11 2022-07-12 Qualcomm Incorporated Video coding using local illumination compensation
US10757417B2 (en) 2018-01-20 2020-08-25 Qualcomm Incorporated Affine motion compensation in video coding
KR20230044333A (ko) 2018-01-25 2023-04-03 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 효율적인 서브 픽처 추출
US11012715B2 (en) * 2018-02-08 2021-05-18 Qualcomm Incorporated Intra block copy for video coding
WO2019169339A1 (en) 2018-03-01 2019-09-06 Arris Enterprises Llc System and method of motion information storage for video coding and signaling
JP2021517797A (ja) 2018-04-01 2021-07-26 エルジー エレクトロニクス インコーポレイティド アフィン動き予測に基づく映像コーディング方法及び装置
CN116708840A (zh) 2018-04-03 2023-09-05 英迪股份有限公司 对图像解码和编码的方法、非暂态计算机可读存储介质
RU2020135518A (ru) 2018-04-06 2022-04-29 Вид Скейл, Инк. Метод двунаправленного оптического потока с упрощенным выведением градиента
EP3777179A1 (en) 2018-04-12 2021-02-17 ARRIS Enterprises LLC Motion information storage for video coding and signaling
US10873748B2 (en) 2018-05-12 2020-12-22 Qualcomm Incorporated Storage of high precision motion vectors in video coding
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
KR20210029160A (ko) 2018-06-27 2021-03-15 브이아이디 스케일, 인크. 디코더측 모션 미세 조정의 코딩 지연을 줄이기 위한 방법 및 장치
CN110662046B (zh) 2018-06-29 2022-03-25 北京字节跳动网络技术有限公司 视频处理方法、装置和可读存储介质
TWI750486B (zh) 2018-06-29 2021-12-21 大陸商北京字節跳動網絡技術有限公司 運動資訊共用的限制
WO2020006304A1 (en) 2018-06-29 2020-01-02 Vid Scale, Inc. Adaptive control point selection for affine motion model based video coding
CN110677679B (zh) 2018-07-01 2022-07-26 北京字节跳动网络技术有限公司 依赖形状的帧内编码
KR20210024487A (ko) 2018-07-01 2021-03-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 효율적인 아핀 병합 모션 벡터 유도
EP4307679A3 (en) 2018-07-02 2024-06-19 Beijing Bytedance Network Technology Co., Ltd. Luts with intra prediction modes and intra mode prediction from non-adjacent blocks
KR102545728B1 (ko) 2018-07-16 2023-06-20 엘지전자 주식회사 서브블록 단위의 시간적 움직임 정보 예측을 위한 인터 예측 방법 및 그 장치
WO2020017892A1 (ko) 2018-07-17 2020-01-23 엘지전자 주식회사 서브블록 단위의 시간적 움직임 벡터 예측을 위한 방법 및 그 장치
CN110809165B (zh) 2018-08-04 2022-07-26 北京字节跳动网络技术有限公司 仿射的运动矢量差精度
EP4325859A3 (en) 2018-09-19 2024-05-15 Beijing Bytedance Network Technology Co., Ltd. Syntax reuse for affine mode with adaptive motion vector resolution
US11546605B2 (en) 2018-09-20 2023-01-03 Electronics And Telecommunications Research Institute Image encoding/decoding method and device, and recording medium storing bitstream
KR20210058947A (ko) 2018-09-20 2021-05-24 샤프 가부시키가이샤 비디오 코딩에서 파라미터들을 시그널링하기 위한 시스템들 및 방법들
GB2577318B (en) 2018-09-21 2021-03-10 Canon Kk Video coding and decoding
EP3834418A1 (en) 2018-09-23 2021-06-16 Beijing Bytedance Network Technology Co. Ltd. Modification of motion vector with adaptive motion vector resolution
CN110944207B (zh) 2018-09-23 2023-12-08 北京字节跳动网络技术有限公司 仿射模型的表示
CN110944208B (zh) 2018-09-23 2023-05-30 北京字节跳动网络技术有限公司 仿射模式的复杂度降低
TW202029755A (zh) 2018-09-26 2020-08-01 美商Vid衡器股份有限公司 視訊編碼雙預測
US10999589B2 (en) 2018-10-04 2021-05-04 Tencent America LLC Method and apparatus for video coding
CN118175301A (zh) 2018-10-08 2024-06-11 Lg电子株式会社 图像解码方法、图像编码方法、存储介质和发送方法
CN111083491B (zh) 2018-10-22 2024-09-20 北京字节跳动网络技术有限公司 细化运动矢量的利用
WO2020084470A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Storage of motion parameters with clipping for affine mode
WO2020084461A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Restrictions on decoder side motion vector derivation based on coding information
WO2020084502A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Video processing using local illumination compensation
WO2020093999A1 (en) 2018-11-05 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Inter prediction with refinement in video processing
EP3861728A4 (en) 2018-11-06 2022-04-06 Beijing Bytedance Network Technology Co., Ltd. COMPLEXITY REDUCTION IN A DERIVATION OF PARAMETERS FOR AN INTRA PREDICTION
CN109600611B (zh) 2018-11-09 2021-07-13 北京达佳互联信息技术有限公司 环路滤波方法、环路滤波装置、电子设备和可读介质
CN112997487B (zh) 2018-11-15 2024-07-09 北京字节跳动网络技术有限公司 仿射模式与其他帧间编解码工具之间的协调
WO2020098812A1 (en) 2018-11-16 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Pruning method for history-based affine parameters
CN113039780B (zh) 2018-11-17 2023-07-28 北京字节跳动网络技术有限公司 视频处理中用运动矢量差的Merge
CN113170171B (zh) 2018-11-20 2024-04-12 北京字节跳动网络技术有限公司 组合帧间帧内预测模式的预测细化
US11146810B2 (en) 2018-11-27 2021-10-12 Qualcomm Incorporated Decoder-side motion vector refinement
CN113170167A (zh) 2018-11-29 2021-07-23 北京字节跳动网络技术有限公司 块内拷贝模式中的标志指示方法
US11627310B2 (en) 2019-01-02 2023-04-11 Lg Electronics Inc. Affine motion prediction-based video decoding method and device using subblock-based temporal merge candidate in video coding system
CN116647694A (zh) 2019-01-02 2023-08-25 北京大学 候选mv列表构建方法和装置
EP3906677A4 (en) 2019-01-02 2022-10-19 Nokia Technologies Oy DEVICE, METHOD AND COMPUTER PROGRAM FOR VIDEO ENCODING AND DECODING
JP7404373B2 (ja) 2019-01-09 2023-12-25 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ビデオエンコーダ、ビデオデコーダ、および対応する方法
CN113439444A (zh) 2019-02-02 2021-09-24 北京字节跳动网络技术有限公司 用于仿射的多hmvp
GB201902829D0 (en) 2019-03-01 2019-04-17 Canon Kk Method and apparatus for encoding and decoding a video bitsream for merging regions of interest
CN113557744A (zh) * 2019-03-11 2021-10-26 华为技术有限公司 视频译码中的分块级滤波
US20200296405A1 (en) 2019-03-14 2020-09-17 Qualcomm Incorporated Affine motion compensation refinement using optical flow
KR102659481B1 (ko) 2019-03-17 2024-04-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 광학 흐름에 기초한 예측 정제의 계산
WO2020191034A1 (en) 2019-03-18 2020-09-24 Tencent America LLC Method and apparatus for video coding
KR102609947B1 (ko) 2019-04-02 2023-12-04 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 양방향 광학 흐름 기반 비디오 코딩 및 디코딩
KR102610709B1 (ko) 2019-04-02 2023-12-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 디코더 측 움직임 벡터 유도
CN113711609B (zh) 2019-04-19 2023-12-01 北京字节跳动网络技术有限公司 利用光流的预测细化过程中的增量运动矢量
CN113711608B (zh) 2019-04-19 2023-09-01 北京字节跳动网络技术有限公司 利用光流的预测细化过程的适用性
WO2020211864A1 (en) 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Region based gradient calculation in different motion vector refinements
KR20210149759A (ko) 2019-04-30 2021-12-09 주식회사 윌러스표준기술연구소 적응적 모션 벡터 해상도를 이용한 비디오 신호 처리 방법 및 장치
US11523109B2 (en) 2019-05-02 2022-12-06 Tencent America LLC Method and apparatus for improvements of affine prof
MX2021013977A (es) 2019-05-15 2022-04-01 Huawei Tech Co Ltd Manejo de herramienta de codificacion de flujo optico bidireccional (bio) para remuestreo de imagenes de referencia en codificacion de video.
JP7323641B2 (ja) 2019-05-21 2023-08-08 北京字節跳動網絡技術有限公司 アフィンモードのための適応動きベクトル差分分解
WO2020245498A1 (en) 2019-06-03 2020-12-10 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US20220272378A1 (en) 2019-06-23 2022-08-25 Sharp Kabushiki Kaisha Systems and methods for performing an adaptive resolution change in video coding
WO2020262396A1 (en) 2019-06-24 2020-12-30 Sharp Kabushiki Kaisha Systems and methods for reducing a reconstruction error in video coding based on a cross-component correlation
BR112022000158A2 (pt) 2019-07-08 2022-02-22 Huawei Tech Co Ltd Restrições de imagem de unidade de nal mista em codificação de vídeo
CN113994670B (zh) 2019-07-25 2023-08-11 寰发股份有限公司 具有虚拟边界的跨分量自适应环路滤波的视频编解码方法及装置
JP2022544160A (ja) * 2019-08-06 2022-10-17 オーピー ソリューションズ, エルエルシー 適応分解能管理信号伝達
US11363307B2 (en) 2019-08-08 2022-06-14 Hfi Innovation Inc. Video coding with subpictures
KR20220042125A (ko) 2019-08-10 2022-04-04 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브픽처 디코딩에서의 버퍼 관리
GB2586484B (en) 2019-08-20 2023-03-08 Canon Kk A filter
WO2021049586A1 (ja) 2019-09-13 2021-03-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
US11202068B2 (en) 2019-09-16 2021-12-14 Mediatek Inc. Method and apparatus of constrained cross-component adaptive loop filtering for video coding
US11451834B2 (en) 2019-09-16 2022-09-20 Tencent America LLC Method and apparatus for cross-component filtering
GB201913403D0 (en) 2019-09-17 2019-10-30 Canon Kk Method and apparatus for encoding and decoding a video stream with subpictures
US11240507B2 (en) 2019-09-24 2022-02-01 Qualcomm Incorporated Simplified palette predictor update for video coding
JP7322290B2 (ja) 2019-10-02 2023-08-07 北京字節跳動網絡技術有限公司 ビデオビットストリームにおけるサブピクチャシグナリングのための構文
CN116016936A (zh) 2019-10-10 2023-04-25 北京达佳互联信息技术有限公司 使用调色板模式的视频编解码的方法和装置
JP7482220B2 (ja) 2019-10-18 2024-05-13 北京字節跳動網絡技術有限公司 サブピクチャのパラメータセットシグナリングにおける構文制約
CN114600462A (zh) 2019-10-25 2022-06-07 夏普株式会社 用于在视频编码中发送信号通知图片信息的系统和方法
US11539982B2 (en) 2019-11-01 2022-12-27 Qualcomm Incorporated Merge estimation region for multi-type-tree block structure
CN115280774A (zh) 2019-12-02 2022-11-01 抖音视界有限公司 在仿射模式下与运动向量差分merge
US11212523B2 (en) 2020-01-12 2021-12-28 Mediatek Inc. Video processing methods and apparatuses of merge number signaling in video coding systems

Also Published As

Publication number Publication date
US11523108B2 (en) 2022-12-06
CN114270831B (zh) 2024-07-30
MX2022001465A (es) 2022-02-22
US11553177B2 (en) 2023-01-10
US20220159246A1 (en) 2022-05-19
WO2021027767A1 (en) 2021-02-18
JP2022543705A (ja) 2022-10-13
CN114208165A (zh) 2022-03-18
CN114208196A (zh) 2022-03-18
CN114208196B (zh) 2023-11-14
WO2021027773A1 (en) 2021-02-18
JP2023182800A (ja) 2023-12-26
US12047558B2 (en) 2024-07-23
US11533513B2 (en) 2022-12-20
JP7372443B2 (ja) 2023-10-31
WO2021027774A1 (en) 2021-02-18
JP7478225B2 (ja) 2024-05-02
KR20220044271A (ko) 2022-04-07
CN114270831A (zh) 2022-04-01
EP3997869A4 (en) 2022-10-26
BR112022002493A2 (pt) 2022-04-26
CN117336468A (zh) 2024-01-02
JP2022543706A (ja) 2022-10-13
US20220174322A1 (en) 2022-06-02
US20230118260A1 (en) 2023-04-20
US20220166971A1 (en) 2022-05-26
EP3997868A4 (en) 2023-02-22
WO2021027776A1 (en) 2021-02-18
CN114208166B (zh) 2024-04-09
CN114208165B (zh) 2023-12-15
EP3997869A1 (en) 2022-05-18
EP4307665A2 (en) 2024-01-17
EP3997868A1 (en) 2022-05-18
CN114208166A (zh) 2022-03-18
US20220166985A1 (en) 2022-05-26
US12075030B2 (en) 2024-08-27
EP4307665A3 (en) 2024-07-10

Similar Documents

Publication Publication Date Title
WO2021027774A1 (en) Subpicture dependent signaling in video bitstreams
JP7482220B2 (ja) サブピクチャのパラメータセットシグナリングにおける構文制約
CN114503577B (zh) 视频比特流中子图片信令通知的语法
JP2023511059A (ja) ビデオコーディング及び復号の制約
WO2021129805A1 (en) Signaling of parameters at sub-picture level in a video bitstream
CN115280768A (zh) 视频编解码中的子图片边界滤波

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment