KR20220088680A - 프레임 타입에 기반한 적응적 해상도 관리의 묵시적 시그널링 - Google Patents

프레임 타입에 기반한 적응적 해상도 관리의 묵시적 시그널링 Download PDF

Info

Publication number
KR20220088680A
KR20220088680A KR1020227007475A KR20227007475A KR20220088680A KR 20220088680 A KR20220088680 A KR 20220088680A KR 1020227007475 A KR1020227007475 A KR 1020227007475A KR 20227007475 A KR20227007475 A KR 20227007475A KR 20220088680 A KR20220088680 A KR 20220088680A
Authority
KR
South Korea
Prior art keywords
current frame
frame
decoder
bit stream
current
Prior art date
Application number
KR1020227007475A
Other languages
English (en)
Inventor
하리 칼바
벨리보르 아지치
보리보예 푸르트
Original Assignee
오피 솔루션즈, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오피 솔루션즈, 엘엘씨 filed Critical 오피 솔루션즈, 엘엘씨
Priority claimed from PCT/US2020/045220 external-priority patent/WO2021026363A1/en
Publication of KR20220088680A publication Critical patent/KR20220088680A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

방법은 비트 스트림을 수신하는 단계; 비트 스트림을 사용하여 그리고 현재 프레임에 대해, 현재 프레임을 기준 프레임으로서 사용하는 데 이용 가능한지 여부를 결정하는 단계; 현재 프레임을 기준 프레임으로서 사용하는 데 이용 가능하다는 결정에 대한 응답으로, 적응적 해상도 관리 모드가 허용되지 않는 것을 특징으로 하는 변수를 설정하는 단계; 및 현재 프레임의 픽셀 데이터를 재구성하는 단계를 포함하고, 적응적 해상도 관리 모드가 허용되지 않는다. 관련 장치, 시스템들, 기법들 및 물품들이 또한 설명된다.

Description

프레임 타입에 기반한 적응적 해상도 관리의 묵시적 시그널링
본 출원은 2019년 8월 6일에 출원되고, 명칭이 "IMPLICIT SIGNALING OF ADAPTIVE RESOLUTION MANAGEMENT BASED ON FRAME TYPE"인 미국 가특허 출원 일련 번호 제62/883,484호를 우선권으로 주장하며, 상기 출원의 전체 내용은 인용에 의해 본원에 포함된다.
본 발명은 일반적으로 비디오 압축 분야에 관한 것이다. 특히, 본 발명은 프레임 타입에 기반한 적응적 해상도 관리의 묵시적 시그널링에 관한 것이다.
비디오 코덱은 디지털 비디오를 압축하거나 압축해제하는 전자 회로 또는 소프트웨어를 포함할 수 있다. 그것은 비압축된 비디오를 압축된 포맷으로 또는 그 반대로 전환할 수 있다. 비디오 압축의 맥락에서, 비디오를 압축하고 그리고/또는 그것의 일부 기능을 수행하는 디바이스는 전형적으로 인코더로 칭해질 수 있고, 비디오를 압축해제하고 그리고/또는 그것의 일부 기능을 수행하는 디바이스는 디코더로 칭해질 수 있다.
압축된 데이터의 포맷은 표준 비디오 압축 사양을 준수할 수 있다. 압축은, 압축된 비디오가 원래의 비디오에 존재하는 일부 정보를 갖지 않는다는 점에서 손실이 있을 수 있다. 이것의 결과는, 압축해제된 비디오가 원래의 비디오를 정확하게 재구성하기에는 불충분한 정보일 수 있기 때문에, 원래의 압축되지 않은 비디오보다 낮은 품질을 가질 수 있다는 것을 포함할 수 있다.
비디오 품질, 비디오를 표현하기 위해 사용되는 데이터의 양(예컨대, 비트 레이트에 의해 결정됨), 인코딩 및 디코딩 알고리즘들의 복잡성, 데이터 손실 및 오류에 대한 민감성, 편집의 용이성, 랜덤 액세스, 엔드-투-엔드 지연(예컨대, 레이턴시), 및 그와 유사한 것 사이에 복잡한 관계들이 존재할 수 있다.
모션 보상은, 카메라 및/또는 비디오 내의 객체들의 모션을 고려함으로써, 이전 및/또는 미래 프레임들과 같은 기준 프레임이 주어지면 비디오 프레임 또는 그것의 일부를 예측하는 접근법을 포함할 수 있다. 이것은 비디오 압축을 위한 비디오 데이터의 인코딩 및 디코딩에서, 예컨대, MPEG(Motion Picture Experts Group)의 AVC(advanced video coding) 표준(H.264로 또한 지칭됨)을 사용하는 인코딩 및 디코딩에서 이용될 수 있다.
모션 보상은 기준 픽처의 현재 픽처로의 변환의 관점에서 픽처를 기술할 수 있다. 기준 픽처는 현재 픽처와 비교할 때 시간상 이전일 수 있고 그리고/또는 현재 픽처와 비교할 때 미래로부터일 수 있다.
일 양상에서, 디코더는 회로를 포함하고, 회로는 비트 스트림을 수신하고, 비트 스트림을 사용하여 그리고 현재 프레임에 대해, 현재 프레임을 기준 프레임으로서 사용하는 데 이용 가능한지 여부를 결정하고, 현재 프레임을 기준 프레임으로서 사용하는 데 이용 가능하다는 결정에 대한 응답으로, 적응적 해상도 관리 모드가 허용되지 않는 것을 특징으로 하는 변수를 설정하고, 그리고 현재 프레임의 픽셀 데이터를 재구성하도록 구성되고, 적응적 해상도 관리 모드가 허용되지 않는다.
다른 양상에서, 방법은 비트 스트림을 수신하는 단계, 비트 스트림을 사용하여 그리고 현재 프레임에 대해, 현재 프레임을 기준 프레임으로서 사용하는 데 이용 가능한지 여부를 결정하는 단계, 현재 프레임을 기준 프레임으로서 사용하는 데 이용 가능하다는 결정에 대한 응답으로, 적응적 해상도 관리 모드가 허용되지 않는 것을 특징으로 하는 변수를 설정하는 단계, 및 현재 프레임의 픽셀 데이터를 재구성하는 단계를 포함하고, 적응적 해상도 관리 모드가 허용되지 않는다.
본 명세서에 설명된 청구 대상의 하나 이상의 변형의 세부사항들은 아래 첨부 도면들 및 설명에서 제시된다. 본 명세서에 설명된 청구 대상의 다른 특징들 및 장점들이 설명 및 도면들, 그리고 청구항으로부터 명확해질 것이다.
본 발명을 예시하기 위한 목적으로, 도면들은 본 발명의 하나 이상의 실시예의 양상들을 도시한다. 그러나, 본 발명은 도면들에 도시된 정확한 배열(arrangements) 및 수단(instrumentalities)으로만 제한되지는 않음을 이해해야 한다.
도 1은 다양한 해상도 스케일들의 예시적인 예측된 프레임들 및 예시적인 기준 프레임의 예시이다.
도 2는 예시적인 기준 프레임, 예시적인 스케일링된 기준 프레임, 및 예시적인 후속 블록 예측 프로세스를 도시하는 예시이다.
도 3은 현재 청구 대상의 일부 구현들에 따른 예시적인 프로세스를 예시하는 프로세스 흐름도이다.
도 4는 현재 청구 대상의 일부 구현들에 따른, 비트 스트림을 디코딩할 수 있는 예시적인 디코더를 예시하는 시스템 블록도이다.
도 5는 현재 청구 대상의 일부 구현들에 따른, 비디오를 인코딩하는 예시적인 프로세스를 예시하는 프로세스 흐름도이다.
도 6은 현재 청구 대상의 일부 구현들에 따른 예시적인 비디오 인코더를 예시하는 시스템 블록도이다.
도 7은 본 명세서에 개시된 방법론들 중 임의의 하나 이상 및 그의 임의의 하나 이상의 부분을 구현하기 위해 사용될 수 있는 컴퓨팅 시스템의 블록도이다.
도면들이 반드시 실척대로 도시될 필요는 없으며, 가상선들, 도식적 표현들 및 단편적 뷰들로 예시될 수 있다. 특정 예시들에서, 실시예들의 이해를 위해 반드시 필요한 것은 아니거나 또는 다른 세부사항들을 인지하기 어렵게 만드는 세부사항들은 생략되었을 수 있다. 다양한 도면들에 있어서 유사한 참조 부호들은 유사한 엘리먼트들을 나타낸다.
현재의 많은 최첨단 인코더들에서, 해상도는 GOP(group-of-picture)들로 알려진 비디오의 전체 부분을 재코딩하고 재전송함으로써 관리된다. 이것은 추가 비용이 발생할 수 있는 인트라 프레임(I-프레임)을 전송하는 것을 요구하는데, 왜냐하면 이러한 프레임들이 GOP의 비트 대부분을 담당하기 때문이다.
본 개시내용에서 설명된 실시예들은, 다양한 사용 경우들에서 비트레이트 절감을 허용하는 비디오 인코더/디코더에 대한 추가적인 유연성을 가능하게 하는 기술인 ARM(Adaptive Resolution Management)에 관한 것이다. 일반적으로, ARM은 현재 프레임과 상이한 해상도의 기준 프레임을 사용하여 예측을 수행하는 것을 포함한다. 현재 코딩 표준들에서, 기준 프레임들은 예측된 프레임들과 동일한 해상도를 갖는다. ARM에서, 기준 프레임은 예측되는 프레임보다 더 작거나 더 큰 해상도를 가질 수 있다. 이 접근 방식은 비디오 해상도를 다운스케일링하고 따라서 비트레이트를 줄이거나, 또는 비디오 해상도를 업스케일링하고 따라서 비디오 재생의 디스플레이 특징들을 가능하게 하는 데 사용될 수 있다.
ARM은 대안적으로 또는 동등하게 본 개시내용의 목적을 위해 RPR(reference picture resampling)로 지칭될 수 있고; RPR 및 ARM은 상호 교환 가능하게 사용될 수 있다.
현재 청구 대상의 일부 구현들은 GOP 내의 임의의 위치에서 임의의 수의 프레임들에 대해 ARM을 사용하고 따라서 I-프레임 재코딩에 대한 요건들을 제거하는 것을 포함할 수 있다.
도 1은 다양한 해상도 스케일들의 기준 프레임 및 예측된 프레임들의 예시이다. 프레임 1은 기준 프레임보다 작고(해상도가 더 낮고), 프레임 2는 동일한 크기(동일한 해상도)인 반면에, 프레임 3은 더 크다(해상도가 더 높다). 본 개시내용에서 사용된 "해상도"는 픽처, 프레임, 서브-프레임, 및/또는 비디오 재생, 압축 등에 사용되는 이들의 다른 디스플레이되는 영역 또는 그의 부분 내의 픽셀들의 수이며, 더 많은 수의 픽셀들은 더 높은 해상도에 대응하고, 더 적은 수의 픽셀들은 더 낮은 해상도에 대응한다. 해상도는, 예컨대, 영역 측면에서 측정되고, 비제한적으로, 하나 이상의 길이 치수들을 사용함으로써, 영역을 정의하는 픽셀들에서 측정될 수 있다. 예컨대, 원형 서브-프레임 또는 다른 영역은 반경에 따라 정의된 해상도를 가질 수 있다. 대안적으로 또는 추가적으로, 해상도는 전체 픽셀들의 수에 의해 정의될 수 있다.
예로서, 그리고 도 1을 계속 참조하면, 여기서 기준 프레임 및/또는 서브프레임은 비제한적으로 삼각형, 평행사변형 및/또는 직사각형 형상과 같은 2개의 길이 파라미터들의 관점에서 영역이 전체적으로 정의될 수 있는 기하학적 형태를 갖고, 기준 프레임 및/또는 서브프레임은 해상도 W x H를 가질 수 있으며, 여기서 W 및 H는 각각 기준 프레임 및/또는 서브프레임의 폭(또는 밑변) 및 높이 치수들을 각각 설명하는 픽셀들의 수를 나타낼 수 있다. 각각의 예측된 프레임은 또한, 기준 프레임의 해상도와 유사하게 결정될 수 있는 해상도를 가질 수 있고, 예컨대, 프레임 1은 더 작은 해상도 WS x HS를 가질 수 있고, 프레임 2는 기준 프레임 W x H와 동일한 해상도를 가질 수 있으며, 프레임 3은 더 큰 해상도 WL x HL을 가질 수 있다. 더 작은 프레임과 더 큰 프레임의 폭과 높이는 기준 폭과 높이와, 스케일링 팩터 및/또는 상수로 또한 지칭되는 임의의 재스케일링 상수(Rc)를 곱함으로써 획득될 수 있다. 더 작은 프레임들의 경우에, Rc는 0 내지 1의 값을 가질 수 있다. 더 큰 프레임들의 경우에, Rc는 1보다 큰 값을 가질 수 있고, 예컨대, Rc는 1 내지 4의 값을 가질 수 있다. 다른 값들이 가능하다. 재스케일링 상수는 하나의 해상도 치수에 대해 다른 것과 상이할 수 있고, 예컨대, 재스케일링 상수(Rch)는 높이를 재스케일링하는 데 사용될 수 있는 반면에 다른 재스케일링 상수(Rcw)는 폭을 재스케일링하는 데 사용될 수 있다.
여전히 도 1을 참조하면, ARM은 모드로서 구현될 수 있다. 디코딩 동안의 특정 시점에서 ARM 모드 활성화의 경우에, 디코더는 W x H 해상도로 이미 기준 프레임을 수신했을 수 있고, 재스케일링 상수를 사용하여 예측된 프레임을 재스케일링할 수 있다. 일부 구현들에서, 인코더는 어떠한 재스케일링 상수를 사용할지를 디코더에 시그널링할 수 있다. 시그널링은 현재 픽처를 포함하는 GOP에 대응하는 SPS(sequence parameter set) 및/또는 현재 픽처에 대응하는 PPS(picture parameter set)에서 수행될 수 있다. 예컨대, 비제한적으로, 인코더는 pps_pic_width_in_luma_samples, pps_pic_height_in_luma_samples, pps_scaling_win_left_offset, pps_scaling_win_right_offset, pps_scaling_win_top_offset, pps_scaling_win_bottom_offset, 및/또는 sps_num_subpics_minus1과 같은 필드들을 사용하여 재스케일링된 파라미터들을 시그널링할 수 있다.
추가로 도 1을 참조하면, 상술한 W 및 H 파라미터들은 각각 비제한적으로 변수들 CurrPicScalWinWidthL 및 CurrPicScalWinHeightL을 사용하여 표현될 수 있고; 이들 변수들은 시그널링된 파라미터들과 변수들 사이의 하나 이상의 수학적 관계들을 사용하여 전술한 바와 같이 시그널링된 파라미터들로부터 도출될 수 있다. 예컨대, 비제한적으로, CurrPicScalWinWidthL은 다음 방정식에 따라 도출될 수 있다.
CurrPicScalWinWidthL = pps_pic_width_in_luma_samples ―
SubWidthC * (pps_scaling_win_right_offset + pps_scaling_win_left_offset)
추가의 비제한적 예로서, CurrPicScalWinHeightL은 다음 방정식에 따라 도출될 수 있다.
CurrPicScalWinWidthL = pps_pic_width_in_luma_samples ―
SubWidthC * (pps_scaling_win_right_offset + pps_scaling_win_left_offset)
당업자들은, 본 개시내용의 전체를 검토할 때, 전술한 변수들을 도출하는 데 사용될 수 있는 다양한 대안적인 컴퓨테이션들을 인식할 것이다. 인코더는 PPS 및/또는 SPS에서, 비제한적으로, 예컨대, 직접적으로 하나 이상의 이러한 변수들(Rc, Rch 및/또는 Rcw)을 대안적으로 또는 추가로 시그널링할 수 있다.
대안적으로 또는 추가적으로, 그리고 여전히 도 1을 참조하면, 위에서 설명된 바와 같은 재스케일링 상수 및/또는 재스케일링 상수들의 세트는 저장된 스케일링 상수 및/또는 상수들, 및/또는 이전에 시그널링되고 그리고/또는 활용된 스케일링 상수 및/또는 상수들을 사용하여 시그널링된 프레임 및/또는 블록의 인덱스에 대한 참조를 사용하여 비트스트림으로 시그널링될 수 있다. 저장된 스케일링 상수의 인덱스에 대한 참조는 비트스트림으로 시그널링되는 하나 이상의 추가 파라미터들로부터 명시적으로 시그널링 및/또는 결정될 수 있다. 예컨대, 비제한적으로, 디코더는 기준 프레임 및/또는 현재 프레임을 포함하는 픽처들의 그룹을 식별할 수 있으며; 여기서 재스케일링 상수는 이전에 시그널링되고 그리고/또는 이러한 픽처들의 그룹에서 사용되는 경우 ― 기준 프레임은 현재 프레임 및/또는 현재 픽처들의 그룹 등에 적용 가능한 것으로 시그널링됨 ― , 디코더는 현재 프레임의 재스케일링 상수로서 사용하기 위한 그 재스케일링 상수를 식별할 수 있다.
일부 구현들에서, 그리고 도 1을 계속 참조하면, ARM 동작은 인코딩된 프레임들의 블록 레벨에서 실행될 수 있다. 예컨대, 도 2에 도시된 바와 같이, 기준 프레임이 먼저 재스케일링될 수 있고 후속적으로 예측이 수행될 수 있다. 도 2는 기준 프레임, 재스케일링된 기준 프레임, 및 후속 블록 예측 프로세스를 도시하는 예시이다. 블록 예측 프로세스는 원래 기준 프레임보다는 스케일링된 기준 프레임(스케일링된 해상도를 가짐)에 대해 수행될 수 있다. 기준 프레임을 재스케일링하는 것은 상술한 바와 같이 인코더에 의해 시그널링되는 임의의 파라미터들에 따라 재스케일링하는 것을 포함할 수 있고, 예컨대, 비제한적으로, 현재 픽처와 함께 사용될 기준 프레임이, 이를테면, 기준 프레임과 연관된 인덱스 값에 대한 참조 등을 통해 시그널링되는 경우, 시그널링된 기준 프레임은, 위에서 설명한 임의의 재스케일링 방법에 따라, 예측 이전에, 재스케일링될 수 있다. 재스케일링된 기준 프레임은 메모리 및/또는 버퍼에 저장될 수 있으며, 버퍼는, 비제한적으로, 그 안에 저장된 프레임들을 인덱스들에 의해 식별하는 버퍼를 포함할 수 있고, 프레임 리트리벌(frame retrieval)은 인덱스들에 따라 수행될 수 있고, 버퍼는 DCB(decoded picture buffer) 및/또는 디코더에 의해 구현되는 하나 이상의 추가 버퍼들을 포함할 수 있다. 예측 프로세스는, 예컨대, 모션 보상을 포함하는 인터 픽처 예측을 포함할 수 있다.
블록 기반 ARM의 일부 구현들은, 전체 프레임에 대해 동일한 필터를 적용하는 대신에, 각각의 블록에 대해 최적의 필터들을 적용하는 데 있어서 유연성을 가능하게 할 수 있다. 일부 구현들에서, 일부 블록들(예컨대, 픽셀들의 균일성 및 비트레이트 비용에 기반함)이 스킵-ARM 모드에 있을 수 있도록(스케일링이 비트레이트를 변경하지 않도록) 하는 스킵-ARM 모드가 가능할 수 있다. 스킵-ARM 모드는 비트스트림으로 시그널링될 수 있고, 예컨대, 비제한적으로, 스킵-ARM 모드는 PPS 파라미터로 시그널링될 수 있다. 대안적으로 또는 추가적으로, 디코더는, 디코더에 의해 설정되고 그리고/또는 비트스트림으로 시그널링되는 하나 이상의 파라미터들에 기반하여, 스킵-ARM 모드가 활성이라고 결정할 수 있다. 블록 기반 ARM에 사용되는 공간 필터들은 바이큐빅 보간(bicubic interpolation)을 적용하는 바이큐빅 공간 필터들, 양선형 해석(bi-linear interpretation)을 적용하는 양선형 공간 필터들, 싱크 필터(sinc filter)들, 싱크-함수 보간 및/또는 신호 재구성 기술의 조합들을 사용하는 란초스(Lanczos) 필터링 및/또는 란초스 재샘플링을 사용하는 란초스 필터들 등을 포함할 수 있고, 당업자들은, 본 개시내용 전체를 검토할 때, 본 개시내용과 일관되게 보간을 위해 사용될 수 있는 다양한 필터들을 인식할 것이다. 보간 필터들은, 비제한적인 예로서, 위에서 설명된 임의의 필터들, 비제한적으로, 업샘플링 프로세스에 의해 사용될 수 있는 저역 통과 필터를 포함할 수 있으며, 이로써 스케일링 이전의 프레임 및/또는 블록의 픽셀들 사이의 픽셀들은 0으로 초기화되고, 그런 다음 저역 통과 필터의 출력으로 파퓰레이팅될 수 있다. 대안적으로 또는 추가적으로, 임의의 루마 샘플 보간 필터링 프로세스(luma sample interpolation filtering process)가 사용될 수 있다. 루마 샘플 해석은, 스케일링되지 않은 샘플 어레이의 2개의 연속적인 샘플 값들 사이에 있는, 절반 샘플 보간 필터 인덱스에서의 보간된 값의 컴퓨테이션을 포함할 수 있다. 보간된 값의 컴퓨테이션은, 비제한적으로, 룩업 테이블들로부터 계수들 및/또는 가중치들의 리트리벌에 의해 수행될 수 있으며; 룩업 테이블들의 선택은, 예컨대, 위에서 설명된 바와 같은 스케일링 상수들을 사용하여 결정된 바와 같이 코딩 유닛들 및/또는 스케일링 비율 양들의 모션 모델들의 함수로서 수행될 수 있다. 컴퓨테이션은 인접 픽셀 값들의 가중된 합들을 수행하는 것을 비제한적으로 포함할 수 있고, 여기서 룩업 테이블들로부터 가중치들이 리트리브된다. 컴퓨팅된 값들은 대안적으로 또는 추가로 시프팅될 수 있고, 예컨대, 비제한적으로, 값들은 Min(4, BitDepth ― 8), 6, Max(2, 14 ― BitDepth) 등에 의해 시프팅될 수 있다. 당업자들은, 본 개시내용 전체를 검토할 때, 보간 필터들에 사용될 수 있는 다양한 대안적 또는 추가적 구현들을 인식할 것이다.
여전히 도 2를 참조하면, 적응적 해상도 관리는, 압축 효율 및/또는 품질을 개선하기 위해 프레임들 및/또는 프레임들의 영역들의 재스케일링을 허용할 수 있다. 핵심 난제는 디코더에서 재스케일링 방법들의 재현성(reproducibility)이다. 사용된 재스케일링 방법들에 따라, 디코더와 인코더는 동일한 다시 스케일링된 프레임들을 재현하지 못할 수도 있다. 그러한 경우들에, 재스케일링된 프레임들을 기준 프레임들로서 사용하는 것은 예측 불일치를 발생시킬 수 있고 및/또는 인코더 및 디코더가 드리프트되게 할 수 있다. 드리프트가 코딩 아티팩트(coding artifact)(품질 문제)로 보일 수 있다. 이러한 드리프트 문제들을 피하기 위해, 본 개시내용에서 설명된 바와 같이, ARM의 묵시적 및 명시적 시그널링이 이용될 수 있다.
예컨대, 그리고 도 2를 더 참조하면, ARM의 묵시적 시그널링은 프레임 타입에 기반할 수 있다. 예컨대, 일부 구현들에서, 디코더 및/또는 인코더는, 기준 프레임으로 사용될 수 있는 프레임이 ARM을 사용하여 인코딩될 수 없도록 구성될 수 있으며; 다시 말해서, 기준 프레임으로 이용 가능한 프레임들에 대해 ARM이 허용되지 않을 수 있다. 예컨대, 픽처 헤더에서 시그널링된 프레임 타입 또는 슬라이스 타입이, 예컨대, 픽처 헤더에서 시그널링된 프레임이 I 또는 타입 P인 것과 같이, 프레임이 기준 프레임으로 사용하는 데 이용 가능하다는 것을 나타내면, 디코더 및 /또는 인코더는, 프레임이 ARM을 사용하여 인코딩될 수 없고 그리고 모든 ARM 관련 파라미터들이 프레임의 픽처 헤더에 존재하지 않을 수 있다고 결정할 수 있다. 상술한 바와 같은 파라미터들은, 비제한적으로, SPS 및/또는 PPS에서 시그널링될 수 있다. 예컨대, SPS는 sps_res_change_in_clvs_allowed_flag로 표시된 파라미터를 시그널링할 수 있으며, 이는, 1과 같을 때, 픽처 공간 해상도가 변할 수 있음을 지정할 수 있다. 해상도 관리의 하나의 양상은, 해상도가 순차적으로 변할 수 있다는 것을 시그널링할 수 있다. 추가의 비제한적인 예로서, 1과 동일한 gci_no_ref_pic_resampling_constraint_flag는, OlsInScope의 모든 픽처들에 대한 sps_ref_pic_resampling_enabled_flag가 0과 같을 것임을 지정할 수 있다. 0과 동일한 gci_no_ref_pic_resampling_constraint_flag는 그러한 제약을 부과하지 않을 수 있다. 슬라이스 헤더에서, sh_slice_type은 타입들 I, P, B 사이에서 슬라이스의 코딩 타입을 지정할 수 있다. 1과 동일한 ph_non_ref_pic_flag는, 현재 픽처가 결코 기준 픽처로 사용되지 않음을 지정할 수 있다. 0과 동일한 ph_non_ref_pic_flag는, 현재 픽처가 기준 픽처로 사용될 수도 있고 사용되지 않을 수도 있음을 지정할 수 있다.
도 3은, 다양한 사용 경우들에서 비트레이트 절약을 허용하여 비디오 인코더/디코더에 대한 추가 유연성을 가능하게 할 수 있는 적응적 해상도 관리 프로세스(300)의 예시적인 실시예를 예시하는 프로세스 흐름도이다.
단계(305)에서, 그리고 도 3을 계속 참조하면, 비트 스트림이 디코더에 의해 수신된다. 현재 블록은, 디코더가 수신하는 비트 스트림 내에 포함될 수 있다. 비트 스트림은, 예컨대, 데이터 압축을 사용할 때 디코더에 대한 입력인 비트들의 스트림에서 발견된 데이터를 포함할 수 있다. 비트 스트림은 비디오를 디코딩하는 데 필요한 정보를 포함할 수 있다. 수신하는 것은 비트스트림으로부터 블록 및 연관된 시그널링 정보를 추출 및/또는 파싱하는 것을 포함할 수 있다. 일부 구현들에서, 현재 블록은 코딩 트리 유닛(CTU), 코딩 유닛(CU), 및/또는 예측 유닛(PU)을 포함할 수 있다.
단계(310)에서, 그리고 여전히 도 3을 참조하면, 현재 프레임이 기준 프레임으로서 사용하는 데 이용 가능한지 여부는 비트 스트림을 사용하여 결정될 수 있다. 일부 구현들에서, 현재 프레임이 기준 프레임으로서 사용되는 데 이용 가능한지 여부를 결정하는 것은, 위에서 설명된 바와 같이, 현재 프레임의 타입이 타입 I인지 또는 타입 P인지를 결정하는 것을 포함한다. 비제한적인 예로서, 슬라이스 헤더에서, sh_slice_type은 타입들 I, P 및 B 사이에서 슬라이스의 코딩 타입을 지정할 수 있다. 현재 프레임의 타입은 비트 스트림으로 시그널링될 수 있다. 일부 구현들에서, 그리고 비제한적인 예로서, 현재 프레임은 타일 내의 CTU들의 세트 및/또는 정수의 연속 타일들의 세트로서 정의되는 슬라이스를 포함할 수 있다.
여전히 도 3을 참조하면, 단계(315)에서, 적응적 해상도 관리 모드가 허용되지 않는 것을 특징으로 하는 변수는, 현재 프레임이 기준 프레임으로 사용되는 데 이용 가능하다는 결정에 대한 응답으로 설정될 수 있다. 일부 구현들에서, 적응적 해상도 관리 모드와 연관된 파라미터들은 현재 프레임의 픽처 헤더에 존재하지 않는다. 비제한적인 예로서, SPS는 1과 동일한 sps_res_change_in_clvs_allowed_flag를 시그널링할 수 있으며, 이는 픽처 공간 해상도가 변할 수 있음을 지정한다. 슬라이스 타입에 기반한 디스에이블링은 픽처 타입에 기반하여 인코더에서 시그널링될 수 있다.
단계(340)에서, 그리고 도 3을 더 참조하면, 현재 프레임의 픽셀 데이터가 재구성될 수 있다. 재구성 동안 적응적 해상도 관리 모드가 허용되지 않을 수 있다. 실시예에서, 현재 프레임이 기준 프레임으로 사용하는 데 이용 가능하지 않다는 결정은, ARM이 이용 가능하다는 결정으로 이어질 수 있다. 예컨대, SPS는 1과 동일한 sps_res_change_in_clvs_allowed_flag를 시그널링할 수 있으며, 이는, 예컨대, 위에서 설명된 바와 같이, 픽처 공간 해상도가 변할 수 있음을 지정한다.
도 4는, 본 개시내용에 설명된 바와 같이, 프레임 타입에 기반하여 적응적 해상도 관리가 가능한 예시적인 디코더(400)를 예시하는 시스템 블록도이다. 디코더(400)는 엔트로피 디코더 프로세서(404), 역양자화 및 역변환 프로세서(408), 블록 해제 필터(412), 프레임 버퍼(416), 모션 보상 프로세서(420), 및/또는 인트라 예측 프로세서(424)를 포함할 수 있다.
동작 시에, 여전히 도 4를 참조하면, 비트스트림(428)은 디코더(400)에 의해 수신되고, 비트스트림의 부분들을 양자화된 계수들로 엔트로피 디코딩할 수 있는 엔트로피 디코더 프로세서(404)에 입력될 수 있다. 양자화된 계수들은 역양자화 및 역변환을 수행하여 잔차 신호를 생성할 수 있는 역양자화 및 역변환 프로세서(408)에 제공될 수 있으며, 이 잔차 신호는 처리 모드에 따라 모션 보상 프로세서(420) 또는 인트라 예측 프로세서(424)의 출력에 추가될 수 있다. 모션 보상 프로세서(420) 및 인트라 예측 프로세서(424)의 출력은 이전에 디코딩된 블록에 기반한 블록 예측을 포함할 수 있다. 예측 및 잔차의 합은 블록 해제 필터(412)에 의해 처리되고 프레임 버퍼(416)에 저장될 수 있다.
도 5는, 다양한 사용 경우들에서 비트레이트 절약을 허용하여 비디오 인코더 및/또는 디코더에 대한 추가 유연성을 가능하게 할 수 있는 적응적 해상도 관리를 사용하여 비디오를 인코딩하는 예시적인 프로세스(500)를 예시하는 프로세스 흐름도이다. 단계(505)에서, 비디오 프레임은, 예컨대, 픽처 프레임을 CTU들 및 CU들이 되도록 파티셔닝하는 것을 포함할 수 있는 트리-구조 매크로 블록 파티셔닝 스킴을 사용함으로써 초기 블록 세그먼트화를 거칠 수 있다.
단계(510)에서, 프레임 또는 그의 부분의 해상도 스케일링을 포함하여, 블록 기반 적응적 해상도 관리가 수행될 수 있다.
(515)에서, 블록이 인코딩되어 비트 스트림에 포함될 수 있다. 인코딩은, 예컨대, 인터 예측 및 인트라 예측 모드들을 활용하는 것을 포함할 수 있다.
도 6은, 본 개시내용에 설명된 바와 같이, 프레임 타입에 기반하여 적응적 해상도 관리가 가능한 예시적인 비디오 인코더(600)를 예시하는 시스템 블록도이다. 예시적인 비디오 인코더(600)는 입력 비디오(604)를 수신하며, 이것은 트리-구조 매크로 블록 파티셔닝 스킴(tree-structured macro block partitioning scheme)(예컨대, 쿼드 트리 + 이진 트리(quad-tree plus binary tree))과 같은 처리 스킴에 따라 초기에 세그먼트화되거나 분할될 수 있다. 트리-구조 매크로 블록 파티셔닝 스킴의 예는 픽처 프레임을 코딩 트리 유닛들(coding tree units, CTU)로 지칭되는 큰 블록 요소들로 파티셔닝하는 것을 포함할 수 있다. 일부 구현들에서, 각각의 CTU는 코딩 유닛들(coding units, CU)로 지칭되는 다수의 서브-블록들로 일회 이상 추가로 파티셔닝될 수 있다. 이러한 포셔닝(portioning)의 최종 결과는 예측 유닛들(predictive units, PU)로 불릴 수 있는 서브-블록들의 그룹을 포함할 수 있다. 변환 유닛들(transform units, TU)도 활용될 수 있다.
여전히 도 6을 참조하면, 예시적인 비디오 인코더(600)는 인트라 예측 프로세서(608), 모션 벡터 후보 리스트에 글로벌 모션 벡터 후보를 추가하는 것을 포함하는 모션 벡터 후보 리스트를 구성할 수 있는, 인터 예측 프로세서이라고도 지칭될 수 있는 모션 추정/보상 프로세서(612), 변환/양자화 프로세서(616), 역 양자화/역 변환 프로세서(620), 인 루프 필터(624), 디코딩된 픽처 버퍼(628), 및/또는 엔트로피 코딩 프로세서(632)를 포함할 수 있다. 비트스트림 파라미터들은 출력 비트스트림(636)에 포함을 위해 엔트로피 코딩 프로세서(632)에 입력될 수 있다.
동작 시에, 계속해서 도 6을 참조하면, 입력 비디오(604)의 프레임의 각각의 블록에 대해, 인트라 픽처 예측을 통해 또는 모션 추정/보상을 사용하여 블록을 처리할 것인지가 결정될 수 있다. 블록은 인트라 예측 프로세서(608) 또는 모션 추정/보상 프로세서(612)에 제공될 수 있다. 블록이 인트라 예측을 통해 처리되는 경우, 인트라 예측 프로세서(608)는 예측자(predictor)를 출력하기 위한 처리를 수행할 수 있다. 블록이 모션 추정/보상을 통해 처리될 것이라면, 모션 추정/보상 프로세서(612)는, 적용 가능하면, 글로벌 모션 벡터 후보를 모션 벡터 후보 리스트에 추가하는 것을 포함하는 모션 벡터 후보 리스트를 구성하는 것을 포함하는 처리를 수행할 수 있다.
추가로 도 6을 참조하면, 입력 비디오로부터 예측자를 감산함으로써 잔차가 형성될 수 있다. 잔차는 변환/양자화 프로세서(616)에 의해 수신될 수 있으며, 이것은 양자화될 수 있는 계수들을 생성하기 위해 변환 처리(예컨대, 이산 코사인 변환(discrete cosine transform, DCT))를 수행할 수 있다. 양자화된 계수들 및 임의의 연관된 시그널링 정보는 엔트로피 인코딩 및 출력 비트스트림(636)에 포함을 위해 엔트로피 코딩 프로세서(632)에 제공될 수 있다. 엔트로피 인코딩 프로세서(632)는 현재 블록의 인코딩과 관련된 시그널링 정보의 인코딩을 지원할 수 있다. 또한, 양자화된 계수들은 역양자화/역변환 프로세서(620)에 제공될 수 있고, 역양자화/역변환 프로세서는 픽셀들을 재생할 수 있고, 이 픽셀들은 예측자와 조합되어 인 루프 필터(624)에 의해 처리될 수 있고, 인 루프 필터의 출력은 모션 벡터 후보 리스트에 글로벌 모션 벡터 후보를 추가하는 것을 포함하여 모션 벡터 후보 리스트를 구성할 수 있는 모션 추정/보상 프로세서(612)에 의한 사용을 위해 디코딩된 픽처 버퍼(628)에 저장될 수 있다.
도 6을 계속 참조하면, 몇몇 변형들이 위에서 상세히 설명되었지만, 다른 수정들 또는 추가들이 가능하다. 예컨대, 일부 구현들에서, 현재 블록들은 임의의 대칭 블록들(8x8, 16x16, 32x32, 64x64, 128x128 등)뿐만 아니라 임의의 비대칭 블록(8x4, 16x8 등)을 포함할 수 있다.
일부 구현들에서, 여전히 도 6을 참조하면, 쿼드트리 + 이진 결정 트리(QTBT)가 구현될 수 있다. QTBT에서, 코딩 트리 유닛 레벨에서, QTBT의 파티션 파라미터들은 임의의 오버헤드를 송신하지 않고서 로컬 특성들에 적응하도록 동적으로 도출될 수 있다. 후속하여, 코딩 유닛 레벨에서, 조인트-분류기 결정 트리 구조가 불필요한 반복들을 제거하고 잘못된 예측의 위험을 제어할 수 있다. 일부 구현들에서, LTR 프레임 블록 갱신 모드가 QTBT의 모든 리프 노드(leaf node)마다에서 이용가능한 추가 옵션으로서 이용가능할 수 있다.
일부 구현들에서, 여전히 도 6을 참조하면, 추가적인 신택스 요소들이 비트스트림의 상이한 계층구조 레벨들에서 시그널링될 수 있다. 예컨대, 플래그는 SPS(Sequence Parameter Set)에서 코딩된 인에이블 플래그를 포함함으로써 전체 시퀀스에 대해 인에이블될 수 있다. 또한, CTU 플래그는 코딩 트리 유닛(CTU) 레벨에서 코딩될 수 있다.
일부 실시예들은, 명령어들을 저장하는 비일시적 컴퓨터 프로그램 제품들(즉, 물리적으로 구현된 컴퓨터 프로그램 제품들)을 포함할 수 있고, 명령어들은, 하나 이상의 컴퓨팅 시스템들의 하나 이상의 데이터 프로세서들에 의해 실행될 때, 적어도 하나의 데이터 프로세서로 하여금 본 명세서에서의 동작들을 수행하게 한다.
본 명세서에 개시된 일부 실시예들에서, 디코더는 회로를 포함하고, 회로는 비트 스트림을 수신하고, 비트 스트림을 사용하여 그리고 현재 프레임에 대해 현재 프레임을 기준 프레임으로서 사용하는 데 이용 가능한지 여부를 결정하고, 현재 프레임을 기준 프레임으로서 사용하는 데 이용 가능하다는 결정에 대한 응답으로, 적응적 해상도 관리 모드가 허용되지 않는 것을 특징으로 하는 변수를 설정하고, 그리고 현재 프레임의 픽셀 데이터를 재구성하도록 구성되고, 적응적 해상도 관리 모드가 허용되지 않는다.
일부 실시예들에서, 현재 프레임이 기준 프레임으로서 사용하는 데 이용 가능한지 여부를 결정하는 것은 현재 프레임의 타입이 타입 I인지 여부를 결정하는 것을 포함할 수 있다. 현재 프레임이 기준 프레임으로서 사용하는 데 이용 가능한지 여부를 결정하는 것은 현재 프레임의 타입이 타입 P인지 여부를 결정하는 것을 포함할 수 있다. 현재 프레임의 타입은 비트 스트림으로 시그널링될 수 있다. 현재 프레임은 슬라이스일 수 있다. 적응적 해상도 관리 모드와 연관된 파라미터들은 현재 프레임의 픽처 헤더에 존재하지 않을 수 있다. 디코더는 비트스트림으로부터 현재 블록을 디코딩하도록 추가로 구성될 수 있다. 현재 블록은 코딩 트리 유닛을 포함할 수 있다. 현재 블록은 예측 유닛을 포함할 수 있다. 디코더는 비트 스트림을 수신하고, 비트 스트림을 양자화된 계수들로 디코딩하도록 구성된 엔트로피 디코더 프로세서, 역 이산 코사인을 수행하는 것을 포함하여, 양자화된 계수들을 처리하도록 구성된 역 양자화 및 역 변환 프로세서, 블록 해제 필터, 프레임 버퍼, 및 인트라 예측 프로세서를 포함할 수 있다.
본 명세서에 개시된 실시예들은 방법을 포함하고, 방법은 비트 스트림을 수신하는 단계, 비트 스트림을 사용하여 그리고 현재 프레임에 대해, 현재 프레임을 기준 프레임으로서 사용하는 데 이용 가능한지 여부를 결정하는 단계, 현재 프레임을 기준 프레임으로서 사용하는 데 이용 가능하다는 결정에 대한 응답으로, 적응적 해상도 관리 모드가 허용되지 않는 것을 특징으로 하는 변수를 설정하는 단계, 및 현재 프레임의 픽셀 데이터를 재구성하는 단계를 포함하고, 적응적 해상도 관리 모드가 허용되지 않는다.
일부 실시예들에서, 현재 프레임이 기준 프레임으로서 사용하는 데 이용 가능한지 여부를 결정하는 단계는 현재 프레임의 타입이 타입 I인지 여부를 결정하는 단계를 포함할 수 있다. 현재 프레임이 기준 프레임으로서 사용하는 데 이용 가능한지 여부를 결정하는 단계는 현재 프레임의 타입이 타입 P인지 여부를 결정하는 단계를 포함할 수 있다. 현재 프레임의 타입은 비트 스트림으로 시그널링될 수 있다. 현재 프레임은 슬라이스일 수 있다. 적응적 해상도 관리 모드와 연관된 파라미터들은 현재 프레임의 픽처 헤더에 존재하지 않을 수 있다. 방법은 비트스트림으로부터 현재 블록을 디코딩하는 단계를 포함할 수 있다. 현재 블록은 코딩 트리 유닛을 포함할 수 있다. 현재 블록은 예측 유닛을 포함할 수 있다. 수신하는 단계, 결정하는 단계, 설정하는 단계, 및 재구성하는 단계 중 적어도 하나는 디코더에 의해 수행될 수 있고, 디코더는, 비트 스트림을 수신하고, 비트 스트림을 양자화된 계수들로 디코딩하도록 구성된 엔트로피 디코더 프로세서, 역 이산 코사인을 수행하는 것을 포함하여, 양자화된 계수들을 처리하도록 구성된 역 양자화 및 역 변환 프로세서, 블록 해제 필터, 프레임 버퍼, 및 인트라 예측 프로세서를 포함한다.
본 명세서에서 설명되는 양상들 및 실시예들 중 임의의 하나 이상은, 컴퓨터 기술분야의 통상의 기술자들에게 명백한 바와 같이, 본 명세서의 교시들에 따라 프로그래밍된 하나 이상의 머신(예컨대, 전자 문서를 위한 사용자 컴퓨팅 디바이스, 문서 서버와 같은 하나 이상의 서버 디바이스 등으로서 활용되는 하나 이상의 컴퓨팅 디바이스)에서 실현 및/또는 구현되는 바와 같은 디지털 전자 회로, 집적 회로, 특별히 설계된 주문형 집적 회로(application specific integrated circuit, ASIC)들, 필드 프로그래머블 게이트 어레이(field programmable gate array, FPGA) 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 그것의 조합들을 사용하여 편리하게 구현될 수 있다는 것에 유의한다. 이러한 다양한 양상들 또는 특징들은 저장 시스템, 적어도 하나의 입력 디바이스, 및 적어도 하나의 출력 디바이스로부터 데이터 및 명령어들을 수신하고, 이들에 데이터 및 명령어들을 송신하도록 결합되는, 특수 또는 일반 목적일 수 있는, 적어도 하나의 프로그래머블 프로세서를 포함하는 프로그래머블 시스템 상에서 실행가능하고 및/또는 해석가능한 하나 이상의 컴퓨터 프로그램 및/또는 소프트웨어에서의 구현을 포함할 수 있다. 소프트웨어 분야의 통상의 기술자들에게 명백한 바와 같이, 적절한 소프트웨어 코딩은 본 개시내용의 교시들에 기반하여 숙련된 프로그래머들에 의해 쉽게 준비될 수 있다. 소프트웨어 및/또는 소프트웨어 모듈들을 채택하는 위에서 논의된 양상들 및 구현들은 또한 소프트웨어 및/또는 소프트웨어 모듈의 머신 실행가능 명령어들의 구현을 지원하기 위한 적절한 하드웨어를 포함할 수 있다.
이러한 소프트웨어는 머신 판독가능 저장 매체를 채택하는 컴퓨터 프로그램 제품일 수 있다. 머신 판독가능 저장 매체는 머신(예컨대, 컴퓨팅 디바이스)에 의한 실행을 위한 명령어들의 시퀀스를 저장 및/또는 인코딩할 수 있고 머신으로 하여금 본 명세서에 설명된 방법론들 및/또는 실시예들 중 임의의 하나를 수행하게 야기하는 임의의 매체일 수 있다. 머신 판독가능 저장 매체의 예들은 자기 디스크, 광 디스크(예컨대, CD, CD-R, DVD, DVD-R 등), 광-자기 디스크, 판독 전용 메모리 "ROM" 디바이스, 랜덤 액세스 메모리 "RAM" 디바이스, 마그네틱 카드, 광학 카드, 솔리드 스테이트 메모리 디바이스, EPROM, EEPROM, 프로그래머블 로직 디바이스(Programmable Logic Device, PLD)들, 및/또는 이들의 임의의 조합들을 포함하지만, 이에 제한되지는 않는다. 본 명세서에 사용된 머신 판독가능 매체는 단일 매체뿐만 아니라, 예컨대, 컴퓨터 메모리와 결합된 하나 이상의 하드 디스크 드라이브 또는 컴팩트 디스크들의 모음과 같은 물리적으로 분리된 매체의 모음을 포함하도록 의도된다. 본 명세서에서 사용되는 바와 같이, 머신 판독가능 저장 매체는 일시적인 형태들의 신호 송신을 포함하지 않는다.
이러한 소프트웨어는 또한 반송파와 같은 데이터 캐리어 상에서 데이터 신호로서 운반되는 정보(예컨대, 데이터)를 포함할 수 있다. 예컨대, 머신 실행가능 정보는 데이터 캐리어에서 구체화되는 데이터-운반 신호로서 포함될 수 있으며, 여기서 신호는 머신(예컨대, 컴퓨팅 디바이스)에 의한 실행을 위한 명령어의 시퀀스 또는 그 일부, 및 머신으로 하여금 본 명세서에 설명된 방법론들 및/또는 실시예들 중 임의의 하나를 수행하게 야기하는 임의의 관련된 정보(예컨대, 데이터 구조들 및 데이터)를 인코딩한다.
컴퓨팅 디바이스의 예들은 전자 책 판독 디바이스, 컴퓨터 워크스테이션, 단말기 컴퓨터, 서버 컴퓨터, 핸드헬드 디바이스(예컨대, 태블릿 컴퓨터, 스마트폰 등), 웹 기기, 네트워크 라우터, 네트워크 스위치, 네트워크 브리지, 해당 머신에 의해 취해질 액션을 지정하는 명령어들의 시퀀스를 실행할 수 있는 임의의 머신, 및 이들의 임의의 조합들을 포함하지만, 이에 제한되지는 않는다. 일 예에서, 컴퓨팅 디바이스는 키오스크를 포함하고/하거나 그에 포함될 수 있다.
도 7은 컴퓨팅 디바이스의 일 실시예의 도식적 표현을, 제어 시스템으로 하여금 본 개시내용의 양상들 및/또는 방법론들 중 임의의 하나 이상을 수행하게 야기하기 위한 명령어들의 세트가 실행될 수 있는 예시적인 형태의 컴퓨터 시스템(700)으로 도시한다. 또한, 다수의 컴퓨팅 디바이스들이 디바이스들 중 하나 이상으로 하여금 본 개시내용의 양상들 및/또는 방법론들 중 임의의 하나 이상을 수행하게 야기하기 위해 특별히 구성된 명령어들의 세트를 구현하는 데 활용될 수 있다는 것이 고려된다. 컴퓨터 시스템(700)은 버스(712)를 통해 서로 그리고 다른 컴포넌트들과 통신하는 프로세서(704) 및 메모리(708)를 포함한다. 버스(712)는 다양한 버스 아키텍처들 중 임의의 것을 사용하는 메모리 버스, 메모리 제어기, 주변기기 버스, 로컬 버스 및 이들의 임의의 조합들을 포함하되, 이에 제한되지는 않는 수개의 타입의 버스 구조들 중 임의의 것을 포함할 수 있다.
메모리(708)는 랜덤 액세스 메모리 컴포넌트, 판독 전용 컴포넌트 및 이들의 임의의 조합들을 포함하되, 이에 제한되지는 않는 다양한 컴포넌트들(예컨대, 머신 판독가능 매체)을 포함할 수 있다. 일 예에서, 예컨대, 시동 동안 컴퓨터 시스템(700) 내의 요소들 사이에서 정보를 송신하는 것을 돕는 기본 루틴들을 포함하는 기본 입/출력 시스템(716)(BIOS)이 메모리(708)에 저장될 수 있다. 메모리(708)는 또한 본 개시내용의 양상들 및/또는 방법론들 중 임의의 하나 이상을 구체화하는 명령어들(예컨대, 소프트웨어)(720)을 포함할 수 있다(예컨대, 하나 이상의 머신 판독가능 매체 상에 저장할 수 있다). 또 다른 예에서, 메모리(708)는 운영 체제, 하나 이상의 애플리케이션 프로그램, 다른 프로그램 모듈들, 프로그램 데이터, 및 이들의 임의의 조합을 포함하되, 이에 제한되지는 않는 임의의 수의 프로그램 모듈을 추가로 포함할 수 있다.
컴퓨터 시스템(700)은 또한 저장 디바이스(724)를 포함할 수 있다. 저장 디바이스(예컨대, 저장 디바이스(724))의 예들은 하드 디스크 드라이브, 자기 디스크 드라이브, 광학 매체와 결합된 광 디스크 드라이브, 솔리드 스테이트 메모리 디바이스, 및 이들의 임의의 조합들을 포함하지만, 이에 제한되지는 않는다. 저장 디바이스(724)는 적절한 인터페이스(도시되지 않음)에 의해 버스(712)에 접속될 수 있다. 예시적인 인터페이스들은 SCSI, ATA(advanced technology attachment), 직렬 ATA, USB(universal serial bus), IEEE 1394(FIREWIRE), 및 이들의 임의의 조합들을 포함하지만, 이에 제한되지는 않는다. 일 예에서, 저장 디바이스(724)(또는 그것의 하나 이상의 컴포넌트)는 (예컨대, 외부 포트 커넥터(도시 생략)를 통해) 컴퓨터 시스템(700)과 이동식으로 인터페이스될 수 있다. 특히, 저장 디바이스(724) 및 연관된 머신 판독가능 매체(728)는 컴퓨터 시스템(700)에 대한 머신 판독가능 명령어들, 데이터 구조들, 프로그램 모듈들 및/또는 다른 데이터의 비휘발성 및/또는 휘발성 저장을 제공할 수 있다. 일 예에서, 소프트웨어(720)는 머신 판독가능 매체(728) 내에 완전히 또는 부분적으로 상주할 수 있다. 또 다른 예에서, 소프트웨어(720)는 프로세서(704) 내에 완전히 또는 부분적으로 상주할 수 있다.
컴퓨터 시스템(700)은 또한 입력 디바이스(732)를 포함할 수 있다. 일 예에서, 컴퓨터 시스템(700)의 사용자는 입력 디바이스(732)를 통해 명령들 및/또는 다른 정보를 컴퓨터 시스템(700)에 입력할 수 있다. 입력 디바이스(732)의 예들은 영숫자 입력 디바이스(예컨대, 키보드), 포인팅 디바이스, 조이스틱, 게임 패드, 오디오 입력 디바이스(예컨대, 마이크로폰, 음성 응답 시스템 등), 커서 제어 디바이스(예컨대, 마우스), 터치 패드, 광학 스캐너, 비디오 캡처 디바이스(예컨대, 스틸 카메라, 비디오 카메라), 터치 스크린, 및 이들의 임의의 조합들을 포함하지만, 이에 제한되지는 않는다. 입력 디바이스(732)는 직렬 인터페이스, 병렬 인터페이스, 게임 포트, USB 인터페이스, FIREWIRE 인터페이스, 버스(712)에 대한 직접 인터페이스, 및 이들의 임의의 조합들을 포함하되, 이에 제한되지는 않는 다양한 인터페이스들(도시 생략) 중 임의의 것을 통해 버스(712)에 인터페이스될 수 있다. 입력 디바이스(732)는 아래에서 추가로 논의되는 디스플레이(736)의 일부이거나 이와 별개일 수 있는 터치 스크린 인터페이스를 포함할 수 있다. 입력 디바이스(732)는 위에서 설명된 바와 같이 그래픽 인터페이스에서 하나 이상의 그래픽 표현을 선택하기 위한 사용자 선택 디바이스로서 활용될 수 있다.
사용자는 또한 저장 디바이스(724)(예컨대, 이동식 디스크 드라이브, 플래시 드라이브 등) 및/또는 네트워크 인터페이스 디바이스(740)를 통해 컴퓨터 시스템(700)에 명령들 및/또는 다른 정보를 입력할 수 있다. 네트워크 인터페이스 디바이스(740)와 같은 네트워크 인터페이스 디바이스는 컴퓨터 시스템(700)을 네트워크(744)와 같은 다양한 네트워크들 및 그에 연결된 하나 이상의 원격 디바이스(748) 중 하나 이상에 연결하기 위해 활용될 수 있다. 네트워크 인터페이스 디바이스의 예들은, 네트워크 인터페이스 카드(예컨대, 모바일 네트워크 인터페이스 카드, LAN 카드), 모뎀, 및 이들의 임의의 조합을 포함하지만 이에 제한되지는 않는다. 네트워크의 예들은 광역 네트워크(예컨대, 인터넷, 기업 네트워크), 근거리 네트워크(예컨대, 사무실, 건물, 캠퍼스 또는 다른 비교적 작은 지리적 공간과 연관된 네트워크), 전화 네트워크, 전화/음성 공급자와 연관된 데이터 네트워크(예컨대, 이동 통신 공급자 데이터 및/또는 음성 네트워크), 두 컴퓨팅 디바이스 사이의 직접 연결, 및 이들의 임의의 조합들을 포함하지만, 이에 제한되지는 않는다. 네트워크(744)와 같은 네트워크는 유선 및/또는 무선 통신 모드를 채택할 수 있다. 일반적으로, 임의의 네트워크 토폴로지가 사용될 수 있다. 정보(예컨대, 데이터, 소프트웨어(720) 등)는 네트워크 인터페이스 디바이스(740)를 통해 컴퓨터 시스템(700)에 및/또는 그로부터 통신될 수 있다.
컴퓨터 시스템(700)은 디스플레이 디바이스(736)와 같은 디스플레이 디바이스에 디스플레이 가능한 이미지를 통신하기 위한 비디오 디스플레이 어댑터(752)를 추가로 포함할 수 있다. 디스플레이 디바이스의 예들은 액정 디스플레이(liquid crystal display, LCD), 음극선관(cathode ray tube, CRT), 플라즈마 디스플레이, 발광 다이오드(light emitting diode, LED) 디스플레이, 및 이들의 임의의 조합들을 포함하지만, 이에 제한되지는 않는다. 디스플레이 어댑터(752) 및 디스플레이 디바이스(736)는 본 개시내용의 양상들의 그래픽 표현들을 제공하기 위해 프로세서(704)와 조합하여 활용될 수 있다. 디스플레이 디바이스 이외에, 컴퓨터 시스템(700)은 오디오 스피커, 프린터, 및 이들의 임의의 조합들을 포함하되, 이에 제한되지는 않는 하나 이상의 다른 주변기기 출력 디바이스를 포함할 수 있다. 이러한 주변기기 출력 디바이스들은 주변기기 인터페이스(756)를 통해 버스(712)에 접속될 수 있다. 주변기기 인터페이스의 예들은 직렬 포트, USB 연결, FIREWIRE 연결, 병렬 연결, 및 이들의 임의의 조합들을 포함하지만, 이에 제한되지는 않는다.
전술한 내용은 본 발명의 예시적인 실시예들에 대한 상세한 설명이었다. 다양한 수정 및 추가가 본 발명의 사상 및 범위로부터 벗어나지 않고 이루어질 수 있다. 위에서 설명된 다양한 실시예의 각각의 특징은 연관된 새로운 실시예들에서 다수의 특징 조합을 제공하기 위해서 적절한 대로 다른 설명된 실시예들의 특징과 조합될 수 있다. 또한, 전술한 내용이 많은 개별적인 실시예를 설명하였지만, 본 명세서에서 설명된 것은 단지 본 발명의 원리의 적용의 예시이다. 또한, 본 명세서의 특정 방법들이 특정 순서로 수행되는 것으로 예시 및/또는 설명될 수 있지만, 본 명세서에 개시된 실시예들을 달성하기 위해 순서는 통상의 기술 내에서 매우 가변적이다. 따라서, 이러한 설명은 단지 예로서 취해지도록 의도되고, 본 발명의 범위를 다르게 제한하지 않는다.
위의 설명 및 청구범위에서, "~중 적어도 하나" 또는 "~중 하나 이상"과 같은 구문 이전에 요소 또는 특징의 접속어 리스트가 등장할 수 있다. 용어 "및/또는"이 2개 이상의 엘리먼트들 또는 특징들의 리스트에서 또한 등장할 수 있다. 이것이 사용되는 맥락에 의해 묵시적으로 또는 명시적으로 달리 모순되지 않으면, 이러한 구문은 임의의 열거된 요소 또는 특징을 개별적으로 또는 임의의 기재된 요소 또는 특징을 임의의 다른 기재된 요소 또는 특징과 조합하여 의미하도록 의도된다. 예컨대, 문구들 "A 및 B 중 적어도 하나"; "A 및 B 중 하나 이상"; 및 "A 및/또는 B"는 각각 "A 단독, B 단독, 또는 A 및 B 함께"를 의미하도록 의도된다. 유사한 해석이 또한 3개 이상의 항목들을 포함하는 리스트들을 위해 의도된다. 예컨대, 문구들 "A, B, 및 C 중 적어도 하나"; "A, B, 및 C 중 하나 이상"; 및 "A, B, 및/또는 C"는 각각 "A 단독, B 단독, C 단독, A와 B 함께, A와 C 함께, B와 C 함께, 또는 A와 B와 C 함께"를 의미하도록 의도된다. 또한, 상기 및 청구항들에서 용어 "~에 기반하여"의 사용은, 기재되지 않은 특징 또는 요소가 또한 허용가능하도록, "~에 적어도 부분적으로 기반하여"를 의미하도록 의도된다.
본 명세서에 설명된 청구 대상은 원하는 구성에 좌우되어 시스템들, 장치, 방법들, 및/또는 물품들에서 구현될 수 있다. 전술한 설명에서 제시된 구현들은 본 명세서에 설명된 청구 대상과 일치하는 모든 구현을 나타내는 것은 아니다. 대신에, 이들은 단지 설명되는 청구 대상과 관련된 양상들과 일관되는 몇몇 예이다. 몇몇의 변형들이 위에서 상세히 설명되었지만, 다른 변형들 또는 추가들이 가능하다. 특히, 추가의 특징들 및/또는 변형들이 본 명세서에 설명된 것 외에도 제공될 수 있다. 예컨대, 위에 설명된 구현들은 개시된 특징들의 다양한 조합들 및 서브조합들 및/또는 위에 개시된 수개의 추가 특징들의 조합들 및 서브조합들에 관한 것일 수 있다. 또한, 첨부된 도면에 묘사되고 및/또는 본 명세서에서 설명된 논리 흐름도는 바람직한 결과를 달성하기 위해 도시된 특정 순서 또는 순차적 순서를 반드시 요구하지는 않는다. 다른 구현들이 이하의 청구항들의 범위 내에 포함될 수 있다.

Claims (20)

  1. 디코더로서,
    상기 디코더는 회로를 포함하고,
    상기 회로는:
    비트 스트림(bit stream)을 수신하고;
    상기 비트 스트림을 사용하여 그리고 현재 프레임에 대해, 상기 현재 프레임을 기준 프레임(reference frame)으로서 사용하는 데 이용 가능한지 여부를 결정하고;
    상기 현재 프레임을 기준 프레임으로서 사용하는 데 이용 가능하다는 결정에 대한 응답으로, 적응적 해상도 관리 모드(adaptive resolution management mode)가 허용되지 않는 것을 특징으로 하는 변수(variable)를 설정하고; 그리고
    상기 현재 프레임의 픽셀 데이터(pixel data)를 재구성하도록 구성되고,
    상기 적응적 해상도 관리 모드가 허용되지 않는,
    디코더.
  2. 제1 항에 있어서,
    상기 현재 프레임이 기준 프레임으로서 사용하는 데 이용 가능한지 여부를 결정하는 것은 상기 현재 프레임의 타입이 타입 I인지 여부를 결정하는 것을 포함하는,
    디코더.
  3. 제1 항에 있어서,
    상기 현재 프레임이 기준 프레임으로서 사용하는 데 이용 가능한지 여부를 결정하는 것은 상기 현재 프레임의 타입이 타입 P인지 여부를 결정하는 것을 포함하는,
    디코더.
  4. 제1 항에 있어서,
    상기 현재 프레임의 타입은 상기 비트 스트림으로 시그널링되는,
    디코더.
  5. 제1 항에 있어서,
    상기 현재 프레임은 슬라이스(slice)인,
    디코더.
  6. 제1 항에 있어서,
    상기 적응적 해상도 관리 모드와 연관된 파라미터들은 상기 현재 프레임의 픽처 헤더에 존재하지 않는,
    디코더.
  7. 제1 항에 있어서,
    상기 비트스트림으로부터 현재 블록을 디코딩하도록 추가로 구성되는,
    디코더.
  8. 제1 항에 있어서,
    상기 현재 블록은 코딩 트리 유닛(coding tree unit)을 포함하는,
    디코더.
  9. 제1 항에 있어서,
    상기 현재 블록은 예측 유닛(prediction unit)을 포함하는,
    디코더.
  10. 제1 항에 있어서,
    상기 비트 스트림을 수신하고, 상기 비트 스트림을 양자화된 계수(quantized coefficient)들로 디코딩하도록 구성된 엔트로피 디코더 프로세서(entropy decoder processor );
    역 이산 코사인(inverse discrete cosine)을 수행하는 것을 포함하여, 상기 양자화된 계수들을 처리하도록 구성된 역 양자화 및 역 변환 프로세서(inverse quantization and inverse transformation processor);
    블록 해제 필터(deblocking filter);
    프레임 버퍼; 및
    인트라 예측 프로세서(intra prediction processor)를 더 포함하는,
    디코더.
  11. 비트 스트림을 수신하는 단계;
    상기 비트 스트림을 사용하여 그리고 현재 프레임에 대해, 상기 현재 프레임을 기준 프레임으로서 사용하는 데 이용 가능한지 여부를 결정하는 단계;
    상기 현재 프레임을 기준 프레임으로서 사용하는 데 이용 가능하다는 결정에 대한 응답으로, 적응적 해상도 관리 모드가 허용되지 않는 것을 특징으로 하는 변수를 설정하는 단계; 및
    상기 현재 프레임의 픽셀 데이터를 재구성하는 단계를 포함하고,
    상기 적응적 해상도 관리 모드가 허용되지 않는,
    방법.
  12. 제11 항에 있어서,
    상기 현재 프레임이 기준 프레임으로서 사용하는 데 이용 가능한지 여부를 결정하는 단계는 상기 현재 프레임의 타입이 타입 I인지 여부를 결정하는 단계를 포함하는,
    방법.
  13. 제11 항에 있어서,
    상기 현재 프레임이 기준 프레임으로서 사용하는 데 이용 가능한지 여부를 결정하는 단계는 상기 현재 프레임의 타입이 타입 P인지 여부를 결정하는 단계를 포함하는,
    방법.
  14. 제13 항에 있어서,
    상기 현재 프레임의 타입은 상기 비트 스트림으로 시그널링되는,
    방법.
  15. 제11 항에 있어서,
    상기 현재 프레임은 슬라이스인,
    방법.
  16. 제11 항에 있어서,
    상기 적응적 해상도 관리 모드와 연관된 파라미터들은 상기 현재 프레임의 픽처 헤더에 존재하지 않는,
    방법.
  17. 제11 항에 있어서,
    상기 비트스트림으로부터 현재 블록을 디코딩하는 단계를 더 포함하는,
    방법.
  18. 제11 항에 있어서,
    상기 현재 블록은 코딩 트리 유닛을 포함하는,
    방법.
  19. 제11 항에 있어서,
    상기 현재 블록은 예측 유닛을 포함하는,
    방법.
  20. 제11 항에 있어서,
    상기 수신하는 단계, 상기 결정하는 단계, 상기 설정하는 단계, 및 상기 재구성하는 단계 중 적어도 하나는 디코더에 의해 수행되고,
    상기 디코더는,
    상기 비트 스트림을 수신하고, 상기 비트 스트림을 양자화된 계수들로 디코딩하도록 구성된 엔트로피 디코더 프로세서;
    역 이산 코사인을 수행하는 것을 포함하여, 상기 양자화된 계수들을 처리하도록 구성된 역 양자화 및 역 변환 프로세서;
    블록 해제 필터;
    프레임 버퍼; 및
    인트라 예측 프로세서를 포함하는,
    방법.
KR1020227007475A 2019-08-06 2020-08-06 프레임 타입에 기반한 적응적 해상도 관리의 묵시적 시그널링 KR20220088680A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962883484P 2019-08-06 2019-08-06
US62/883,484 2019-08-06
PCT/US2020/045220 WO2021026363A1 (en) 2019-08-06 2020-08-06 Implicit signaling of adaptive resolution management based on frame type

Publications (1)

Publication Number Publication Date
KR20220088680A true KR20220088680A (ko) 2022-06-28

Family

ID=74498809

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227007475A KR20220088680A (ko) 2019-08-06 2020-08-06 프레임 타입에 기반한 적응적 해상도 관리의 묵시적 시그널링

Country Status (7)

Country Link
US (2) US11611768B2 (ko)
EP (1) EP4011068A4 (ko)
JP (1) JP2022544164A (ko)
KR (1) KR20220088680A (ko)
CN (1) CN114616826A (ko)
BR (1) BR112022002154A2 (ko)
MX (1) MX2022001595A (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220088680A (ko) * 2019-08-06 2022-06-28 오피 솔루션즈, 엘엘씨 프레임 타입에 기반한 적응적 해상도 관리의 묵시적 시그널링
WO2021052491A1 (en) 2019-09-19 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Deriving reference sample positions in video coding
WO2021063418A1 (en) 2019-10-05 2021-04-08 Beijing Bytedance Network Technology Co., Ltd. Level-based signaling of video coding tools
EP4029262A4 (en) 2019-10-12 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. PREDICTIVE TYPE SIGNALING IN VIDEO ENCODING
MX2022004200A (es) 2019-10-13 2022-05-02 Beijing Bytedance Network Tech Co Ltd Interaccion entre remuestreo de imagen de referencia y herramientas de codificacion de video.
WO2021121419A1 (en) 2019-12-19 2021-06-24 Beijing Bytedance Network Technology Co., Ltd. Interaction between adaptive color transform and quantization parameters
WO2021136555A1 (en) 2020-01-05 2021-07-08 Beijing Bytedance Network Technology Co., Ltd. Use of offsets with adaptive colour transform coding tool
WO2021143896A1 (en) 2020-01-18 2021-07-22 Beijing Bytedance Network Technology Co., Ltd. Adaptive colour transform in image/video coding

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6370276B2 (en) 1997-04-09 2002-04-09 Matsushita Electric Industrial Co., Ltd. Image predictive decoding method, image predictive decoding apparatus, image predictive coding method, image predictive coding apparatus, and data storage media
US6724948B1 (en) 1999-12-27 2004-04-20 Intel Corporation Scaling images for display
GB2362531A (en) * 2000-05-15 2001-11-21 Nokia Mobile Phones Ltd Indicating the temporal order of reference frames in a video sequence
US6934677B2 (en) 2001-12-14 2005-08-23 Microsoft Corporation Quantization matrices based on critical band pattern information for digital audio wherein quantization bands differ from critical bands
US8761252B2 (en) 2003-03-27 2014-06-24 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
KR100825743B1 (ko) * 2005-11-15 2008-04-29 한국전자통신연구원 실시간으로 비트스트림의 공간 해상도를 변환할 수 있는스케일러블 비디오 코딩 방법 및 그 방법을 이용한 코덱
JP2009518981A (ja) 2005-12-08 2009-05-07 ヴィドヨ，インコーポレーテッド ビデオ通信システムでのエラー回復力およびランダムアクセスのためのシステムおよび方法
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US8675738B2 (en) 2008-08-06 2014-03-18 Mediatek Inc. Video decoding method without using additional buffers for storing scaled frames and system thereof
US8804821B2 (en) 2008-09-26 2014-08-12 Microsoft Corporation Adaptive video processing of an interactive environment
TWI387317B (zh) * 2008-12-11 2013-02-21 Novatek Microelectronics Corp 產生重新取樣參考畫面之裝置及其方法與影像解碼系統
US8514942B2 (en) * 2008-12-31 2013-08-20 Entropic Communications, Inc. Low-resolution video coding content extraction
WO2010085361A2 (en) 2009-01-26 2010-07-29 Thomson Licensing Frame packing for video coding
US9565397B2 (en) 2009-02-26 2017-02-07 Akamai Technologies, Inc. Deterministically skewing transmission of content streams
US20110013692A1 (en) 2009-03-29 2011-01-20 Cohen Robert A Adaptive Video Transcoding
EP2985700A3 (en) 2010-09-28 2016-08-17 Samsung Electronics Co., Ltd. Video encoding method and device and decoding method and device
EP2630799A4 (en) * 2010-10-20 2014-07-02 Nokia Corp METHOD AND DEVICE FOR VIDEO CODING AND DECODING
KR101712156B1 (ko) 2010-12-06 2017-03-06 에스케이 텔레콤주식회사 임의의 형태의 블록을 이용한 인터예측에 의한 영상의 부호화/복호화 방법 및 장치
KR20120088488A (ko) 2011-01-31 2012-08-08 한국전자통신연구원 시간적 움직임 벡터 저장 방법 및 그 장치
WO2013048324A1 (en) * 2011-09-29 2013-04-04 Telefonaktiebolaget L M Ericsson (Publ) Reference picture list handling
US9451284B2 (en) 2011-10-10 2016-09-20 Qualcomm Incorporated Efficient signaling of reference picture sets
CN103200400B (zh) * 2012-01-09 2018-03-16 中兴通讯股份有限公司 一种图像层和分片层的编解码方法、编解码器和电子设备
US20130177084A1 (en) 2012-01-10 2013-07-11 Qualcomm Incorporated Motion vector scaling in video coding
US9565432B2 (en) * 2012-04-23 2017-02-07 Lg Electronics Inc. Video-encoding method, video-decoding method, and apparatus implementing same
KR20150056811A (ko) 2012-11-13 2015-05-27 인텔 코포레이션 차세대 비디오를 위한 콘텐츠 적응적 변환 코딩
WO2014120368A1 (en) 2013-01-30 2014-08-07 Intel Corporation Content adaptive entropy coding for next generation video
US9635371B2 (en) 2013-05-31 2017-04-25 Qualcomm Incorporated Determining rounding offset using scaling factor in picture resampling
US10003815B2 (en) * 2013-06-03 2018-06-19 Qualcomm Incorporated Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures
US9648351B2 (en) * 2013-10-24 2017-05-09 Dolby Laboratories Licensing Corporation Error control in multi-stream EDR video codec
US20150195554A1 (en) 2014-01-03 2015-07-09 Sharp Laboratories Of America, Inc. Constraints and enhancements for a scalable video coding system
US10368097B2 (en) 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
WO2015104451A1 (en) 2014-01-07 2015-07-16 Nokia Technologies Oy Method and apparatus for video coding and decoding
US9906804B2 (en) 2014-01-16 2018-02-27 Qualcomm Incorporated Reference layer sample position derivation for scalable video coding
US20150264404A1 (en) * 2014-03-17 2015-09-17 Nokia Technologies Oy Method and apparatus for video coding and decoding
EP3057319A1 (en) 2015-02-10 2016-08-17 Harmonic Inc. Adaptive resolution video decoder
EP3354029A4 (en) 2015-09-23 2019-08-21 Nokia Technologies Oy METHOD, APPARATUS AND COMPUTER PROGRAM PRODUCT FOR ENCODING 360-DEGREE PANORAMIC VIDEO
US10362314B2 (en) 2015-11-27 2019-07-23 Mediatek Inc. Apparatus and method for video coding by intra-prediction
WO2017156669A1 (en) 2016-03-14 2017-09-21 Mediatek Singapore Pte. Ltd. Methods for motion vector storage in video coding
CN114257809B (zh) 2016-10-04 2023-03-24 有限公司B1影像技术研究所 图像数据编码/解码方法和计算机可读记录介质
US10979732B2 (en) 2016-10-04 2021-04-13 Qualcomm Incorporated Adaptive motion vector precision for video coding
EP3516877B1 (en) 2016-12-01 2020-03-11 Google LLC Restoration in video coding using domain transform recursive filters
EP3349452A1 (en) 2017-01-11 2018-07-18 Thomson Licensing Scaling of transform coefficients for non-dyadic transform blocks
WO2019059721A1 (ko) * 2017-09-21 2019-03-28 에스케이텔레콤 주식회사 해상도 향상 기법을 이용한 영상의 부호화 및 복호화
WO2019141907A1 (en) 2018-01-22 2019-07-25 Nokia Technologies Oy An apparatus, a method and a computer program for omnidirectional video
WO2020103944A1 (en) * 2018-11-22 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Sub-block based motion candidate selection and signaling
CA3132391A1 (en) 2019-03-11 2020-09-17 Tencent America LLC Signaling of adaptive picture size in video bitstream
US11233988B2 (en) 2019-05-17 2022-01-25 Qualcomm Incorporated Reference picture resampling and inter-coding tools for video coding
CN113994697A (zh) * 2019-06-22 2022-01-28 北京字节跳动网络技术有限公司 色度残差缩放的语法元素
US11032548B2 (en) 2019-06-24 2021-06-08 Tencent America LLC Signaling for reference picture resampling
KR102660738B1 (ko) * 2019-07-07 2024-04-26 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 크로마 잔차 스케일링의 시그널링
US11206404B2 (en) * 2019-07-08 2021-12-21 Fastvdo Llc Adaptive resolution change in video streams
KR20220090493A (ko) * 2019-08-06 2022-06-29 오피 솔루션즈, 엘엘씨 블록-기반 적응적 해상도 관리
EP4011067A4 (en) * 2019-08-06 2023-09-13 OP Solutions, LLC ADAPTIVE RESOLUTION MANAGEMENT SIGNALING
KR20220088680A (ko) * 2019-08-06 2022-06-28 오피 솔루션즈, 엘엘씨 프레임 타입에 기반한 적응적 해상도 관리의 묵시적 시그널링

Also Published As

Publication number Publication date
US20210044820A1 (en) 2021-02-11
EP4011068A4 (en) 2023-08-09
JP2022544164A (ja) 2022-10-17
EP4011068A1 (en) 2022-06-15
US20230209077A1 (en) 2023-06-29
BR112022002154A2 (pt) 2022-04-19
CN114616826A (zh) 2022-06-10
MX2022001595A (es) 2022-03-11
US11611768B2 (en) 2023-03-21

Similar Documents

Publication Publication Date Title
US11611768B2 (en) Implicit signaling of adaptive resolution management based on frame type
US11943461B2 (en) Adaptive resolution management signaling
US11102498B2 (en) Block-based adaptive resolution management
US20220360802A1 (en) Frame buffering in adaptive resolution management
WO2021026363A1 (en) Implicit signaling of adaptive resolution management based on frame type
US20240114161A1 (en) Adaptive resolution management using sub-frames
US20220417545A1 (en) Adaptive Resolution Management Prediction Rescaling
KR20220002996A (ko) 글로벌 모션을 갖는 프레임들에서의 후보들
KR20220002991A (ko) 글로벌 모션을 갖는 프레임들에서의 적응적 모션 벡터 예측 후보들
WO2021026361A1 (en) Adaptive resolution management using sub-frames
JP2022554382A (ja) 適応クロッピングのための方法及びシステム
WO2021026334A1 (en) Adaptive resolution management signaling
WO2021026324A1 (en) Adaptive resolution management prediction rescaling