KR20220088844A - 서브-프레임들을 사용한 적응적 해상도 관리 - Google Patents

서브-프레임들을 사용한 적응적 해상도 관리 Download PDF

Info

Publication number
KR20220088844A
KR20220088844A KR1020227007463A KR20227007463A KR20220088844A KR 20220088844 A KR20220088844 A KR 20220088844A KR 1020227007463 A KR1020227007463 A KR 1020227007463A KR 20227007463 A KR20227007463 A KR 20227007463A KR 20220088844 A KR20220088844 A KR 20220088844A
Authority
KR
South Korea
Prior art keywords
frame
scaling
sub
scaling constant
signaled
Prior art date
Application number
KR1020227007463A
Other languages
English (en)
Inventor
하리 칼바
벨리보르 아지치
보리보예 푸르트
Original Assignee
오피 솔루션즈, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오피 솔루션즈, 엘엘씨 filed Critical 오피 솔루션즈, 엘엘씨
Priority claimed from PCT/US2020/045218 external-priority patent/WO2021026361A1/en
Publication of KR20220088844A publication Critical patent/KR20220088844A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

방법은 비트 스트림을 수신하는 단계, 제1 서브-프레임 및 제2 서브-프레임을 포함하는 제1 프레임에 대해, 제1 서브-프레임과 연관된 제1 스케일링 상수를 결정하는 단계, 제2 서브-프레임과 연관된 제2 스케일링 상수를 결정하는 단계, 및 제1 스케일링 상수 및 제2 스케일링 상수를 사용하여 제1 프레임의 픽셀 데이터를 재구성하는 단계를 포함하고, 제1 스케일링 상수 및 제2 스케일링 상수는 상이한 값들을 특징으로 한다. 관련 장치, 시스템들, 기법들 및 물품들이 또한 설명된다.

Description

서브-프레임들을 사용한 적응적 해상도 관리
본 출원은 2019년 8월 6일에 출원되고, 명칭이 "ADAPTIVE RESOLUTION MANAGEMENT USING SUB-FRAMES"인 미국 가특허 출원 일련 번호 제62/883,480호를 우선권으로 주장하며, 상기 출원의 전체 내용은 인용에 의해 본원에 포함된다.
본 발명은 일반적으로 비디오 압축 분야에 관한 것이다. 특히, 본 발명은 서브-프레임들을 사용한 적응적 해상도 관리(adaptive resolution management)에 관한 것이다.
비디오 코덱은 디지털 비디오를 압축하거나 압축해제하는 전자 회로 또는 소프트웨어를 포함할 수 있다. 그것은 비압축된 비디오를 압축된 포맷으로 또는 그 반대로 전환할 수 있다. 비디오 압축의 맥락에서, 비디오를 압축하는(그리고/또는 그것의 일부 기능을 수행하는) 디바이스는 전형적으로 인코더로 칭해질 수 있고, 비디오를 압축해제하는(그리고/또는 그것의 일부 기능을 수행하는) 디바이스는 디코더로 칭해질 수 있다.
압축된 데이터의 포맷은 표준 비디오 압축 사양을 준수할 수 있다. 압축은, 압축된 비디오가 원래의 비디오에 존재하는 일부 정보를 갖지 않는다는 점에서 손실이 있을 수 있다. 이것의 결과는, 압축해제된 비디오가 원래의 비디오를 정확하게 재구성하기에는 불충분한 정보일 수 있기 때문에, 원래의 압축되지 않은 비디오보다 낮은 품질을 가질 수 있다는 것을 포함할 수 있다.
비디오 품질, 비디오를 표현하기 위해 사용되는 데이터의 양(예컨대, 비트 레이트에 의해 결정됨), 인코딩 및 디코딩 알고리즘들의 복잡성, 데이터 손실 및 오류에 대한 민감성, 편집의 용이성, 랜덤 액세스, 엔드-투-엔드 지연(예컨대, 레이턴시), 및 그와 유사한 것 사이에 복잡한 관계들이 존재할 수 있다.
모션 보상은, 카메라 및/또는 비디오 내의 객체들의 모션을 고려함으로써, 이전 및/또는 미래 프레임들과 같은 기준 프레임이 주어지면 비디오 프레임 또는 그것의 일부를 예측하는 접근법을 포함할 수 있다. 이것은 비디오 압축을 위한 비디오 데이터의 인코딩 및 디코딩에서, 예컨대, MPEG(Motion Picture Experts Group)의 AVC(advanced video coding) 표준(H.264로 또한 지칭됨)을 사용하는 인코딩 및 디코딩에서 이용될 수 있다. 모션 보상은 기준 픽처의 현재 픽처로의 변환의 관점에서 픽처를 기술할 수 있다. 기준 픽처는 현재 픽처와 비교할 때 시간상 이전일 수 있고 그리고/또는 현재 픽처와 비교할 때 미래로부터일 수 있다.
일 양상에서, 디코더는 회로를 포함하고, 회로는 비트 스트림을 수신하고, 제1 서브-프레임 및 제2 서브-프레임을 포함하는 제1 프레임에 대해, 제1 서브-프레임과 연관된 제1 스케일링 상수를 결정하고, 제2 서브-프레임과 연관된 제2 스케일링 상수를 결정하고, 그리고 제1 스케일링 상수 및 제2 스케일링 상수를 사용하여 제1 프레임의 픽셀 데이터를 재구성하도록 구성되고, 제1 스케일링 상수 및 제2 스케일링 상수는 상이한 값들을 특징으로 한다.
다른 양상에서, 방법은 비트 스트림을 수신하는 단계, 제1 서브-프레임 및 제2 서브-프레임을 포함하는 제1 프레임에 대해, 제1 서브-프레임과 연관된 제1 스케일링 상수를 결정하는 단계, 제2 서브-프레임과 연관된 제2 스케일링 상수를 결정하는 단계, 및 제1 스케일링 상수 및 제2 스케일링 상수를 사용하여 제1 프레임의 픽셀 데이터를 재구성하는 단계를 포함하고, 제1 스케일링 상수 및 제2 스케일링 상수는 상이한 값들을 특징으로 한다.
본 명세서에 설명된 청구 대상의 하나 이상의 변형의 세부사항들은 아래 첨부 도면들 및 설명에서 제시된다. 본 명세서에 설명된 청구 대상의 다른 특징들 및 장점들이 설명 및 도면들, 그리고 청구항으로부터 명확해질 것이다.
본 발명을 예시하기 위한 목적으로, 도면들은 본 발명의 하나 이상의 실시예의 양상들을 도시한다. 그러나, 본 발명은 도면들에 도시된 정확한 배열(arrangements) 및 수단(instrumentalities)으로만 제한되지는 않음을 이해해야 한다.
도 1은 다양한 해상도 스케일들의 예시적인 예측된 프레임들 및 예시적인 기준 프레임의 예시이다.
도 2는 예시적인 기준 프레임, 예시적인 스케일링된 기준 프레임, 및 예시적인 후속 블록 예측 프로세스를 도시하는 예시이다.
도 3은 상이한 해상도들을 갖는 서브-프레임들을 포함하여 몇몇의 프레임들 및 서브-프레임들을 예시한다.
도 4는 현재 청구 대상의 일부 구현들에 따른 예시적인 프로세스를 예시하는 프로세스 흐름도이다.
도 5는 현재 청구 대상의 일부 구현들에 따른, 비트 스트림을 디코딩할 수 있는 예시적인 디코더를 예시하는 시스템 블록도이다.
도 6은 현재 청구 대상의 일부 구현들에 따른, 비디오를 인코딩하는 예시적인 프로세스를 예시하는 프로세스 흐름도이다.
도 7은 현재 청구 대상의 일부 구현들에 따른 예시적인 비디오 인코더를 예시하는 시스템 블록도이다.
도 8은 본 명세서에 개시된 방법론들 중 임의의 하나 이상 및 그의 임의의 하나 이상의 부분을 구현하기 위해 사용될 수 있는 컴퓨팅 시스템의 블록도이다.
도면들이 반드시 실척대로 도시될 필요는 없으며, 가상선들, 도식적 표현들 및 단편적 뷰들로 예시될 수 있다. 특정 예시들에서, 실시예들의 이해를 위해 반드시 필요한 것은 아니거나 또는 다른 세부사항들을 인지하기 어렵게 만드는 세부사항들은 생략되었을 수 있다. 다양한 도면들에 있어서 유사한 참조 부호들은 유사한 엘리먼트들을 나타낸다.
현재의 많은 최첨단 인코더들에서, 해상도는 GOP(group-of-picture)들로 알려진 비디오의 전체 부분을 재코딩하고 재전송함으로써 관리된다. 이것은 추가 비용이 발생할 수 있는 인트라 프레임(I-프레임)을 전송하는 것을 요구하는데, 왜냐하면 이러한 프레임들이 GOP의 비트 대부분을 담당하기 때문이다.
본 개시내용에서 설명된 실시예들은, 다양한 사용 경우들에서 비트레이트 절감을 허용하는 비디오 인코더/디코더에 대한 추가적인 유연성을 가능하게 하는 기술인 ARM(Adaptive Resolution Management)에 관한 것이다. 일반적으로, ARM은 현재 프레임과 상이한 해상도의 기준 프레임을 사용하여 예측을 수행하는 것을 포함한다. 현재 코딩 표준들에서, 기준 프레임들은 예측된 프레임들과 동일한 해상도를 갖는다. ARM에서, 기준 프레임은 예측되는 프레임보다 더 작거나 더 큰 해상도를 가질 수 있다. 이 접근 방식은 비디오 해상도를 다운스케일링하고 따라서 비트레이트를 줄이거나, 또는 비디오 해상도를 업스케일링하고 따라서 비디오 재생의 디스플레이 특징들을 가능하게 하는 데 사용될 수 있다.
ARM은 대안적으로 또는 동등하게 본 개시내용의 목적을 위해 RPR(reference picture resampling)로 지칭될 수 있고; RPR 및 ARM은 상호 교환 가능하게 사용될 수 있다.
현재 청구 대상의 일부 구현들은 GOP 내의 임의의 위치에서 임의의 수의 프레임들에 대해 ARM을 사용하고 따라서 I-프레임 재코딩에 대한 요건들을 제거하는 것을 포함할 수 있다.
도 1은 다양한 해상도 스케일들의 기준 프레임 및 예측된 프레임들의 예시이다. 프레임 1은 기준 프레임보다 작고(해상도가 더 낮고), 프레임 2는 동일한 크기(동일한 해상도)인 반면에, 프레임 3은 더 크다(해상도가 더 높다). 본 개시내용에서 사용된 "해상도"는 픽처, 프레임, 서브-프레임, 및/또는 비디오 재생, 압축 등에 사용되는 이들의 다른 디스플레이되는 영역 또는 그의 부분 내의 픽셀들의 수이며, 더 많은 수의 픽셀들은 더 높은 해상도에 대응하고, 더 적은 수의 픽셀들은 더 낮은 해상도에 대응한다. 해상도는, 예컨대, 영역 측면에서 측정되고, 비제한적으로, 하나 이상의 길이 치수들을 사용함으로써, 영역을 정의하는 픽셀들에서 측정될 수 있다. 예컨대, 원형 서브-프레임 또는 다른 영역은 반경에 따라 정의된 해상도를 가질 수 있다. 대안적으로 또는 추가적으로, 해상도는 전체 픽셀들의 수에 의해 정의될 수 있다.
예로서, 그리고 도 1을 계속 참조하면, 여기서 기준 프레임 및/또는 서브-프레임은 비제한적으로 삼각형, 평행사변형 및/또는 직사각형 형상과 같은 2개의 길이 파라미터들의 관점에서 영역이 전체적으로 정의될 수 있는 기하학적 형태를 갖고, 기준 프레임 및/또는 서브-프레임은 해상도 W x H를 가질 수 있으며, 여기서 W 및 H는 각각 기준 프레임 및/또는 서브-프레임의 폭(또는 밑변) 및 높이 치수들을 각각 설명하는 픽셀들의 수를 나타낼 수 있다. 각각의 예측된 프레임은 또한, 기준 프레임의 해상도와 유사하게 결정될 수 있는 해상도를 가질 수 있고, 예컨대, 프레임 1은 더 작은 해상도 WS x HS를 가질 수 있고, 프레임 2는 기준 프레임 W x H와 동일한 해상도를 가질 수 있으며, 프레임 3은 더 큰 해상도 WL x HL을 가질 수 있다. 더 작은 프레임과 더 큰 프레임의 폭과 높이는 기준 폭과 높이와, 스케일링 팩터 및/또는 상수로 또한 지칭되는 임의의 재스케일링 상수(Rc)를 곱함으로써 획득될 수 있다. 더 작은 프레임들의 경우에, Rc는 0 내지 1의 값을 가질 수 있다. 더 큰 프레임들의 경우에, Rc는 1보다 큰 값을 가질 수 있고, 예컨대, Rc는 1 내지 4의 값을 가질 수 있다. 다른 값들이 가능하다. 재스케일링 상수는 하나의 해상도 치수에 대해 다른 것과 상이할 수 있고, 예컨대, 재스케일링 상수(Rch)는 높이를 재스케일링하는 데 사용될 수 있는 반면에 다른 재스케일링 상수(Rcw)는 폭을 재스케일링하는 데 사용될 수 있다.
여전히 도 1을 참조하면, ARM은 모드로서 구현될 수 있다. 디코딩 동안의 특정 시점에서 ARM 모드 활성화의 경우에, 디코더는 W x H 해상도로 이미 기준 프레임을 수신했을 수 있고, 재스케일링 상수를 사용하여 예측된 프레임을 재스케일링할 수 있다. 일부 구현들에서, 인코더는, 예컨대, pps_pic_width_in_luma_samples 파라미터, pps_scaling_win_right_offset 파라미터, 및/또는 pps_scaling_win_left_offset 파라미터와 같은 픽처 파라미터의 함수로써, 어떠한 재스케일링 상수를 사용할지를 디코더에 시그널링할 수 있다. 시그널링은 현재 픽처를 포함하는 GOP에 대응하는 SPS(sequence parameter set) 및/또는 현재 픽처에 대응하는 PPS(picture parameter set)에서 수행될 수 있다. 예컨대, 비제한적으로, 인코더는 pps_pic_width_in_luma_samples, pps_pic_height_in_luma_samples, pps_scaling_win_left_offset, pps_scaling_win_right_offset, pps_scaling_win_top_offset, pps_scaling_win_bottom_offset, 및/또는 sps_num_subpics_minus1과 같은 필드들을 사용하여 재스케일링된 파라미터들을 시그널링할 수 있다. 1과 동일한 pps_scaling_window_explicit_signalling_flag와 같은 파라미터는 스케일링 윈도우 오프셋 파라미터들이 PPS에 존재한다는 것을 지정할 수 있는 반면에, 0과 동일한 pps_scaling_window_explicit_signalling_flag는 스케일링 윈도우 오프셋 파라미터들이 PPS에 존재하지 않는다는 것을 나타낼 수 있다. sps_ref_pic_resampling_enabled_flag가 0과 동일할 때, pps_scaling_window_explicit_signalling_flag의 값은 0과 동일할 수 있다. pps_scaling_win_left_offset, pps_scaling_win_right_offset, pps_scaling_win_top_offset, 및 pps_scaling_win_bottom_offset은 스케일링 비율 계산을 위해 픽처 사이즈에 적용된 오프셋들을 지정할 수 있다. 존재하지 않을 때, pps_scaling_win_left_offset, pps_scaling_win_right_offset, pps_scaling_win_top_offset, 및 pps_scaling_win_bottom_offset의 값들은 pps_conf_win_left_offset, pps_conf_win_right_offset, pps_conf_win_top_offset, 및 pps_conf_win_bottom_offset과 각각 동일한 것으로 추론될 수 있다.
추가로 도 1을 참조하면, 상술한 W 및 H 파라미터들은 각각 비제한적으로 변수들 CurrPicScalWinWidthL 및 CurrPicScalWinHeightL을 사용하여 표현될 수 있고; 이들 변수들은 시그널링된 파라미터들과 변수들 사이의 하나 이상의 수학적 관계들을 사용하여 전술한 바와 같이 시그널링된 파라미터들로부터 도출될 수 있다. 예컨대, 비제한적으로, CurrPicScalWinWidthL은 다음 방정식에 따라 도출될 수 있다.
CurrPicScalWinWidthL = pps_pic_width_in_luma_samples -
SubWidthC * (pps_scaling_win_right_offset + pps_scaling_win_left_offset)
추가의 비제한적 예로서, CurrPicScalWinHeightL은 다음 방정식에 따라 도출될 수 있다.
CurrPicScalWinWidthL = pps_pic_width_in_luma_samples -
SubWidthC * (pps_scaling_win_right_offset + pps_scaling_win_left_offset)
당업자들은, 본 개시내용의 전체를 검토할 때, 전술한 변수들을 도출하는 데 사용될 수 있는 다양한 대안적인 컴퓨테이션들을 인식할 것이다. 인코더는 PPS 및/또는 SPS에서, 비제한적으로, 예컨대, 직접적으로 하나 이상의 이러한 변수들(Rc, Rch 및/또는 Rcw)을 대안적으로 또는 추가로 시그널링할 수 있다.
대안적으로 또는 추가적으로, 그리고 여전히 도 1을 참조하면, 위에서 설명된 바와 같은 재스케일링 상수 및/또는 재스케일링 상수들의 세트는 저장된 스케일링 상수 및/또는 상수들, 및/또는 이전에 시그널링되고 그리고/또는 활용된 스케일링 상수 및/또는 상수들을 사용하여 시그널링된 프레임 및/또는 블록의 인덱스에 대한 참조를 사용하여 비트스트림으로 시그널링될 수 있다. 저장된 스케일링 상수의 인덱스에 대한 참조는 비트스트림으로 시그널링되는 하나 이상의 추가 파라미터들로부터 명시적으로 시그널링 및/또는 결정될 수 있다. 예컨대, 비제한적으로, 디코더는 기준 프레임 및/또는 현재 프레임을 포함하는 픽처들의 그룹을 식별할 수 있으며; 여기서 재스케일링 상수는 이전에 시그널링되고 그리고/또는 이러한 픽처들의 그룹에서 사용되는 경우 ― 기준 프레임은 현재 프레임 및/또는 현재 픽처들의 그룹 등에 적용 가능한 것으로 시그널링됨 ― , 디코더는 현재 프레임의 재스케일링 상수로서 사용하기 위한 그 재스케일링 상수를 식별할 수 있다.
일부 구현들에서, 그리고 도 1을 계속 참조하면, ARM 동작은 인코딩된 프레임들의 블록 레벨에서 실행될 수 있다. 예컨대, 도 2에 도시된 바와 같이, 기준 프레임이 먼저 재스케일링될 수 있고 후속적으로 예측이 수행될 수 있다. 도 2는 기준 프레임, 재스케일링된 기준 프레임, 및 후속 블록 예측 프로세스를 도시하는 예시이다. 블록 예측 프로세스는 원래 기준 프레임보다는 스케일링된 기준 프레임(스케일링된 해상도를 가짐)에 대해 수행될 수 있다. 기준 프레임을 재스케일링하는 것은 상술한 바와 같이 인코더에 의해 시그널링되는 임의의 파라미터에 따른 재스케일링하는 것을 포함할 수 있고, 예컨대, 비제한적으로, 현재 픽처와 함께 사용될 기준 프레임이, 이를테면, 기준 프레임과 연관된 인덱스 값에 대한 참조 등을 통해 시그널링되는 경우, 시그널링된 기준 프레임은, 위에서 설명한 임의의 재스케일링 방법에 따라, 예측 이전에, 재스케일링될 수 있다. 재스케일링된 기준 프레임은 메모리 및/또는 버퍼에 저장될 수 있으며, 버퍼는, 비제한적으로, 그 안에 저장된 프레임들을 인덱스들에 의해 식별하는 버퍼를 포함할 수 있고, 프레임 리트리벌(frame retrieval)은 인덱스들에 따라 수행될 수 있고, 버퍼는 DCB(decoded picture buffer) 및/또는 디코더에 의해 구현되는 하나 이상의 추가 버퍼들을 포함할 수 있다. 예측 프로세스는, 예컨대, 모션 보상을 포함하는 인터 픽처 예측을 포함할 수 있다.
블록 기반 ARM의 일부 구현들은, 전체 프레임에 대해 동일한 필터를 적용하는 대신에, 각각의 블록에 대해 최적의 필터들을 적용하는 데 있어서 유연성을 가능하게 할 수 있다. 일부 구현들에서, 일부 블록들(예컨대, 픽셀들의 균일성 및 비트레이트 비용에 기반함)이 스킵-ARM 모드에 있을 수 있도록(스케일링이 비트레이트를 변경하지 않도록) 하는 스킵-ARM 모드가 가능할 수 있다. 스킵-ARM 모드는 비트스트림으로 시그널링될 수 있고, 예컨대, 비제한적으로, 스킵-ARM 모드는 PPS 파라미터로 시그널링될 수 있다. 대안적으로 또는 추가적으로, 디코더는, 디코더에 의해 설정되고 그리고/또는 비트스트림으로 시그널링되는 하나 이상의 파라미터들에 기반하여, 스킵-ARM 모드가 활성이라고 결정할 수 있다. 블록 기반 ARM에 사용되는 공간 필터들은 바이큐빅 보간(bicubic interpolation)을 적용하는 바이큐빅 공간 필터들, 양선형 해석(bi-linear interpretation)을 적용하는 양선형 공간 필터들, 싱크 필터(sinc filter)들, 싱크-함수 보간 및/또는 신호 재구성 기술의 조합들을 사용하는 란초스(Lanczos) 필터링 및/또는 란초스 재샘플링을 사용하는 란초스 필터들 등을 포함할 수 있고, 당업자들은, 본 개시내용 전체를 검토할 때, 본 개시내용과 일관되게 보간을 위해 사용될 수 있는 다양한 필터들을 인식할 것이다. 보간 필터들은, 비제한적인 예로서, 위에서 설명된 임의의 필터들, 비제한적으로, 업샘플링 프로세스에 의해 사용될 수 있는 저역 통과 필터를 포함할 수 있으며, 이로써 스케일링 이전의 프레임 및/또는 블록의 픽셀들 사이의 픽셀들은 0으로 초기화되고, 그런 다음 저역 통과 필터의 출력으로 파퓰레이팅될 수 있다. 대안적으로 또는 추가적으로, 임의의 루마 샘플 보간 필터링 프로세스(luma sample interpolation filtering process)가 사용될 수 있다. 루마 샘플 해석은, 스케일링되지 않은 샘플 어레이의 2개의 연속적인 샘플 값들 사이에 있는, 절반 샘플 보간 필터 인덱스에서의 보간된 값의 컴퓨테이션을 포함할 수 있다.
보간된 값의 컴퓨테이션은, 비제한적으로, 룩업 테이블들로부터 계수들 및/또는 가중치들의 리트리벌에 의해 수행될 수 있으며; 룩업 테이블들의 선택은, 예컨대, 위에서 설명된 바와 같은 스케일링 상수들을 사용하여 결정된 바와 같이 코딩 유닛들 및/또는 스케일링 비율 양들의 모션 모델들의 함수로서 수행될 수 있다. 컴퓨테이션은 인접 픽셀 값들의 가중된 합들을 수행하는 것을 비제한적으로 포함할 수 있고, 여기서 룩업 테이블들로부터 가중치들이 리트리브된다. 컴퓨팅된 값들은 대안적으로 또는 추가로 시프팅될 수 있고, 예컨대, 비제한적으로, 값들은 Min(4, BitDepth ― 8), 6, Max(2, 14 ― BitDepth) 등에 의해 시프팅될 수 있다. 당업자들은, 본 개시내용 전체를 검토할 때, 보간 필터들에 사용될 수 있는 다양한 대안적 또는 추가적 구현들을 인식할 것이다.
일부 구현들에서, 압축 효율성은 더 낮은 해상도에서 비디오 프레임의 서브-프레임들을 인코딩함으로써 개선될 수 있다. 서브-프레임들은 본 개시내용의 목적들을 위해 프레임의 영역들로서 정의되며, 이들 각각은 전체 프레임의 모든 픽셀들을 포함하지는 않는다. 영역들은 본 개시내용에서 설명된 바와 같이 하나 이상의 블록들을 포함할 수 있고; 하나 이상의 블록들 및/또는 영역들은, 비제한적으로, 직사각형 형상을 포함하여 임의의 적합한 형상을 가질 수 있다. 비제한적인 예로서, 서브-프레임들은 프레임의 타일들, 슬라이스들, 및/또는 영역들로서 코딩될 수 있다. 서브-프레임들은, 함께 프레임을 구성하는 프레임의 비중첩 영역들을 포함할 수 있다. 도 3은 상이한 해상도들을 갖는 서브-프레임들을 포함하여 몇몇의 프레임들 및 서브-프레임들의 예시적인 실시예들을 예시한다.
304에서, 단일 프레임 i가 예시된다. 프레임 i 내의 타일 번호 및 위치가 픽처 헤더에서 시그널링될 수 있다. 일 실시예에서, 시그널링은 명시적일 수 있고; 대안적으로 또는 추가적으로, PPS는 타일 행들, 열들, 행 높이 및/또는 열 폭을 시그널링할 수 있으며, 이들 중 임의의 것 또는 전부는 타일 카운트 및/또는 수를 결정하기 위해 디코더에 의해 결합 및/또는 활용될 수 있다. 예컨대, 비제한적으로, pps_num_exp_tile_columns_minus1로 표시된 PPS 파라미터는, 이에 1이 합산되어, 명시적으로 제공된 타일 열 폭들의 수를 지정할 수 있다. 추가의 비제한적 예로서, pps_tile_column_width_minus1[ i ] 파라미터는, 이에 1이 합산되어, 예컨대, 0 내지 pps_num_exp_tile_columns_minus1(포함)의 범위에 대해 CTB(coding tree block)들의 단위로 i번째 타일 열의 폭을 지정할 수 있다. 파라미터 pps_tile_row_height_minus1[ i ] plus 1은, 이에 1이 합산되어, 예컨대, i에 대한 CTB들의 단위로 i번째 타일 행의 높이를 지정할 수 있다. 시그널링된 파라미터들은 대안적으로 또는 추가적으로 하나 이상의 타일들 내 슬라이스들의 수들 및/또는 치수들을 지정할 수 있다. 예컨대, pps_num_exp_slices_in_tile[ i ]로 표시된 파라미터는, i번째 슬라이스를 포함하는 타일의 슬라이스들에 대해 명시적으로 제공된 슬라이스 높이들의 수를 지정할 수 있다. pps_slice_width_in_tiles_minus1[ i ]로 표시된 파라미터는, 이에 1이 합산되어, 타일 열들의 단위로 i번째 직사각형 슬라이스의 폭을 지정할 수 있다. pps_slice_height_in_tiles_minus1[ i ]로 표시된 파라미터는, 이에 1이 합산되어, 예컨대, pps_num_exp_slices_in_tile[ i ]가 0인 경우, 타일 행들의 단위로 i번째 직사각형 슬라이스의 높이를 지정할 수 있다. 당업자들은, 본 개시내용의 전체를 검토할 때, 타일 및/또는 슬라이스 파라미터들이, 묵시적이든 또는 명시적이든 간에, 비트스트림 및/또는 헤더 파라미터들에서 및/또는 그들로부터 시그널링 및/또는 결정될 수 있는 다양한 대안적 또는 추가적 방식들을 인식할 것이다.
도 3을 더 참조하면, 프레임은 2개 이상의 서브-프레임들로 분할될 수 있다. 서브-프레임들에서, 비제한적으로, 주어진 서브-프레임에 포함된 지정된 타일들 및/또는 슬라이스들을 포함하여, 앞서 설명된 바와 같이, 하나 이상의 타일들 및/또는 슬라이스들이 식별 및/또는 시그널링될 수 있다. 308에서, 프레임 i는 2개의 서브-프레임들(서브-프레임 0 및 서브-프레임 1)으로 분할된 것으로 예시된다.
일부 구현들에서, 그리고 여전히 도 3을 참조하면, 인코더는, 임의의 서브-프레임이 재스케일링된 해상도로 인코딩되어야 하는지를 결정할 수 있다. 서브-프레임들은 재스케일링 상수(Rc)를 사용하여 스케일링될 수 있다. 일 실시예에서, 비제한적으로, 수평 스케일링 상수(Rch)가 수평 치수에 적용될 수 있고, 수직 스케일링 상수(Rcv)가 수직 치수에 적용될 수 있다. Rc < 1은 인코딩될 데이터를 감소시키고 이로써 인코딩된 비디오의 비트레이트를 감소시키는 데 사용될 수 있다. 도 3은 312에서, 서브-프레임 1이 절반 수평 해상도(Rch=0.5)로 재스케일링되는 예를 예시한다. 스케일링 팩터들(Rch 및 Rcv)은 디코더로 시그널링될 수 있다. Rch= Rcv일 때, 하나의 값만 수신기에 시그널링된다.
여전히 도 3을 참조하면, 그런 다음, 각각의 서브-프레임(서브-프레임 0 및 재스케일링된 서브-프레임 1)은 블록들로 분할되고, 이용가능한 인코딩 알고리즘들을 사용하여 인코딩될 수 있다. 모션 보상된 변환 코딩은 서브-프레임들에 적용될 수 있다. 인코딩된 서브-프레임들은 디코딩을 위해 디코더에 의해 수신될 수 있다. 수신기에서 디코딩된 서브-프레임들은 원래 해상도로 재스케일링될 수 있다. 그런 다음, 완전히 재구성된 프레임은 디스플레이 목적들로 사용될 수 있다. 도 3은 316에서, 수신기에서 전체 해상도의 서브-프레임 0 및 더 낮은 해상도의 서브-프레임 1을 가질 수 있는 디코딩된 프레임 i, 프레임 i*의 비제한적인 예를 예시한다. 320에서, 서브-프레임 1은 예시적인 목적들로, 디스플레이를 위해 또는 기준 프레임으로 사용하기 위해 사용되기 전에, 전체 해상도로 재스케일링되는 것으로 예시된다.
도 3은 324 및 328에서, 서브-프레임 구성들의 추가적인 비제한적인 예들을 예시하고, 예컨대, 비제한적으로, 3개 이상의 서브-프레임들이 있을 수 있으며, 이들 각각은 상이하게 재스케일링될 수 있고, 이들 각각은 본 개시내용에서 설명된 바와 같이 이러한 시그널링을 위한 임의의 프로세스 및/또는 파라미터에 따라 시그널링될 수 있다. 일 실시예에서, 일부 서브-프레임들은 재스케일링의 결과로서 면적, 길이, 폭에서 그리고/또는 다른 치수들로 증가할 수 있는 반면에, 다른 서브-프레임들은 면적, 길이, 폭에서 및/또는 다른 치수들로 감소할 수 있고; 이것은, 예컨대, 프레임의 하나의 부분의 크기가 증가하는 것을 허용하는 반면 다른 부분의 크기가 감소하는 것을 허용하여, 전체 프레임의 치수들이 동일하게 유지될 수 있게 한다. 대안적으로, 크기가 증가하는 하나 이상의 서브-프레임들은 하나 이상의 다른 서브-프레임들과 중첩 및/또는 가릴 수 있다. 공간 해상도는 순차적으로 변할 수 있으며, 이 경우에 이전에 코딩된 프레임들의 영역만이 현재 프레임에 있을 수 있다. 도 4는, 다양한 사용 경우들에서 비트레이트 절약을 허용하여 비디오 인코더 및/또는 디코더에 대한 추가 유연성을 가능하게 할 수 있는 적응적 해상도 관리의 예시적인 프로세스(400)를 예시하는 프로세스 흐름도이다.
단계(405)에서, 그리고 여전히 도 4를 참조하면, 비트 스트림이 디코더에 의해 수신된다. 현재 블록은, 디코더가 수신하는 비트 스트림 내에 포함될 수 있다. 비트 스트림은, 예컨대, 데이터 압축을 사용할 때 디코더에 대한 입력인 비트들의 스트림에서 발견된 데이터를 포함할 수 있다. 비트 스트림은 비디오를 디코딩하는 데 필요한 정보를 포함할 수 있다. 수신하는 것은 비트스트림으로부터 블록 및 연관된 시그널링 정보를 추출 및/또는 파싱하는 것을 포함할 수 있다. 일부 구현들에서, 현재 블록은, 예컨대, 그리고 비제한적으로, 아래에 더 상세히 설명되는 바와 같이, 코딩 트리 유닛(CTU), 코딩 유닛(CU), 및/또는 예측 유닛(PU)을 포함할 수 있다.
단계(410)에서 그리고 도 4를 계속 참조하면, 제1 서브-프레임과 연관된 제1 스케일링 상수는 제1 서브-프레임 및 제2 서브-프레임을 포함하는 제1 프레임에 대해 결정될 수 있다. 일부 구현들에서, 제1 스케일링 상수는 수직 스케일링 컴포넌트 및 수평 스케일링 컴포넌트를 포함할 수 있다. 제1 스케일링 상수는 비트 스트림 내에서 시그널링될 수 있고, 제2 스케일링 상수는 비트 스트림 내에서 시그널링될 수 있다. 일부 구현들에서, 제1 스케일링 상수는 미리 결정된 값에 대한 인덱스로서 비트 스트림으로 시그널링될 수 있다.
단계(415)에서 그리고 도 4를 더 참조하면, 제2 서브-프레임과 연관된 제2 스케일링 상수가 결정되고, 이것은, 앞서 설명된 바와 같이, 제1 서브-프레임에 대한 제1 스케일링 상수의 결정에 적합한 임의의 방식으로 구현될 수 있다.
단계(420)에서, 그리고 여전히 도 4를 참조하면, 제1 프레임의 픽셀 데이터는 제1 스케일링 상수 및 제2 스케일링 상수를 사용하여 재구성될 수 있다. 제1 스케일링 상수 및 제2 스케일링 상수는 상이한 값들을 특징으로 할 수 있다. 일부 구현들에서, 제1 프레임의 픽셀 데이터를 재구성하는 것은 제1 서브-프레임의 픽셀 데이터를 재구성하는 것 및 제2 프레임의 픽셀 데이터를 재구성하는 것을 포함한다.
도 5는, 글로벌 모션 벡터에 기반한 병합 후보 리오더를 사용하여 비트스트림을 디코딩할 수 있는 예시적인 디코더(500)를 예시하는 시스템 블록도이다. 디코더(500)는 엔트로피 디코더 프로세서(504), 역양자화 및 역변환 프로세서(508), 블록 해제 필터(512), 프레임 버퍼(516), 모션 보상 프로세서(520), 및/또는 인트라 예측 프로세서(524)를 포함할 수 있다.
동작 시에, 여전히 도 5를 참조하면, 비트스트림(528)은 디코더(500)에 의해 수신되고, 비트스트림의 부분들을 양자화된 계수들로 엔트로피 디코딩할 수 있는 엔트로피 디코더 프로세서(504)에 입력될 수 있다. 양자화된 계수들은 역양자화 및 역변환을 수행하여 잔차 신호를 생성할 수 있는 역양자화 및 역변환 프로세서(508)에 제공될 수 있으며, 이 잔차 신호는 처리 모드에 따라 모션 보상 프로세서(520) 또는 인트라 예측 프로세서(524)의 출력에 추가될 수 있다. 모션 보상 프로세서(520) 및 인트라 예측 프로세서(524)의 출력은 이전에 디코딩된 블록에 기반한 블록 예측을 포함할 수 있다. 예측 및 잔차의 합은 블록 해제 필터(512)에 의해 처리되고 프레임 버퍼(516)에 저장될 수 있다.
도 6은, 다양한 사용 경우들에서 비트레이트 절약을 허용하여 비디오 인코더 및/또는 디코더에 대한 추가 유연성을 가능하게 할 수 있는 적응적 해상도 관리를 사용하여 비디오를 인코딩하는 프로세스(600)의 예시적인 실시예를 예시하는 프로세스 흐름도이다. 단계(605)에서, 비디오 프레임은, 예컨대, 픽처 프레임을 CTU들 및/또는 CU들이 되도록 파티셔닝하는 것을 포함할 수 있는 트리-구조 매크로 블록 파티셔닝 스킴을 사용함으로써 초기 블록 세그먼트화를 거칠 수 있다.
단계(610)에서, 그리고 여전히 도 6을 참조하면, 예컨대, 그리고 비제한적으로, 앞서 설명된 바와 같이, 프레임 또는 그의 부분의 해상도 스케일링을 포함하여, 블록 기반 적응적 해상도 관리가 수행될 수 있다.
단계(615)에서, 그리고 도 6을 더 참조하면, 블록이 인코딩되어 비트 스트림에 포함될 수 있다. 인코딩은, 예컨대, 인터 예측 및 인트라 예측 모드들을 활용하는 것을 포함할 수 있다.
도 7은, 글로벌 모션 벡터에 기반한 병합 후보 리오더(merge candidate reorder)을 사용하여 비디오를 인코딩할 수 있는 예시적인 비디오 인코더(700)를 예시하는 시스템 블록도이다. 예시적인 비디오 인코더(700)는 입력 비디오(704)를 수신하며, 이것은 트리-구조 매크로 블록 파티셔닝 스킴(tree-structured macro block partitioning scheme)(예컨대, 쿼드 트리 + 이진 트리(quad-tree plus binary tree))과 같은 처리 스킴에 따라 초기에 세그먼트화되거나 분할될 수 있다. 트리-구조 매크로 블록 파티셔닝 스킴의 예는 픽처 프레임을 코딩 트리 유닛들(coding tree units, CTU)로 지칭되는 큰 블록 요소들로 파티셔닝하는 것을 포함할 수 있다. 일부 구현들에서, 각각의 CTU는 코딩 유닛들(coding units, CU)로 지칭되는 다수의 서브-블록들로 일회 이상 추가로 파티셔닝될 수 있다. 이러한 포셔닝(portioning)의 최종 결과는 예측 유닛들(predictive units, PU)로 불릴 수 있는 서브-블록들의 그룹을 포함할 수 있다. 변환 유닛들(transform units, TU)도 활용될 수 있다.
여전히 도 7을 참조하면, 예시적인 비디오 인코더(700)는 인트라 예측 프로세서(708), 모션 벡터 후보 리스트에 글로벌 모션 벡터 후보를 추가하는 것을 포함하는 모션 벡터 후보 리스트를 구성할 수 있는, 인터 예측 프로세서이라고도 지칭될 수 있는 모션 추정/보상 프로세서(712), 변환/양자화 프로세서(716), 역 양자화/역 변환 프로세서(720), 인 루프 필터(724), 디코딩된 픽처 버퍼(728), 및/또는 엔트로피 코딩 프로세서(732)를 포함할 수 있다. 비트스트림 파라미터들은 출력 비트스트림(736)에의 포함을 위해 엔트로피 코딩 프로세서(732)에 입력될 수 있다.
동작 시에, 계속해서 도 7을 참조하면, 입력 비디오(704)의 프레임의 각각의 블록에 대해, 인트라 픽처 예측을 통해 또는 모션 추정/보상을 사용하여 블록을 처리할 것인지가 결정될 수 있다. 블록은 인트라 예측 프로세서(708) 또는 모션 추정/보상 프로세서(712)에 제공될 수 있다. 블록이 인트라 예측을 통해 처리되는 경우, 인트라 예측 프로세서(708)는 예측자(predictor)를 출력하기 위한 처리를 수행할 수 있다. 블록이 모션 추정/보상을 통해 처리될 것이라면, 모션 추정/보상 프로세서(712)는, 적용가능하면, 글로벌 모션 벡터 후보를 모션 벡터 후보 리스트에 추가하는 것을 포함하는 모션 벡터 후보 리스트를 구성하는 것을 포함하는 처리를 수행할 수 있다.
추가로 도 7을 참조하면, 입력 비디오로부터 예측자를 감산함으로써 잔차가 형성될 수 있다. 잔차는 변환/양자화 프로세서(716)에 의해 수신될 수 있으며, 이것은 양자화될 수 있는 계수들을 생성하기 위해 변환 처리(예컨대, 이산 코사인 변환(discrete cosine transform, DCT))를 수행할 수 있다. 양자화된 계수들 및 임의의 연관된 시그널링 정보는 엔트로피 인코딩 및 출력 비트스트림(736)에의 포함을 위해 엔트로피 코딩 프로세서(732)에 제공될 수 있다. 엔트로피 인코딩 프로세서(732)는 현재 블록의 인코딩과 관련된 시그널링 정보의 인코딩을 지원할 수 있다. 또한, 양자화된 계수들은 역양자화/역변환 프로세서(720)에 제공될 수 있고, 역양자화/역변환 프로세서는 픽셀들을 재생할 수 있고, 이 픽셀들은 예측자와 조합되어 인 루프 필터(724)에 의해 처리될 수 있고, 인 루프 필터의 출력은 모션 벡터 후보 리스트에 글로벌 모션 벡터 후보를 추가하는 것을 포함하여 모션 벡터 후보 리스트를 구성할 수 있는 모션 추정/보상 프로세서(712)에 의한 사용을 위해 디코딩된 픽처 버퍼(728)에 저장될 수 있다.
도 7을 계속 참조하면, 몇몇 변형들이 위에서 상세히 설명되었지만, 다른 수정들 또는 추가들이 가능하다. 예컨대, 일부 구현들에서, 현재 블록들은 임의의 대칭 블록들(8x8, 16x16, 32x32, 64x64, 128x128 등)뿐만 아니라 임의의 비대칭 블록(8x4, 16x8 등)을 포함할 수 있다.
일부 구현들에서, 여전히 도 7을 참조하면, 쿼드트리 + 이진 결정 트리(QTBT)가 구현될 수 있다. QTBT에서, 코딩 트리 유닛 레벨에서, QTBT의 파티션 파라미터들은 임의의 오버헤드를 송신하지 않고서 로컬 특성들에 적응하도록 동적으로 도출될 수 있다. 후속하여, 코딩 유닛 레벨에서, 조인트-분류기 결정 트리 구조가 불필요한 반복들을 제거하고 잘못된 예측의 위험을 제어할 수 있다. 일부 구현들에서, LTR 프레임 블록 갱신 모드가 QTBT의 모든 리프 노드(leaf node)마다에서 이용가능한 추가 옵션으로서 이용가능할 수 있다.
일부 구현들에서, 여전히 도 7을 참조하면, 추가적인 신택스 요소들이 비트스트림의 상이한 계층구조 레벨들에서 시그널링될 수 있다. 예컨대, 플래그는 SPS(Sequence Parameter Set)에서 코딩된 인에이블 플래그를 포함함으로써 전체 시퀀스에 대해 인에이블될 수 있다. 또한, CTU 플래그는 코딩 트리 유닛(CTU) 레벨에서 코딩될 수 있다.
일부 실시예들은, 명령어들을 저장하는 비일시적 컴퓨터 프로그램 제품들(즉, 물리적으로 구현된 컴퓨터 프로그램 제품들)을 포함할 수 있고, 명령어들은, 하나 이상의 컴퓨팅 시스템들의 하나 이상의 데이터 프로세서들에 의해 실행될 때, 적어도 하나의 데이터 프로세서로 하여금 본 명세서에서의 동작들을 수행하게 한다.
본 명세서에 개시된 실시예들은 회로를 갖는 디코더를 포함할 수 있고, 회로는 비트 스트림을 수신하고, 제1 서브-프레임 및 제2 서브-프레임을 포함하는 제1 프레임에 대해, 제1 서브-프레임과 연관된 제1 스케일링 상수를 결정하고, 제2 서브-프레임과 연관된 제2 스케일링 상수를 결정하고, 그리고 제1 스케일링 상수 및 제2 스케일링 상수를 사용하여 제1 프레임의 픽셀 데이터를 재구성하도록 구성되고, 제1 스케일링 상수 및 제2 스케일링 상수는 상이한 값들을 특징으로 한다.
일부 실시예들에서, 제1 스케일링 상수는 수직 스케일링 컴포넌트 및 수평 스케일링 컴포넌트를 포함할 수 있다. 제1 프레임의 픽셀 데이터를 재구성하는 것은 제1 서브-프레임의 픽셀 데이터를 재구성하는 것 및 제2 프레임의 픽셀 데이터를 재구성하는 것을 포함할 수 있다. 제1 스케일링 상수는 비트 스트림 내에서 시그널링될 수 있고, 제2 스케일링 상수는 비트 스트림 내에서 시그널링된다. 제1 스케일링 상수는 미리 결정된 값에 대한 인덱스로서 비트 스트림으로 시그널링될 수 있다. 제2 스케일링 상수는 적어도 픽처 파라미터를 사용하여 비트 스트림으로 시그널링될 수 있다. 제1 스케일링 상수는 PPS(picture parameter set)로 시그널링될 수 있다. 제1 스케일링 상수는 pps_pic_width_in_luma_samples 파라미터, pps_scaling_win_right_offset 파라미터, 및 pps_scaling_win_left_offset 파라미터의 함수로써 시그널링될 수 있다. 제1 프레임 내의 제1 서브-프레임의 위치는 PPS로 시그널링될 수 있다. 디코더는 비트 스트림을 수신하고, 비트 스트림을 양자화된 계수들로 디코딩하도록 구성된 엔트로피 디코더 프로세서, 역 이산 코사인을 수행하는 것을 포함하여, 양자화된 계수들을 처리하도록 구성된 역 양자화 및 역 변환 프로세서, 블록 해제 필터, 프레임 버퍼, 및 인트라 예측 프로세서를 포함할 수 있다.
본 명세서에 개시된 실시예들에서, 방법은 비트 스트림을 수신하는 단계, 제1 서브-프레임 및 제2 서브-프레임을 포함하는 제1 프레임에 대해, 제1 서브-프레임과 연관된 제1 스케일링 상수를 결정하는 단계, 제2 서브-프레임과 연관된 제2 스케일링 상수를 결정하는 단계, 및 제1 스케일링 상수 및 제2 스케일링 상수를 사용하여 제1 프레임의 픽셀 데이터를 재구성하는 단계를 포함할 수 있고, 제1 스케일링 상수 및 제2 스케일링 상수는 상이한 값들을 특징으로 한다.
일부 실시예들에서, 제1 스케일링 상수는 수직 스케일링 컴포넌트 및 수평 스케일링 컴포넌트를 포함할 수 있다. 제1 프레임의 픽셀 데이터를 재구성하는 단계는 제1 서브-프레임의 픽셀 데이터를 재구성하는 단계 및 제2 프레임의 픽셀 데이터를 재구성하는 단계를 포함할 수 있다. 제1 스케일링 상수는 비트 스트림 내에서 시그널링될 수 있고, 제2 스케일링 상수는 비트 스트림 내에서 시그널링된다. 제1 스케일링 상수는 미리 결정된 값에 대한 인덱스로서 비트 스트림으로 시그널링될 수 있다. 제2 스케일링 상수는 적어도 픽처 파라미터를 사용하여 비트 스트림으로 시그널링될 수 있다. 제1 스케일링 상수는 PPS(picture parameter set)로 시그널링될 수 있다. 제1 스케일링 상수는 pps_pic_width_in_luma_samples 파라미터, pps_scaling_win_right_offset 파라미터, 및 pps_scaling_win_left_offset 파라미터의 함수로써 시그널링될 수 있다. 제1 프레임 내의 제1 서브-프레임의 위치는 PPS로 시그널링될 수 있다. 수신하는 단계, 결정하는 단계, 및 재구성하는 단계 중 적어도 하나는 디코더에 의해 수행되고, 디코더는 비트 스트림을 수신하고, 비트 스트림을 양자화된 계수들로 디코딩하도록 구성된 엔트로피 디코더 프로세서, 역 이산 코사인을 수행하는 것을 포함하여, 양자화된 계수들을 처리하도록 구성된 역 양자화 및 역 변환 프로세서, 블록 해제 필터, 프레임 버퍼, 및 인트라 예측 프로세서를 포함한다.
본 명세서에서 설명되는 양상들 및 실시예들 중 임의의 하나 이상은, 컴퓨터 기술분야의 통상의 기술자들에게 명백한 바와 같이, 본 명세서의 교시들에 따라 프로그래밍된 하나 이상의 머신(예컨대, 전자 문서를 위한 사용자 컴퓨팅 디바이스, 문서 서버와 같은 하나 이상의 서버 디바이스 등으로서 활용되는 하나 이상의 컴퓨팅 디바이스)에서 실현 및/또는 구현되는 바와 같은 디지털 전자 회로, 집적 회로, 특별히 설계된 주문형 집적 회로(application specific integrated circuit, ASIC)들, 필드 프로그래머블 게이트 어레이(field programmable gate array, FPGA) 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 그것의 조합들을 사용하여 편리하게 구현될 수 있다는 것에 유의한다. 이러한 다양한 양상들 또는 특징들은 저장 시스템, 적어도 하나의 입력 디바이스, 및 적어도 하나의 출력 디바이스로부터 데이터 및 명령어들을 수신하고, 이들에 데이터 및 명령어들을 송신하도록 결합되는, 특수 또는 일반 목적일 수 있는, 적어도 하나의 프로그래머블 프로세서를 포함하는 프로그래머블 시스템 상에서 실행가능하고 및/또는 해석가능한 하나 이상의 컴퓨터 프로그램 및/또는 소프트웨어에서의 구현을 포함할 수 있다. 소프트웨어 분야의 통상의 기술자들에게 명백한 바와 같이, 적절한 소프트웨어 코딩은 본 개시내용의 교시들에 기반하여 숙련된 프로그래머들에 의해 쉽게 준비될 수 있다. 소프트웨어 및/또는 소프트웨어 모듈들을 채택하는 위에서 논의된 양상들 및 구현들은 또한 소프트웨어 및/또는 소프트웨어 모듈의 머신 실행가능 명령어들의 구현을 지원하기 위한 적절한 하드웨어를 포함할 수 있다.
이러한 소프트웨어는 머신 판독가능 저장 매체를 채택하는 컴퓨터 프로그램 제품일 수 있다. 머신 판독가능 저장 매체는 머신(예컨대, 컴퓨팅 디바이스)에 의한 실행을 위한 명령어들의 시퀀스를 저장 및/또는 인코딩할 수 있고 머신으로 하여금 본 명세서에 설명된 방법론들 및/또는 실시예들 중 임의의 하나를 수행하게 야기하는 임의의 매체일 수 있다. 머신 판독가능 저장 매체의 예들은 자기 디스크, 광 디스크(예컨대, CD, CD-R, DVD, DVD-R 등), 광-자기 디스크, 판독 전용 메모리 "ROM" 디바이스, 랜덤 액세스 메모리 "RAM" 디바이스, 마그네틱 카드, 광학 카드, 솔리드 스테이트 메모리 디바이스, EPROM, EEPROM, 프로그래머블 로직 디바이스(Programmable Logic Device, PLD)들, 및/또는 이들의 임의의 조합들을 포함하지만, 이에 제한되지는 않는다. 본 명세서에 사용된 머신 판독가능 매체는 단일 매체뿐만 아니라, 예컨대, 컴퓨터 메모리와 결합된 하나 이상의 하드 디스크 드라이브 또는 컴팩트 디스크들의 모음과 같은 물리적으로 분리된 매체의 모음을 포함하도록 의도된다. 본 명세서에서 사용되는 바와 같이, 머신 판독가능 저장 매체는 일시적인 형태들의 신호 송신을 포함하지 않는다.
이러한 소프트웨어는 또한 반송파와 같은 데이터 캐리어 상에서 데이터 신호로서 운반되는 정보(예컨대, 데이터)를 포함할 수 있다. 예컨대, 머신 실행가능 정보는 데이터 캐리어에서 구체화되는 데이터-운반 신호로서 포함될 수 있으며, 여기서 신호는 머신(예컨대, 컴퓨팅 디바이스)에 의한 실행을 위한 명령어의 시퀀스 또는 그 일부, 및 머신으로 하여금 본 명세서에 설명된 방법론들 및/또는 실시예들 중 임의의 하나를 수행하게 야기하는 임의의 관련된 정보(예컨대, 데이터 구조들 및 데이터)를 인코딩한다.
컴퓨팅 디바이스의 예들은 전자 책 판독 디바이스, 컴퓨터 워크스테이션, 단말기 컴퓨터, 서버 컴퓨터, 핸드헬드 디바이스(예컨대, 태블릿 컴퓨터, 스마트폰 등), 웹 기기, 네트워크 라우터, 네트워크 스위치, 네트워크 브리지, 해당 머신에 의해 취해질 액션을 지정하는 명령어들의 시퀀스를 실행할 수 있는 임의의 머신, 및 이들의 임의의 조합들을 포함하지만, 이에 제한되지는 않는다. 일 예에서, 컴퓨팅 디바이스는 키오스크를 포함하고/하거나 그에 포함될 수 있다.
도 8은 컴퓨팅 디바이스의 일 실시예의 도식적 표현을, 제어 시스템으로 하여금 본 개시내용의 양상들 및/또는 방법론들 중 임의의 하나 이상을 수행하게 야기하기 위한 명령어들의 세트가 실행될 수 있는 예시적인 형태의 컴퓨터 시스템(800)으로 도시한다. 또한, 다수의 컴퓨팅 디바이스들이 디바이스들 중 하나 이상으로 하여금 본 개시내용의 양상들 및/또는 방법론들 중 임의의 하나 이상을 수행하게 야기하기 위해 특별히 구성된 명령어들의 세트를 구현하는 데 활용될 수 있다는 것이 고려된다. 컴퓨터 시스템(800)은 버스(812)를 통해 서로 그리고 다른 컴포넌트들과 통신하는 프로세서(804) 및 메모리(808)를 포함한다. 버스(812)는 다양한 버스 아키텍처들 중 임의의 것을 사용하는 메모리 버스, 메모리 제어기, 주변기기 버스, 로컬 버스 및 이들의 임의의 조합들을 포함하되, 이에 제한되지는 않는 수개의 타입의 버스 구조들 중 임의의 것을 포함할 수 있다.
메모리(808)는 랜덤 액세스 메모리 컴포넌트, 판독 전용 컴포넌트 및 이들의 임의의 조합들을 포함하되, 이에 제한되지는 않는 다양한 컴포넌트들(예컨대, 머신 판독가능 매체)을 포함할 수 있다. 일 예에서, 예컨대, 시동 동안 컴퓨터 시스템(800) 내의 요소들 사이에서 정보를 송신하는 것을 돕는 기본 루틴들을 포함하는 기본 입/출력 시스템(816)(BIOS)이 메모리(808)에 저장될 수 있다. 메모리(808)는 또한 본 개시내용의 양상들 및/또는 방법론들 중 임의의 하나 이상을 구체화하는 명령어들(예컨대, 소프트웨어)(820)을 포함할 수 있다(예컨대, 하나 이상의 머신 판독가능 매체 상에 저장할 수 있다). 또 다른 예에서, 메모리(808)는 운영 체제, 하나 이상의 애플리케이션 프로그램, 다른 프로그램 모듈들, 프로그램 데이터, 및 이들의 임의의 조합을 포함하되, 이에 제한되지는 않는 임의의 수의 프로그램 모듈을 추가로 포함할 수 있다.
컴퓨터 시스템(800)은 또한 저장 디바이스(824)를 포함할 수 있다. 저장 디바이스(예컨대, 저장 디바이스(824))의 예들은 하드 디스크 드라이브, 자기 디스크 드라이브, 광학 매체와 결합된 광 디스크 드라이브, 솔리드 스테이트 메모리 디바이스, 및 이들의 임의의 조합들을 포함하지만, 이에 제한되지는 않는다. 저장 디바이스(824)는 적절한 인터페이스(도시되지 않음)에 의해 버스(812)에 접속될 수 있다. 예시적인 인터페이스들은 SCSI, ATA(advanced technology attachment), 직렬 ATA, USB(universal serial bus), IEEE 1394(FIREWIRE), 및 이들의 임의의 조합들을 포함하지만, 이에 제한되지는 않는다. 일 예에서, 저장 디바이스(824)(또는 그것의 하나 이상의 컴포넌트)는 (예컨대, 외부 포트 커넥터(도시 생략)를 통해) 컴퓨터 시스템(800)과 이동식으로 인터페이스될 수 있다. 특히, 저장 디바이스(824) 및 연관된 머신 판독가능 매체(828)는 컴퓨터 시스템(800)에 대한 머신 판독가능 명령어들, 데이터 구조들, 프로그램 모듈들 및/또는 다른 데이터의 비휘발성 및/또는 휘발성 저장을 제공할 수 있다. 일 예에서, 소프트웨어(820)는 머신 판독가능 매체(828) 내에 완전히 또는 부분적으로 상주할 수 있다. 또 다른 예에서, 소프트웨어(820)는 프로세서(804) 내에 완전히 또는 부분적으로 상주할 수 있다.
컴퓨터 시스템(800)은 또한 입력 디바이스(832)를 포함할 수 있다. 일 예에서, 컴퓨터 시스템(800)의 사용자는 입력 디바이스(832)를 통해 명령들 및/또는 다른 정보를 컴퓨터 시스템(800)에 입력할 수 있다. 입력 디바이스(832)의 예들은 영숫자 입력 디바이스(예컨대, 키보드), 포인팅 디바이스, 조이스틱, 게임 패드, 오디오 입력 디바이스(예컨대, 마이크로폰, 음성 응답 시스템 등), 커서 제어 디바이스(예컨대, 마우스), 터치 패드, 광학 스캐너, 비디오 캡처 디바이스(예컨대, 스틸 카메라, 비디오 카메라), 터치 스크린, 및 이들의 임의의 조합들을 포함하지만, 이에 제한되지는 않는다. 입력 디바이스(832)는 직렬 인터페이스, 병렬 인터페이스, 게임 포트, USB 인터페이스, FIREWIRE 인터페이스, 버스(812)에 대한 직접 인터페이스, 및 이들의 임의의 조합들을 포함하되, 이에 제한되지는 않는 다양한 인터페이스들(도시 생략) 중 임의의 것을 통해 버스(812)에 인터페이스될 수 있다. 입력 디바이스(832)는 아래에서 추가로 논의되는 디스플레이(836)의 일부이거나 이와 별개일 수 있는 터치 스크린 인터페이스를 포함할 수 있다. 입력 디바이스(832)는 위에서 설명된 바와 같이 그래픽 인터페이스에서 하나 이상의 그래픽 표현을 선택하기 위한 사용자 선택 디바이스로서 활용될 수 있다.
사용자는 또한 저장 디바이스(824)(예컨대, 이동식 디스크 드라이브, 플래시 드라이브 등) 및/또는 네트워크 인터페이스 디바이스(840)를 통해 컴퓨터 시스템(800)에 명령들 및/또는 다른 정보를 입력할 수 있다. 네트워크 인터페이스 디바이스(840)와 같은 네트워크 인터페이스 디바이스는 컴퓨터 시스템(800)을 네트워크(844)와 같은 다양한 네트워크들 및 그에 연결된 하나 이상의 원격 디바이스(848) 중 하나 이상에 연결하기 위해 활용될 수 있다. 네트워크 인터페이스 디바이스의 예들은, 네트워크 인터페이스 카드(예컨대, 모바일 네트워크 인터페이스 카드, LAN 카드), 모뎀, 및 이들의 임의의 조합을 포함하지만 이에 제한되지는 않는다. 네트워크의 예들은 광역 네트워크(예컨대, 인터넷, 기업 네트워크), 근거리 네트워크(예컨대, 사무실, 건물, 캠퍼스 또는 다른 비교적 작은 지리적 공간과 연관된 네트워크), 전화 네트워크, 전화/음성 공급자와 연관된 데이터 네트워크(예컨대, 이동 통신 공급자 데이터 및/또는 음성 네트워크), 두 컴퓨팅 디바이스 사이의 직접 연결, 및 이들의 임의의 조합들을 포함하지만, 이에 제한되지는 않는다. 네트워크(844)와 같은 네트워크는 유선 및/또는 무선 통신 모드를 채택할 수 있다. 일반적으로, 임의의 네트워크 토폴로지가 사용될 수 있다. 정보(예컨대, 데이터, 소프트웨어(820) 등)는 네트워크 인터페이스 디바이스(840)를 통해 컴퓨터 시스템(800)에 및/또는 그로부터 통신될 수 있다.
컴퓨터 시스템(800)은 디스플레이 디바이스(836)와 같은 디스플레이 디바이스에 디스플레이 가능한 이미지를 통신하기 위한 비디오 디스플레이 어댑터(852)를 추가로 포함할 수 있다. 디스플레이 디바이스의 예들은 액정 디스플레이(liquid crystal display, LCD), 음극선관(cathode ray tube, CRT), 플라즈마 디스플레이, 발광 다이오드(light emitting diode, LED) 디스플레이, 및 이들의 임의의 조합들을 포함하지만, 이에 제한되지는 않는다. 디스플레이 어댑터(852) 및 디스플레이 디바이스(836)는 본 개시내용의 양상들의 그래픽 표현들을 제공하기 위해 프로세서(804)와 조합하여 활용될 수 있다. 디스플레이 디바이스 이외에, 컴퓨터 시스템(800)은 오디오 스피커, 프린터, 및 이들의 임의의 조합들을 포함하되, 이에 제한되지는 않는 하나 이상의 다른 주변기기 출력 디바이스를 포함할 수 있다. 이러한 주변기기 출력 디바이스들은 주변기기 인터페이스(856)를 통해 버스(812)에 접속될 수 있다. 주변기기 인터페이스의 예들은 직렬 포트, USB 연결, FIREWIRE 연결, 병렬 연결, 및 이들의 임의의 조합들을 포함하지만, 이에 제한되지는 않는다.
전술한 내용은 본 발명의 예시적인 실시예들에 대한 상세한 설명이었다. 다양한 수정 및 추가가 본 발명의 사상 및 범위로부터 벗어나지 않고 이루어질 수 있다. 위에서 설명된 다양한 실시예의 각각의 특징은 연관된 새로운 실시예들에서 다수의 특징 조합을 제공하기 위해서 적절한 대로 다른 설명된 실시예들의 특징과 조합될 수 있다. 또한, 전술한 내용이 많은 개별적인 실시예를 설명하였지만, 본 명세서에서 설명된 것은 단지 본 발명의 원리의 적용의 예시이다. 또한, 본 명세서의 특정 방법들이 특정 순서로 수행되는 것으로 예시 및/또는 설명될 수 있지만, 본 명세서에 개시된 실시예들을 달성하기 위해 순서는 통상의 기술 내에서 매우 가변적이다. 따라서, 이러한 설명은 단지 예로서 취해지도록 의도되고, 본 발명의 범위를 다르게 제한하지 않는다.
위의 설명 및 청구범위에서, "~중 적어도 하나" 또는 "~중 하나 이상"과 같은 구문 이전에 요소 또는 특징의 접속어 리스트가 등장할 수 있다. 용어 "및/또는"이 2개 이상의 엘리먼트들 또는 특징들의 리스트에서 또한 등장할 수 있다. 이것이 사용되는 맥락에 의해 암시적으로 또는 명시적으로 달리 모순되지 않으면, 이러한 구문은 임의의 열거된 요소 또는 특징을 개별적으로 또는 임의의 기재된 요소 또는 특징을 임의의 다른 기재된 요소 또는 특징과 조합하여 의미하도록 의도된다. 예컨대, 문구들 "A 및 B 중 적어도 하나"; "A 및 B 중 하나 이상"; 및 "A 및/또는 B"는 각각 "A 단독, B 단독, 또는 A 및 B 함께"를 의미하도록 의도된다. 유사한 해석이 또한 3개 이상의 항목들을 포함하는 리스트들을 위해 의도된다. 예컨대, 문구들 "A, B, 및 C 중 적어도 하나"; "A, B, 및 C 중 하나 이상"; 및 "A, B, 및/또는 C"는 각각 "A 단독, B 단독, C 단독, A와 B 함께, A와 C 함께, B와 C 함께, 또는 A와 B와 C 함께"를 의미하도록 의도된다. 또한, 상기 및 청구항들에서 용어 "~에 기반하여"의 사용은, 기재되지 않은 특징 또는 요소가 또한 허용가능하도록, "~에 적어도 부분적으로 기반하여"를 의미하도록 의도된다.
본 명세서에 설명된 청구 대상은 원하는 구성에 좌우되어 시스템들, 장치, 방법들, 및/또는 물품들에서 구현될 수 있다. 전술한 설명에서 제시된 구현들은 본 명세서에 설명된 청구 대상과 일치하는 모든 구현을 나타내는 것은 아니다. 대신에, 이들은 단지 설명되는 청구 대상과 관련된 양상들과 일관되는 몇몇 예이다. 몇몇의 변형들이 위에서 상세히 설명되었지만, 다른 변형들 또는 추가들이 가능하다. 특히, 추가의 특징들 및/또는 변형들이 본 명세서에 설명된 것 외에도 제공될 수 있다. 예컨대, 위에 설명된 구현들은 개시된 특징들의 다양한 조합들 및 서브조합들 및/또는 위에 개시된 수개의 추가 특징들의 조합들 및 서브조합들에 관한 것일 수 있다. 또한, 첨부된 도면에 묘사되고 및/또는 본 명세서에서 설명된 논리 흐름도는 바람직한 결과를 달성하기 위해 도시된 특정 순서 또는 순차적 순서를 반드시 요구하지는 않는다. 다른 구현들이 이하의 청구항들의 범위 내에 포함될 수 있다.

Claims (20)

  1. 디코더로서,
    상기 디코더는 회로를 포함하고,
    상기 회로는:
    비트 스트림(bit stream)을 수신하고;
    제1 서브-프레임 및 제2 서브-프레임을 포함하는 제1 프레임에 대해, 상기 제1 서브-프레임과 연관된 제1 스케일링 상수(scaling constant)를 결정하고;
    상기 제2 서브-프레임과 연관된 제2 스케일링 상수를 결정하고; 그리고
    상기 제1 스케일링 상수 및 상기 제2 스케일링 상수를 사용하여 상기 제1 프레임의 픽셀 데이터(pixel data)를 재구성하도록 구성되고,
    상기 제1 스케일링 상수 및 상기 제2 스케일링 상수는 상이한 값들을 특징으로 하는,
    디코더.
  2. 제1 항에 있어서,
    상기 제1 스케일링 상수는 수직 스케일링 컴포넌트(vertical scaling component) 및 수평 스케일링 컴포넌트(horizontal scaling component)를 포함하는,
    디코더.
  3. 제1 항에 있어서,
    상기 제1 프레임의 상기 픽셀 데이터를 재구성하는 것은 상기 제1 서브-프레임의 픽셀 데이터를 재구성하는 것 및 상기 제2 프레임의 픽셀 데이터를 재구성하는 것을 포함하는,
    디코더.
  4. 제1 항에 있어서,
    상기 제1 스케일링 상수는 상기 비트 스트림 내에서 시그널링되고, 상기 제2 스케일링 상수는 상기 비트 스트림 내에서 시그널링되는,
    디코더.
  5. 제4 항에 있어서,
    상기 제1 스케일링 상수는 미리 결정된 값에 대한 인덱스로서 상기 비트 스트림으로 시그널링되는,
    디코더.
  6. 제5 항에 있어서,
    상기 제2 스케일링 상수는 적어도 픽처 파라미터를 사용하여 상기 비트 스트림으로 시그널링되는,
    디코더.
  7. 제4 항에 있어서,
    상기 제1 스케일링 상수는 PPS(picture parameter set)로 시그널링되는,
    디코더.
  8. 제4 항에 있어서,
    상기 제1 스케일링 상수는 pps_pic_width_in_luma_samples 파라미터, pps_scaling_win_right_offset 파라미터, 및 pps_scaling_win_left_offset 파라미터의 함수로써 시그널링되는,
    디코더.
  9. 제1 항에 있어서,
    상기 제1 프레임 내의 상기 제1 서브-프레임의 위치는 PPS로 시그널링되는,
    디코더.
  10. 제1 항에 있어서,
    상기 비트 스트림을 수신하고, 상기 비트 스트림을 양자화된 계수(quantized coefficient)들로 디코딩하도록 구성된 엔트로피 디코더 프로세서(entropy decoder processor);
    역 이산 코사인(inverse discrete cosine)을 수행하는 것을 포함하여, 상기 양자화된 계수들을 처리하도록 구성된 역 양자화 및 역 변환 프로세서(inverse quantization and inverse transformation processor);
    블록 해제 필터(deblocking filter);
    프레임 버퍼(frame buffer); 및
    인트라 예측 프로세서(intra prediction processor)를 더 포함하는,
    디코더.
  11. 비트 스트림을 수신하는 단계;
    제1 서브-프레임 및 제2 서브-프레임을 포함하는 제1 프레임에 대해, 상기 제1 서브-프레임과 연관된 제1 스케일링 상수를 결정하는 단계;
    상기 제2 서브-프레임과 연관된 제2 스케일링 상수를 결정하는 단계; 및
    상기 제1 스케일링 상수 및 상기 제2 스케일링 상수를 사용하여 상기 제1 프레임의 픽셀 데이터를 재구성하는 단계를 포함하고,
    상기 제1 스케일링 상수 및 상기 제2 스케일링 상수는 상이한 값들을 특징으로 하는,
    방법.
  12. 제11 항에 있어서,
    상기 제1 스케일링 상수는 수직 스케일링 컴포넌트 및 수평 스케일링 컴포넌트를 포함하는,
    방법.
  13. 제11 항에 있어서,
    상기 제1 프레임의 상기 픽셀 데이터를 재구성하는 것은 상기 제1 서브-프레임의 픽셀 데이터를 재구성하는 것 및 상기 제2 프레임의 픽셀 데이터를 재구성하는 것을 포함하는,
    방법.
  14. 제11 항에 있어서,
    상기 제1 스케일링 상수는 상기 비트 스트림 내에서 시그널링되고, 상기 제2 스케일링 상수는 상기 비트 스트림 내에서 시그널링되는,
    방법.
  15. 제14 항에 있어서,
    상기 제1 스케일링 상수는 미리 결정된 값에 대한 인덱스로서 상기 비트 스트림으로 시그널링되는,
    방법.
  16. 제15 항에 있어서,
    상기 제2 스케일링 상수는 적어도 픽처 파라미터를 사용하여 상기 비트 스트림으로 시그널링되는,
    방법.
  17. 제14 항에 있어서,
    상기 제1 스케일링 상수는 PPS(picture parameter set)로 시그널링되는,
    방법.
  18. 제14 항에 있어서,
    상기 제1 스케일링 상수는 pps_pic_width_in_luma_samples 파라미터, pps_scaling_win_right_offset 파라미터, 및 pps_scaling_win_left_offset 파라미터의 함수로써 시그널링되는,
    방법.
  19. 제11 항에 있어서,
    상기 제1 프레임 내의 상기 제1 서브-프레임의 위치는 PPS로 시그널링되는,
    방법.
  20. 제11 항에 있어서,
    상기 수신하는 단계, 상기 결정하는 단계, 및 상기 재구성하는 단계 중 적어도 하나는 디코더에 의해 수행되고,
    상기 디코더는:
    상기 비트 스트림을 수신하고, 상기 비트 스트림을 양자화된 계수들로 디코딩하도록 구성된 엔트로피 디코더 프로세서;
    역 이산 코사인을 수행하는 것을 포함하여, 상기 양자화된 계수들을 처리하도록 구성된 역 양자화 및 역 변환 프로세서;
    블록 해제 필터;
    프레임 버퍼; 및
    인트라 예측 프로세서를 포함하는,
    방법.
KR1020227007463A 2019-08-06 2020-08-06 서브-프레임들을 사용한 적응적 해상도 관리 KR20220088844A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962883480P 2019-08-06 2019-08-06
US62/883,480 2019-08-06
PCT/US2020/045218 WO2021026361A1 (en) 2019-08-06 2020-08-06 Adaptive resolution management using sub-frames

Publications (1)

Publication Number Publication Date
KR20220088844A true KR20220088844A (ko) 2022-06-28

Family

ID=74498115

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227007463A KR20220088844A (ko) 2019-08-06 2020-08-06 서브-프레임들을 사용한 적응적 해상도 관리

Country Status (7)

Country Link
US (2) US20210044819A1 (ko)
EP (1) EP4011085A4 (ko)
JP (1) JP2022544159A (ko)
KR (1) KR20220088844A (ko)
CN (1) CN114503583A (ko)
BR (1) BR112022002186A2 (ko)
MX (1) MX2022001594A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3150364A1 (en) * 2019-09-10 2021-03-18 Bae Keun Lee Image signal encoding/decoding method and device therefor
US11336894B2 (en) * 2019-09-20 2022-05-17 Tencent America LLC Signaling of reference picture resampling with resampling picture size indication in video bitstream

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110002391A1 (en) * 2009-06-11 2011-01-06 Motorola, Inc. Digital image compression by resolution-adaptive macroblock coding
EP3474549A1 (en) * 2017-10-20 2019-04-24 Thomson Licensing Omnidirectional video slice segmentation
EP3906675A4 (en) * 2019-01-02 2022-11-30 Nokia Technologies Oy DEVICE, METHOD AND COMPUTER PROGRAM FOR VIDEO ENCODING AND DECODING
US11290734B2 (en) * 2019-01-02 2022-03-29 Tencent America LLC Adaptive picture resolution rescaling for inter-prediction and display
EP3939317A1 (en) * 2019-03-11 2022-01-19 Dolby Laboratories Licensing Corporation Video coding using reference picture resampling supporting region of interest
WO2020228692A1 (en) * 2019-05-12 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Motion prediction from temporal blocks with reference picture resampling

Also Published As

Publication number Publication date
EP4011085A1 (en) 2022-06-15
BR112022002186A2 (pt) 2022-05-03
US20210044819A1 (en) 2021-02-11
JP2022544159A (ja) 2022-10-17
US20240114161A1 (en) 2024-04-04
EP4011085A4 (en) 2023-07-26
MX2022001594A (es) 2022-03-11
CN114503583A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
US11611768B2 (en) Implicit signaling of adaptive resolution management based on frame type
US11943461B2 (en) Adaptive resolution management signaling
US11102498B2 (en) Block-based adaptive resolution management
US20220360802A1 (en) Frame buffering in adaptive resolution management
US20240114161A1 (en) Adaptive resolution management using sub-frames
WO2021026363A1 (en) Implicit signaling of adaptive resolution management based on frame type
US20220417545A1 (en) Adaptive Resolution Management Prediction Rescaling
WO2021026361A1 (en) Adaptive resolution management using sub-frames
KR20220092962A (ko) 적응적 크롭핑을 위한 방법들 및 시스템들
WO2021026334A1 (en) Adaptive resolution management signaling
WO2021026324A1 (en) Adaptive resolution management prediction rescaling