KR20160147895A - 샘플 적응 오프셋 필터링에 대한 인코더측 결정 - Google Patents

샘플 적응 오프셋 필터링에 대한 인코더측 결정 Download PDF

Info

Publication number
KR20160147895A
KR20160147895A KR1020167032700A KR20167032700A KR20160147895A KR 20160147895 A KR20160147895 A KR 20160147895A KR 1020167032700 A KR1020167032700 A KR 1020167032700A KR 20167032700 A KR20167032700 A KR 20167032700A KR 20160147895 A KR20160147895 A KR 20160147895A
Authority
KR
South Korea
Prior art keywords
filtering
picture
sao
encoder
stage
Prior art date
Application number
KR1020167032700A
Other languages
English (en)
Other versions
KR102298599B1 (ko
Inventor
빈 리
유 죠우
지정 수
치렁 린
펑 우
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20160147895A publication Critical patent/KR20160147895A/ko
Application granted granted Critical
Publication of KR102298599B1 publication Critical patent/KR102298599B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비트스트림에서, 픽쳐 또는 픽쳐의 부분(예를 들면, 슬라이스, 코딩 트리 단위, 또는 코딩 단위)를 인코딩하고, 소정의 필터링 동작이 수행되어야 하는지의 여부 및 어떻게 수행되어야 하는지 및 디코더에 의한 수행을 위해 소정의 필터링 동작이 비트스트림에서 플래그되어야 하는지의 여부 및 비트스트림에서 어떻게 플래그되어야 하는지를 결정하는 분야에서의 혁신안의 예시적인 실시형태가 본원에서 개시된다. 특정 예에서, H.265/HEVC 표준의 샘플 적응 오프셋(SAO) 신택스 엘리먼트를 설정하기 위한 다양한 구현예가 개시된다. 이들 예가 H.265/HEVC 표준 및 그 표준의 SAO 필터링 프로세스에 관한 것이지만, 개시된 기술은, 자신의 인코딩 및 디코딩 프로세스의 일부로서 필터링 동작(특히 다단계(multi-stage) 필터링 동작)을 수반하는 다른 비디오 코덱에 더 폭넓게 적용가능하다.

Description

샘플 적응 오프셋 필터링에 대한 인코더측 결정{ENCODER-SIDE DECISIONS FOR SAMPLE ADAPTIVE OFFSET FILTERING}
엔지니어는 디지털 비디오의 비트 레이트를 감소시키기 위해 압축(소스 코딩 또는 소스 인코딩으로도 또한 칭해짐)을 사용한다. 압축은 정보를 더 낮은 비트 레이트 형태로 변환하는 것에 의해 비디오 정보를 저장 및 송신하는 비용을 감소시킨다. 압축해제(decompression)(디코딩으로도 또한 칭해짐)는 압축된 형태로부터 원래의 정보의 버전을 재구성한다. "코덱"은 인코더/디코더 시스템이다.
지난 이십 여년에 걸쳐, 다양한 비디오 코덱 표준이 채택되었는데, ITU-T H.261, H.262 (MPEG-2 또는 ISO/IEC 13818-2), H.263 및 H.264 (MPEG-4 AVC 또는 ISO/IEC 14496-10) 표준, MPEG-1 (ISO/IEC 11172-2) 및 MPEG-4 비주얼(ISO/IEC 14496-2) 표준, 및 SMPTE 421M(VC-1) 표준을 포함한다. 보다 최근에는, H.265/HEVC 표준(ITU-T H.265 또는 ISO/IEC 23008-2)이 승인되었다. (예를 들면, 스케일러블 비디오 코딩/디코딩을 위한, 샘플 비트 깊이 또는 크로마 샘플링 레이트의 관점에서 충실도가 더 높은 비디오의 코딩/디코딩을 위한, 스크린 캡쳐 컨텐츠를 위한, 또는 멀티뷰 코딩/디코딩을 위한) H.265/HEVC 표준에 대한 확장안이 현재 개발 중에 있다. 비디오 코덱 표준은 통상적으로, 인코딩된 비디오 비트스트림의 신택스(syntax)에 대한 옵션을 정의하여, 인코딩 및 디코딩에서 특정 피쳐가 사용되는 경우 비트스트림에서의 파라미터를 상술한다. 많은 경우에서, 비디오 코덱 표준은 또한, 디코딩에서의 일치하는 결과를 달성하기 위해 디코더가 수행해야 하는 디코딩 동작에 관한 상세를 제공한다. 코덱 표준 외에, 다양한 독점적 코덱 포맷은 인코딩된 비디오 비트스트림의 신택스에 대한 다른 옵션 및 대응하는 디코딩 동작을 정의한다.
디코딩 동안, 비디오 코덱은 재구성된 픽셀과 원래의 픽셀 사이의 차이를 감소시키기 위해 하나 이상의 필터를 적용할 수 있다. 예를 들면, H.265/HEVC 표준의 경우, 디코더 루프에서 재구성된 샘플을 디코딩된 픽쳐 버퍼에 기록하기 이전에 재구성된 샘플에 두 개의 프로세싱 단계 - 디블록화 필터(deblocking filter; DBF)와 후속하는 샘플 적응 오프셋(sample adaptive offset; SAO) 동작 - 가 적용될 수 있다. 디블록화 필터 필터는 블록 기반의 코딩에 기인하는 블록화 아티팩트(blocking artifact)를 감소시키도록 의도된다. H.265/HEVC 디블록화 필터는 H.264/MPEG-4 AVC 표준의 디블록화 필터와 유사하지만, SAO 필터는 H.265/HEVC 표준에서 신규로 도입된다. 디블록화 필터는 블록 경계에 위치되는 샘플에만 적용된다. 대조적으로, SAO 필터링 동작은 소정의 조건, 예컨대 그래디언트(gradient)를 충족하는 모든 샘플에 대해 적응적으로 적용된다.
SAO 필터링 동작이 재구성된 픽쳐에 대해 수행되는지의 여부는, 주어진 시퀀스 파라미터 세트의 일부인 신택스 엘리먼트(sample_adaptive_offset_enabled_flag)에 의해 제어될 수 있다. 더 구체적으로는, 1과 동일한 sample_adaptive_offset_enabled_flag는, 디블록화 필터 프로세스 이후에 샘플 적응 오프셋 프로세스가 재구성된 픽쳐에 적용된다는 것을 명시하고(specify), 한편 0과 동일한 sample_adaptive_offset_enabled_flag는, 디블록화 필터 프로세스 이후에 샘플 적응 오프셋 프로세스가 재구성된 픽쳐에 적용되지 않는다는 것을 명시한다. 샘플 적응 오프셋 필터링이 적용되는 것으로 명시되면, 세분화(granularity)의 더 작은 레벨에 있는 픽쳐 부분뿐만 아니라 루마 성분 및 크로마 성분에 대해서도 SAO 필터링이 적용되는지의 여부를 개별적으로 나타내기 위해 추가적인 플래그가 사용된다. 이 추가적인 시그널링은, 예를 들면, slice_sao_luma_flag 및 slice_sao_chroma_flag를 사용하여 슬라이스 단위 기반으로 수행될 수 있다. 구체적으로는, 1과 동일한 slice_sao_luma_flag는, 현재 슬라이스의 루마 성분에 대해 SAO가 인에이블되어 있다는 것을 명시하고; 0과 동일한 slice_sao_luma_flag는, 현재 슬라이스의 루마 성분에 대해 SAO가 디스에이블되어 있다는 것을 명시한다. slice_sao_luma_flag가 존재하지 않는 경우, 그것은 0과 동일한 것으로 추론된다. 또한, 1과 동일한 slice_sao_chroma_flag는, 현재 슬라이스의 크로마 성분에 대해 SAO가 인에이블되어 있다는 것을 명시하고; 0과 동일한 slice_sao_chroma_flag는, 현재 슬라이스의 크로마 성분에 대해 SAO가 디스에이블되어 있다는 것을 명시한다. slice_sao_chroma_flag가 존재하지 않는 경우, 그것은 0과 동일한 것으로 추론된다. 여전히 또한, SAO 필터링은 코딩 트리 단위(coding-tree-unit; CTU) 레벨에서도 또한 명시될 수 있다. 예를 들면, sao_type_idx_luma 및 sao_type_idx_chroma 신택스 엘리먼트는, SAO 필터링을 인에이블(또는 디스에이블)하기 위해 사용될 수 있고 주어진 CTU에 대해 수행할 SAO 필터링의 타입을 선택할 수 있다. 구체적으로는, 루마 또는 색차(chrominance) CTU 중 어느 하나에 대해, 0의 SAO_type_idx 값은, 어떠한 SAO 필터링도 인에이블되어 있지 않다는 것을 나타내고, 1의 값은 밴드 오프셋 타입 SAO 필터링(band-offset-type SAO filtering; BO)이 인에이블되어 있다는 것을 나타내며, 2의 값은, 에지 오프셋 타입 SAO 필터링(edge-offset-type SAO filtering; EO)이 인에이블되어 있다는 것을 나타낸다.
H.265/HEVC 표준은, (예를 들면, sample_adaptive_offset_enabled_flag, slice_sao_luma_flag, slice_sao_chroma_flag, sao_type_idx_luma, 및/또는, 신택스 엘리먼트를 명시하는 것에 의해) SAO 필터링이 언제 어떻게 인에이블되어야 하는지 또는 (sao_offset_abs, sao_offset_sign, sao_band_position, sao_eo_class_luma, sao_eo_class_chroma, 및/또는 SaoOffsetVal 신택스 엘리먼트를 명시하는 것에 의해) 관련된 SAO 파라미터가 어떻게 언제 설정되어야 하는지에 관한 안내를 거의 제공하지 않거나 전혀 제공하지 않는다. 한편, SAO 필터링의 사용은, 인코딩 및 디코딩 동작을 위한 계산 효율성 및 프로세싱 시간에 악영향을 끼칠 수 있다. 따라서, SAO가 인에이블되지 않는 것이 바람직한 많은 조건 및 상황이 존재한다. 본 출원은, SAO 필터링 동작을 언제 어떻게 인에이블하는지를 결정하기 위한 여러 방식을 개시한다.
요약하면, 상세한 설명은, 픽쳐 또는 픽쳐의 부분(예를 들면, 슬라이스, 코딩 트리 단위, 또는 코딩 단위)를 인코딩하고, 소정의 필터링 동작이 수행되어야 하는지의 여부 및 어떻게 수행되어야 하는지 및 디코더에 의한 수행을 위해 소정의 필터링 동작이 비트스트림에서 플래그되어야 하는지의 여부 및 비트스트림에서 어떻게 플래그되어야 하는지를 결정하는 분야에서의 혁신안을 제시한다. 특정 예에서, H.265/HEVC 표준의 샘플 적응 오프셋(SAO) 신택스 엘리먼트를 설정하기 위한 다양한 구현예가 개시된다. 이들 예가 H.265/HEVC 표준 및 그 표준의 SAO 필터링 프로세스에 관한 것이지만, 개시된 기술은, 자신의 인코딩 및 디코딩 프로세스의 일부로서 필터링 동작(특히 다단계(multi-stage) 필터링 동작)을 수반하는 다른 비디오 코덱에 더 폭넓게 적용가능하다.
하나의 예시적인 실시형태에서, 현재 인코딩되고 있는 픽쳐 부분에 다단계 필터링 프로세스가 적용된다. 다단계 필터링 프로세스는, 디블록화 필터 및 픽쳐 부분의 디블록화 이후 픽셀(post-deblocking pixel)에 적용되는 샘플 적응 오프셋(SAO)을 포함한다. 이 실시형태에서, SAO 프로세스의 적용을 제어하는 하나 이상의 SAO 파라미터는, 픽쳐 부분의 하나 이상의 디블록화 이전 픽셀(pre-deblocking pixel)을 사용하여 명시된다.
다른 예시적인 실시형태에서, 현재 인코딩되고 있는 픽쳐 부분에 대해, 인코딩으로부터 유래하는 픽쳐 부분에 대한 잔차 데이터(residual data)의 양을 나타내는 데이터에 적어도 부분적으로 기초하여, 다단계 필터링 프로세스를 위한 제2 단계의 필터링(예를 들면, SAO 필터링)을 적용할지의 여부에 관한 결정이 이루어진다. 예를 들면, 잔차의 양이 사용될 수도 있거나 또는 잔차를 나타내지만 SAO 필터링과 직접적으로 관련되지 않는 신택스 엘리먼트가 사용될 수도 있다. 예를 들면, 픽쳐 부분이 인코딩되어야 하는지의 여부를 "스킵 모드"를 사용하여 제어하는 신택스 엘리먼트가 사용될 수 있다.
다른 예시적인 실시형태에서, 현재 인코딩되고 있는 픽쳐 부분에 대해, 비디오 인코더 또는 이미지 인코더의 인코딩 효율성에 적어도 부분적으로 기초하여, 다단계 필터링 프로세스를 위한 제2 단계의 필터링(예를 들면, SAO 필터링)을 적용할지의 여부에 관한 결정이 이루어진다. 예를 들면, 현재 픽쳐 또는 픽쳐 부분을 인코딩하기 위한 프로세싱 시간 또는 프로세싱 싸이클의 수는, SAO 필터링을 인에이블하기 위한 또는 디스에이블하기 위한 기초로서 사용될 수 있다. 이전에 인코딩된 픽쳐 또는 픽쳐 부분에 대한 인코딩 시간 또는 프로세싱 사이클의 수는 대안적으로 또는 추가적으로 사용될 수 있다.
또 다른 예시적인 실시형태에서, 인코딩되고 있는 일련의 픽쳐 또는 픽쳐 부분에 대해, 다단계 필터링 프로세스의 제2 단계의 필터링(예를 들면, SAO 필터링)이 주기적으로 적용된다. 예를 들면, SAO 필터링은 매 n개의 픽쳐 또는 픽쳐 부분마다 적용될 수 있는데, 이 경우 n은 임의의 정수이다.
여전히 다른 예시적인 실시형태에서, 사용할 다수의 이용가능한 에지 오프셋(edge-offset; EO) 클래스 중 하나를 식별하기 위해 픽쳐 부분에 에지 필터를 적용하는 것을 비롯하여, 현재 인코딩되고 있는 픽쳐 부분에 EO 프로세스가 적용된다. 특정 구현예에서, 다수의 이용가능한 EO 클래스의 각각은 상이한 방향과 관련되는데, 후속하는 EO 프로세싱 동안 픽셀 값은 그 상이한 방향을 따라 평가될 것이다. 후속하는 EO 프로세싱은, 예를 들면, 식별된 EO 클래스의 방향을 따른 픽쳐 부분의 픽셀이 로컬 밸리(local valley)를 포함하는지, 로컬 피크(local peak)를 포함하는지, 오목한 코너를 포함하는지, 또는 볼록한 코너를 포함하는지의 여부를 결정하는 것, 및 그 결정에 의해, EO 프로세싱 동안 양의(positive) 오프셋 값이 적용될 것인지 또는 음의(negative) 오프셋 값이 적용될 것인지 여부를 결정하는 것을 포함할 수 있다.
혁신안은, 한 방법의 일부로서, 그 방법을 수행하도록 적응되는 컴퓨팅 디바이스의 일부로서 또는 컴퓨팅 디바이스로 하여금 그 방법을 수행하게 하기 위한 컴퓨터 실행가능 명령어를 저장하는 유형적(tangible) 컴퓨터 판독가능 매체의 일부로서 구현될 수 있다. 다양한 혁신안은 조합하여 또는 개별적으로 사용될 수 있다.
본 발명의 상기 및 다른 목적, 피쳐, 및 이점은, 첨부의 도면을 참조로 진행하는 하기의 상세한 설명으로부터 더욱 명확하게 될 것이다.
도 1은 몇몇 설명된 실시형태가 구현될 수 있는 예시적인 컴퓨팅 시스템의 도면이다.
도 2a 및 도 2b는 몇몇 설명된 실시형태가 구현될 수 있는 예시적인 네트워크 환경의 도면이다.
도 3은 몇몇 설명된 실시형태가 연계하여 구현될 수 있는 예시적인 인코더 시스템의 도면이다.
도 4는 몇몇 설명된 실시형태가 연계하여 구현될 수 있는 예시적인 디코더 시스템의 도면이다.
도 5a 및 도 5b는 몇몇 설명된 실시형태가 연계하여 구현될 수 있는 예시적인 비디오 인코더를 예시하는 도면이다.
도 6은 몇몇 설명된 실시형태가 연계하여 구현될 수 있는 예시적인 비디오 디코더를 예시하는 도면이다.
도 7a 내지 도 7d는, 에지 오프셋 타입(edge-offset-type) SAO 필터링에서 사용되는 네 개의 그래디언트 패턴을 묘사한다.
도 8은, 소정의 에지 오프셋 카테고리에 대한 양의 오프셋 값 및 음의 오프셋 값에 의해 샘플 값(샘플 값(p))이 어떻게 수정되는지를 도시하는 두 개의 도면을 포함한다.
도 9는, 개시된 기술에 따른, SAO 필터링을 수행하기 위한 예시적인 실시형태를 예시하는 플로우차트이다.
도 10은, 개시된 기술에 따른, 제2 단계의 필터링(예컨대 SAO 필터링)을 적용할 때를 결정하기 위한 예시적인 실시형태를 예시하는 플로우차트이다.
도 11은, 개시된 기술에 따른, 다단계 필터링 프로세스를 위한 제2 단계의 필터링을 적용할지의 여부를 결정하기 위한 다른 예시적인 실시형태를 예시하는 플로우차트이다.
도 12는, 개시된 기술에 따른, 다단계 필터링 프로세스를 위한 제2 단계의 필터링을 적용할지의 여부를 결정하기 위한 다른 예시적인 실시형태를 예시하는 플로우차트이다.
도 13은, 개시된 기술에 따른, 에지 오프셋(EO) 프로세스를 수행하기 위한 예시적인 실시형태를 예시하는 플로우차트이다.
상세한 설명은, 픽쳐 또는 픽쳐의 부분(예를 들면, 슬라이스, 코딩 트리 단위, 또는 코딩 단위)를 인코딩하고, 소정의 필터링 동작이 수행되어야 하는지의 여부 및 어떻게 수행되어야 하는지 및 디코더를 위해 소정의 필터링 동작이 비트스트림에서 명시되어야 하는지의 여부 및 비트스트림에서 어떻게 명시되어야 하는지를 결정하는 분야에서의 혁신안을 제시한다. 특정 예에서, H.265/HEVC 표준의 샘플 적응 오프셋(SAO) 신택스 엘리먼트를 설정하기 위한 다양한 구현예가 개시된다. 이들 예가 H.265/HEVC 표준 및 그 표준의 SAO 필터링 프로세스에 관한 것이지만, 개시된 기술은, 필터링 동작(특히 다단계(multi-stage) 필터링 프로세스)을 수반하는 다른 비디오 코덱에 더 폭넓게 적용가능하다.
본원에서 설명되는 동작이 비디오 인코더 또는 디코더에 의해 수행되고 있는 것으로 여기저기에서 설명되지만, 많은 경우에서, 동작은 다른 타입의 미디어 프로세싱 툴(예를 들면, 이미지 인코더 또는 이미지 디코더)에 의해 수행될 수 있다.
본원에서 설명되는 혁신안 중 몇몇은 H.265/HEVC 표준에 고유한 신택스 엘리먼트 및 동작을 참조로 예시된다. 예를 들면, 2013년 4월자의 권고안 ITU-T H.265 "High Efficiency Video Coding"을 참조한다. 본원에서 설명되는 혁신안은 또한, 다른 표준 또는 포맷에 대해 구현될 수 있다.
본원에서 설명되는 예에 대한 다양한 대안예도 가능하다. 예를 들면, 본원에서 설명되는 방법 중 몇몇은, 설명되는 방법 액트(act)의 순서를 변경하는 것에 의해, 소정의 방법 액트를 분할, 반복, 또는 생략하는 것에 의해, 등등에 의해 변경될 수 있다. 개시된 기술의 다양한 양태는 조합하여 또는 개별적으로 사용될 수 있다. 상이한 실시형태는 설명된 혁신안 중 하나 이상을 사용한다. 본원에서 설명되는 혁신안 중 몇몇은 배경에서 언급된 문제점 중 하나 이상을 중점적으로 다룬다. 통상적으로는, 주어진 기술/툴은 이러한 문제점 모두를 해결하지는 않는다.
I. 예시적인 컴퓨팅 시스템.
도 1은, 설명된 혁신안 중 몇몇이 구현될 수도 있는 적절한 컴퓨팅 시스템(100)의 일반화된 예를 예시한다. 컴퓨팅 시스템(100)은, 혁신안이 다양한 범용의 또는 특수 목적의 컴퓨팅 시스템에서 구현될 수도 있기 때문에, 사용 또는 기능성의 범위에 관해 어떠한 제한도 제시하도록 의도되지는 않는다.
도 1을 참조하면, 컴퓨팅 시스템(100)은 하나 이상의 프로세싱 유닛(110, 115) 및 메모리(120, 125)를 포함한다. 프로세싱 유닛(110, 115)은 컴퓨터 실행가능 명령어를 실행한다. 프로세싱 유닛은 범용 중앙 프로세싱 유닛(central processing unit; "CPU"), 주문형 반도체(application-specific integrated circuit; "ASIC")에서의 프로세서, 또는 임의의 다른 타입의 프로세서일 수 있다. 다중 프로세싱 시스템에서, 프로세싱 파워를 증가시키기 위해 다수의 프로세싱 유닛이 컴퓨터 실행가능 명령어를 실행한다. 예를 들면, 도 1은 중앙 프로세싱 유닛(110)뿐만 아니라 그래픽 프로세싱 유닛 또는 코프로세싱 유닛(co-processing unit)(115)을 도시한다. 유형적(tangible) 메모리(120, 125)는, 프로세싱 유닛(들)에 의해 액세스될 수 있는, 휘발성 메모리(예를 들면, 레지스터, 캐시, RAM), 불휘발성 메모리(예를 들면, ROM, EEPROM, 플래시 메모리 등등), 또는 이 둘의 어떤 조합일 수도 있다. 메모리(120, 125)는, 필터링(예를 들면, SAO 필터링)을 위한 인코더측 결정을 위한 하나 이상의 혁신안을 구현하는 소프트웨어(180)를, 프로세싱 유닛(들)에 의한 실행에 적합한 컴퓨터 실행가능 명령어의 형태로 저장한다.
컴퓨팅 시스템은 추가적인 피쳐를 구비할 수도 있다. 예를 들면, 컴퓨팅 시스템(100)은 스토리지(140), 하나 이상의 입력 디바이스(150), 하나 이상의 출력 디바이스(160), 및 하나 이상의 통신 연결부(170)를 포함한다. 인터커넥션 메커니즘(interconnection mechanism)(도시되지 않음), 예컨대 버스, 컨트롤러, 또는 네트워크는 컴퓨팅 시스템(100)의 컴포넌트를 인터커넥트한다. 통상적으로, 오퍼레이팅 시스템 소프트웨어(도시되지 않음)는 컴퓨팅 시스템(100)에서 실행하는 다른 소프트웨어에 대한 동작 환경을 제공하고, 컴퓨팅 시스템(100)의 컴포넌트의 활동을 조화시킨다(coordinate).
유형적 스토리지(140)는 하나 이상의 분리식 또는 비분리식 스토리지 디바이스일 수도 있는데, 자기 디스크, 솔리드 스테이트 드라이브, 플래시 메모리, 자기 테이프 또는 카세트, CD-ROM, DVD, 또는 정보를 저장하기 위해 사용될 수 있고 컴퓨팅 시스템(100) 내에서 액세스될 수 있는 임의의 다른 유형의 매체를 포함한다. 스토리지(140)는 전파하는 반송파 또는 신호를 포괄하지 않는다. 스토리지(140)는, 필터링(예를 들면, SAO 필터링)을 위한 인코더측 결정을 위한 하나 이상의 혁신안을 구현하는 소프트웨어(180)에 대한 명령어를 저장한다.
입력 디바이스(들)(150)는 터치 입력 디바이스 예컨대 키보드, 마우스, 펜, 또는 트랙볼, 음성 입력 디바이스, 스캐닝 디바이스, 또는 컴퓨팅 시스템(100)에 입력을 제공하는 다른 디바이스일 수도 있다. 비디오의 경우, 입력 디바이스(들)(150)는 카메라, 비디오 카드, TV 튜너 카드, 스크린 캡쳐 모듈, 또는 비디오 입력을 아날로그 또는 디지털 형태로 받아들이는 유사한 디바이스, 또는 비디오 입력을 컴퓨팅 시스템(100)에 읽어들이는 CD-ROM 또는 CD-RW일 수도 있다. 출력 디바이스(들)(160)는 디스플레이, 프린터, 스피커, CD-라이터, 또는 컴퓨팅 시스템(100)으로부터의 출력을 제공하는 다른 디바이스일 수도 있다.
통신 연결부(들)(170)는 통신 매체를 통한 다른 통신 엔티티로의 통신을 가능하게 한다. 통신 매체는 컴퓨터 실행가능 명령어, 오디오 또는 비디오 입력 또는 출력, 또는 변조된 데이터 신호에서의 다른 데이터와 같은 정보를 전달한다. 변조된 데이터 신호는, 자신의 특성 중 하나 이상을, 신호에서 정보를 인코딩하는 것과 같은 방식으로 설정하거나 변경한 신호이다. 비제한적인 예로서, 통신 매체는 전기적 캐리어, 광학적 캐리어, RF 캐리어, 또는 다른 캐리어를 사용할 수 있다.
혁신안은 컴퓨터 판독가능 매체의 일반적 맥락에서 설명될 수 있다. 컴퓨터 판독가능 매체는, 컴퓨팅 환경 내에서 액세스될 수 있는 임의의 이용가능한 유형적 매체이다. 비제한적인 예로서, 컴퓨팅 시스템(100)과 관련하여, 컴퓨터 판독가능 매체는 메모리(120, 125), 스토리지(140), 및 상기 중 임의의 것의 조합을 포함하지만, 전파하는 반송파 또는 캐리어를 포괄하지 않는다.
혁신안은, 컴퓨팅 시스템에서 타겟인 실제 또는 가상의 프로세서 상에서 실행되고 있는, 프로그램 모듈에 포함되는 것과 같은 컴퓨터 실행가능 명령어의 일반적 맥락에서 설명될 수 있다. 일반적으로, 프로그램 모듈은, 특정한 태스크를 수행하거나 또는 특정한 추상 데이터 타입을 구현하는 루틴, 프로그램, 라이브러리, 오브젝트, 클래스, 컴포넌트, 데이터 구조체 등등을 포함한다. 프로그램 모듈의 기능성은 다양한 실시형태에서 소망되는 바에 따라 프로그램 모듈 사이에서 분할되거나 또는 결합될 수도 있다. 프로그램 모듈에 대한 컴퓨터 실행가능 명령어는 로컬 컴퓨팅 시스템 또는 분산형 컴퓨팅 시스템 내에서 실행될 수도 있다.
용어 "시스템" 및 "디바이스"는 본원에서 상호교환적으로 사용된다. 문맥상 그렇지 않다고 명확하게 나타내지 않는 한, 어떠한 용어도 컴퓨팅 디바이스 또는 컴퓨팅 시스템의 타입에 대해 아무런 제한도 내포하지 않는다. 일반적으로, 컴퓨팅 시스템 또는 컴퓨팅 디바이스는 로컬형이거나 또는 분산형일 수도 있으며, 본원에서 설명되는 기능성을 구현하는 소프트웨어와의 특수 목적의 하드웨어 및/또는 범용 하드웨어의 임의의 조합을 포함할 수 있다.
개시된 방법은 또한, 개시된 방법 중 임의의 것을 수행하도록 구성되는 특수한 컴퓨팅 하드웨어를 사용하여 구현될 수 있다. 예를 들면, 개시된 방법은, 개시된 방법 중 임의의 것을 구현하도록 특별하게 설계되거나 구성되는 집적 회로(예를 들면, ASIC(예컨대 ASIC 디지털 신호 프로세서(digital signal processor; "DSP"), 그래픽 프로세싱 유닛(graphics processing unit; "GPU"), 또는 프로그래머블 로직 디바이스(programmable logic device; "PLD"), 예컨대 필드 프로그래머블 게이트 어레이(field programmable gate array; "FPGA"))에 의해 구현될 수 있다.
표현 때문에, 상세한 설명은, 컴퓨팅 시스템에서의 컴퓨터 동작을 설명하기 위해, "결정한다" 및 "사용한다"와 같은 용어를 사용한다. 이들 용어는 컴퓨터에 의해 수행되는 동작에 대한 하이 레벨의 추상개념이며 사람에 의해 수행되는 행위와 혼돈되어선 안된다. 이들 용어에 대응하는 실제 컴퓨터 동작은 구현예에 따라 달라진다. 추가적으로, 본원에서 사용되는 바와 같이, 용어 "및/또는(and/or)"은 문구(phrase)에서의 임의의 하나의 아이템 또는 아이템의 조합을 의미한다.
II. 예시적인 네트워크 환경.
도 2a 및 도 2b는 비디오 인코더(220) 및 비디오 디코더(270)를 포함하는 예시적인 네트워크 환경(201, 202)을 도시한다. 인코더(220) 및 디코더(270)는 적절한 통신 프로토콜을 사용하여 네트워크(250)를 통해 연결된다. 네트워크(250)는 인터넷 또는 다른 컴퓨터 네트워크를 포함할 수 있다.
도 2a에서 도시되는 네트워크 환경(201)에서, 각각의 실시간 통신(real-time communication; "RTC") 툴(210)은 양방향 통신을 위해 인코더(220) 및 디코더(270) 둘 다를 포함한다. 주어진 인코더(220)는, H.265/HEVC 표준, SMPTE 421M 표준, ISO-IEC 14496-10 표준(H.264 또는 AVC로 또한 알려짐), 다른 표준, 또는 독점적 포맷의 변형안 또는 확장안을 준수하는 출력을 생성할 수 있는데, 대응하는 디코더(270)가 인코더(220)로부터 인코딩된 데이터를 받아들이게 된다. 양방향 통신은 화상 회의, 영상 전화, 또는 다른 양자간 또는 다자간 통신 시나리오의 일부일 수 있다. 도 2a의 네트워크 환경(201)이 두 개의 실시간 통신 툴(210)을 포함하지만, 네트워크 환경(201)은, 대신, 다자간 통신에 참여하는 세 개 이상의 실시간 통신 툴(210)을 포함할 수 있다.
실시간 통신 툴(210)은 인코더(220)에 의한 인코딩을 관리한다. 도 3은 실시간 통신 툴(210)에 포함될 수 있는 예시적인 인코더 시스템(300)을 도시한다. 대안적으로, 실시간 통신 툴(210)은 다른 인코더 시스템을 사용한다. 실시간 통신 툴(210)은 또한 디코더(270)에 의한 디코딩을 관리한다. 도 4는 실시간 통신 툴(210)에 포함될 수 있는 예시적인 디코더 시스템(400)을 도시한다. 대안적으로, 실시간 통신 툴(210)은 다른 디코더 시스템을 사용한다.
도 2b에서 도시되는 네트워크 환경(202)에서, 인코딩 툴(212)은, 디코더(270)를 포함하는 다수의 재생 툴(214)로의 전달을 위해 비디오를 인코딩하는 인코더(220)를 포함한다. 단방향 통신은, 비디오 감시 시스템, 웹 카메라 모니터링 시스템, 스크린 캡쳐 모듈, 원격 데스크탑 회의 프리젠테이션, 비디오 스트리밍, 비디오 다운로딩, 비디오 브로드캐스팅, 또는 비디오가 인코딩되어 한 장소에서 하나 이상의 다른 장소로 전송되는 다른 시나리오에 대해 제공될 수 있다. 도 2b의 네트워크 환경(202)이 두 개의 재생 툴(214)을 포함하지만, 네트워크 환경(202)은 더 많은 또는 더 적은 재생 툴(214)을 포함할 수 있다. 일반적으로, 재생 툴(214)은, 재생 툴(214)이 수신할 비디오의 스트림을 결정하기 위해 인코딩 툴(212)과 통신한다. 재생 툴(214)은 스트림을 수신하고, 수신된 인코딩된 데이터를 적절한 기간 동안 버퍼링하고, 디코딩 및 재생을 시작한다.
도 3은 인코딩 툴(212)에 포함될 수 있는 예시적인 인코더 시스템(300)을 도시한다. 대안적으로, 인코딩 툴(212)은 다른 인코더 시스템을 사용한다. 인코딩 툴(212)은 또한, 하나 이상의 재생 툴(214)과의 연결을 관리하기 위한 서버측 컨트롤러 로직을 포함할 수 있다. 도 4는, 재생 툴(214)에 포함될 수 있는 예시적인 디코더 시스템(400)을 도시한다. 대안적으로, 재생 툴(214)은 다른 디코더 시스템을 사용한다. 재생 툴(214)은 또한, 인코딩 툴(212)과의 연결을 관리하기 위한 클라이언트측 컨트롤러 로직을 포함할 수 있다.
III. 예시적인 인코더 시스템.
도 3은 몇몇 설명된 실시형태가 연계하여 구현될 수도 있는 예시적인 인코더 시스템(300)의 블록도이다. 인코더 시스템(300)은, 다수의 인코딩 모드 예컨대 실시간 통신을 위한 로우 레이턴시(low-latency) 인코딩 모드, 트랜스코딩 모드, 또는 파일 또는 스트림으로부터 재생용 미디어를 생성하기 위한 더 높은 레이턴시의 인코딩 모드 중 임의의 것에서 동작할 수 있는 범용 인코딩 툴일 수 있거나, 또는 인코더 시스템(300)은 하나의 이러한 인코딩 모드에 대해 적응되는 특수 목적의 인코딩 툴일 수 있다. 인코더 시스템(300)은 특정한 타입의 컨텐츠(예를 들면, 스크린 캡쳐 컨텐츠)의 인코딩을 위해 적응될 수 있다. 인코더 시스템(300)은 오퍼레이팅 시스템 모듈로서, 애플리케이션 라이브러리의 일부로서 또는 독립형 애플리케이션으로서 구현될 수 있다. 종합하면, 인코더 시스템(300)은 비디오 소스(310)로부터 소스 비디오 프레임(311)의 시퀀스를 수신하고 인코딩된 데이터를 채널(390)로의 출력으로서 생성한다. 채널로 출력되는 인코딩된 데이터는, 본원에서 설명되는 바와 같이, SAO 필터링을 사용하여 인코딩된 컨텐츠를 포함할 수 있고 SAO 필터링을 적용할지의 여부 및 어떻게 적용할지를 나타내는 하나 이상의 플래그를 비트스트림에 포함시킬 수 있다.
비디오 소스(310)는 카메라, 튜너 카드, 저장 매체, 스크린 캡쳐 모듈, 또는 다른 디지털 비디오 소스일 수 있다. 비디오 소스(310)는, 예를 들면, 초당 30프레임의 프레임 레이트에서 비디오 프레임의 시퀀스를 생성한다. 본원에서 사용되는 바와 같이, 용어 "프레임"은 일반적으로, 소스, 코딩된 또는 재구성된 이미지 데이터를 지칭한다. 순차 주사 비디오(progressive-scan video)의 경우, 프레임은 순차 주사 비디오 프레임이다. 인터레이스 방식의 비디오(interlaced video)의 경우, 예시적인 실시형태에서, 인터레이스 방식의 비디오 프레임은 인코딩 이전에 디인터레이스된다(de-interlaced). 대안적으로, 두 개의 상보적 인터레이스 방식의 비디오 필드가 단일의 비디오 프레임으로서 함께 인코딩되거나 또는 두 개의 별개로 인코딩된 필드로서 인코딩된다. 순차 주사 비디오 프레임 또는 인터레이스 방식의 주사 비디오 프레임을 나타내는 것 외에, 용어 "프레임" 또는 "픽쳐"는 단일의 짝을 이루지 않는 비디오 필드(single non-paired video field), 비디오 필드의 상보적 쌍, 주어진 시간에 비디오 오브젝트를 나타내는 비디오 오브젝트 플레인, 또는 더 큰 이미지에서의 주목(of interest) 영역을 나타낼 수 있다. 비디오 오브젝트 플레인 또는 영역은, 한 장면의 다수의 오브젝트 또는 영역을 포함하는 더 큰 이미지의 일부일 수 있다.
도달하는 소스 프레임(311)은, 다수의 프레임 버퍼 저장 영역(321, 322, …, 32n)을 포함하는 소스 프레임 임시 메모리 저장 영역(320)에 저장된다. 프레임 버퍼(321, 322 등등)는 소스 프레임 저장 영역(320)에 하나의 소스 프레임을 유지한다. 소스 프레임(311) 중 하나 이상이 프레임 버퍼(321, 322, 등등)에 저장된 이후, 프레임 선택기(330)는 소스 프레임 저장 영역(320)으로부터 개개의 소스 프레임을 선택한다. 인코더(340)로의 입력을 위해 프레임 선택기(330)에 의해 프레임이 선택되는 순서는, 비디오 소스(310)에 의해 프레임이 생성되는 순서와는 상이할 수도 있다, 예를 들면, 몇몇 나중의 프레임이 먼저 인코딩되는 것을 허용하기 위해 따라서 시간적으로 역방향의 예측(temporally backward prediction)을 가능하게 하기 위해, 몇몇 프레임의 인코딩은 순서에서 지연될 수도 있다. 인코더(340) 이전에, 인코더 시스템(300)은, 인코딩 이전에, 선택된 프레임(331)의 전처리(pre-processing)(예를 들면, 필터링)를 수행하는 전처리기(pre-processor)(도시되지 않음)를 포함할 수 있다. 전처리는 주 성분(예를 들면, 루마)과 부 성분(예를 들면, 레드쪽으로의 그리고 블루쪽으로의 크로마 차이)으로의 컬러 공간 변환 및 인코딩을 위한 (예를 들면, 크로마 성분의 공간 해상도를 감소시키는) 재샘플링 프로세싱을 포함할 수 있다. 통상적으로는, 인코딩 이전에, 비디오는 YUV와 같은 컬러 공간으로 변환되었는데, 여기서 루마(Y) 성분의 샘플 값은 휘도 또는 강도(intensity) 값을 나타내고, 크로마(U, V) 성분의 샘플 값은 컬러 차이 값을 나타낸다. 컬러 차이 값(및 RGB와 같은 다른 컬러 공간으로부터 YUV 컬러 공간으로의/YUV 컬러 공간으로부터 RGB와 같은 다른 컬러 공간으로의 변환 동작)의 정확한 정의는 구현예에 의존한다. 일반적으로, 본원에서 사용되는 바와 같이, 용어 YUV는, 루마(또는 휘도) 성분 및 하나 이상의 크로마(또는 색차(chrominance)) 성분을 갖는 임의의 컬러 공간을 나타내는데, Y'UV, YIQ, Y'IQ 및 YDbDr뿐만 아니라 YCbCr 및 YCoCg와 같은 변형예를 포함한다. 크로마 샘플 값은 (예를 들면, YUV 4:2:0 포맷에 대해) 더 낮은 크로마 샘플링 레이트로 서브샘플링될 수도 있거나, 또는 크로마 샘플 값은 (예를 들면, YUV 4:4:4 포맷에 대해) 루마 샘플 값과 동일한 해상도를 가질 수도 있다. 또는, 비디오는 다른 포맷(예를 들면, RGB 4:4:4 포맷)으로 인코딩될 수 있다.
인코더(340)는, 코딩된 프레임(341)을 생성하기 위해, 선택된 프레임(331)을 인코딩하고 또한 메모리 관리 제어 동작(memory management control operation; "MMCO") 신호(342) 또는 참조 픽쳐 세트(reference picture set; "RPS") 정보를 생성한다. RPS는, 현재 프레임 또는 임의의 후속하는 프레임에 대한 모션 보상에서 참조를 위해 사용될 수도 있는 프레임의 세트이다. 현재 프레임이 인코딩된 첫 번째 프레임이 아니고, 자신의 인코딩 프로세스를 수행하고 있는 경우, 인코더(340)는, 디코딩된 프레임 임시 메모리 저장 영역(360)에 저장되어 있는 하나 이상의 이전에 인코딩된/디코딩된 프레임(369)을 사용할 수도 있다. 이렇게 저장된 디코딩된 프레임(369)은 현재 소스 프레임(331)의 컨텐츠의 인터 프레임 예측(inter-frame prediction)을 위한 참조 프레임으로서 사용된다. MMCO/RPS 정보(342)는 디코더에게, 어떤 재구성된 프레임이 참조 프레임으로서 사용될 수도 있는지, 따라서 프레임 저장 영역에 저장되어야 하는지를 나타낸다.
일반적으로, 인코더(340)는, 타일로의 구획화, 인트라 예측 추정 및 예측, 모션 추정 및 보상, 주파수 변환, 양자화 및 엔트로피 코딩과 같은 인코딩 태스크를 수행하는 다수의 인코딩 모듈을 포함한다. 인코더(340)에 의해 수행되는 정확한 동작은 압축 포맷에 의존하여 변할 수 있다. 출력된 인코딩된 데이터의 포맷은, H.265/HEVC 포맷, 윈도우 미디어 비디오(Windows Media Video) 포맷, VC-1 포맷, MPEG-x 포맷(예를 들면, MPEG-1, MPEG-2, 또는 MPEG-4), H.26x 포맷(예를 들면, H.261, H.262, H.263, H.264), 또는 다른 포맷의 변형안 또는 확장안일 수 있다.
인코더(340)는 프레임을 동일한 사이즈의 또는 상이한 사이즈의 다수의 타일로 구획할 수 있다. 예를 들면, 인코더(340)는, 프레임 경계와 함께, 프레임 내에서의 타일의 수평 및 수직 경계를 정의하는 타일 행(row) 및 타일 열(column)을 따라 프레임을 분할하는데, 이 경우 각각의 타일은 직사각형 영역이다. 타일은 종종 병렬 프로세싱을 위한 옵션을 제공하기 위해 사용된다. 프레임은 또한 하나 이상의 슬라이스로서 편제될(organized) 수 있는데, 이 경우 슬라이스는 전체 프레임 또는 프레임의 영역일 수 있다. 슬라이스는 프레임의 다른 슬라이스와는 무관하게 디코딩될 수 있는데, 슬라이스가 프레임의 다른 슬라이스와는 무관하게 디코딩되는 것은 에러 복원성(error resilience)을 향상시킨다. 슬라이스 또는 타일의 컨텐츠는 인코딩 및 디코딩의 목적을 위해 블록 또는 샘플 값의 다른 세트로 더 구획된다.
H.265/HEVC 표준에 따른 신택스의 경우, 인코더는 프레임(또는 슬라이스 또는 타일)의 컨텐츠를 코딩 트리 단위로 분할한다. 코딩 트리 단위(coding tree unit; "CTU")는 루마 코딩 트리 블록(luma coding tree block; "CTB")으로 편제되는 루마 샘플 값 및 두 개의 크로마 CTB로 편제되는 대응하는 크로마 샘플 값을 포함한다. CTU(및 CTU의 CTB)의 사이즈는 인코더에 의해 선택되며, 예를 들면, 64×64, 32×32 또는 16×16 샘플 값일 수 있다. CTU는 하나 이상의 코딩 단위를 포함한다. 코딩 단위(coding unit; "CU")는 루마 코딩 블록(coding block; "CB") 및 두 개의 대응하는 크로마 CB를 구비한다. 예를 들면, 64×64 루마 CTB 및 두 개의 64×64 크로마 CTB를 갖는 CTU(YUV 4:4:4 포맷)는 네 개의 CU로 분할될 수 있는데, 각각의 CU는 32×32 루마 CB 및 두 개의 32×32 크로마 CB를 포함하고, 그리고 각각의 CU는 어쩌면 더 작은 CU로 더 분할된다. 또는, 다른 예로서, 64×64 루마 CTB 및 두 개의 32×32 크로마 CTB를 갖는 CTU(YUV 4:2:0 포맷)는 네 개의 CU로 분할될 수 있는데, 각각의 CU는 32×32 루마 CB 및 두 개의 16×16 크로마 CB를 포함하고, 그리고 각각의 CU는 어쩌면 더 작은 CU로 더 분할된다. CU의 가장 작은 허용가능한 사이즈(예를 들면, 8×8, 16×16)는 비트스트림에서 시그널링될 수 있다.
일반적으로, CU는 인터 또는 인트라와 같은 예측 모드를 갖는다. CU는 예측 정보(예컨대 예측 모드 상세, 변위 값 등등) 및/또는 예측 프로세싱을 시그널링하는 목적을 위한 하나 이상의 예측 단위를 포함한다. 예측 단위(prediction unit; "PU")는 루마 예측 블록(prediction block; "PB") 및 두 개의 크로마 PB를 구비한다. 인트라 예측된 CU의 경우, CU가 최소 사이즈(예를 들면, 8×8)를 갖지 않는 한, PU는 CU와 동일한 사이즈를 갖는다. 그 경우, CU는 네 개의 더 작은 PU(예를 들면, 최소 CU 사이즈가 8×8이면 각각 4×4)로 분할될 수 있거나 또는 PU는, CU에 대한 신택스 엘리먼트에 의해 나타내어지는 바와 같이, 최소 CU 사이즈를 가질 수 있다. CU는 또한 잔차 코딩/디코딩의 목적을 위해 하나 이상의 변환 단위를 갖는데, 이 경우 변환 단위(transform unit; "TU")는 변환 블록(transform block; "TB") 및 두 개의 크로마 TB를 갖는다. 인트라 예측된 CU에서의 PU는 단일의 TU(사이즈에서 PU와 동일) 또는 다수의 TU를 포함할 수도 있다. 인코더는 비디오를 CTU, CU, PU, TU 등등으로 구획하는 방법을 결정한다.
H.265/HEVC 구현예에서, 슬라이스는 단일의 슬라이스 세그먼트(독립 슬라이스 세그먼트)를 포함할 수 있거나 또는 다수의 슬라이스 세그먼트(독립 슬라이스 세그먼트 및 하나 이상의 종속 슬라이스 세그먼트)로 분할될 수 있다. 슬라이스 세그먼트는, 단일의 네트워크 추상화 레이어(network abstraction layer; "NAL") 단위에 포함되는, 타일 주사에서 연속적으로 순서가 정해지는 정수 개의 CTU이다. 독립 슬라이스 세그먼트의 경우, 슬라이스 세그먼트 헤더는 독립 슬라이스 세그먼트에 적용되는 신택스 엘리먼트의 값을 포함한다. 종속 슬라이스 세그먼트의 경우, 잘려진 슬라이스 세그먼트 헤더는 그 종속 슬라이스 세그먼트에 적용되는 신택스 엘리먼트의 몇몇 값을 포함하고, 종속 슬라이스 세그먼트에 대한 다른 신택스 엘리먼트의 값은 디코딩 순서에서 선행하는 독립 슬라이스 세그먼트에 대한 값으로부터 추론된다.
본원에서 사용되는 바와 같이, 용어 "블록"은, 상황에 따라, 매크로블록, 예측 단위, 잔차 데이터 단위, 또는 CB, PB 또는 TB, 또는 샘플 값의 몇몇 다른 세트를 나타낼 수 있다.
도 3으로 돌아가면, 인코더는 소스 프레임(331)의 인트라 코딩된 블록을, 프레임(331)에서의 다른 이전에 재구성된 샘플 값으로부터의 예측의 관점에서 나타낸다. 인트라 BC 예측의 경우, 인트라 픽쳐 추정기(intra-picture estimator)는, 다른 이전에 재구성된 샘플 값에 대한(또는, 몇몇 구현예에서는, 프레임(331)에서의 원래의 샘플 값에 대한) 블록의 변위를 추정한다. 인트라 프레임 예측 참조 영역은, 블록에 대한 BC 예측 값을 생성하기 위해 사용되는, 프레임에서의 샘플의 영역이다. 참조 영역은 블록 벡터("BV") 값(BV 추정에서 결정됨)으로 나타내어질 수 있다. 참조 영역은 블록의 예측 영역에 대해 플립(flip)될 수 있다. 블록에 대한 인트라 공간 예측의 경우, 인트라 픽쳐 추정기는, 이웃하는 재구성된 샘플 값의 블록으로의 외삽(extrapolation)을 추정한다. 인트라 픽쳐 추정기는 예측 정보(예컨대 인트라 BC 예측을 위한 BV 값, 또는 인트라 공간 예측을 위한 예측 모드(방향))를 출력할 수 있는데, 예측 정보는 엔트로피 코딩된다. 인트라 프레임 예측 예측기(intra-frame prediction predictor)는 인트라 예측 값을 결정하기 위해 예측 정보를 적용한다.
인코더(340)는, 소스 프레임(331)의 인터 프레임 코딩되고 예측된 블록을, 참조 프레임으로부터의 예측의 관점에서 나타낸다. 모션 추정기는 하나 이상의 참조 프레임(369)에 대한 블록의 모션을 추정한다. 다수의 참조 프레임이 사용되는 경우, 다수의 참조 프레임은 상이한 시간적 방향 또는 동일한 시간적 방향으로부터 유래할 수 있다. 모션 보상된 예측 참조 영역은, 현재 프레임에서의 샘플의 블록에 대한 모션 보상된 예측 값을 생성하기 위해 사용되는, 참조 프레임(들)에서의 샘플의 영역이다. 참조 영역은 블록의 예측 영역에 대해 플립될 수 있다. 모션 추정기는 모션 벡터("MV") 정보와 같은 모션 정보를 출력하는데, 모션 정보는 엔트로피 코딩된다. 모션 보상기는 참조 프레임(369)에 MV를 적용하여 인터 프레임 예측을 위한 모션 보상된 예측 값을 결정한다.
인코더는 블록의 예측 값(인트라 또는 인터)과 대응하는 원래의 값 사이의 차이를 (만약 존재한다면) 결정할 수 있다. 이들 예측 잔차 값은 또한, 주파수 변환, 양자화 및 엔트로피 인코딩을 사용하여 인코딩된다. 예를 들면, 인코더(340)는, 비디오의 픽쳐, 타일, 슬라이스 및/또는 다른 부분에 대한 양자화 파라미터(quantization parameter; "QP")에 대한 값을 설정하고, 상응하여 변환 계수를 양자화한다. 인코더(340)의 엔트로피 코더는 양자화된 변환 계수 값뿐만 아니라 소정의 부가 정보(side information)(예를 들면, MV 정보, BV 예측기(predictor)에 대한 인덱스 값, BV 차분, QP 값, 모드 결정, 파라미터 선택)를 압축한다. 통상적인 엔트로피 코딩 기술은, 지수 골룸 코딩(Exponential-Golomb coding), 골룸 라이스 코딩(Golomb-Rice coding), 산술 코딩(arithmetic coding), 차분 코딩(differential coding), 허프만 코딩(Huffman coding), 런 길이 코딩(run length coding), 가변 길이 대 가변 길이(variable-length-to-variable-length; "V2V") 코딩, 가변 길이 대 고정 길이(variable-length-to-fixed-length; "V2F") 코딩, 렘펠 지브(Lempel-Ziv; "LZ") 코딩, 딕셔너리 코딩(dictionary coding), 확률 구간 구획화 엔트로피 코딩(probability interval partitioning entropy coding; "PIPE"), 또는 상기의 조합을 포함한다. 엔트로피 코더는 상이한 종류의 정보에 대해 상이한 코딩 기술을 사용할 수 있고, (예를 들면, 골룸 라이스 코딩 및 후속하여 산술 코딩을 적용하는 것에 의해) 다수의 기술을 조합하여 적용할 수 있고, 및/또는 특정한 코딩 기술 내에서의 다수의 코드 테이블 중에서 선택할 수 있다.
디코딩된 프레임에서 블록 경계 행 및/또는 열에 걸친 불연속부를 평활화하기 위해, 인코더(340)의 모션 보상 루프 내에 적응적 디블록화 필터(adaptive deblocking filter)가 포함된다. 루프 내 필터링 동작(in-loop filtering operation)으로서, 다른 필터링(예컨대 디링잉 필터링(de-ringing filtering), 적응적 루프 필터링(adaptive loop filtering; "ALF"), 또는 샘플 적응 오프셋(sample-adaptive offset; "SAO") 필터링)이 대안적으로 또는 추가적으로 적용될 수 있다. 예를 들면, 본원에서 설명되는 바와 같은 SAO 필터링은, 하나 이상의 신택스 엘리먼트(예를 들면, sample_adaptive_offset_enabled_flag, slice_sao_luma_flag, 및/또는 slice_sao_chroma_flag)에 의한 디코딩 동안 수행될 수 있고 수행을 위해 명시될 수 있다.
인코더(340)에 의해 생성되는 인코딩된 데이터는 비트스트림 신택스의 다양한 레이어에 대한 신택스 엘리먼트를 포함한다. H.265/HEVC 표준에 따른 신택스의 경우, 예를 들면, 픽쳐 파라미터 세트(picture parameter set; "PPS")는, 픽쳐와 관련될 수도 있는 신택스 엘리먼트를 포함하는 신택스 구조체이다. PPS는 단일의 픽쳐에 대해 사용될 수 있거나, 또는 PPS는 한 시퀀스의 다수의 픽쳐에 대해 재사용될 수 있다. PPS는 통상적으로 픽쳐에 대한 인코딩된 데이터와는 별개로 시그널링된다(예를 들면, PPS에 대한 하나의 NAL 단위, 및 픽쳐에 대한 인코딩된 데이터에 대한 하나 이상의 다른 NAL 단위). 픽쳐에 대한 인코딩된 데이터 내에서, 신택스 엘리먼트는 픽쳐에 대해 어떤 PPS를 사용할지를 나타낸다. 마찬가지로, H.265/HEVC 표준에 따른 신택스의 경우, 시퀀스 파라미터 세트(sequence parameter set; "SPS")는, 픽쳐의 시퀀스와 관련될 수도 있는 신택스 엘리먼트를 포함하는 신택스 구조체이다. 비트스트림은 단일의 SPS 또는 다수의 SPS를 포함할 수 있다. SPS는 통상적으로 시퀀스에 대한 다른 데이터와는 별개로 시그널링되고, 다른 데이터의 신택스 엘리먼트는 어떤 SPS를 사용할지를 나타낸다. SPS는, 소정 타입의 필터링이 수행되어야 하는지의 여부를 시그널링하기 위한 신택스 엘리먼트를 포함할 수 있다. 예를 들면, SPS는, 디코딩 동안 SAO 필터링이 수행되어야 한다는 것을 명시하기 위한 신택스 엘리먼트(예를 들면, sample_adaptive_offset_enabled_flag)를 포함할 수 있다.
코딩된 프레임(341) 및 MMCO/RPS 정보(342)(또는, 프레임에 대한 종속성(dependency) 및 순서 구조(ordering structure)가 인코더(340)에서 이미 알려져 있기 때문에, MMCO/RPS 정보(342) 정보와 등가의 정보)는 디코딩 프로세스 에뮬레이터(350)에 의해 프로세싱된다. 디코딩 프로세스 에뮬레이터(350)는 디코더의 기능성 중 몇몇, 예를 들면, 참조 프레임을 재구성하는 디코딩 태스크를 구현한다. MMCO/RPS 정보(342)와 부합하는 방식에서, 디코딩 프로세스 에뮬레이터(350)는, 인코딩될 후속 프레임의 인터 프레임 예측에서의 참조 프레임으로서의 사용을 위해, 주어진 코딩된 프레임(341)이 재구성되고 저장될 필요가 있는지의 여부를 결정한다. 코딩된 프레임(341)이 저장될 필요가 있다면, 디코딩 프로세스 에뮬레이터(350)는, 코딩된 프레임(341)을 수신하는 그리고 대응하는 디코딩된 프레임(351)을 생성하는 디코더에 의해 행해질 디코딩 프로세스를 모델링한다. 이렇게 함에 있어서, 디코딩된 프레임 저장 영역(360)에 저장되어 있던 디코딩된 프레임(들)(369)을 인코더(340)가 사용한 경우, 디코딩 프로세스 에뮬레이터(350)는 또한, 디코딩 프로세스의 일부로서, 저장 영역(360)으로부터의 디코딩된 프레임(들)(369)을 사용한다.
디코딩된 프레임 임시 메모리 저장 영역(360)은 다수의 프레임 버퍼 저장 영역(361, 362, …, 36n)을 포함한다. MMCO/RPS 정보(342)와 부합하는 방식에서, 디코딩 프로세스 에뮬레이터(350)는, 참조 프레임으로서의 사용을 위해 인코더(340)에 의해 더 이상 필요로 되지 않는 프레임을 갖는 임의의 프레임 버퍼(361, 362, 등등)를 식별하기 위해, 저장 영역(360)의 컨텐츠를 관리한다. 디코딩 프로세스를 모델링한 이후, 디코딩 프로세스 에뮬레이터(350)는 이 방식으로 식별된 프레임 버퍼(361, 362 등등)에 새롭게 디코딩된 프레임(351)을 저장한다.
코딩된 프레임(341) 및 MMCO/RPS 정보(342)는 임시적인 코딩된 데이터 영역(temporary coded data area; 370)에 버퍼링된다. 코딩된 데이터 영역(370)에 집성되는 코딩된 데이터는, 기본 코딩된 비디오 비트스트림의 신택스의 일부로서, 하나 이상의 픽쳐에 대한 인코딩된 데이터를 포함한다. 코딩된 데이터 영역(370)에 집성되는 코딩된 데이터는 또한, 코딩된 비디오 데이터에 관련이 있는 미디어 메타데이터를 (예를 들면, 하나 이상의 보충적인 향상 정보(supplemental enhancement information; "SEI") 메시지 또는 비디오 사용가능성 정보(video usability information; "VUI") 메시지에서의 하나 이상의 파라미터로서) 포함할 수 있다.
임시적인 코딩된 데이터 영역(370)으로부터의 집성된 데이터(371)는 채널 인코더(380)에 의해 프로세싱된다. 채널 인코더(380)는, 미디어 스트림으로서의 송신 또는 저장을 위해 집성된 데이터를 (예를 들면, ITU-T H.222.0 | ISO/IEC 13818-1와 같은 미디어 프로그램 스트림 또는 전송 스트림 포맷 또는 IETF RFC 3550과 같은 인터넷 실시간 전송 프로토콜 포맷에 따라) 패킷화할 수 있고/있거나 멀티플렉싱할 수 있는데, 이 경우, 채널 인코더(380)는 신택스 엘리먼트를 미디어 송신 스트림의 신택스의 일부로서 추가할 수 있다. 또는, 채널 인코더(380)는, 파일로서의 저장을 위해, 집성된 데이터를 (예를 들면, ISO/IEC 14496-12와 같은 미디어 컨테이너 포맷에 따라) 편제할 수 있는데, 이 경우, 채널 인코더(380)는 신택스 엘리먼트를 미디어 저장 파일의 신택스의 일부로서 추가할 수 있다. 또는, 보다 일반적으로는, 채널 인코더(380)는 하나 이상의 미디어 시스템 멀티플렉싱 프로토콜 또는 전송 프로토콜을 구현할 수 있는데, 이 경우, 채널 인코더(380)는 신택스 엘리먼트를 프로토콜(들)의 신택스의 일부로서 추가할 수 있다. 채널 인코더(380)는 채널(390)로 출력을 제공하는데, 채널(390)은 출력에 대한 저장, 통신 연결, 또는 다른 채널을 나타낸다. 채널 인코더(380) 또는 채널(390)은 또한, 예를 들면, 순방향 에러 정정(forward-error correction; "FEC") 인코딩 및 아날로그 신호 변조를 위해, 다른 엘리먼트(도시되지 않음)를 포함할 수도 있다.
IV. 예시적인 디코더 시스템.
도 4는 몇몇 설명된 실시형태가 연계하여 구현될 수도 있는 예시적인 디코더 시스템(400)의 블록도이다. 디코더 시스템(400)은, 다수의 디코딩 모드 예컨대 실시간 통신을 위한 로우 레이턴시 인코딩 모드 및 파일 또는 스트림으로부터의 미디어 재생을 위한 더 높은 레이턴시의 디코딩 모드 중 임의의 것에서 동작할 수 있는 범용 디코딩 툴일 수 있거나, 또는 그것은 하나의 이러한 디코딩 모드에 대해 적응되는 특수 목적의 디코딩 툴일 수 있다. 디코더 시스템(400)은 특정한 타입의 컨텐츠(예를 들면, 스크린 캡쳐 컨텐츠)의 디코딩을 위해 적응될 수 있다. 디코더 시스템(400)은 오퍼레이팅 시스템 모듈로서, 애플리케이션 라이브러리의 일부로서 또는 독립형 애플리케이션으로서 구현될 수 있다. 종합하면, 디코더 시스템(400)은 채널(410)로부터 코딩된 데이터를 수신하고 출력 목적지(490)에 대한 출력으로서 재구성된 프레임을 생성한다. 코딩된 데이터는 SAO 필터링을 사용하여 인코딩된 컨텐츠를 포함할 수 있고 SAO 필터링이 수행되어야 하는지의 여부 및 어떻게 수행되어야 하는지를 명시하기 위한 신택스 엘리먼트를 포함할 수 있다.
디코더 시스템(400)은 채널(410)을 포함하는데, 채널(410)은 코딩된 데이터에 대한 저장, 통신 연결, 또는 다른 채널을 입력으로서 나타낼 수 있다. 채널(410)은 채널 코딩된 코딩 데이터를 생성한다. 채널 디코더(420)는 코딩된 데이터를 프로세싱할 수 있다. 예를 들면, 채널 디코더(420)는, 미디어 스트림으로서의 송신 또는 저장을 위해 집성된 데이터를 (예를 들면, ITU-T H.222.0 | ISO/IEC 13818-1와 같은 미디어 프로그램 스트림 또는 전송 스트림 포맷 또는 IETF RFC 3550과 같은 인터넷 실시간 전송 프로토콜 포맷에 따라) 패킷화해제하고/패킷화해제하거나 디멀티플렉싱하는데, 이 경우, 채널 디코더(420)는 미디어 송신 스트림의 신택스의 일부로서 추가된 신택스 엘리먼트를 파싱할 수 있다. 또는, 채널 디코더(420)는, 파일로서의 저장을 위해 집성되었던 코딩된 비디오 데이터를 (예를 들면, ISO/IEC 14496-12와 같은 미디어 컨테이너 포맷에 따라) 분리하는데, 이 경우, 채널 디코더(420)는 미디어 저장 파일의 신택스의 일부로서 추가된 신택스 엘리먼트를 파싱할 수 있다. 또는, 보다 일반적으로는, 채널 디코더(420)는 하나 이상의 미디어 시스템 디멀티플렉싱 프로토콜 또는 전송 프로토콜을 구현할 수 있는데, 이 경우, 채널 디코더(420)는 프로토콜(들)의 신택스의 일부로서 추가된 신택스 엘리먼트를 파싱할 수 있다. 채널(410) 또는 채널 디코더(420)는 또한, 예를 들면, FEC 디코딩 및 아날로그 신호 변조를 위해, 다른 엘리먼트(도시되지 않음)를 포함할 수도 있다.
채널 디코더(420)로부터 출력되는 코딩된 데이터(421)는, 충분한 양의 이러한 데이터가 수신될 때까지 임시적인 코딩된 데이터 영역(430)에 저장된다. 코딩된 데이터(421)는 코딩된 프레임(431) 및 MMCO/RPS 정보(432)를 포함한다. 코딩된 데이터 영역(430)의 코딩된 데이터(421)는, 기본 코딩된 비디오 비트스트림의 신택스의 일부로서, 하나 이상의 픽쳐에 대한 코딩된 데이터를 포함한다. 코딩된 데이터 영역(430)의 코딩된 데이터(421)는 또한, 인코딩된 비디오 데이터에 관련이 있는 미디어 메타데이터를 (예를 들면, 하나 이상의 SEI 메시지 또는 VUI 메시지에서의 하나 이상의 파라미터로서) 포함할 수 있다.
일반적으로, 코딩된 데이터 영역(430)은, 이러한 코딩된 데이터(421)가 디코더(450)에 의해 사용될 때까지, 코딩된 데이터(421)를 일시적으로 저장한다. 그때, MMCO/RPS 정보(432) 및 코딩된 프레임(431)에 대한 코딩된 데이터는 코딩된 데이터 영역(430)으로부터 디코더(450)로 전송된다. 디코딩이 진행함에 따라, 새로 코딩된 데이터가 코딩된 데이터 영역(430)에 추가되고 코딩된 데이터 영역(430)에 남아 있는 가장 오래된 코딩된 데이터는 디코더(450)로 전송된다.
디코더(450)는 대응하는 디코딩된 프레임(451)을 생성하기 위해 코딩된 프레임(431)을 디코딩한다. 적절하다면, 자신의 디코딩 프로세스를 수행하고 있을 때, 디코더(450)는 하나 이상의 이전에 디코딩된 프레임(469)을, 인터 프레임 예측을 위한 참조 프레임으로서 사용할 수도 있다. 디코더(450)는 이러한 이전에 디코딩된 프레임(469)을 디코딩된 프레임 임시 메모리 저장 영역(460)으로부터 판독한다. 일반적으로, 디코더(450)는, 타일의 엔트로피 디코딩, 인트라 프레임 예측, 모션 보상된 인터 프레임 예측, 역 양자화, 역 주파수 변환, 및 병합과 같은 디코딩 태스크를 수행하는 다수의 디코딩 모듈을 포함한다. 디코더(450)에 의해 수행되는 정확한 동작은 압축 포맷에 의존하여 변할 수 있다. 예를 들면, 디코더(450)는 압축된 프레임 또는 프레임의 시퀀스에 대한 인코딩된 데이터를 수신하고 디코딩된 프레임(451)을 포함하는 출력을 생성한다. 디코더(450)에서, 버퍼는 압축된 프레임에 대한 인코딩된 데이터를 수신하고, 적절한 시간에, 수신된 인코딩된 데이터를 엔트로피 디코더가 이용가능하게 만든다. 엔트로피 디코더는, 엔트로피 코딩되어 양자화된 데이터뿐만 아니라 엔트로피 코딩된 부가 정보를 엔트로피 디코딩하는데, 통상적으로는, 인코더에서 수행된 엔트로피 인코딩의 역을 적용한다. 모션 보상기는 하나 이상의 참조 프레임에 대해 모션 정보를 적용하여, 재구성되고 있는 프레임의 임의의 인터 코딩된 블록에 대한 모션 보상된 예측 값을 형성한다. 인터 프레임 참조 영역은, 블록에 대한 예측 영역에 대하여 플립될 수 있다. 인트라 프레임 예측 모듈은, 이웃하는 이전에 재구성된 샘플 값으로부터 현재 블록의 샘플 값을 공간적으로 예측할 수 있거나, 또는 인트라 BC 예측의 경우, 프레임의 인트라 프레임 예측 영역의 이전에 재구성된 샘플 값을 사용하여 현재 블록의 샘플 값을 예측할 수 있다. 인트라 프레임 참조 영역은 BV 값으로 나타내어질 수 있다. 참조 영역은 블록의 예측 영역에 대해 플립될 수 있다. 디코더(450)는 또한 예측 잔차 값을 재구성한다. 역 양자화기는 엔트로피 디코딩된 데이터를 역 양자화한다. 예를 들면, 디코더(450)는, 비트 스트림의 신택스 엘리먼트에 기초하여 비디오의 픽쳐, 타일, 슬라이스 및/또는 다른 부분에 대한 QP에 대한 값을 설정하고, 그에 따라 변환 계수를 역 양자화한다. 역 주파수 변환기는 양자화된 주파수 도메인 데이터를 공간 도메인 데이터로 변환한다. 인터 프레임 예측된 블록의 경우, 디코더(450)는 재구성된 예측 잔차 값을 모션 보상된 예측 값과 결합한다. 마찬가지로, 디코더(450)는 예측 잔차 값을 인트라 예측으로부터의 예측 값과 결합할 수 있다. 디코딩된 프레임(451)에서 블록 경계 행 및/또는 열에 걸친 불연속부를 평활화하기 위해, 비디오 디코더(450)의 모션 보상 루프 내에 적응적 디블록화 필터가 포함된다. 루프 내 필터링 동작으로서, 다른 필터링(예컨대 디링잉 필터링(de-ringing filtering), ALF, 또는 SAO 필터링)이 대안적으로 또는 추가적으로 적용될 수 있다. 예를 들면, 본원에서 설명되는 바와 같은 SAO 필터링은, 하나 이상의 신택스 엘리먼트(예를 들면, sample_adaptive_offset_enabled_flag, slice_sao_luma_flag, 및/또는 slice_sao_chroma_flag)에 의해 명시되는 바와 같이 수행될 수 있다.
디코딩된 프레임 임시 메모리 저장 영역(460)은 다수의 프레임 버퍼 저장 영역(461, 462, …, 46n)을 포함한다. 디코딩된 프레임 저장 영역(460)은 디코딩된 픽쳐 버퍼의 예이다. 디코더(450)는, 디코딩된 프레임(451)을 내부에 저장할 수 있는 프레임 버퍼(461, 462 등등)를 식별하기 위해 MMCO/RPS 정보(432)를 사용한다. 디코더(450)는 그 프레임 버퍼에 디코딩된 프레임(451)을 저장한다.
출력 시퀀서(output sequencer; 480)는, 출력 순서에서 생성될 다음 프레임이 디코딩된 프레임 저장 영역(460)에서 이용가능할 때를 식별한다. 출력 순서에서 생성될 다음 프레임(481)이 디코딩된 프레임 저장 영역(460)에서 이용가능할 때, 다음 프레임(481)은 출력 시퀀서(480)에 의해 판독되고 출력 목적지(490)(예를 들면, 디스플레이)로 출력된다. 일반적으로, 디코딩된 프레임 저장 영역(460)으로부터 출력 시퀀서(480)에 의해 프레임이 출력되는 순서는, 프레임이 디코더(450)에 의해 디코딩되는 순서와는 상이할 수도 있다.
V. 예시적인 비디오 인코더.
도 5a 및 도 5b는 몇몇 설명된 실시형태가 연계하여 구현될 수도 있는 일반화된 비디오 인코더(500)의 블록도이다. 인코더(500)는 현재 픽쳐를 입력 비디오 신호(505)로서 포함하는 비디오 픽쳐의 시퀀스를 수신하고 인코딩된 데이터를 코딩된 비디오 비트스트림(595)에서 출력으로서 생성한다.
인코더(500)는 블록 기반이며 구현예에 의존하는 블록 포맷을 사용한다. 블록은 상이한 스테이지에서, 예를 들면, 예측, 주파수 변환 및/또는 엔트로피 인코딩 스테이지에서, 추가로 세분된다(sub-divided). 예를 들면, 픽쳐는 64×64 블록, 32×32 블록 또는 16×16 블록으로 분할될 수 있는데, 이들은 종국에는 코딩 및 디코딩을 위해 샘플 값의 더 작은 블록으로 분할될 수 있다. H.265/HEVC 표준에 대한 인코딩의 구현예에서, 인코더는 픽쳐를 CTU(CTB), CU(CB), PU(PB) 및 TU(TB)로 구획한다.
인코더(500)는 인트라 픽쳐 코딩 및/또는 인터 픽쳐 코딩을 사용하여 픽쳐를 압축한다. 인코더(500)의 컴포넌트 중 많은 것은 인트라 픽쳐 코딩 및 인터 픽쳐 코딩 둘 다에 대해 사용된다. 이들 컴포넌트에 의해 수행되는 정확한 동작은, 압축되고 있는 정보의 타입에 의존하여 변할 수 있다.
타일화 모듈(tiling module; 510)은, 옵션적으로, 픽쳐를, 동일한 사이즈의 또는 상이한 사이즈의 다수의 타일로 구획한다. 예를 들면, 타일화 모듈(510)은, 픽쳐 경계와 함께, 픽쳐 내에서의 타일의 수평 및 수직 경계를 정의하는 타일 행 및 타일 열을 따라 픽쳐를 분할하는데, 이 경우 각각의 타일은 직사각형 영역이다. H.265/HEVC 구현예에서, 인코더(500)는 픽쳐를 하나 이상의 슬라이스로 구획하는데, 이 경우 각각의 슬라이스는 하나 이상의 슬라이스 세그먼트를 포함한다.
일반적인 인코딩 제어부(520)는 입력 비디오 신호(505)에 대한 픽쳐뿐만 아니라 인코더(500)의 다양한 모듈로부터 피드백(도시되지 않음)을 수신한다. 종합하면, 일반적인 인코딩 제어부(520)는, 인코딩 동안 코딩 파라미터를 설정하고 변경하기 위해, 제어 신호(도시되지 않음)를 다른 모듈(예컨대 타일화 모듈(510), 변환기/스케일러/양자화기(530), 스케일러/역변환기(535), 인트라 픽쳐 추정기(540), 모션 추정기(550) 및 인트라/인터 스위치)로 제공한다. 특히, 일반적인 인코딩 제어부(520)는, 인코딩 동안 인트라 BC 예측의 양태(예를 들면, 스킵 모드, 블록 플립핑)를 사용할지의 여부 및 그 사용 방법을 결정할 수 있다. 일반적인 인코딩 제어부(520)는 또한, 인코딩 동안, 예를 들면, 레이트 왜곡 분석을 수행하는 동안 중간 결과를 평가할 수 있다. 일반적인 인코딩 제어부(520)는, 인코딩 동안 만들어진 결정을 나타내는 일반적인 제어 데이터(522)를 생성하고, 그 결과, 대응하는 디코더는 일관된 결정을 행할 수 있다. 일반적인 제어 데이터(522)는 헤더 포맷터(header formatter)/엔트로피 코더(590)로 제공된다.
현재 픽쳐가 인터 픽쳐 예측을 사용하여 예측되면, 모션 추정기(550)는, 하나 이상의 참조 픽쳐를 기준으로, 입력 비디오 신호(505)의 현재 픽쳐에서의 샘플 값의 블록의 모션을 추정한다. 모션 추정기(550)는, 하기에서 설명되는 바와 같이, 인터 픽쳐 코딩된 블록에 대한 주어진 참조 영역을 플립하기 위한 동작을 평가할 수 있다. 디코딩된 픽쳐 버퍼(570)는, 참조 픽쳐로서의 사용을 위해 하나 이상의 재구성된 이전에 코딩된 픽쳐를 버퍼링한다. 다수의 참조 픽쳐가 사용되는 경우, 다수의 참조 픽쳐는 상이한 시간적 방향 또는 동일한 시간적 방향으로부터 유래할 수 있다. 모션 추정기(550)는, MV 데이터와 같은 모션 데이터(552), 병합 모드 인덱스 값, 참조 픽쳐 선택 데이터 및 블록 플립핑이 사용되는지의 여부를 부가 정보로서 생성한다. 모션 데이터(552)는 헤더 포맷터/엔트로피 코더(590)뿐만 아니라 모션 보상기(555)로 제공된다.
모션 보상기(555)는 MV를, 디코딩된 픽쳐 버퍼(570)로부터의 재구성된 참조 픽쳐(들)에 적용한다. 모션 보상기(555)는 현재 픽쳐에 대한 모션 보상된 예측치를 생성한다. 블록 플립핑이 사용되는 경우, 모션 보상기(555)는, 자신의 참조 영역을 기준으로 하는 (현재 블록에 대한) 예측 영역에 대한 플립핑을 담당할 수 있다.
인코더(500) 내에서의 별개의 경로에서, 인트라 픽쳐 추정기(540)는, 입력 비디오 신호(505)의 현재 픽쳐의 샘플 값의 블록에 대한 인트라 픽쳐 예측을 수행하는 방법을 결정한다. 현재 픽쳐는 인트라 픽쳐 코딩을 사용하여 전적으로 또는 부분적으로 코딩된다. 현재 픽쳐의 재구성(538)의 값을 사용한 인트라 공간 예측의 경우, 인트라 픽쳐 추정기(540)는, 현재 픽쳐의 이웃하는 이전에 재구성된 샘플 값으로부터, 현재 픽쳐에서의 현재 블록의 샘플 값을 공간적으로 예측하는 방법을 결정한다. 또는, BV 값을 사용한 인트라 BC 예측의 경우, 인트라 픽쳐 추정기(540)는, 현재 픽쳐 내에서의 상이한 후보 참조 영역까지의, 현재 블록의 샘플 값의 변위를 추정한다. 후보 참조 영역은 재구성된 샘플 값을 포함할 수 있거나, 또는, 몇몇 구현예에서 BV 추정의 목적을 위해, 입력 비디오로부터의 원래의 샘플 값을 포함할 수 있다. 인트라 픽쳐 추정기(540)는, 하기에서 설명되는 바와 같이, 각각의 후보 참조 영역을 기준으로 하는 (현재 블록에 대한) 인트라 BC 예측 영역에 대한 플립핑에 대한 상이한 옵션을 평가할 수 있다.
인트라 픽쳐 추정기(540)는, 인트라 예측이 공간 예측을 사용하는지 또는 인트라 BC 예측을 사용하는지의 여부, (인트라 공간 예측을 위한) 예측 모드 방향, (인트라 BC 예측을 위한) BV 값 및 (인트라 BC 예측을 위해) 블록 플립핑이 사용되는지의 여부를 나타내는 정보와 같은 부가 정보로서 인트라 예측 데이터(542)를 생성한다. 인트라 예측 데이터(542)는, 헤더 포맷터/엔트로피 코더(590)뿐만 아니라 인트라 픽쳐 예측기(545)에도 제공된다.
인트라 예측 데이터(542)에 따르면, 인트라 픽쳐 예측기(545)는, 현재 픽쳐의 이웃하는 이전에 재구성된 샘플 값으로부터, 현재 픽쳐에서의 현재 블록의 샘플 값을 공간적으로 예측한다. 또는, 인트라 BC 예측의 경우, 인트라 픽쳐 예측기(545)는, 현재 블록에 대한 BV 값에 의해 나타내어지는 인트라 프레임 예측 참조 영역의 이전에 재구성된 샘플 값을 사용하여 현재 블록의 샘플 값을 예측한다. 인트라 BC 예측의 경우, 인트라 픽쳐 예측기(545)는, 하기에서 설명되는 바와 같이, 자신의 참조 영역을 기준으로 하는 (현재 블록에 대한) 인트라 BC 예측 영역에 대한 플립핑을 담당할 수 있다. 몇몇 경우에서, BV 값은 BV 예측기(예측된 BV 값)일 수 있다. 다른 경우에서, BV 값은 자신의 예측된 BV 값과는 상이할 수 있다. 픽쳐에 대한 크로마 데이터가 루마 데이터와 동일한 해상도를 갖는 경우(예를 들면, 포맷이 YUV 4:4:4 포맷이거나 또는 RGB 4:4:4 포맷인 경우), 크로마 블록에 대해 적용되는 BV 값은 루마 블록에 대해 적용되는 BV 값과 동일할 수도 있다. 한편, 픽쳐에 대한 크로마 데이터가 루마 데이터에 비해 감소된 해상도를 갖는 경우(예를 들면, 포맷이 YUV 4:2:0 포맷인 경우), 크로마 블록에 대해 적용되는 BV 값은 크로마 해상도에서의 차이를 조정하기 위해 (예를 들면, BV 값의 수직 및 수평 성분을 2로 나누고 나머지를 버리거나 그들을 정수 값으로 반올림하는 것에 의해) 축소될 수도 있고 어쩌면 반올림될 수도 있다.
인트라/인터 스위치는, 주어진 블록에 대한 예측(558)이 모션 보상된 예측일 것인지 또는 인트라 픽쳐 예측일 것인지의 여부를 선택한다. 예측(558)의 블록과 입력 비디오 신호(505)의 원래의 현재 블록의 대응하는 부분 사이의 차이는 (만약 있다면) 비스킵 모드(non-skip-mode) 블록에 대한 잔차(518)의 값을 제공한다. 현재 픽쳐의 재구성 동안, 비스킵 모드 블록의 경우, 재구성된 잔차 값은 예측치(558)와 결합되어 비디오 신호(505)로부터의 원래의 컨텐츠의 근사하는 또는 정확한 재구성치(538)를 생성한다. (손실성 압축에서, 몇몇 정보는 여전히 비디오 신호(505)로부터 상실된다.)
변환기/스케일러/양자화기(530)에서, 주파수 변환기는 공간 도메인 비디오 정보를 주파수 도메인(즉, 스펙트럼, 변환) 데이터로 변환한다. 블록 기반의 비디오 코딩을 위해, 주파수 변환기는, 예측 잔차 데이터(또는 예측(558)이 널(null)인 경우 샘플 값 데이터)의 블록에 대해, 이산 코사인 변환(discrete cosine transform; "DCT"), 그 정수 근사, 또는 다른 타입의 순방향 블록 변환(forward block transform)(예를 들면, 이산 사인 변환 또는 그 정수 근사)을 적용하여, 주파수 변환 계수의 블록을 생성하게 된다. 인코더(500)는 또한, 이러한 변환 단계가 스킵되는 것을 나타낼 수 있을 수도 있다. 스케일러/양자화기는 변환 계수를 스케일링하고 양자화한다. 예를 들면, 양자화기는, 프레임 단위 기반으로, 타일 단위 기반으로, 슬라이스 단위 기반으로, 블록 단위 기반으로, 주파수별 기반으로 또는 다른 기반으로 변하는 양자화 스텝 사이즈를 가지고 주파수 도메인 데이터에 데드 존 스칼라 양자화(dead-zone scalar quantization)를 적용할 수 있다. 양자화된 변환 계수 데이터(532)는 헤더 포맷터/엔트로피 코더(590)에 제공된다.
스케일러/역 변환기(535)에서, 스케일러/역 양자화기는, 양자화된 변환 계수에 대해 역 스케일링 및 역 양자화를 수행한다. 역 주파수 변환기는 역 주파수 변환을 수행하여, 재구성된 예측 잔차 또는 샘플 값의 블록을 생성한다. 비스킵 모드 블록의 경우, 인코더(500)는 재구성된 잔차 값을 예측(558)의 값(예를 들면, 모션 보상된 예측 값, 인트라 픽쳐 예측 값)과 결합하여 재구성치(538)를 형성한다. 스킵 모드(skip-mode) 블록의 경우, 인코더(500)는 재구성치(538)로서 예측(558)의 값을 사용한다.
인트라 픽쳐 예측의 경우, 재구성(538)의 값은 인트라 픽쳐 추정기(540) 및 인트라 픽쳐 예측기(545)로 다시 공급될 수 있다. 또한, 재구성(538)의 값은 후속하는 픽쳐의 모션 보상된 예측에 대해 사용될 수 있다. 재구성(538)의 값은 추가로 필터링될 수 있다. 필터링 제어부(560)는, 비디오 신호(505)의 주어진 픽쳐에 대해, 재구성(538)의 값에 관한 디블록 필터링 및 샘플 적응 오프셋(sample adaptive offset; "SAO") 필터링을 수행하는 방법을 결정한다. 필터링 제어부(560)는 필터 제어 데이터(562)를 생성하는데, 필터 제어 데이터(562)는 헤더 포맷터/엔트로피 코더(590) 및 병합기/필터(들)(565)로 제공된다. 필터링 제어부(560)는 본원에서 개시되는 개시된 SAO 필터링 결정 방법 중 임의의 것을 적용할 수 있고/있거나 이들 방법 중 하나 이상에 기초하여 SAO 필터링 제어 신택스 엘리먼트 중 임의의 것을 명시할 수 있다.
병합기/필터(들)(565)에서, 인코더(500)는 상이한 타일로부터의 컨텐츠를 픽쳐의 재구성된 버전으로 병합한다. 인코더(500)는, 프레임에서의 경계에 걸친 불연속부를 적응적으로 평활화하기 위해, 필터 제어 데이터(562)에 따라 디블록 필터링 및 SAO 필터링을 선택적으로 수행한다. 다른 필터링(예컨대 디링잉 필터링(de-ringing filtering) 또는 ALF; 도시되지 않음)이 대안적으로 또는 추가적으로 적용될 수 있다. 타일 경계는, 인코더(500)의 설정에 의존하여, 선택적으로 필터링될 수 있거나 또는 전혀 필터링되지 않을 수 있고, 인코더(500)는 이러한 필터링이 적용되었는지 또는 그렇지 않은지의 여부를 나타내기 위해 코딩된 비트스트림 내에 신택스를 제공할 수도 있다. 디코딩된 픽쳐 버퍼(570)는, 후속하는 모션 보상된 예측에서의 사용을 위해 재구성된 현재 픽쳐를 버퍼링한다.
헤더 포맷터/엔트로피 코더(590)는, 일반적인 제어 데이터(522), 양자화된 변환 계수 데이터(532), 인트라 예측 데이터(542), 모션 데이터(552), 및 필터 제어 데이터(562)를 포맷하고 그리고/또는 엔트로피 코딩한다. 인트라 예측 데이터(542)의 경우, 헤더 포맷터/엔트로피 코더(590)는 (인트라 BC 예측을 위한) BV 예측기 인덱스 값을 선택하여 엔트로피 코딩할 수 있다. 헤더 포맷터/엔트로피 코더(590)는 또한, 인트라 BC 예측(또는 모션 보상)을 위해 블록 플립핑이 사용되는지의 여부를 나타내는 신택스 엘리먼트를 엔트로피 코딩할 수 있다. 몇몇 경우에서, 헤더 포맷터/엔트로피 코더(590)는 또한, (BV 값에 대한 BV 예측기를 기준으로 하는) BV 값에 대한 BV 차분을 결정하고, 그 BV 차분을, 예를 들면, 콘텍스트 적응 이진 산술 코딩을 사용하여 엔트로피 코딩한다. 특히, 스킵 모드 인트라 BC 예측된 블록의 경우, BV 차분이 시그널링된다. 또한, 헤더 포맷터/엔트로피 코더(590)는, 개시된 SAO 필터링 선택 스킴 중 임의의 것에 기초하여 SAO 필터링이 사용되는지의 여부 및 어떻게 사용되는지에 대한 신택스 엘리먼트를 명시할 수 있고 인코딩할 수 있다.
헤더 포맷터/엔트로피 코더(590)는 코딩된 비디오 비트스트림(595)에서 인코딩된 데이터를 제공한다. 코딩된 비디오 비트스트림(595)의 포맷은, H.265/HEVC 포맷, 윈도우 미디어 비디오 포맷, VC-1 포맷, MPEG-x 포맷(예를 들면, MPEG-1, MPEG-2, 또는 MPEG-4), H.26x 포맷(예를 들면, H.261, H.262, H.263, H.264), 또는 다른 포맷의 변형안 또는 확장안일 수 있다.
소망되는 압축의 타입 및 구현예에 따라서, 인코더의 모듈은 추가될 수 있고, 생략될 수 있고, 다수의 모듈로 분할될 수 있고, 다른 모듈과 결합될 수 있고 및/또는 유사한 모듈로 대체될 수 있다. 대안적인 실시형태에서, 상이한 모듈 및/또는 모듈의 다른 구성을 갖는 인코더는 설명된 기술 중 하나 이상을 수행한다. 인코더의 특정 실시형태는, 통상적으로, 인코더(500)의 변형예 또는 보충된 버전을 사용한다. 인코더(500) 내에서의 모듈 사이에 도시되는 관계는, 인코더에서의 정보의 일반적인 흐름을 나타내며, 다른 관계는 간략화를 위해 도시되지 않는다.
VI. 예시적인 비디오 디코더.
도 6은 몇몇 설명된 실시형태가 연계하여 구현될 수도 있는 일반화된 디코더(600)의 블록도이다. 디코더(600)는 인코딩된 데이터를 코딩된 비트스트림(605)에서 수신하고 재구성된 비디오(695)에 대한 픽쳐를 포함하는 출력을 생성한다. 코딩된 비디오 비트스트림(605)의 포맷은, H.265/HEVC 포맷, 윈도우 미디어 비디오 포맷, VC-1 포맷, MPEG-x 포맷(예를 들면, MPEG-1, MPEG-2, 또는 MPEG-4), H.26x 포맷(예를 들면, H.261, H.262, H.263, H.264), 또는 다른 포맷의 변형안 또는 확장안일 수 있다.
디코더(600)는 블록 기반이며 구현예에 의존하는 블록 포맷을 사용한다. 블록은 상이한 스테이지에서 더 세분될 수도 있다. 예를 들면, 픽쳐는 64×64 블록, 32×32 블록 또는 16×16 블록으로 분할될 수 있는데, 이들은 종국에는 샘플 값의 더 작은 블록으로 분할될 수 있다. H.265/HEVC 표준에 대한 디코딩의 구현예에서, 픽쳐는 CTU(CTB), CU(CB), PU(PB) 및 TU(TB)로 구획된다.
디코더(600)는 인트라 픽쳐 디코딩 및/또는 인터 픽쳐 디코딩을 사용하여 픽쳐를 압축해제한다. 디코더(600)의 컴포넌트 중 많은 것은 인트라 픽쳐 디코딩 및 인터 픽쳐 디코딩 둘 다에 대해 사용된다. 이들 컴포넌트에 의해 수행되는 정확한 동작은, 압축해제되고 있는 정보의 타입에 의존하여 변할 수 있다.
버퍼는 인코딩된 데이터를 코딩된 비디오 비트스트림(605)에서 수신하고 수신된 인코딩된 데이터를 파서/엔트로피 디코더(610)가 이용가능하게 만든다. 파서/엔트로피 디코더(610)는 엔트로피 코딩된 데이터를 엔트로피 디코딩하는데, 통상적으로는 인코더(500)에서 수행된 엔트로피 코딩의 역(예를 들면, 콘텍스트 적응 이진 산술 디코딩)을 적용한다. 파싱 및 엔트로피 디코딩의 결과로서, 파서/엔트로피 디코더(610)는, 일반적인 제어 데이터(622), 양자화된 변환 계수 데이터(632), 인트라 예측 데이터(642), 모션 데이터(652) 및 필터 제어 데이터(662)를 생성한다. 인트라 예측 데이터(642)의 경우, 파서/엔트로피 디코더(610)는 (인트라 BC 예측을 위한) BV 예측기 인덱스 값을 엔트로피 디코딩한다. 파서/엔트로피 디코더(610)는 또한, 인트라 BC 예측(또는 모션 보상)을 위해 블록 플립핑이 사용되는지의 여부를 나타내는 신택스 엘리먼트를 엔트로피 디코딩한다. 몇몇 경우에서, 파서/엔트로피 디코더(610)는 또한 (예를 들면, 콘텍스트 적응 이진 산술 디코딩을 사용하여) BV 값에 대한 BV 차분을 엔트로피 디코딩하고, 그 다음, 그 BV 차분을, 대응하는 BV 예측기와 결합하여 BV 값을 재구성한다. 특히, 스킵 모드 인트라 BC 예측된 블록의 경우, BV 차분이 비트스트림으로부터 파싱되고 (예를 들면, BV 예측기 인덱스 값으로 나타내어지는) BV 예측기와 결합되어 BV 값을 재구성한다. 또한, 파서/엔트로피 디코더(610)는 또한, (예를 들면, sample_adaptive_offset_enabled_flag, slice_sao_luma_flag, 및/또는 slice_sao_chroma_flag를 사용하여) SAO 필터링이 수행되는지의 여부 및 어떻게 수행되는지를 나타내는 코딩된 비디오 비트스트림(605)으로부터의 신택스 값을 디코딩할 수 있다.
일반적인 디코딩 제어부(620)는 일반적인 제어 데이터(622)를 수신하고, 디코딩 동안 디코딩 파라미터를 설정하고 변경하기 위해, 제어 신호(도시되지 않음)를 다른 모듈(예컨대, 스케일러/역 변환기(635), 인트라 픽쳐 예측기(645), 모션 보상기(655) 및 인트라/인터 스위치)로 제공한다.
현재 픽쳐가 인터 픽쳐 예측을 사용하여 예측되면, 모션 보상기(655)는 모션 데이터(652), 예컨대 MV 데이터, 참조 픽쳐 선택 데이터, 병합 모드 인덱스 값 및 (모션 보상을 위해) 블록 플립핑이 사용되는지의 여부를 나타내는 신택스 엘리먼트를 수신한다. 모션 보상기(655)는 MV를, 디코딩된 픽쳐 버퍼(670)로부터의 재구성된 참조 픽쳐(들)에 적용한다. 블록 플립핑이 사용되는 경우, 모션 보상기(655)는, 자신의 참조 영역을 기준으로 하는 (현재 블록에 대한) 예측 영역에 대한 플립핑을 담당할 수 있다. 모션 보상기(655)는 현재 픽쳐에서의 인터 코딩된 블록에 대한 모션 보상된 예측치를 생성한다. 디코딩된 픽쳐 버퍼(670)는 참조 픽쳐로서의 사용을 위해 하나 이상의 이전에 재구성된 픽쳐를 저장한다.
디코더(600) 내의 별개의 경로에서, 인트라 프레임 예측 추정기(645)는, 인트라 예측이 공간 예측을 사용하는지 또는 인트라 BC 예측을 사용하는지의 여부, (인트라 공간 예측을 위한) 예측 모드 방향, (인트라 BC 예측을 위한) BV 값 및 (인트라 BC 예측을 위해) 블록 플립핑이 사용되는지의 여부를 나타내는 신택스 엘리먼트를 나타내는 정보와 같은 인트라 예측 데이터(642)를 수신한다. 인트라 공간 예측의 경우, 현재 픽쳐의 재구성(638)의 값을 사용하여, 예측 모드 데이터에 따라, 인트라 픽쳐 예측기(645)는, 현재 픽쳐의 이웃하는 이전에 재구성된 샘플 값으로부터, 현재 픽쳐에서의 현재 블록의 샘플 값을 공간적으로 예측한다. 또는, BV 값을 사용하는 인트라 BC 예측의 경우, 인트라 픽쳐 예측기(645)는, 현재 블록에 대한 BV 값에 의해 나타내어지는 인트라 프레임 예측 참조 영역의 이전에 재구성된 샘플 값을 사용하여 현재 블록의 샘플 값을 예측한다. 인트라 BC 예측의 경우, 인트라 픽쳐 예측기(645)는, 자신의 참조 영역을 기준으로 하는 (현재 블록에 대한) 인트라 BC 예측 영역에 대한 플립핑을 담당할 수 있다.
인트라/인터 스위치는, 주어진 블록에 대한 예측(658)이 모션 보상된 예측인지 또는 인트라 픽쳐 예측인지의 여부를 선택한다. 예를 들면, H.265/HEVC 신택스가 후속되면, 인트라/인터 스위치는, 인트라 예측된 CU 및 인터 예측된 CU를 포함할 수 있는 픽쳐에서의 CU에 대해 인코딩되는 하나 이상의 신택스 엘리먼트에 기초하여 제어될 수 있다. 비스킵 모드 블록의 경우, 디코더(600)는 예측치(658)를 재구성된 잔차 값과 결합하여 비디오 신호로부터의 컨텐츠의 재구성치(638)를 생성한다. 스킵 모드 블록의 경우, 디코더(600)는 재구성치(638)로서 예측(658)의 값을 사용한다.
비스킵 모드 블록에 대한 잔차를 재구성하기 위해, 스케일러/역변환기(635)는 양자화된 변환 계수 데이터(632)를 수신하여 프로세싱한다. 스케일러/역 변환기(635)에서, 스케일러/역 양자화기는, 양자화된 변환 계수에 대해 역 스케일링 및 역 양자화를 수행한다. 역 주파수 변환기는 역 주파수 변환을 수행하여, 재구성된 예측 잔차 또는 샘플 값의 블록을 생성한다. 예를 들면, 역 주파수 변환기는 주파수 변환 계수에 대해 역 블록 변환을 적용하여, 샘플 값 데이터 또는 예측 잔차 데이터를 생성한다. 역 주파수 변환은 역 DCT, 역 DCT의 정수 근사, 또는 다른 타입의 역 주파수 변환(예를 들면, 역 이산 사인 변환 또는 역 이산 사인 변환의 정수 근사)일 수 있다.
인트라 픽쳐 예측의 경우, 재구성(638)의 값은 인트라 픽쳐 예측기(645)로 다시 공급될 수 있다. 인터 픽쳐 예측의 경우, 재구성(638)의 값은 추가로 필터링될 수 있다. 병합기/필터(들)(665)에서, 디코더(600)는 상이한 타일로부터의 컨텐츠를 픽쳐의 재구성된 버전으로 병합한다. 디코더(600)는, 프레임에서의 경계에 걸친 불연속부를 적응적으로 평활화하기 위해, 필터 제어 데이터(662) 및 필터 적응을 위한 규칙에 따라 디블록 필터링 및 SAO 필터링을 선택적으로 수행한다. 예를 들면, SAO 필터링은, 시퀀스 파라미터 세트의 sample_adaptive_offset_enabled_flag의 값에 기초하여 선택적으로 적용될 수 있고 더 구체적으로는, 하기에서 논의되는 바와 같이, slice_sao_luma_flag 및 slice_sao_chroma_flag의 값에 각각 기초하여 슬라이스의 휘도 및 색차 값 중 어느 하나 또는 둘 다에 적용될 수 있다.
다른 필터링(예컨대 디링잉 필터링 또는 ALF; 도시되지 않음)이 대안적으로 또는 추가적으로 적용될 수 있다. 타일 경계는, 인코딩된 비트 스트림 데이터 내에서의 신택스 표시(syntax indication) 또는 디코더(600)의 설정에 의존하여, 선택적으로 필터링될 수 있거나 또는 전혀 필터링되지 않을 수 있다. 디코딩된 픽쳐 버퍼(670)는, 후속하는 모션 보상된 예측에서의 사용을 위해, 재구성된 현재 픽쳐를 버퍼링한다.
디코더(600)는 또한 후처리 필터(post-processing filter)를 포함할 수 있다. 후처리 필터(608)는, 디링잉 필터링(de-ringing filtering), 적응적 위이너 필터링(adaptive Wiener filtering), 필름 그레인 재현 필터링(film-grain reproduction filtering), SAO 필터링 또는 다른 종류의 필터링을 포함할 수 있다.
소망되는 압축해제의 타입 및 구현예에 따라서, 디코더의 모듈은 추가될 수 있고, 생략될 수 있고, 다수의 모듈로 분할될 수 있고, 다른 모듈과 결합될 수 있고 및/또는 유사한 모듈로 대체될 수 있다. 대안적인 실시형태에서, 상이한 모듈 및/또는 모듈의 다른 구성을 갖는 디코더가 설명된 기술 중 하나 이상을 수행한다. 디코더의 특정 실시형태는, 통상적으로, 디코더(600)의 변형예 또는 보충된 버전을 사용한다. 디코더(600) 내에서 모듈 사이에 도시되는 관계는, 디코더에서의 정보의 일반적인 흐름을 나타내며, 다른 관계는 간략화를 위해 도시되지 않는다.
VII. SAO 필터링
일반적으로, SAO 필터링은, 큰 변환과 함께 합성될 수 있는 아티팩트를 비롯하여, 바람직하지 않은 시각적 아티팩트를 감소시키도록 설계된다. SAO 필터링은 또한, 선택된 분류기를 이용하여 영역 샘플을 다수의 카테고리로 먼저 분류하고, 각각의 카테고리에 대한 오프셋을 획득하고, 그 오프셋을 카테고리의 각각의 샘플에 가산하는 것에 의해, 영역에서의 평균적인 샘플 왜곡을 감소시키도록 설계된다.
SAO 필터링은, 오프셋 값을 적용하는 것에 의해 디블록화 필터 이후의 샘플을 수정한다. SAO는, 적용을 위해 시퀀스 파라미터 세트(SPS) 기반으로, 특정 SPS 내에서 슬라이스 단위 기반으로, 또는 특정 슬라이스 내에서 코딩 트리 단위 기반으로 시그널링될 수 있다. 코딩 트리 단위는 휘도 값에 대한 코딩 트리 블록(CTB)일 수 있거나 색차 값에 대한 코딩 트리 블록일 수 있다. 예를 들면, 주어진 휘도 또는 색차 CTB의 경우, 샘플 위치에서의 로컬 그래디언트에 따라, 소정의 양의 또는 음의 오프셋 값이 샘플에 적용될 수 있다.
H.265/HEVC 표준에 따르면, 0과 동일한 신택스 엘리먼트 sao_type_idx의 값은, SAO가 영역에 적용되지 않는다는 것을 나타내고, 1과 동일한 sao_type_idx는 밴드 오프셋 타입 SAO필터링(BO)의 사용을 시그널링하고, 2와 동일한 sao_type_idx는 에지 오프셋 타입 SAO 필터링(EO)을 시그널링한다. 이와 관련하여, CTB에서의 휘도 값에 대한 SAO 필터링은 제1 신택스 엘리먼트(sao_type_idx_luma)에 의해 제어되고, 한편, CTB에서의 색차 값에 대한 SAO 필터링은 제2 신택스 엘리먼트(sao_type_idx_chroma)에 의해 제어된다.
에지 오프셋(EO) 모드 SAO 필터링(2와 동일한 sao_type_idx에 의해 명시됨)의 경우, 신택스 엘리먼트 sao_eo_class(이것은 0 내지 3의 값을 갖는다)는, EO 필터링에 대해 수평 그래디언트가 사용되는지, 수직 그래디언트가 사용되는지, 또는 두 개의 대각선 그래디언트 중 하나가 사용되는지의 여부를 시그널링한다. 도 7a 내지 도 7d는, EO 타입 SAO 필터링에서 사용되는 네 개의 그래디언트(또는 방향성) 패턴(710, 712, 714, 716)을 묘사한다. 도 7a 내지 도 7d에서, "p"로 라벨링된 샘플은 고려되는 중앙 샘플을 나타낸다. "n0" 및 "n1"로 라벨링된 샘플은 그래디언트 패턴을 따른 두 개의 이웃하는 샘플을 명시한다. 도 7a의 패턴(710)은 수평 그래디언트 패턴(sao_eo_class = 0)을 예시하고, 도 7b의 패턴(712)은 수직 그래디언트 패턴(sao_eo_class = 1)을 예시하고, 도 7c의 패턴(714)은 135° 대각선 패턴(sao_eo_class = 2)을 예시하고, 도 7d의 패턴(716)은 45° 대각선 패턴(sao_eo_class = 3)을 예시한다.
에지 오프셋(EO) 모드에서, CTB에 대해 특정 sao_eo_class가 선택되면, CTB의 모든 샘플은, 테이블 1에서 나타내어지는 바와 같이, p에 위치되는 샘플 값을, n0 및 n1에 위치되는 두 개의 이웃하는 샘플 값과 비교하는 것에 의해 다섯 개의 EdgeIdx 카테고리 중 하나로 분류된다. 이 에지 인덱스 분류는, 인코더 및 디코더 둘 다에서 각각의 샘플에 대해 행해지며, 따라서 분류를 위한 어떠한 추가적인 시그널링도 필요로 되지 않는다. 구체적으로는, SAO 필터링이 (예를 들면, 개시되는 기술 중 임의의 것에 따라) 인코더에 의해 수행되도록 결정되는 경우 그리고 EO 필터링이 선택되는 경우, 분류는 테이블 1의 분류 규칙에 따라 인코더에 의해 수행된다. 디코더측에서는, SAO 필터링이 특정 시퀀스, 슬라이스, 또는 CTB에 대해 수행되도록 명시되는 경우, 그리고 EO 필터링이 명시되는 경우, 분류는 테이블 1의 분류 규칙에 따라 디코더에 의해 또한 수행될 것이다. 다르게 표현하면, 에지 인덱스는 edgeIndex = 2 + sign(p-n0) + sign(p-n1)에 의해 계산될 수 있는데, 이 경우 sign(x)는 x>0인 경우 1이고 x==0인 경우 0이고, x<0인 경우 -1이다. EdgeIdx가 0, 1, 또는 2와 동일한 경우, EdgeIdx는 다음과 같이 수정된다:
edgeIdx = (edgeIdx = = 2) ? 0 : (edgeIdx + 1)
Figure pct00001
1에서부터 4까지의 샘플 카테고리의 경우, 각각의 카테고리에 대해, 에지 오프셋으로 표시되는 소정의 오프셋 값이 명시되는데, 그 에지 오프셋은 샘플 값에 가산된다. 따라서, 네 개의 에지 오프셋의 총합은 인코더에 의해 추정되고 에지 오프셋(EO) 필터링을 위해 각각의 CTB에 대한 디코더로 송신된다.
원래 부호가 있는 값인 네 개의 에지 오프셋을 송신하기 위한 비트 오버헤드를 감소시키기 위해, HEVC/H.265은, 카테고리 1 및 카테고리 2에 대해 양의 오프셋 값을 그리고 카테고리 3 및 카테고리 4에 대해 음의 오프셋 값을 명시하는데, 이들이 대부분의 관련 사례를 커버하기 때문이다. 도 8은, 카테고리 1 및 카테고리 2에 대한 양의 오프셋 값에 의해 샘플 값(샘플 값(p))이 어떻게 수정되는지를 도시하는 도면(810), 및 카테고리 3 및 카테고리 4에 대한 음의 오프셋 값에 의해 샘플 값(샘플 값(p))이 어떻게 수정되는지를 도시하는 도면(812)을 포함한다.
밴드 오프셋(BO) 모드 SAO 필터링(1과 동일한 sao_type_idx에 의해 명시됨)에서, 선택된 오프셋 값은 샘플 진폭에 직접적으로 의존한다. 전체 관련하는 샘플 진폭 범위는 32개의 밴드로 분할되며 네 개의 연속하는 밴드에 속하는 샘플 값은 밴드 오프셋으로 표시되는 값을 가산하는 것에 의해 수정된다. 네 개의 연속하는 밴드의 사용의 주요 이유는, 밴드화 아티팩트(banding artifact)가 나타날 수 있는 편평한 영역에서, CTB의 대부분의 샘플 진폭은 단지 몇개의 밴드에만 집중되는 경향이 있다는 사실에 있다. 또한, 이 설계 선택은, 네 개의 오프셋 값을 또한 사용하는 에지 오프셋 타입과 통합된다. 밴드화 오프셋(BO)의 경우, 픽셀 값에 의해 픽셀이 먼저 분류된다. 밴드 인덱스는 bandIndex = p>>(bitdepth-5)에 의해 계산되는데, 이 경우 p는 픽셀 값이고 bitdepth는 픽셀의 비트 깊이이다. 예를 들면, 8 비트 픽셀의 경우, [0, 7]의 픽셀 값은 인덱스 0을 가지며, [8, 15]의 픽셀 값은 인덱스 1을 가지며, 등등이다. BO에서, 특정 밴드 인덱스에 속하는 픽셀은 시그널링된 오프셋을 가산하는 것에 의해 수정된다.
에지 오프셋(EO) 필터링의 경우, 최상의 그래디언트(또는 방향성) 패턴 및 사용될 네 개의 대응하는 오프셋은 인코더에 의해 결정된다. 밴드 오프셋(BO) 필터링의 경우, 밴드의 시작 위치는 인코더에 의해 또한 결정된다. 파라미터는 명시적으로 인코딩될 수 있거나 또는 좌측 CTB 또는 상측 CTB(후자의 경우에 특수 병합 플래그에 의해 시그널링됨)로부터 승계될 수 있다.
요약하면, SAO는, 선형 필터에 의해 달성될 수 없는 방식으로 재구성 오차의 추가적인 최소화를 허용하는 비선형 필터링 동작이다. SAO 필터링은 에지 선예도(sharpness)를 향상시키도록 특별히 구성된다. 또한, SAO는, "밴드 아티팩트"로서뿐만 아니라, 변환 도메인에서 고주파 성분의 양자화 에러로부터 유래하는 "링잉 아티팩트(ringing artifact)"로서도 칭해지는 의사 에지를 억제하는 데 아주 효율적이다는 것이 발견되었다.
VIII. SAO 필터링에 대한 인코더측 결정을 위한 예시적인 방법
SAO 필터링을 수행할지의 여부 및 어떻게 수행할지를 결정하기 위해 인코더에 의해 수행될 수 있는 예시적인 방법이 하기에서 개시된다. 방법은, 예를 들면, 시퀀스 파라미터 세트에 대해 sample_adaptive_offset_enabled_flag의 값이 무엇이어야 하는지; 특정 슬라이스에 대해 slice_sao_luma_flag 및 slice_sao_chroma_flag의 값이 각각 무엇이어야 하는지, 특정 CTU에 대해 sao_type_idx_luma 및 sao_type_idx_chroma 신택스 엘리먼트가 어떻게 그리고 언제 명시되어야 하는지; 및 특정 CTU에 대해 EO 및 BO 고유의 신택스 엘리먼트가 어떻게 그리고 언제 명시되어야 하는지를 결정하기 위한 프로세스의 일부로서 사용될 수 있다.
그러나, 기초가 되는 본 발명의 원리를 벗어나지 않으면서 개시된 예가 많은 방식으로 수정될 수 있기 때문에, 개시된 예는 제한하는 것으로 해석되어선 안된다. 또한, 방법 중 임의의 것이 단독으로 또는 하나 이상의 다른 SAO 결정 방법과 결합하여 사용될 수 있다. 예를 들면, 개시된 방법 중 임의의 것은, SAO 필터링을 적용할지의 여부 및 어떻게 적용할지를 결정함에 있어서, 인코더에 대한, 유일하지는 않지만, 기여하는 요인일 수 있다.
또한, 몇몇 경우에서, 개시된 방법은, SAO 필터링을 수행할지의 여부를 결정하기 위한 프로세스의 적어도 일부로서 사용되지만 그러나, 반드시, SAO 필터링 중 어떤 타입(EO 또는 BO)을 수행할지를 결정하기 위한 프로세스의 일부는 아니다. 이러한 경우에, EO 필터링을 명시할지 또는 BO 필터링을 명시할지의 여부를 결정하기 위해 다른 기술이 사용될 수 있다.
A. 디블록화 필터 이전의 픽셀의 사용
SAO에서, 디블록화 필터의 적용 이후의 픽셀은, 시그널링된 오프셋을 가산하는 것에 의해 수정된다. 개시된 기술의 소정의 실시형태에 따르면, 하나 이상의 SAO 파라미터(예를 들면, SAO 타입, 오프셋, 및/또는 몇몇 다른 필요한 정보)는, 디블록화 필터의 적용 이전의 하나 이상의 픽셀(예를 들면, 하나 이상의 디블록화 필터 이전 픽셀(pre-deblocking-filter pixel))로부터 결정된다. 구체적으로는, 개시된 기술의 특정 실시형태에서, 디블록화 필터 이전 픽셀은, (a) SAO 필터링이 수행되는지의 여부(예를 들면, sample_adaptive_offset_enabled_flag의 값); (b) 특정 슬라이스의 휘도 값에 대해 SAO 필터링이 수행되는지의 여부(예를 들면, slice_sao_luma_flag의 값); (c) 특정 슬라이스의 색차 값에 대해 SAO 필터링이 수행되는지의 여부(예를 들면, slice_sao_chroma_flag의 값); (d) SAO에 의해 사용되는 그래디언트 방향(예를 들면, sao_eo_class의 값); (e) SAO 에지 클래스를 나타내는 에지 인덱스(예를 들면, edgeidx의 값); (f) 에지 오프셋 SAO 필터링에 대한 오프셋 값; (g) 밴드 오프셋 SAO 필터링에 대한 오프셋 값; 및/또는 (h) 인코더에 의해 명시되는 임의의 다른 SAO 필터링 정보를 비롯한, SAO 필터 결정 중 하나 이상에 대해 사용된다.
인코더는, 픽셀이 디블록화 필터(예를 들면, 도 5a의 565에서 루프 내에서 적용되는 디블록화 필터)에 의해 필터링되기 이전에 픽쳐 또는 픽쳐 부분의 픽셀을 사용하여, 이들 SAO 필터링 결정 및/또는 SAO 파라미터 명세(specification) 중 임의의 것을 결정하기 위한 계산을 수행할 수 있다. 그 다음, 결과적으로 나타나는 결정 및/또는 SAO 파라미터 명세는 대응하는 SAO 신택스 엘리먼트를 통해 비트스트림에서 인코딩될 수 있다. 디코더에서, 디블록화 필터 이후의 픽셀이 이용가능하면, 명시된 SAO 파라미터에 따른 SAO 필터링이 수행될 수 있다.
이 실시형태는, 픽쳐가 인코딩되고 있을 때, 픽쳐 부분(예컨대 슬라이스)이 아니라, 전체 픽쳐에 대해서만 디블록화 필터를 적용하도록 구성되는 인코더에 대해 특히 유용할 수 있다. 이러한 인코더의 경우, SAO 파라미터 결정을 위해 디블록화 필터 이후 픽셀을 사용하는 것이 계산적으로 효율적일 수 있고 메모리 집약적일 필요가 없을 수 있다. 몇몇 화상 회의 인코더는 이 거동을 나타내는데, SAO 파라미터 결정을 위해 적어도 몇몇 디블록화 이전 픽셀을 사용하는 것을 바람직하게 만든다.
여전히 또한, 몇몇 구현예에서, 인코더가 하나 이상의 SAO 파라미터를 결정하는 경우, 디블록화 필터의 적용 이후로부터의 픽셀 중 몇몇은 이용가능하지만 그러나 다른 것은 이용가능하지 않다. 이러한 경우, 인코더는 픽셀의 혼합물(mixture)(예를 들면, 픽셀 중 하나 이상은 디블록화 필터가 적용되기 이전의 픽셀이고, 픽셀 중 하나 이상은 디블록화 필터가 적용된 이후 픽셀이다)에 기초하여 SAO 파라미터를 결정할 수 있다. 그 다음, 디블록화 이전 픽셀 및 디블록화 이후 픽셀의 혼합물로부터 결정되는 SAO 파라미터는 비트스트림에서 시그널링될 수 있다. 특정 구현예에서, 디블록화 필터의 적용 이후의 픽셀이 이용가능한 경우, 이들은 SAO 결정에 대해 바람직하고; 반면 다른 실시형태에서는, 디블록화 이전 픽셀이 바람직하다.
도 9는, 개시된 기술의 이 양태에 따른, SAO 필터링을 수행하기 위한 예시적인 실시형태를 예시하는 플로우차트(900)이다. 개시된 실시형태는, 컴퓨팅 디바이스가 비디오 인코더 또는 이미지 인코더를 구현하는 것에 의해 수행될 수 있는데, 비디오 인코더 또는 이미지 인코더는 H.265/HEVC 표준을 준수하는 비트스트림을 생성하도록 또한 구성될 수도 있다. 개시된 방법 액트가 단독으로, 상이한 순서로, 또는 적어도 부분적으로는 서로 동시에 수행될 수 있기 때문에, 특정 실시형태는 제한하는 것으로 해석되어선 안된다. 또한, 개시된 방법 또는 방법 액트 중 임의의 것은, 본원에서 개시되는 임의의 다른 방법 또는 방법 액트와 함께 수행될 수 있다.
910에서, 현재 인코딩되고 있는 픽쳐 부분에 다단계 필터링 프로세스가 적용되는데, 다단계 필터링 프로세스는 픽쳐 부분의 픽셀에 디블록화 필터를 적용하는 것 및 후속하여 픽쳐 부분의 디블록화 이후 픽셀에 샘플 적응 오프셋(SAO) 프로세스를 적용하는 것을 포함한다. 912에서, SAO 프로세스의 적용을 제어하는 하나 이상의 SAO 파라미터가 명시된다. 이 실시형태에서, 픽쳐 부분의 하나 이상의 디블록화 이전 픽셀은, 명시된 SAO 파라미터를 결정함에 있어서 사용된다. 914에서, 픽쳐 부분 및 SAO 프로세스의 적용을 제어하는 하나 이상의 SAO 파라미터를 인코딩하는 비트스트림이 생성된다. 916에서, 비트스트림이 출력된다.
소정의 경우에, 샘플 적응 오프셋(SAO) 프로세스는 에지 오프셋(EO) 기술을 적용하는 것을 포함하고, SAO 파라미터를 명시하는 액트는, EO 클래스를 나타내는 SAO 파라미터 및 EO 기술에 대한 오프셋 값을 값을 나타내는 SAO 파라미터를 명시하는 것을 포함한다. 이러한 경우에, EO 클래스를 나타내는 SAO 파라미터는, EO 기술을 픽쳐 부분에 적용할 때, 다수의 방향의 일차원 패턴 중 어떤 패턴이 사용될 것인지를 나타낼 수 있다. 다른 경우에, SAO 프로세스는 밴드 오프셋(BO) 기술을 적용하는 것을 포함하고, SAO 파라미터를 명시하는 액트는, 오프셋 값을 적용하기 위한 시작 밴드 위치를 나타내는 SAO 파라미터 및 BO 기술이 적용될 밴드에 대한 오프셋 값을 나타내는 SAO 파라미터를 명시하는 것을 포함한다. 소정의 실시형태에서, 픽쳐 부분은 코딩 트리 단위이다.
B. SAO 파라미터를 결정하기 위한 기초로서의 "스킵 모드" 또는 다른 인코더측 파라미터의 사용
다른 실시형태에서, 인코딩 프로세스 동안 설정되지만 그러나 SAO 프로세싱에 직접적으로 관련되지 않는 인코더측 파라미터는, 픽쳐, 슬라이스, CTU, 및/또는 다른 픽쳐 또는 픽쳐 구획(partition)에 대해 SAO 필터링을 수행할지의 여부를 결정하기 위한 기초로서 적어도 부분적으로 사용된다. 예를 들면, 하나의 특정 실시형태에서, 하나 이상의 SAO 파라미터에 대한 인코더측 결정은, "스킵 모드"가 시그널링된 코딩 단위 트리(CTU)에 대해 스킵된다. 구체적으로는, 인코더에 의해 인코딩되고 있는 현재 CTU가 스킵 모드 CTU(이것은, 현재 CTU가 하나 이상의 다른 픽쳐로부터 픽쳐를 단지 카피한다는 것을 의미함)이면, 인코더는 CTU에 대한 SAO 결정 프로세스를 스킵할 수 있다. 따라서, 인코더는, 스킵 모드 CTU로서 지정된 CTU에 SAO가 적용되지 않는다는 결정을 간단히 할 수 있다.
하나의 예시적인 구현예에서, 인코더는 CTU에 대해, 그 CTU의 하나 이상의 코딩 단위(CU)가 "스킵 모드" 코딩 단위로서 시그널링되는 경우 또는 시그널링될 경우, sao_type_idx 값을 0으로 설정한다. 스킵 모드가 (예를 들면, cu_skip_flag를 사용하여) 코딩 단위 기반으로 시그널링되기 때문에, 인코더는, 인코딩되고 있는 현재 CTU의 모든 CU가 "스킵 모드" CU인 경우에만, SAO 필터링을 디스에이블하도록 구성될 수도 있다. CTU가 단일의 CU만을 포함하는 경우, 이 결정은, 단지 단일의 CU가 "스킵 모드" CU인지의 여부를 평가하는 것으로 단순화될 수 있다. 추가적으로, 이 의사 결정 기술은 하기에 설명되는 다른 예시적인 실시형태로 확장될 수 있다. 또한, 슬라이스의 모든 루마 또는 크로마 CTU가 "스킵 모드" CTU인 경우, 슬라이스 레벨 SAO 플래그(예를 들면, 각각, slice_sao_luma_flag 및 slice_sao_chroma_flag)는 SAO 필터링을 디스에이블하도록 설정될 수 있다. 마찬가지로, 시퀀스의 인터 코딩된 픽쳐의 모든 루마 및 크로마 CTU가 "스킵 모드" CTU인 경우, 픽쳐 레벨 SAO 플래그(예를 들면, sample_adaptive_offset_enabled_flag)는 SAO 필터링을 디스에이블하도록 설정될 수 있다.
다른 실시형태에서, CTU 레벨, 슬라이스 레벨, 및/또는 픽쳐 레벨에서 SAO 필터링을 인에이블하기 위한 기초로서, 인코더에 의해 명시되는 다른 파라미터가 사용될 수 있다. 예를 들면, 하나의 구현예에서, 코딩 단위에 대한 예측 모드를 나타내는 플래그(예를 들면, pred_mod_flag)가 사용된다. 예를 들면, CTU에 대한 하나 이상의 CU가 인터 예측 코딩을 사용하여 인코딩될 것이다는 것을 플래그가 나타내는 경우, SAO 필터링은 CTU에 대해 디스에이블될 수 있다. 이것은, 일반적으로는, 인터 예측 코딩으로 인코딩된 CTU에 대한 잔차가, CTU가 인트라 예측 코딩으로 인코딩되는 경우의 CTU에 대한 잔차보다 더 적기 때문이다. 다른 구현예에서, 스케일링 및 변환 프로세스 및 루프 내 필터링이 수행될 것인지의 여부를 나타내는 플래그(예를 들면, cu_transquant_bypass_flag)가 사용된다. 예를 들면, 스케일링 및 변환 프로세스 및 루프내 필터 프로세스가 CTU에 대한 하나 이상의 CU에 대해 바이패스될 것이다는 것을 이 플래그가 나타내는 경우, 인코더는 현재 CTU에 대한 SAO 필터링을 자동적으로 디스에이블할 수 있거나; 또는 몇몇 구현예에서, 현재 CTU에서 1과 동일한 cu_transquant_bypass_flag를 갖는 CU의 수가 임계값을 초과하는지의 여부를 결정할 수 있고 이 결정에 기초하여 현재 CTU에 대한 SAO 필터링을 디스에이블할 수 있다. 다른 구현예에서, CTU 또는 다른 픽쳐 구획에서의 휘도 또는 색차 변환 블록이 0과 동일하지 않은 하나 이상의 변환 계수를 갖는지의 여부를 나타내는 신택스 엘리먼트(예를 들면, cbf_luma, cbf_cb, 및 cbf_cr)가 사용된다. 예를 들면, CTU에 대한 대응하는 휘도 또는 색차 변환 블록이 0과 모두 동일한 변환 계수를 갖는다는 것을 이들 신택스 엘리먼트가 나타내면, 인코더는, CTU의 대응하는 휘도 또는 색차 값에 대한 SAO 필터링이 디스에이블되어야 한다는 것을 명시할 수 있다. 또는, 소정의 구현예에서, 넌제로 계수를 갖는 CTU에 대한 변환 블록의 수가 어떤 임계값(예를 들면, 임의의 적절한 정수 값) 미만이면, SAO 필터링은 디스에이블될 수 있다.
여전히 다른 실시형태에서, 인코더는, SAO가 현재 CTU에 적용되지 않는다는 결정을 다른 기준을 사용하여 행할 수 있다. 예를 들면, 인코더는, 현재 CTU에 대해 어떠한 잔차도 시그널링되지 않으면, 현재 CTU에 SAO를 적용하지 않을 것을 결정할 수 있다. 이것은, 어떠한 잔차도 시그널링되지 않으면, 현재 CTU 인코딩을 위한 인코딩 프로세스는 해상도의 손실이 거의 없거나 전혀 없이 수행될 수 있고(또는 수행되었고), 그 결과 필터링을 더욱 불필요하게 만든다는 사실 때문이다. 잔차의 부재는, 움직임이 거의 없거나 전혀 없는 정지 픽쳐가 존재하는 상황, 또는 유사한 픽셀의 큰 영역이 존재하는 경우의 상황을 포함하여, 인코더에 의해 조우되는 많은 상황에서 경험될 수 있다. 마찬가지로, 인코더는, 현재 CTU에 대해 시그널링된 잔차가 어떤 임계값(예를 들면, 시각적 품질을 성능과 균형을 맞추도록 선택된 임의의 적절한 값) 아래에 있으면, 현재 CTU에 SAO를 적용하지 않을 것을 결정할 수 있다.
여전히 다른 실시형태에서, 인코더는, 기준의 조합에 기초하여, SAO를 인에이블하는 또는 디스에이블하는 결정을 행할 수 있다. 예를 들면, 다수의 기준이 평가될 수 있는데, 그 중 임의의 하나는, SAO 필터링을 인에이블하도록 또는 디스에이블하도록 인코더를 트리거하기에 충분할 수 있다. 또는, 몇몇 경우에서, 다수의 기준이 평가될 수 있는데, SAO 필터링을 인에이블하도록 또는 디스에이블하도록 인코더를 트리거하기 위해 그 모두는 충족되어야 한다. 여전히 또한, 이들의 몇몇 조합은, SAO 필터링을 언제 인에이블할지 또는 언제 디스에이블할지를 결정하기 위해 사용될 수도 있다(예를 들면, "(기준 A AND 기준 B) OR 기준 C"이면 SAO 필터링을 디스에이블한다).
도 10은, 개시된 기술의 이 양태에 따른, 제2 단계의 필터링(예컨대 SAO 필터링)을 적용할 때를 결정하기 위한 예시적인 실시형태를 예시하는 플로우차트(1000)이다. 개시된 실시형태는, 컴퓨팅 디바이스가 비디오 인코더 또는 이미지 인코더를 구현하는 것에 의해 수행될 수 있는데, 비디오 인코더 또는 이미지 인코더는 H.265/HEVC 표준을 준수하는 비트스트림을 생성하도록 또한 구성될 수도 있다. 개시된 방법 액트가 단독으로, 상이한 순서로, 또는 적어도 부분적으로는 서로 동시에 수행될 수 있기 때문에, 특정 실시형태는 제한하는 것으로 해석되어선 안된다. 또한, 개시된 방법 또는 방법 액트 중 임의의 것은, 본원에서 개시되는 임의의 다른 방법 또는 방법 액트와 함께 수행될 수 있다.
1010에서, 현재 인코딩되고 있는 픽쳐 부분에 대해, 인코딩으로부터 유래하는 픽쳐 부분에 대한 잔차 데이터의 양을 나타내는 데이터에 적어도 부분적으로 기초하여, 다단계 필터링 프로세스를 위한 제2 단계의 필터링을 적용할지의 여부에 관한 결정이 이루어진다. 1012에서, 결정에 기초하여, 제2 단계의 필터링의 적용을 제어하는 하나 이상의 신택스 엘리먼트가 명시된다. 1014에서, 픽쳐 부분 및 제2 단계의 필터링의 적용을 제어하는 명시된 하나 이상의 신택스 엘리먼트를 인코딩하는 비트스트림이 생성된다. 1016에서, 비트스트림이 출력된다.
다단계 필터링 프로세스의 제2 단계는, 샘플 적응 오프셋(SAO) 필터링을 포함할 수 있고, 제1 단계는 디블록화 필터를 포함할 수 있다. 또한, 인코딩되는 픽쳐 부분은, 슬라이스, 코딩 트리 단위, 코딩 단위, 또는 다른 적절한 픽쳐 부분 중 임의의 하나일 수 있다.
제2 단계의 필터링을 적용할지의 여부를 결정하는 액트는, 인코딩으로부터 유래하는 픽쳐 부분에 대해 어떠한 잔차 데이터도 존재하지 않는다는 것을, 잔차 데이터의 양을 나타내는 데이터가 나타내는 경우에만, 제2 단계의 필터링을 디스에이블할 것을 결정하는 것을 포함할 수 있다. 제2 단계의 필터링을 적용할지의 여부를 결정하는 액트는, 대안적으로, 잔차 데이터의 양이 임계값 미만이다는 것을, 잔차 데이터의 양을 나타내는 데이터가 나타내는 경우에만, 제2 단계의 필터링을 디스에이블할 것을 결정하는 것을 포함할 수 있다.
픽쳐 부분에 대한 잔차 데이터의 양을 나타내는 데이터는, 잔차 데이터의 양을 나타내지만 그러나 제2 단계의 필터링을 자체적으로 제어하지 않는 신택스 엘리먼트를 포함할 수 있다. 예를 들면, 잔차 데이터의 양을 나타내는 신택스 엘리먼트는, 스킵 모드가 픽쳐 부분에 적용될 것이다는 것을 나타내는 신택스 엘리먼트일 수 있다. 또한, 이러한 경우에, 결정은, 스킵 모드가 픽쳐 부분에 적용될 경우, 제2 단계의 필터링을 디스에이블할 것을 결정하는 것을 포함할 수 있다. 여전히 또한, 잔차 데이터의 양을 나타내는 신택스 엘리먼트는 다음, 즉 (a) 픽쳐 부분에 대한 예측 모드를 나타내는 신택스 엘리먼트; (b) 픽쳐 부분에서의 변환 계수가 제로와 동일하지 않은지의 여부를 나타내는 신택스 엘리먼트; 또는 (c) 픽쳐 부분에 대한 스케일링 및 변환이 바이패스될 것이다는 것을 나타내는 신택스 엘리먼트 중 하나를 포함할 수 있다.
제2 단계 필터링이 적용될 경우, 방법은, 제1 단계의 필터링의 적용 이전에, 픽쳐 부분에 대한 적어도 몇몇 픽셀 값을 사용하여 제2 단계의 필터링의 적용과 관련되는 하나 이상의 파라미터를 결정하는 것을 더 포함할 수 있다. 몇몇 구현예에서, 하나 이상의 디블록화 이후 픽셀 값이 또한 사용된다.
또한, 몇몇 경우에서, 제2 단계 필터링은 에지 오프셋 필터링 프로세스를 포함할 수 있고, 방법은, 제2 단계 필터링이 적용될 경우, (하기에서 논의되는 바와 같이) 픽쳐 부분에서의 에지 방향을 결정하기 위해 에지 필터를 적용하는 것, 및 에지 필터를 적용하는 것에 의해, 에지 오프셋 필터링과 함께 사용하기 위해 명시되는 다수의 그래디언트 패턴의 개별적인 적용을 방지하는 것을 더 포함할 수 있다.
C. SAO 필터링을 적용하기 위한 적응적 기술
다른 인코더 실시형태에서, 인코더는 상이한 픽쳐에 대해 SAO 필터링을 적응적으로 인에이블하도록 또는 디스에이블하도록 구성된다. 예를 들면, 하나의 예시적인 인코더 구현예에서, 인코딩 효율성(예를 들면, 인코딩 속도)은, CTU, 슬라이스, 픽쳐, 또는 다른 픽쳐 부분에 대해 SAO 필터링을 시그널링할지의 여부를 결정하기 위한 기초로서 사용될 수도 있다. 예로서, 인코더는 (예를 들면, 프로세싱 시간 또는 프로세싱 싸이클의 척도로서) 자신의 인코딩 효율성을 모니터링하도록 구성될 수도 있고; 인코딩되고 있는 현재 CTU, 슬라이스, 픽쳐, 또는 다른 픽쳐 부분이 최소 임계치 아래로 떨어지는 경우, 인코더는 그 CTU, 슬라이스, 픽쳐, 또는 픽쳐 부분에 대해 SAO 필터링을 디스에이블할 것을 결정할 수 있다. 따라서, SAO 파라미터를 결정하기 이전에 인코더가 이미 너무 많은 시간을 걸렸다는 것을 인코더가 발견하는 경우, 인코더는 현재 CTU, 슬라이스, 픽쳐, 또는 픽쳐 부분에 대해 SAO 결정 프로세스를 단순히 스킵할 수 있다.
도 11은, 개시된 기술의 이 양태에 따른, 다단계 필터링 프로세스를 위한 제2 단계의 필터링을 적용할지의 여부를 결정하기 위한 예시적인 실시형태를 예시하는 플로우차트(1100)이다. 개시된 실시형태는, 컴퓨팅 디바이스가 비디오 인코더 또는 이미지 인코더를 구현하는 것에 의해 수행될 수 있는데, 비디오 인코더 또는 이미지 인코더는 H.265/HEVC 표준을 준수하는 비트스트림을 생성하도록 또한 구성될 수도 있다. 개시된 방법 액트가 단독으로, 상이한 순서로, 또는 적어도 부분적으로는 서로 동시에 수행될 수 있기 때문에, 특정 실시형태는 제한하는 것으로 해석되어선 안된다. 또한, 개시된 방법 또는 방법 액트 중 임의의 것은, 본원에서 개시되는 임의의 다른 방법 또는 방법 액트와 함께 수행될 수 있다.
1110에서, 현재 인코딩되고 있는 픽쳐 부분에 대해, 비디오 인코더 또는 이미지 인코더의 인코딩 효율성에 적어도 부분적으로 기초하여 다단계 필터링 프로세스를 위한 제2 단계의 필터링을 적용할지의 여부에 관한 결정이 이루어진다. 1112에서, 결정에 기초하여, 제2 단계의 필터링이 선택적으로 적용된다. 1114에서, 결정에 기초하여, 제2 단계의 필터링의 적용을 제어하는 하나 이상의 신택스 엘리먼트가 명시된다. 1116에서, 픽쳐 부분 및 제2 단계의 필터링의 적용을 제어하는 명시된 하나 이상의 신택스 엘리먼트를 인코딩하는 비트스트림이 생성된다. 1118에서, 비트스트림이 출력된다.
다단계 필터링 프로세스의 제2 단계는, 샘플 적응 오프셋(SAO) 필터를 포함할 수 있고, 제1 단계는 디블록화 필터를 포함할 수 있다. 또한, 인코딩되는 픽쳐 부분은 코딩 트리 단위일 수 있다.
인코딩 효율성은, 현재 인코딩되고 있는 픽쳐 부분을 인코딩함에 있어서의 프로세서 시간에 의해 측정될 수 있다. 예를 들면, 이러한 경우에, 결정은, 프로세서 시간을 임계값에 비교하고 프로세서 시간이 임계값을 초과하면 제2 단계의 필터링을 디스에이블할 것을 결정하는 것에 의해, 수행될 수 있다. 인코딩 효율성은, 대안적으로, 현재 인코딩되고 있는 픽쳐 부분을 인코딩함에 있어서 사용되는 프로세서 싸이클의 수에 의해 측정될 수 있다. 이러한 경우에, 결정은, 프로세서 싸이클의 수를 임계값에 비교하고 프로세서 싸이클의 수가 임계값을 초과하면 제2 단계의 필터링을 디스에이블할 것을 결정하는 것에 의해, 수행될 수 있다. 여전히 또한, 몇몇 실시형태에서, 인코딩 효율성은, 하나 이상의 이전에 인코딩된 픽쳐 부분을 인코딩함에 있어서 사용되는 프로세서 시간 또는 프로세서 싸이클의 수에 의해 측정된다.
D. 주기적 SAO 필터링
다른 인코더 실시형태에서, 인코더는 SAO 필터링에 대해 시그널링할 수 있고 SAO 파라미터 결정 프로세스를 주기적으로 적용할 수 있다. 예를 들면, 하나의 구현예에서, 인코더는, SAO 필터링을 인에이블하도록 구성될 수 있고 SAO 파라미터 결정 프로세스를 매 n개의 픽쳐마다 적용할 수 있는데, 이 경우 n은 임의의 정수 값일 수 있다(예를 들면, n = 2, 3, 4, 5, 6, 7, 8, 또는 임의의 다른 정수 값). 예를 들면, n이 4로 설정되면, 이것은, 인코더가 픽쳐 0에 대해 SAO 필터링 및 SAO 파라미터 결정 프로세스를 적용할 수 있고, 픽쳐 1, 픽쳐 2, 및 픽쳐 3에 대해 SAO 필터링을 디스에이블할 수 있고; 그 다음 픽쳐 4에 대해 SAO 필터링을 인에이블할 수 있고 SAO 파라미터 결정 프로세스를 적용할 수 있다는 것을 의미한다.
이 주기적인 SAO 필터링 방식은 또한 더 미세한 세분화의 레벨에서 적응될 수 있다. 예를 들면, 인코더는, 픽쳐의 슬라이스에 대해, 또는 픽쳐의 CTU에 대해 주기적으로, SAO 필터링을 인에이블하도록 그리고 SAO 파라미터 결정 프로세스를 적용하도록 구성될 수 있다. 예를 들면, 인코더는, 매 n개의 슬라이스마다, 또는 매 n 개의 CTU마다 SAO 필터링을 인에이블하도록 구성될 수 있는데, 이 경우 n은 상기에서 설명되는 바와 같이 임의의 정수 값이다.
여전히 또한, 소정의 실시형태에서, 픽쳐의 영역에 대한(예를 들면, 슬라이스 및 CTU)에 대한 SAO 필터링의 주기적 적용은, 동일한 영역이 픽쳐 단위로 디스에이블된 SAO 필터링을 갖지 않도록, 영역을 기준으로 변경될 수 있다. 예를 들면, 인코더는, 제1 픽쳐에 대해 슬라이스 1이 인에이블된 SAO 필터링을 갖는 동안 슬라이스 0이 디스에이블된 SAO 필터링을 가지도록 그리고 제2 픽쳐에 대해 슬라이스 1이 디스에이블된 SAO 필터링을 갖는 동안 슬라이스 0이 인에이블된 SAO 필터링을 가지도록, 구성될 수 있는데, 이 경우 제2 픽쳐는 제1 픽쳐에 연속적으로 후속한다. 상대적으로 높은 레이트의 비디오(예를 들면, 초당 24 프레임 이상)가 주어지면, 밸런스가 맞춰진 이 방식은 재구성된 비디오 스트림에서 시각적으로 인지불가능한 차이를 생성할 수 있다.
도 12는, 개시된 기술의 이 양태에 따른, 다단계 필터링 프로세스를 위한 제2 단계의 필터링을 적용할지의 여부를 결정하기 위한 예시적인 실시형태를 예시하는 플로우차트(1200)이다. 개시된 실시형태는, 컴퓨팅 디바이스가 비디오 인코더 또는 이미지 인코더를 구현하는 것에 의해 수행될 수 있는데, 비디오 인코더 또는 이미지 인코더는 H.265/HEVC 표준을 준수하는 비트스트림을 생성하도록 또한 구성될 수도 있다. 개시된 방법 액트가 단독으로, 상이한 순서로, 또는 적어도 부분적으로는 서로 동시에 수행될 수 있기 때문에, 특정 실시형태는 제한하는 것으로 해석되어선 안된다. 또한, 개시된 방법 또는 방법 액트 중 임의의 것은, 본원에서 개시되는 임의의 다른 방법 또는 방법 액트와 함께 수행될 수 있다.
1210에서, 인코딩되고 있는 일련의 픽쳐 또는 픽쳐 부분에 대해, 다단계 필터링 프로세스의 제2 단계의 필터링은 (예를 들면, 고정된 주기에 따라) 주기적으로 적용된다. 1212에서, 일련의 픽쳐 또는 픽쳐 부분 각각에 대해, 제2 단계의 필터링의 주기적 적용을 시그널링하는 신택스 엘리먼트를 비롯하여, 제2 단계의 필터링을 제어하기 위한 하나 이상의 신택스 엘리먼트(예를 들면, 본원에서 설명되는 바와 같이, 주기적으로 명시될 수 있는, sample_adaptive_offset_enabled_flag, slice_sao_luma_flag, slice_sao_chroma_flag, sao_type_idx_luma, 및/또는 sao_type_idx_chroma 신택스 엘리먼트)가 명시된다. 1214에서, 일련의 픽쳐 부분 및 제2 단계의 필터링의 적용을 제어하는 명시된 하나 이상의 신택스 엘리먼트를 인코딩하는 비트스트림이 생성된다. 1216에서, 비트스트림이 출력된다.
다단계 필터링 프로세스의 제2 단계는, 샘플 적응 오프셋(SAO) 필터를 포함할 수 있고, 제1 단계는 디블록화 필터를 포함할 수 있다. 또한, 픽쳐 부분은 코딩 트리 단위일 수 있다.
제2 단계의 필터링을 주기적으로 적용하는 액트는, 매 n개의 픽쳐 또는 픽쳐 부분마다 제2 단계의 필터링을 적용하는 것을 포함할 수 있다. 예로서, 제2 단계의 필터링은 매 네 개의 픽쳐마다 적용될 수 있다. 이 값은 코딩 용량과 성능 사이에서 양호한 절충(tradeoff)을 제공하는 것이 관측되었다.
E. 에지 검출 사용
다른 인코더 실시형태에서, 그리고 인코더 효율성을 증가시키기 위해(그리고/또는 인코딩 복잡성을 감소시키기 위해), EO 타입 SAO 필터링을 위한 SAO 에지 방향을 결정하도록 에지 검출이 사용된다. 상기에서 언급된 바와 같이, EO 타입 SAO 필터링에 네 개 타입의 에지 방향이 존재한다. 인코더는 모든 네 개의 가능한 방향을 시도할 수 있고 그 다음 최상의 것을 선택할 수 있지만, 이 무차별 대입(brute-force) 방식은, 너무 많은 인코더 시간이 들 수도 있고 인코더 효율성을 감소시킬 수도 있다. 따라서, 몇몇 구현예에서, 인코더는, 네 개의 가능한 방향의 각각을 시도하지 않고 에지 방향을 결정하기 위해 사전 분석 프로세스를 사용하고 그 다음 최상으로 매칭하는 에지 방향에 대한 SAO 파라미터를 결정하는 것에 의해, 에지 방향을 선택하도록 구성된다. 예를 들면, 인코더는, 에지 필터, 예컨대 소벨 연산자(Sobel operator), 캐니(Canny) 연산자, LoG(Laplacian of Gaussian; 가우시안-라플라시안) 필터, 로베르트(Robert) 연산자, 프리윗(Prewitt) 연산자, 또는 다른 에지 방향 연산자를 활용하는 것에 의해 에지 방향을 선택할 수 있다. 이러한 에지 방향 연산자는, (예를 들면, CTU에서) 에지 방향을 식별하기 위해 그리고 (예를 들면, 도 7에서 예시되는 그리고 HEVC/H.265 표준에서 이용가능한 방향 중에서) 가장 가깝게 이용가능한 SAO 에지 방향을 선택하기 위해, 사용될 수 있다. 에지 검출 연산자를 사용하는 것에 의해, 인코더는 네 개의 이용가능한 방향의 각각을 개별적으로 계산해야 하는 것 및 최상의 것을 선택하는 것을 방지할 수 있고, 대신, 네 개의 방향 중 어떤 것을 선택할지를 보다 효율적으로 그리고 직접적으로 식별할 수 있다.
도 13은, 개시된 기술의 이 양태에 따른, 에지 오프셋(EO) 프로세스를 수행하기 위한 예시적인 실시형태를 예시하는 플로우차트(1300)이다. 개시된 실시형태는, 컴퓨팅 디바이스가 비디오 인코더 또는 이미지 인코더를 구현하는 것에 의해 수행될 수 있는데, 비디오 인코더 또는 이미지 인코더는 H.265/HEVC 표준을 준수하는 비트스트림을 생성하도록 또한 구성될 수도 있다. 개시된 방법 액트가 단독으로, 상이한 순서로, 또는 적어도 부분적으로는 서로 동시에 수행될 수 있기 때문에, 특정 실시형태는 제한하는 것으로 해석되어선 안된다. 또한, 개시된 방법 또는 방법 액트 중 임의의 것은, 본원에서 개시되는 임의의 다른 방법 또는 방법 액트와 함께 수행될 수 있다.
1310에서, 다수의 이용가능한 EO 클래스 중 사용할 하나를 식별하기 위해 픽쳐 부분에 에지 필터를 적용하는 것을 비롯하여, 현재 인코딩되고 있는 픽쳐 부분에 에지 오프셋(EO) 프로세스가 적용되는데, 다수의 이용가능한 EO 클래스의 각각은 상이한 방향과 관련되며, 후속하는 EO 프로세싱 동안 픽셀 값은 그 상이한 방향을 따라 평가될 것이다. 후속하는 EO 프로세싱은, 예를 들면, 식별된 EO 클래스의 방향을 따른 픽쳐 부분의 픽셀이 로컬 밸리(local valley)를 포함하는지, 로컬 피크(local peak)를 포함하는지, 오목한 코너를 포함하는지, 또는 볼록한 코너를 포함하는지의 여부를 결정하는 것, 및 그 결정에 의해, EO 프로세싱 동안 양의(positive) 오프셋 값이 적용될 것인지 또는 음의(negative) 오프셋 값이 적용될 것인지 여부를 결정하는 것을 포함할 수 있다. 1312에서, EO 프로세싱 동안 다수의 이용가능한 EO 클래스 중 어떤 것이 사용될지를 나타내는 SAO 파라미터가 명시된다. 1314에서, 다수의 이용가능한 EO 클래스 중 어떤 것이 EO 프로세싱에 대해 사용될지를 나타내는 SAO 파라미터 및 픽쳐 부분을 인코딩하는 비트스트림이 생성된다. 1316에서, 비트스트림이 출력된다.
또한, 픽쳐 부분은 코딩 트리 단위일 수 있다. 다수의 이용가능한 EO 클래스 중 어떤 것이 EO 프로세싱에 대해 사용될지를 나타내는 SAO 파라미터는, 픽쳐 부분의 휘도 값에 대한 것일 수 있거나 또는 픽쳐 부분의 색차 값에 대한 것일 수 있다. 특정 구현예에서, 에지 필터는 캐니 연산자, 소벨 연산자, 또는 에지 방향을 검출하기 위한 다른 에지 필터를 포함한다. 몇몇 실시형태에서, EO 프로세스의 적용은, 다수의 이용가능한 EO 클래스의 각각과 관련되는 방향성 패턴의 별도의 적용을 생략하거나 또는 스킵한다.
개시된 발명의 원칙이 적용될 수도 있는 많은 가능한 실시형태의 관점에서, 예시된 실시형태는 단지 본 발명의 바람직한 예에 불과하며 본 발명의 범위를 제한하는 것으로 간주되어선 안된다는 것이 인식되어야 한다. 대신, 본 발명의 범위는 하기의 청구범위에 의해 정의된다. 따라서, 이들 청구범위 및 그것과 균등한 범위의 취지와 범위 내에 있는 모든 것을 본 발명으로서 주장한다.

Claims (20)

  1. 비디오 인코더 또는 이미지 인코더를 구현하는 컴퓨팅 디바이스에서의 방법에 있어서,
    현재 인코딩되고 있는 픽쳐 부분에 대해, 상기 인코딩으로부터 유래하는 상기 픽쳐 부분에 대한 잔차 데이터(residual data)의 양을 나타내는 데이터에 적어도 부분적으로 기초하여, 다단계 필터링 프로세스를 위한 제2 단계의 필터링을 적용할지의 여부를 결정하는 단계;
    상기 결정에 기초하여, 제2 단계의 필터링의 적용을 제어하는 하나 이상의 신택스 엘리먼트를 명시하는(specifying) 단계;
    상기 제2 단계의 필터링의 적용을 제어하는 상기 명시된 하나 이상의 신택스 엘리먼트를 포함하는 비트스트림에서 상기 픽쳐 부분을 인코딩하는 단계; 및
    상기 비트스트림을 출력하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 다단계 필터링 프로세스의 상기 제2 단계는 샘플 적응 오프셋(sample adaptive offset; SAO) 필터링을 포함하고,
    상기 다단계 필터링 프로세스의 제1 단계는 디블록화(deblocking) 필터를 적용하는 것을 포함하고,
    상기 픽쳐 부분은, 슬라이스, 코딩 트리 단위, 또는 코딩 단위 중 하나인, 방법.
  3. 제1항에 있어서,
    상기 결정하는 단계는, 상기 인코딩으로부터 유래하는 상기 픽쳐 부분에 대해 어떠한 잔차 데이터도 존재하지 않는다는 것을, 잔차 데이터의 상기 양을 나타내는 상기 데이터가 나타내는 경우에만, 또는 잔차 데이터의 상기 양이 임계값 미만이다는 것을, 잔차 데이터의 상기 양을 나타내는 상기 데이터가 나타내는 경우에만, 상기 제2 단계의 필터링을 디스에이블할 것을 결정하는 것을 포함하는, 방법.
  4. 제1항에 있어서,
    상기 픽쳐 부분에 대한 잔차 데이터의 상기 양을 나타내는 상기 데이터는, 잔차 데이터의 상기 양을 나타내지만 상기 제2 단계의 필터링을 자체적으로 제어하지 않는 신택스 엘리먼트를 포함하는, 방법.
  5. 제4항에 있어서,
    잔차 데이터의 상기 양을 나타내는 상기 신택스 엘리먼트는, 상기 픽쳐 부분에 스킵 모드가 적용될 것이다는 것을 나타내는 신택스 엘리먼트이고, 상기 결정하는 단계는, 상기 스킵 모드가 상기 픽쳐 부분에 적용될 경우에 상기 제2 단계의 필터링을 디스에이블할 것을 결정하는 것을 포함하는, 방법.
  6. 제4항에 있어서,
    잔차 데이터의 상기 양을 나타내는 상기 신택스 엘리먼트는, (a) 상기 픽쳐 부분에 대한 예측 모드를 나타내는 신택스 엘리먼트; (b) 상기 픽쳐 부분에서의 변환 계수가 제로와 동일하지 않은지의 여부를 나타내는 신택스 엘리먼트; 또는 (c) 상기 픽쳐 부분에 대한 스케일링 및 변환이 바이패스될 것이다는 것을 나타내는 신택스 엘리먼트 중 하나를 포함하는, 방법.
  7. 제1항에 있어서,
    제2 단계 필터링이 적용될 경우, 상기 제1 단계의 필터링의 적용 이전에, 상기 픽쳐 부분에 대한 픽셀 값을 사용하여 상기 제2 단계의 필터링의 적용과 관련되는 하나 이상의 파라미터를 결정하는 단계를 더 포함하는, 방법.
  8. 제1항에 있어서,
    상기 제2 단계 필터링은 에지 오프셋 필터링 프로세스를 포함하고, 상기 방법은, 제2 단계 필터링이 적용될 경우, 상기 픽쳐 부분에서의 에지 방향을 결정하기 위해 에지 필터를 적용하는 단계, 및 상기 에지 필터를 적용하는 것에 의해, 에지 오프셋 필터링과 함께 사용하기 위해 명시되는 다수의 그래디언트 패턴(gradient pattern)의 개별적인 적용을 방지하는 단계를 더 포함하는, 방법.
  9. 비디오 인코더 또는 이미지 인코더를 구현하는 컴퓨팅 디바이스에서의 방법에 있어서,
    현재 인코딩되고 있는 픽쳐 부분에 다단계 필터링 프로세스 - 상기 다단계 필터링 프로세스는 상기 픽쳐 부분의 픽셀에 디블록화 필터를 적용하는 것 및 후속하여 상기 픽쳐 부분의 디블록화 이후 픽셀(post-deblocking pixel)에 샘플 적응 오프셋(SAO) 프로세스를 적용하는 것을 포함함 - 를 적용하는 단계;
    상기 SAO 프로세스의 적용을 제어하는 하나 이상의 SAO 파라미터를 명시하는 단계 - 상기 하나 이상의 SAO 파라미터를 명시하는 단계는 상기 픽쳐 부분의 디블록화 이전 픽셀(pre-deblocking pixel)을 사용하여 수행됨 - ;
    상기 픽쳐 부분의 인코딩된 버전 및 상기 SAO 프로세스의 적용을 제어하는 하나 이상의 SAO 파라미터를 포함하는 비트스트림을 생성하는 단계; 및
    상기 비트스트림을 출력하는 단계를 포함하는, 방법.
  10. 제9항에 있어서,
    상기 샘플 적응 오프셋(SAO) 프로세스는 에지 오프셋(edge offset; EO) 기술을 적용하는 것을 포함하고,
    상기 명시하는 단계는, EO 클래스를 나타내는 SAO 파라미터 및 상기 EO 기술에 대한 오프셋 값을 나타내는 SAO 파라미터를 명시하는 것을 포함하고,
    EO 클래스를 나타내는 상기 SAO 파라미터는, 상기 EO 기술을 상기 픽쳐 부분에 적용할 때, 다수의 방향의 일차원 패턴 중 어떤 패턴이 사용될 것인지를 나타내는, 방법.
  11. 제9항에 있어서,
    상기 샘플 적응 오프셋(SAO) 프로세스는 밴드 오프셋(band offset; BO) 기술을 적용하는 것을 포함하고,
    상기 명시하는 단계는, 오프셋 값을 적용하기 위한 시작 밴드 위치를 나타내는 SAO 파라미터 및 상기 BO 기술이 적용될 밴드에 대한 상기 오프셋 값을 나타내는 SAO 파라미터를 명시하는 것을 포함하는, 방법.
  12. 제9항에 있어서,
    상기 픽쳐 부분은 코딩 트리 단위인, 방법.
  13. 비디오 인코더 또는 이미지 인코더를 구현하는 컴퓨팅 디바이스에서의 방법에 있어서,
    현재 인코딩되고 있는 픽쳐 부분에 대해, 상기 비디오 인코더 또는 상기 이미지 인코더의 인코딩 효율성에 적어도 부분적으로 기초하여, 다단계 필터링 프로세스를 위한 제2 단계의 필터링을 적용할지의 여부를 결정하는 단계;
    상기 결정에 기초하여, 상기 제2 단계의 필터링의 적용을 선택적으로 디스에이블하는 하나 이상의 신택스 엘리먼트를 명시하는 단계;
    상기 제2 단계의 필터링의 적용을 제어하는 상기 명시된 하나 이상의 신택스 엘리먼트를 포함하는 비트스트림에서 상기 픽쳐 부분을 인코딩하는 단계; 및
    상기 비트스트림을 출력하는 단계를 포함하는, 방법.
  14. 제13항에 있어서,
    상기 인코딩 효율성은, 현재 인코딩되고 있는 상기 픽쳐 부분을 인코딩함에 있어서의 프로세서 시간에 의해 측정되고,
    상기 결정하는 단계는, 상기 프로세서 시간을 임계값에 비교하고 상기 프로세서 시간이 상기 임계값을 초과하면 상기 제2 단계의 필터링을 디스에이블할 것을 결정하는 것에 의해, 수행되는, 방법.
  15. 제13항에 있어서,
    상기 인코딩 효율성은 현재 인코딩되고 있는 상기 픽쳐 부분을 인코딩함에 있어서 사용되는 프로세서 싸이클의 수에 의해 측정되고, 상기 결정하는 단계는, 프로세서 싸이클의 상기 수를 임계값에 비교하고 프로세서 싸이클의 상기 수가 상기 임계값을 초과하면 상기 제2 단계의 필터링을 디스에이블할 것을 결정하는 것에 의해, 수행되는, 방법.
  16. 제13항에 있어서,
    상기 인코딩 효율성은, 하나 이상의 이전에 인코딩된 픽쳐 부분을 인코딩함에 있어서 사용되는 프로세서 시간 또는 프로세서 싸이클의 수에 의해 측정되는, 방법.
  17. 제13항에 있어서,
    상기 다단계 필터링 프로세스의 상기 제2 단계는 샘플 적응 오프셋(SAO) 필터링을 포함하고, 상기 다단계 필터링 프로세스의 제1 단계는 디블록화 필터를 적용하는 것을 포함하고,
    상기 픽쳐 부분은 코딩 트리 단위인, 방법.
  18. 비디오 인코더 또는 이미지 인코더를 구현하는 컴퓨팅 디바이스에서의 방법에 있어서,
    인코딩되고 있는 일련의 픽쳐 또는 픽쳐 부분에 대해, 다단계 필터링 프로세스의 제2 단계의 필터링을 주기적으로 적용하는 단계;
    상기 일련의 픽쳐 또는 픽쳐 부분 각각에 대해, 상기 제2 단계의 필터링의 상기 주기적 적용을 시그널링하는 신택스 엘리먼트를 비롯하여, 상기 제2 단계의 필터링을 제어하기 위한 하나 이상의 신택스 엘리먼트를 명시하는 단계;
    상기 제2 단계의 필터링의 적용을 제어하는 상기 명시된 하나 이상의 신택스 엘리먼트를 더 포함하는 비트스트림에서 상기 일련의 픽쳐 부분을 인코딩하는 단계; 및
    상기 비트스트림을 출력하는 단계를 포함하는, 방법.
  19. 제18항에 있어서,
    상기 주기적으로 적용하는 단계는, 매 n개의 픽쳐 또는 픽쳐 부분마다 상기 제2 단계의 필터링을 적용하는 것을 포함하는, 방법.
  20. 컴퓨터 실행가능 명령어를 저장하는 하나 이상의 유형적 컴퓨터 판독가능 저장 매체에 있어서,
    상기 컴퓨터 실행가능 명령어는 이 컴퓨터 실행가능 명령어에 의해 프로그래밍된 컴퓨팅 디바이스로 하여금 제1항 내지 제19항 중 어느 한 항의 방법을 수행하게 하는, 컴퓨터 판독가능 저장 매체.
KR1020167032700A 2014-04-29 2014-04-29 샘플 적응 오프셋 필터링에 대한 인코더측 결정 KR102298599B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/076446 WO2015165030A1 (en) 2014-04-29 2014-04-29 Encoder-side decisions for sample adaptive offset filtering

Publications (2)

Publication Number Publication Date
KR20160147895A true KR20160147895A (ko) 2016-12-23
KR102298599B1 KR102298599B1 (ko) 2021-09-03

Family

ID=54357993

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167032700A KR102298599B1 (ko) 2014-04-29 2014-04-29 샘플 적응 오프셋 필터링에 대한 인코더측 결정

Country Status (5)

Country Link
US (3) US10382754B2 (ko)
EP (1) EP3138293A4 (ko)
KR (1) KR102298599B1 (ko)
CN (1) CN105409221B (ko)
WO (1) WO2015165030A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018174593A1 (ko) * 2017-03-22 2018-09-27 김기백 적응적인 화소 분류 기준에 따른 인루프 필터링 방법
WO2023163357A1 (ko) * 2022-02-25 2023-08-31 광운대학교 산학협력단 스케일러블 구조 기반 하이브리드 태스크 목적 부/복호화 방법

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10715833B2 (en) * 2014-05-28 2020-07-14 Apple Inc. Adaptive syntax grouping and compression in video data using a default value and an exception value
US10136141B2 (en) * 2014-06-11 2018-11-20 Qualcomm Incorporated Determining quantization parameter (QP) values and delta QP values for palette coded blocks in video coding
EP3220643A1 (en) * 2016-03-14 2017-09-20 Thomson Licensing Method and device for encoding at least one image unit, and method and device for decoding a stream representative of at least one image unit
CN105959695B (zh) * 2016-04-28 2019-07-09 中山大学 一种基于gpu的并行像素自适应偏移方法
CN105979261B (zh) * 2016-06-21 2019-03-26 浙江大华技术股份有限公司 一种帧内预测模式的选择方法及装置
WO2018111131A1 (en) * 2016-12-15 2018-06-21 Huawei Technologies Co., Ltd Intra sharpening and/or de-ringing filter for video coding based on a bitstream flag
EP3454556A1 (en) * 2017-09-08 2019-03-13 Thomson Licensing Method and apparatus for video encoding and decoding using pattern-based block filtering
KR20190107944A (ko) * 2018-03-13 2019-09-23 삼성전자주식회사 복원 영상에 대한 필터링을 수행하는 영상 처리 장치 및 이의 필터링 방법
CN108259903B (zh) * 2018-04-10 2021-05-14 重庆邮电大学 基于人眼感兴趣区域的h.265样点自适应补偿方法
WO2019234612A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Partition tree with four sub-blocks symmetric or asymmetric
US11140418B2 (en) * 2018-07-17 2021-10-05 Qualcomm Incorporated Block-based adaptive loop filter design and signaling
US11200641B1 (en) * 2018-09-27 2021-12-14 Apple Inc. Noise reduction with classification-based contrast preservation
CN113170120A (zh) 2018-09-28 2021-07-23 弗劳恩霍夫应用研究促进协会 去块或去振铃滤波器以及应用和改变去块或去振铃滤波器的强度的编码器、解码器和方法
EP3861754A1 (en) * 2018-10-02 2021-08-11 Telefonaktiebolaget LM Ericsson (publ) Picture tile attributes signaled using loop(s) over tiles
WO2020094154A1 (en) * 2018-11-09 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Improvements for region based adaptive loop filter
WO2020177702A1 (en) * 2019-03-04 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Two-level signaling of filtering information in video processing
US10742992B1 (en) 2019-03-26 2020-08-11 Electronic Arts Inc. Video compression for video games
KR20230165888A (ko) 2019-04-02 2023-12-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 양방향 광학 흐름 기반 비디오 코딩 및 디코딩
CN113678453B (zh) 2019-04-12 2024-05-14 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文确定
CN113728630B (zh) 2019-04-19 2023-11-17 北京字节跳动网络技术有限公司 不同运动矢量细化中的基于区域的梯度计算
KR102630415B1 (ko) 2019-04-24 2024-01-29 바이트댄스 아이엔씨 코딩 된 비디오의 양자화된 잔차 차동 펄스 코드 변조 표현의 제약
JP2022531147A (ja) * 2019-05-01 2022-07-06 北京字節跳動網絡技術有限公司 フィルタリングを用いた行列ベースイントラ予測
WO2020223467A1 (en) 2019-05-01 2020-11-05 Bytedance Inc. Intra coded video using quantized residual differential pulse code modulation coding
WO2020223615A1 (en) 2019-05-02 2020-11-05 Bytedance Inc. Coding mode based on a coding tree structure type
JP2022535726A (ja) 2019-05-31 2022-08-10 北京字節跳動網絡技術有限公司 行列ベースイントラ予測における制約されたアップサンプリングプロセス
CN117768652A (zh) 2019-06-05 2024-03-26 北京字节跳动网络技术有限公司 视频处理方法、装置、介质、以及存储比特流的方法
EP3970366A4 (en) 2019-06-14 2023-03-29 Beijing Bytedance Network Technology Co., Ltd. HANDLING VIDEO UNIT LIMITS AND VIRTUAL LIMITS
CN117354547A (zh) * 2019-07-14 2024-01-05 北京字节跳动网络技术有限公司 自适应参数集中的自适应环路滤波的指示
CN114128296A (zh) * 2019-07-15 2022-03-01 北京字节跳动网络技术有限公司 自适应环路滤波中跨视频单元边界访问样点
WO2021025597A1 (en) * 2019-08-07 2021-02-11 Huawei Technologies Co., Ltd. Method and apparatus of sample adaptive offset in-loop filter with application region size constraint
EP4026322A4 (en) * 2019-09-07 2024-01-03 Beijing Dajia Internet Information Technology Co., Ltd. PREDICTIVE MODE SIGNALING IN VIDEO CODING
CN114430902B (zh) * 2019-09-22 2023-11-10 北京字节跳动网络技术有限公司 自适应环路滤波中的填充过程
JP7267191B2 (ja) * 2019-12-26 2023-05-01 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
CN112822489B (zh) * 2020-12-30 2023-05-16 北京博雅慧视智能技术研究院有限公司 一种样本自适应偏移补偿滤波的硬件实现方法及装置
CN113242426B (zh) * 2021-04-06 2024-02-13 中南大学 一种视频编解码方法、设备和存储介质
US20230156185A1 (en) * 2021-11-15 2023-05-18 Tencent America LLC Generalized sample offset
TW202349953A (zh) * 2022-04-29 2023-12-16 聯發科技股份有限公司 視訊編解碼方法及其裝置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013055923A1 (en) * 2011-10-13 2013-04-18 Qualcomm Incorporated Sample adaptive offset merged with adaptive loop filter in video coding
KR20130095241A (ko) * 2011-09-28 2013-08-27 한국전자통신연구원 제한된 오프셋 보상 및 루프 필터를 기반으로 하는 영상 부호화 및 복호화 방법 및 그 장치
EP2693750A2 (en) * 2011-03-30 2014-02-05 LG Electronics Inc. In-loop filtering method and apparatus for same

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7391812B2 (en) * 2002-07-14 2008-06-24 Apple Inc. Adaptively post filtering encoded video
US7402908B2 (en) * 2005-05-05 2008-07-22 Micron Technology, Inc. Intermediate semiconductor device structures
BR112013001918A2 (pt) * 2010-07-28 2016-05-24 Alcon Res Ltd sirna direcionado para vegfa e métodos para tratamento in vivo
JP2012085211A (ja) * 2010-10-14 2012-04-26 Sony Corp 画像処理装置および方法、並びにプログラム
US9525884B2 (en) * 2010-11-02 2016-12-20 Hfi Innovation Inc. Method and apparatus of slice boundary filtering for high efficiency video coding
GB2486733A (en) 2010-12-24 2012-06-27 Canon Kk Video encoding using multiple inverse quantizations of the same reference image with different quantization offsets
TW201237116A (en) * 2011-02-23 2012-09-16 Rohm & Haas Polymer encapsulated titanium dioxide particles
KR102656595B1 (ko) * 2011-06-14 2024-04-12 엘지전자 주식회사 영상 정보 인코딩 및 디코딩 방법
WO2012175196A1 (en) 2011-06-20 2012-12-27 Panasonic Corporation Deblocking control by individual quantization parameters
US10038903B2 (en) 2011-06-22 2018-07-31 Texas Instruments Incorporated Method and apparatus for sample adaptive offset parameter estimation in video coding
KR101826215B1 (ko) 2011-06-23 2018-03-22 후아웨이 테크놀러지 컴퍼니 리미티드 오프셋 복호 장치, 오프셋 부호화 장치, 화상 필터 장치 및 데이터 구조
US10070152B2 (en) 2011-08-24 2018-09-04 Texas Instruments Incorporated Sample adaptive offset (SAO) parameter signaling
US9344743B2 (en) * 2011-08-24 2016-05-17 Texas Instruments Incorporated Flexible region based sample adaptive offset (SAO) and adaptive loop filter (ALF)
TWI514852B (zh) 2011-09-09 2015-12-21 Panasonic Ip Corp America 低複雜解區塊濾波器決策技術
WO2013064661A1 (en) 2011-11-03 2013-05-10 Panasonic Corporation Filtering of blocks coded in the pulse code modulation mode
US10051289B2 (en) 2011-11-04 2018-08-14 Qualcomm Incorporated Adaptive center band offset filter for video coding
GB201119206D0 (en) 2011-11-07 2011-12-21 Canon Kk Method and device for providing compensation offsets for a set of reconstructed samples of an image
US20130113880A1 (en) 2011-11-08 2013-05-09 Jie Zhao High Efficiency Video Coding (HEVC) Adaptive Loop Filter
US9955153B2 (en) 2012-01-05 2018-04-24 Google Technology Holdings LLC Devices and methods for sample adaptive offset coding
US9451252B2 (en) 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
US9161035B2 (en) * 2012-01-20 2015-10-13 Sony Corporation Flexible band offset mode in sample adaptive offset in HEVC
US9380302B2 (en) 2012-02-27 2016-06-28 Texas Instruments Incorporated Sample adaptive offset (SAO) parameter signaling
US9591331B2 (en) * 2012-03-28 2017-03-07 Qualcomm Incorporated Merge signaling and loop filter on/off signaling
US9549176B2 (en) 2012-04-06 2017-01-17 Google Technology Holdings LLC Devices and methods for signaling sample adaptive offset (SAO) parameters
US9445088B2 (en) 2012-04-09 2016-09-13 Qualcomm Incorporated LCU-based adaptive loop filtering for video coding
CN103379319B (zh) * 2012-04-12 2018-03-20 中兴通讯股份有限公司 一种滤波方法、滤波器及包含该滤波器的编码器和解码器
US9602827B2 (en) 2012-07-02 2017-03-21 Qualcomm Incorporated Video parameter set including an offset syntax element
JP6074566B2 (ja) 2012-07-02 2017-02-08 ソニー株式会社 高効率ビデオエンコーダ（ｈｅｖｃ）のためのサンプル適応オフセット（ｓａｏ）の分離強化
US9769450B2 (en) 2012-07-04 2017-09-19 Intel Corporation Inter-view filter parameters re-use for three dimensional video coding
US9344717B2 (en) * 2012-08-06 2016-05-17 Mediatek Inc. Method and apparatus for sample adaptive offset in a video decoder
CN103716628B (zh) 2012-09-29 2017-08-18 华为技术有限公司 编解码处理方法、编码器和解码器
WO2014084903A1 (en) 2012-11-28 2014-06-05 General Instrument Corporation Devices and methods for modifications of syntax related to transform skip for high efficiency video coding (hevc)
GB2509707B (en) 2013-01-04 2016-03-16 Canon Kk A method, device, computer program, and information storage means for encoding or decoding a video sequence
US9445130B2 (en) 2013-01-09 2016-09-13 Qualcomm Incorporated Blockiness metric for large HEVC block artifacts
KR102166335B1 (ko) * 2013-04-19 2020-10-15 삼성전자주식회사 Sao 파라미터를 시그널링하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
CN103442238B (zh) * 2013-08-29 2018-02-23 复旦大学 一种适用于hevc标准的编码器中sao的硬件处理方法
JP2015095764A (ja) * 2013-11-12 2015-05-18 株式会社東芝 符号化装置および符号化方法
EP3120561B1 (en) * 2014-03-16 2023-09-06 VID SCALE, Inc. Method and apparatus for the signaling of lossless video coding
AU2015241030A1 (en) * 2014-03-31 2016-10-20 Ingrain, Inc. Digital rock physics-based trend determination and usage for upscaling
WO2015163047A1 (ja) * 2014-04-23 2015-10-29 ソニー株式会社 画像処理装置及び画像処理方法
WO2015184309A1 (en) 2014-05-29 2015-12-03 Apple Inc. Efficient sao signaling
US10264269B2 (en) 2014-10-13 2019-04-16 Apple Inc. Metadata hints to support best effort decoding for green MPEG applications
US20170006283A1 (en) 2015-06-30 2017-01-05 Microsoft Technology Licensing, Llc Computationally efficient sample adaptive offset filtering during video encoding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2693750A2 (en) * 2011-03-30 2014-02-05 LG Electronics Inc. In-loop filtering method and apparatus for same
KR20130095241A (ko) * 2011-09-28 2013-08-27 한국전자통신연구원 제한된 오프셋 보상 및 루프 필터를 기반으로 하는 영상 부호화 및 복호화 방법 및 그 장치
WO2013055923A1 (en) * 2011-10-13 2013-04-18 Qualcomm Incorporated Sample adaptive offset merged with adaptive loop filter in video coding

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018174593A1 (ko) * 2017-03-22 2018-09-27 김기백 적응적인 화소 분류 기준에 따른 인루프 필터링 방법
US11057627B2 (en) 2017-03-22 2021-07-06 Industry-University Cooperation Foundation Hanyang University In-loop filtering method according to adaptive pixel classification standard
US11553186B2 (en) 2017-03-22 2023-01-10 Industry-University Cooperation Foundation Hanyang University In-loop filtering method according to adaptive pixel classification standard
US11991366B2 (en) 2017-03-22 2024-05-21 Industry-University Cooperation Foundation Hanyang University In-loop filtering method according to adaptive pixel classification standard
WO2023163357A1 (ko) * 2022-02-25 2023-08-31 광운대학교 산학협력단 스케일러블 구조 기반 하이브리드 태스크 목적 부/복호화 방법

Also Published As

Publication number Publication date
WO2015165030A1 (en) 2015-11-05
US11895295B2 (en) 2024-02-06
EP3138293A4 (en) 2017-05-24
CN105409221A (zh) 2016-03-16
US10382754B2 (en) 2019-08-13
US11303889B2 (en) 2022-04-12
US20190364275A1 (en) 2019-11-28
US20170054976A1 (en) 2017-02-23
CN105409221B (zh) 2020-03-06
US20220191486A1 (en) 2022-06-16
EP3138293A1 (en) 2017-03-08
KR102298599B1 (ko) 2021-09-03

Similar Documents

Publication Publication Date Title
US11895295B2 (en) Encoder-side decisions for sample adaptive offset filtering
US20230209088A1 (en) Encoding strategies for adaptive switching of color spaces, color sampling rates and/or bit depths
CN107211155B (zh) 图内块拷贝预测模式下的合并的色度块的特殊情况处理
KR102401946B1 (ko) 인트라 블록 카피 예측에서의 스킵 모드 및 블록 플립핑
CN106664405B (zh) 用调色板模式对经逸出编码的像素的稳健编码/解码
AU2014376190B2 (en) Selection of motion vector precision
KR102369117B1 (ko) 비대칭 구획을 갖는 인트라 블록 카피 예측 및 인코더측 검색 패턴, 검색 범위 및 구획화 접근법
US10924743B2 (en) Skipping evaluation stages during media encoding
US10735725B2 (en) Boundary-intersection-based deblock filtering
US10136132B2 (en) Adaptive skip or zero block detection combined with transform size decision
WO2016049839A1 (en) Rules for intra-picture prediction modes when wavefront parallel processing is enabled
US10038917B2 (en) Search strategies for intra-picture prediction modes
KR20170021302A (ko) 통합된 인트라 블록 카피 및 인터 예측 모드
KR20170021337A (ko) 해시 기반의 블록 매칭의 결과에 기초한 인코더 결정
KR20160138214A (ko) 컬러 공간 전환시의 양자화/스케일링 및 역 양자화/스케일링의 조정
KR20160129067A (ko) 컬러 공간, 컬러 샘플링 레이트 및/또는 비트 깊이의 적응적 전환
US20170006283A1 (en) Computationally efficient sample adaptive offset filtering during video encoding
KR20160129076A (ko) 스크린 컨텐츠의 딕셔너리 인코딩 및 디코딩

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant