KR20140090648A - 영상의 재구성된 샘플 세트에 대한 보상 오프셋들을 제공하는 방법 및 장치 - Google Patents

영상의 재구성된 샘플 세트에 대한 보상 오프셋들을 제공하는 방법 및 장치 Download PDF

Info

Publication number
KR20140090648A
KR20140090648A KR1020147014408A KR20147014408A KR20140090648A KR 20140090648 A KR20140090648 A KR 20140090648A KR 1020147014408 A KR1020147014408 A KR 1020147014408A KR 20147014408 A KR20147014408 A KR 20147014408A KR 20140090648 A KR20140090648 A KR 20140090648A
Authority
KR
South Korea
Prior art keywords
range
classification
class
sample
samples
Prior art date
Application number
KR1020147014408A
Other languages
English (en)
Other versions
KR101530244B1 (ko
Inventor
에두아르 프랑수와
기욤 라로슈
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20140090648A publication Critical patent/KR20140090648A/ko
Application granted granted Critical
Publication of KR101530244B1 publication Critical patent/KR101530244B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

영상의 재구성된 샘플 세트에 대한 보상 오프셋들이 제공된다. 각각의 샘플은 샘플 값을 가진다. 보상 오프셋들을 제공하는 방법은 레이트 왜곡 기준(rate distortion criterion)에 기초하여, 복수의 사전 결정된 분류들 중에서 분류를 선택하는 단계를 포함한다. 각각의 사전 결정된 분류는 샘플 값의 전체 범위보다 작은 분류 범위(classification range)를 가지며 복수의 클래스들로 이루어져 있고, 각각의 클래스는 분류 범위 내에서의 샘플 값의 범위를 정의하고, 샘플의 샘플 값이 관련 클래스의 범위 내에 있는 경우 샘플이 그 클래스 내에 배치된다. 클래스의 각각의 샘플의 샘플 값에 적용하기 위한 보상 오프셋이 그 선택된 분류의 각각의 클래스와 연관된다.

Description

영상의 재구성된 샘플 세트에 대한 보상 오프셋들을 제공하는 방법 및 장치{METHOD AND DEVICE FOR PROVIDING COMPENSATION OFFSETS FOR A SET OF RECONSTRUCTED SAMPLES OF AN IMAGE}
본 발명은 영상의 재구성된 샘플 세트에 대한 보상 오프셋들(compensation offsets)을 제공하는 방법 및 장치에 관한 것이다. 본 발명은 또한 디지털 영상 시퀀스를 인코딩 또는 디코딩하는 방법 및 장치에 관한 것이다.
본 발명은 디지털 신호 처리의 분야에서 그리고 특히 비디오 스트림에서 공간 및 시간 중복성을 감소시키기 위해 움직임 보상을 사용하는 비디오 압축의 분야에서 적용될 수 있다.
예를 들어, H.263, H.264, MPEG-1, MPEG-2, MPEG-4, SVC 등의 많은 비디오 압축 형식들은 공간 및 시간 중복성을 제거하기 위해 블록 기반 DCT(discrete cosine transform) 및 움직임 보상을 사용한다. 이들은 종종 예측 비디오 형식(predictive video format)이라고 한다. 비디오 신호의 각각의 프레임 또는 영상은 독립적으로 인코딩되고 디코딩될 수 있는 슬라이스들로 나누어진다. 슬라이스는 통상적으로 프레임의 직사각형 부분, 또는 보다 일반적으로, 프레임 또는 전체 프레임의 일부분이다. 게다가, 각각의 슬라이스는 매크로블록들(macroblock, MB)로 나누어질 수 있고, 각각의 매크로블록은 블록들(통상적으로, 64x64, 32x32, 16x16 또는 8x8 픽셀의 블록들)로 추가로 나누어진다.
HEVC(High Efficiency Video Coding)에서, 64x64 내지 4x4의 블록들이 사용될 수 있다. 이 분할은 LCU(largest coding unit, 최대 코딩 단위)에 기초한 쿼드-트리 구조(quad-tree structure)에 따라 구성되어 있다. LCU는 64x64의 정사각형 블록에 대응한다. LCU가 나누어질 필요가 있는 경우, 분할 플래그(split flag)는 LCU가 4개의 32x32 블록들로 분할되어 있다는 것을 나타낸다. 동일한 방식으로, 이 4개의 블록들 중 임의의 것이 분할될 필요가 있는 경우, 분할 플래그는 참(true)으로 설정되고, 32x32 블록이 4개의 16x16 블록들로 나누어지며, 이하 마찬가지이다. 분할 플래그가 거짓(false)으로 설정되어 있을 때, 현재의 블록이 CU(coding unit, 코딩 단위)이다. CU는 64x64, 32x32, 16x16 또는 8x8 픽셀의 크기를 가진다.
영상의 블록들을 코딩하는 2가지 계열의 코딩 모드 - 공간 예측에 기초한 코딩 모드[인트라 예측(INTRA prediction)이라고 함], 및 시간 예측에 기초한 코딩 모드[인터(INTER), 병합(Merge), 건너뜀(Skip)] - 가 있다. 공간 예측 모드 및 시간 예측 모드 둘 다에서, 원래의 블록으로부터 예측을 차감함으로써 잔차(residual)가 계산된다.
인트라 블록(INTRA block)은 일반적으로 인트라 예측 프로세스에 의해 그의 인과 경계(causal boundary)에서의 인코딩된 픽셀로부터 예측된다. 인트라 예측에서, 예측 방향이 인코딩된다.
시간 예측은, 비디오 시퀀스의 이전 또는 장래 프레임(previous or a future frame)인 참조 프레임(reference frame)에서, 인코딩될 블록에 가장 가까운 영상 부분(image portion) 또는 참조 영역(reference area)을 찾아내는 데 있다. 이 단계는 통상적으로 움직임 추정(motion estimation)이라고 한다. 그 다음에, 통상적으로 움직임 보상(motion compensation)이라고 하는 단계에서 참조 영역을 사용하여 인코딩될 블록이 예측된다 - 인코딩될 블록과 참조 부분 사이의 차가, 움직임 보상을 위해 사용할 참조 영역을 나타내는 움직임 벡터에 대한 움직임 정보의 항목과 함께, 인코딩된다 -. 시간 예측에서, 적어도 하나의 움직임 벡터가 인코딩된다.
움직임 정보를 인코딩하는 비용을 추가로 감소시키기 위해, 움직임 벡터를 직접 인코딩하기보다는, 움직임이 균질(homogeneous)하다고 가정하여, 통상적으로 인코딩될 블록을 둘러싸고 있는 블록들의 하나 이상의 움직임 벡터들로부터 계산되는 움직임 벡터와 움직임 벡터 예측자 간의 차로 움직임 벡터가 인코딩될 수 있다.
H.264에서, 예를 들어, 움직임 벡터들이 인코딩될 블록의 인과 이웃(causal neighbourhood)에 위치해 있는 움직임 벡터들로부터, 예를 들어, 인코딩될 블록의 위쪽에 그리고 좌측에 위치해 있는 3개의 블록들로부터, 계산되는 중간 예측자(median predictor)에 대해 인코딩된다. 인코딩 비용을 감소시키기 위해, 중간 예측자와 현재 블록 움직임 벡터 간의 차[잔차 움직임 벡터(residual motion vector)라고 함]만이 비트스트림에 인코딩된다.
잔차 움직임 벡터를 사용한 인코딩은 얼마간의 비트레이트를 절감하지만, 디코딩될 블록의 움직임 벡터의 값을 디코딩하기 위해 디코더가 움직임 벡터 예측자의 동일한 계산을 수행하는 것을 필요로 한다.
인코딩 프로세스 및 디코딩 프로세스 둘 다는 인코딩된 영상의 디코딩 프로세스를 포함할 수 있다. 이 프로세스는 통상적으로 장래 움직임 추정을 위해 인코더측에서 수행되고, 이는 인코더 및 대응하는 디코더가 동일한 참조 프레임을 가질 수 있게 해준다.
코딩된 프레임을 재구성하기 위해, 픽셀 영역에서 "디코딩된" 잔차를 제공하기 위해 잔차가 역양자화 및 역변환된다. 제1 재구성은 이어서 하나의 또는 몇개의 종류의 사후 필터링(post filtering) 프로세스에 의해 필터링된다. 동일한 참조 프레임이 인코더측 및 디코더측 둘 다에서 사용되도록, 이들 사후 필터(post filter)가 인코더측 및 디코더측에서 재구성된 프레임에 적용된다. 이 사후 필터링의 목표는 압축 아티팩트를 제거하는 것이다. 예를 들어, H.264/AVC는 디블록킹 필터(deblocking filter)를 사용한다. 이 필터는 잔차의 DCT 양자화 및 블록 움직임 보상으로 인한 블록킹 아티팩트(blocking artifact)를 제거할 수 있다. 현재의 HEVC 표준에서, 3가지 유형의 루프 필터 - 디블록킹 필터, SAO(sample adaptive offset, 샘플 적응적 오프셋), 및 ALF(adaptive loop filter, 적응적 루프 필터) - 가 사용되고 있다.
도 1은 공지된 HEVC 구현예의 루프 필터링 프로세스의 단계들을 나타낸 플로우차트이다. 초기 단계(101)에서, 인코더 또는 디코더는 전체 프레임의 재구성을 발생한다. 그 다음에, 단계(102)에서, 디블록킹된 재구성(103)을 발생시키기 위해 이 제1 재구성에 디블록킹 필터가 적용된다. 디블록킹 필터의 목표는 잔차 양자화 및 블록 움직임 보상 또는 블록 인트라 예측에 의해 발생된 블록 아티팩트를 제거하는 것이다. 이들 아티팩트는 낮은 비트레이트에서 시각적으로 중요하다. 디블록킹 필터는 2개의 이웃하는 블록들의 특성에 따라 블록 경계를 매끄럽게 하는 동작을 한다. 각각의 블록의 인코딩 모드, 잔차 코딩을 위해 사용되는 양자화 파라미터들, 및 경계에서의 이웃 픽셀 차가 고려된다. 모든 프레임들에 대해 동일한 기준/분류가 적용되고, 어떤 부가의 데이터도 전송되지 않는다. 디블록킹 필터는, 블록킹 아티팩트를 제거함으로써, 현재 프레임의 시각적 품질을 향상시키고, 또한 후속 프레임들에 대한 움직임 추정 및 움직임 보상을 향상시킨다. 실제로, 블록 아티팩트의 고주파수가 제거되고, 따라서 후속 프레임들의 텍스처 잔차(texture residual)에 대해 이들 고주파수가 보상될 필요가 없다.
디블록킹 필터 후에, 디블록킹된 재구성이 단계(104)에서 SAO(sample adaptive offset) 루프 필터에 의해 필터링된다. 얻어진 프레임(105)은 이어서 디스플레이되고 후속 인터 프레임들에 대한 참조 프레임으로서 사용될 재구성된 프레임(107)을 발생시키기 위해 단계(106)에서 ALF(adaptive loop filter)에 의해 필터링된다.
SAO 루프 필터 및 ALF의 목표는 어떤 정보도 전송되지 않는 디블록킹 필터와 달리 부가의 데이터를 송신함으로써 프레임 재구성을 향상시키는 것이다.
SAO 루프 필터의 원리는 각각의 픽셀을 클래스로 분류하고 클래스의 각각의 픽셀의 각자의 픽셀 값에 동일한 오프셋 값을 부가하는 것이다. 이와 같이, 각각의 클래스에 대해 하나의 오프셋이 전송된다. SAO 루프 필터링은 프레임 영역에 대한 2가지 종류의 분류 - 에지 오프셋(edge offset) 및 대역 오프셋(band offset) - 를 제공한다.
에지 오프셋 분류는 각각의 픽셀의 대응하는 픽셀 값을 2개의 이웃 픽셀의 픽셀 값과 비교함으로써 각각의 픽셀에 대한 클래스를 결정하는 것을 수반한다. 더욱이, 2개의 이웃 픽셀은 2개의 이웃 픽셀의 방향을 나타내는 파라미터에 의존한다. 이들 방향은 0도(수평 방향), 45도(대각 방향), 90도(수직 방향), 및 135도(제2 대각 방향)이다. 이하에서, 이들 방향은 에지 오프셋 분류의 "유형"이라고 불리운다.
제2 유형의 분류는 픽셀 값에 의존하는 대역 오프셋 분류이다. SAO 대역 오프셋에서의 클래스는 픽셀 값 범위에 대응한다. 이와 같이, 동일한 오프셋이 주어진 픽셀 값 범위 내의 픽셀 값을 가지는 모든 픽셀들에 가산된다.
프레임 콘텐츠에 보다 적응적이기 위해, SAO를 인코딩하는 데 쿼드-트리 구조에 기초하여 SAO 필터링을 적용하는 것이 제안되었다. 그 결과, 어떤 영역들만이 필터링되도록 쿼드 트리의 리프 노드(leaf node)에 대응하는 프레임 영역이 SAO에 의해 필터링되거나 그렇지 않을 수 있다. 더욱이, SAO가 인에이블될 때, 단지 하나의 SAO 분류 - 각각의 분류에 대해 전송되는 관련 파라미터들에 따라 에지 오프셋 또는 대역 오프셋 - 가 사용된다. 마지막으로, 각각의 SAO 리프 노드에 대해, SAO 분류는 물론 그의 파라미터 및 모든 클래스의 오프셋이 전송된다.
쿼드 트리의 주된 장점은 신호의 로컬 특성을 효율적으로 추종하는 것이다. 그렇지만, 이는 비트스트림에 전용 인코딩을 필요로 한다. SAO 파라미터들의 쿼드 트리 기반 인코딩을 LCU 레벨에서의 인코딩으로 대체하는 다른 해결책이 또한 예상될 수 있다.
인코딩될 비디오 데이터의 영상이 샘플 값들의 2차원 어레이(색상 채널이라고도 함) 세트로서 제공될 수 있고, 그의 각각의 항목은 루마 휘도(luma brightness) 및 중성 그레이스케일 색상(neutral grayscale colour)으로부터 청색 또는 적색 쪽으로의 크로마 색상 편차(chroma colour deviation)의 척도(YUV) 또는 적색, 녹색 또는 청색 광 성분 세기의 척도(RGB) 등의 색상 성분의 세기(intensity)를 나타낸다. YUV 모델은 하나의 루마(Y) 성분 및 2개의 크로미넌스(chrominance)(UV) 성분으로 색 공간을 정의한다. 일반적으로, Y는 루마 성분(휘도)을 나타내고, U 및 V는 크로미넌스(색상) 또는 크로마 성분이다.
SAO 필터링이 통상적으로 루마 성분에 그리고 U 및 V 크로마 성분 둘 다에 독립적으로 적용된다.
SAO 대역 오프셋의 공지된 구현예는 픽셀 값 범위를 도 2에 도시된 것과 동일한 크기의 사전 정의된 32개의 범위로 분할한다. 픽셀 값 범위의 최소값은 시스템적으로 0이고, 최대값은 다음과 같은 관계식 Max = 2Bitdepth - 1에 따라 픽셀 값들의 비트 심도(bit-depth)에 의존한다. 예를 들어, 비트 심도가 8 비트일 때, 픽셀의 최대값은 255일 수 있다. 이와 같이, 픽셀 값 범위는 0과 255 사이이다. 이 8 비트의 비트 심도에 대해, 각각의 클래스는 16개 픽셀 값으로 된 범위를 포함한다. 더욱이, SAO 대역 오프셋에 대해, 2개의 클래스 그룹이 고려되고 있다. 제1 그룹은 도 2에 회색으로 나타낸 바와 같이 픽셀 값 범위의 중앙에 있는 16개의 연속적인 클래스를 포함한다. 제2 그룹도 역시 16개의 클래스를 포함하지만, 이들 클래스가 도 2에 해치로 나타낸 바와 같이 픽셀 값 범위의 양쪽 단부에 있다. 프레임 영역의 SAO 대역 오프셋에 대해, 분류를 위해 사용되는 그룹 및 16개의 오프셋이 비트스트림에 삽입된다.
도 3은 현재 프레임 영역(303)에 대해 인코더에서 오프셋을 선택하는 방법의 단계들을 나타낸 플로우차트이다. 프레임 영역은 N개의 픽셀을 포함하고 있다. 초기 단계(301)에서, 변수 Sumj 및 SumNbPiXj는 16개의 범위 각각에 대해 0의 값으로 설정된다. j는 현재 범위 또는 클래스 번호를 나타낸다. Sumj는 범위 j에서의 픽셀들의 값과 그의 대응하는 원래의 픽셀들의 값 사이의 차의 합이다. SumNbPiXj는 범위 j 내의 픽셀들의 수를 나타낸다.
단계(302)에서, 카운터 변수 i는 값 0으로 설정된다. 그 다음에, 단계(304)에서 프레임 영역(303)의 제1 픽셀이 추출된다. 처리되고 있는 현재 SAO 그룹(도 2에 나타낸 바와 같이 제1 또는 제2)이 알려져 있는 것으로 가정된다. 단계(305)에서 픽셀 값 Pi가 현재 SAO 그룹에 있지 않은 것으로 판정되는 경우, 프레임 영역(303)의 후속 픽셀들을 분류하기 위해 단계(308)에서 카운터 변수 i의 값이 증가된다. 그렇지 않고 단계(305)에서 픽셀 값 Pi가 현재 SAO 그룹에 있는 것으로 판정되는 경우, 단계(306)에서 Pi의 값에 대응하는 범위 번호(또는 클래스 번호) j가 발견된다. 후속 단계(307)에서, 대응하는 SumNbPiXj 변수가 증가되고, Pi와 그의 원래의 값
Figure pct00001
사이의 차가 Sumj에 가산된다. 그 다음 단계에서, 프레임 영역(303)의 다른 픽셀들에 분류를 적용하기 위해 카운터 변수 i가 증가된다. 단계(309)에서, 프레임 영역(303)의 N개의 픽셀들 모두가 분류되었는지(즉, i≥=N인지) 여부가 판정되고, 예인 경우, 오프셋 선택 알고리즘의 최종 결과로서 각각의 클래스 j에 대한 오프셋을 제공하는 오프셋 테이블(311)을 생성하기 위해 단계(310)에서 각각의 클래스에 대한 Offsetj가 계산된다. 이 오프셋은 클래스 j의 픽셀의 픽셀 값과 그 각자의 원래의 픽셀 값 사이의 차의 평균으로서 계산된다. 클래스 j에 대한 Offsetj는 이하의 식에 의해 주어진다:
Figure pct00002
도 4는 SAO 대역 오프셋을 대응하는 클래스 그룹에 적용하는 디코딩 프로세스의 단계들을 나타낸 플로우차트이다. 후속 프레임의 움직임 추정 및 보상을 위해 사용되는 참조 프레임을 생성하기 위해 이 프로세스가 또한 인코더측에서 적용될 수 있다.
프로세스의 초기 단계(401)는 오프셋 테이블(402)을 생성하기 위해 각각의 클래스의 픽셀 값들에 대한 오프셋 값들을 디코딩하는 것을 수반한다. 인코더측에서, 오프셋 테이블(402)은 도 3에 도시된 선택 알고리즘의 결과이다. 이와 같이, 인코더측에서, 단계(401)는 도 3의 오프셋 선택 알고리즘으로 대체된다.
단계(403)에서, 카운터 변수 i가 0으로 설정된다. 단계(405)에서, 픽셀 Pi가 N개의 픽셀을 포함하는 프레임 영역(404)으로부터 추출된다. 단계(406)에서, 픽셀 Pi가 현재 클래스 그룹에 속하는지가 판정된다. 픽셀 Pi가 현재 클래스 그룹에 속하는 것으로 판정되는 경우, 관련 클래스 번호 j가 식별되고, 단계(409)에서, 관련 오프셋 값 Offsetj가 오프셋 테이블(402)로부터 추출된다. 단계(411)에서 필터링된 픽셀 값 P'i를 생성하기 위해, 단계(410)에서, 추출된 오프셋 값 Offsetj가 이어서 Pi의 픽셀 값에 가산된다. 단계(412)에서, 대응하는 픽셀에서, 필터링된 픽셀 값이 이어서 필터링된 프레임 영역(415)에 삽입된다.
단계(406)에서, 픽셀 Pi가 SAO 대역 오프셋 그룹에 있지 않은 경우, 단계(412)에서 필터링 없이 Pi의 픽셀 값이 필터링된 프레임 영역(415)에 넣어진다. 단계(412) 후에, 필요한 경우, 현재 프레임 영역(404)의 후속 픽셀들을 필터링하기 위해 카운터 변수 i가 증가된다. 단계(414)에서, 프레임 영역의 N개의 픽셀 전부가 처리된 것으로(즉, i≥=N인 것으로) 판정된 후에, 필터링된 프레임 영역(415)이 재구성되고, SAO 재구성된 프레임[도 1의 프레임(105) 참조]에 부가될 수 있다.
공지된 보상 선택 프로세스의 단점은 상이한 영상 픽셀 콘텐츠 변동들에 그리고 상이한 유형의 영상 픽셀 성분에 적응되지 않는다는 것이다.
이상의 문제점들 중 하나 이상을 해결하기 위해 본 발명이 안출되었다.
본 발명의 제1 측면에 따르면, 영상의 재구성된 샘플 세트에 대한 보상 오프셋들을 제공하는 방법이 제공되고, 각각의 샘플은 샘플 값을 가지며, 이 방법은,
레이트 왜곡 기준(rate distortion criterion)에 기초하여, 복수의 사전 결정된 분류들 중에서 분류를 선택하는 단계 - 각각의 상기 사전 결정된 분류는 샘플 값의 전체 범위보다 작은 분류 범위(classification range)를 가지며 복수의 클래스들로 이루어져 있고, 각각의 클래스는 상기 분류 범위 내에서의 샘플 값의 범위를 정의하고, 샘플의 샘플 값이 관련 클래스의 범위 내에 있는 경우 샘플이 그 클래스 내에 배치됨 -; 및
관련 클래스의 각각의 샘플의 샘플 값에 적용하기 위한 보상 오프셋을 선택된 분류의 각각의 클래스와 연관시키는 단계를 포함한다.
본 발명의 제2 측면에 따르면, 복수의 샘플들로 이루어져 있는 영상을 인코딩하는 방법이 제공되고, 이 방법은,
샘플들을 인코딩하는 단계;
재구성된 샘플들을 제공하기 위해 인코딩된 샘플들을 디코딩하는 단계;
재구성된 샘플들에 대해 루프 필터링을 수행하는 단계 - 루프 필터링은 각자의 재구성된 샘플들의 샘플 값들에 보상 오프셋들을 적용하는 것을 포함하고, 각각의 보상 오프셋은 샘플 값의 범위와 연관되어 있으며, 보상 오프셋들은 본 발명의 전술한 제1 측면을 구현하는 방법에 따라 제공됨 -; 및
인코딩된 샘플들의 비트스트림을 발생시키는 단계를 포함한다.
본 발명의 제3 측면에 따르면, 복수의 샘플들로 이루어져 있는 영상을 인코딩하는 방법이 제공되고, 각각의 샘플은 샘플 값을 가지며, 이 방법은,
인코딩된 샘플 값들을 수신하는 단계;
인코딩된 분류 데이터를 수신하는 단계;
인코딩된 보상 오프셋들을 수신하는 단계;
분류 데이터를 디코딩하고, 디코딩된 분류 데이터에 기초하여, 복수의 사전 결정된 분류들 중에서 분류를 선택하는 단계 - 각각의 상기 사전 결정된 분류는 샘플 값의 전체 범위보다 작은 분류 범위(classification range)를 가지며 복수의 클래스들로 이루어져 있고, 각각의 클래스는 상기 분류 범위 내에서의 샘플 값의 범위를 정의하고, 샘플의 샘플 값이 관련 클래스의 범위 내에 있는 경우 샘플이 그 클래스 내에 배치됨 -;
재구성된 샘플 값들을 제공하기 위해 인코딩된 샘플들을 디코딩하고 인코딩된 보상 오프셋들을 디코딩하는 단계;
디코딩된 보상 오프셋들을 선택된 분류의 클래스들과, 각각, 연관시키는 단계; 및
재구성된 샘플 값들에 대해 루프 필터링을 수행하는 단계 - 루프 필터링은 선택된 분류의 각각의 클래스와 연관되어 있는 디코딩된 보상 오프셋을 관련 클래스의 범위 내의 재구성된 샘플 값들에 적용하는 것을 포함함 - 를 포함한다.
본 발명의 제4 측면에 따르면, 비디오 비트스트림에 의해 표현되는 영상에 대한 정보 데이터 세트(information dataset)를 전달하는 신호가 제공되고, 영상은 재구성가능 샘플 세트를 포함하며, 각각의 재구성가능 샘플은 샘플 값을 갖고, 정보 데이터 세트는 복수의 사전 결정된 분류들 중에서 인코더에 의해 선택된 분류에 관한 분류 데이터를 포함하며, 각각의 상기 사전 결정된 분류는 샘플 값의 전체 범위보다 작은 분류 범위를 갖고 복수의 클래스들로 이루어져 있으며, 각각의 클래스는 상기 분류 범위 내의 샘플 값의 범위를 정의하고, 샘플의 샘플 값이 관련 클래스의 범위 내에 있는 경우 샘플이 그 클래스 내에 배치되며, 선택된 분류의 복수의 클래스들의 각각의 클래스는 관련 클래스의 범위 내의 재구성가능 샘플들의 샘플 값들에 적용하기 위한 보상 오프셋과 연관되어 있다.
본 발명의 제5 측면에 따르면, 영상의 재구성된 샘플 세트에 대한 보상 오프셋들을 제공하는 장치가 제공되고, 각각의 샘플은 샘플 값을 가지며, 이 장치는,
레이트 왜곡 기준에 기초하여, 복수의 사전 결정된 분류들 중에서 분류를 선택하는 수단 - 각각의 상기 사전 결정된 분류는 샘플 값의 전체 범위보다 작은 분류 범위를 가지며 복수의 클래스들로 이루어져 있고, 각각의 클래스는 상기 분류 범위 내에서의 샘플 값의 범위를 정의하고, 샘플 값이 관련 클래스의 범위 내에 있는 경우 샘플이 그 클래스 내에 배치됨 -; 및
관련 클래스의 각각의 샘플의 샘플 값에 적용하기 위한 보상 오프셋을 선택된 분류의 각각의 클래스와 연관시키는 수단을 포함한다.
본 발명의 제6 측면에 따르면, 복수의 샘플들로 이루어져 있는 영상을 인코딩하는 인코딩 장치가 제공되고, 이 장치는,
샘플들을 인코딩하는 인코더;
재구성된 샘플들을 제공하기 위해 인코딩된 샘플들을 디코딩하는 디코더;
재구성된 샘플들을 필터링하는 루프 필터 - 루프 필터링 수단은 각자의 재구성된 샘플들의 샘플 값들에 보상 오프셋들을 적용하는 오프셋 적용 수단을 포함하고, 각각의 보상 오프셋은 샘플 값의 범위와 연관되어 있으며, 보상 오프셋들은 본 발명의 전술한 제5 측면을 구현하는 장치에 의해 제공됨 -; 및
인코딩된 샘플들의 비트스트림을 발생시키는 비트스트림 발생기를 포함한다.
본 발명의 제7 측면에 따르면, 복수의 샘플들로 이루어져 있는 영상을 디코딩하는 장치가 제공되고, 각각의 샘플은 샘플 값을 가지며, 이 장치는,
인코딩된 샘플 값들을 수신하는 수단;
인코딩된 분류 데이터를 수신하는 수단;
인코딩된 보상 오프셋들을 수신하는 수단;
분류 데이터를 디코딩하고, 디코딩된 분류 데이터에 기초하여, 복수의 사전 결정된 분류들 중에서 분류를 선택하는 수단 - 각각의 상기 사전 결정된 분류는 샘플 값의 전체 범위보다 작은 분류 범위를 가지며 복수의 클래스들로 이루어져 있고, 각각의 클래스는 상기 분류 범위 내에서의 샘플 값의 범위를 정의하고, 샘플의 샘플 값이 관련 클래스의 범위 내에 있는 경우 샘플이 그 클래스 내에 배치됨 -;
재구성된 샘플 값들을 제공하기 위해 인코딩된 샘플들을 디코딩하고 인코딩된 보상 오프셋들을 디코딩하는 수단;
디코딩된 보상 오프셋들을 선택된 분류의 클래스들과, 각각, 연관시키는 수단; 및
재구성된 샘플 값들에 대해 루프 필터링을 수행하는 수단 - 루프 필터링은 선택된 분류의 각각의 클래스와 연관되어 있는 디코딩된 보상 오프셋을 관련 클래스의 범위 내의 재구성된 샘플 값들에 적용하는 것을 포함함 - 을 포함한다.
본 발명의 제8 측면은 복수의 샘플들로 이루어져 있는 영상을 디코딩하는 방법을 제공하고, 각각의 샘플은 샘플 값을 가지며, 이 방법은,
인코딩된 샘플 값들을 수신하는 단계;
복수의 사전 결정된 분류들 중에서 인코더에 의해 선택된 분류에 관한 인코딩된 분류 데이터를 수신하는 단계 - 각각의 상기 사전 결정된 분류는 샘플 값의 전체 범위보다 작은 분류 범위(classification range)를 가지며 복수의 클래스들로 이루어져 있고, 각각의 클래스는 상기 분류 범위 내에서의 샘플 값의 범위를 정의하고, 샘플 값이 관련 클래스의 범위 내에 있는 경우 샘플이 그 클래스 내에 배치됨 -;
선택된 분류의 클래스들과, 각각, 연관되어 있는 인코딩된 보상 오프셋들을 수신하는 단계;
재구성된 샘플 값들을 제공하기 위해 인코딩된 샘플 값들을 디코딩하고 인코딩된 분류 데이터 및 보상 오프셋들을 디코딩하는 단계; 및
재구성된 샘플 값들에 대해 루프 필터링을 수행하는 단계 - 루프 필터링은 선택된 분류의 각각의 클래스와 연관되어 있는 디코딩된 보상 오프셋을 관련 클래스의 범위 내의 재구성된 샘플 값들에 적용하는 것을 포함함 - 를 포함한다.
인코더는 레이트 왜곡 기준에 기초하는 것 또는 샘플 값들의 통계적 분포의 특성들에 의존하는 것을 비롯하여 임의의 적당한 방식으로 분류를 선택할 수 있다.
본 발명과 관련하여, 샘플은 단일 픽셀에 대응할 수 있고, 샘플 값은 각자의 픽셀 값에 대응할 수 있다. 다른 대안으로서, 샘플은 복수의 픽셀들을 포함할 수 있고, 샘플 값은 복수의 픽셀들의 픽셀 값들로부터 결정되는 픽셀 값에 대응할 수 있다.
본 발명에 따른 방법들 중 적어도 일부는 컴퓨터로 구현될 수 있다. 그에 따라, 본 발명은 하드웨어로만 된 실시예, 소프트웨어로만 된 실시예(펌웨어, 상주 소프트웨어, 마이크로 코드 등을 포함함), 또는 소프트웨어와 하드웨어 측면을 겸비한 실시예의 형태를 취할 수 있고, 이들 모두가 일반적으로 본 명세서에서 "회로", "모듈", 또는 "시스템"으로 지칭되어 있을 수 있다. 게다가, 본 발명은 컴퓨터 사용가능 프로그램 코드가 실시되어 있는 임의의 유형의(tangible) 표현 매체로 구현되어 있는 컴퓨터 프로그램 제품의 형태를 취할 수 있다.
본 발명이 소프트웨어로 구현될 수 있기 때문에, 본 발명은 프로그램가능 장치 또는 임의의 적당한 전달 매체(carrier medium)에 프로비저닝하기 위한 컴퓨터 판독가능 코드로 실시될 수 있다. 유형의 전달 매체는 플로피 디스크, CD-ROM, 하드 디스크 드라이브, 자기 테이프 장치 또는 고상 메모리 장치 등과 같은 저장 매체를 포함할 수 있다. 일시적 전달 매체(transient carrier medium)는 전기 신호, 전자 신호, 광학 신호, 음향 신호, 자기 신호, 또는 전자기 신호(예컨대, 마이크로파 또는 RF 신호) 등의 신호를 포함할 수 있다.
이와 같이, 본 발명의 제9 측면에 따르면, 프로그램가능 장치에 대한 컴퓨터 프로그램 제품이 제공되고, 컴퓨터 프로그램 제품은 프로그램가능 장치에 로드되어 실행될 때 전술한 제1 측면, 제2 측면, 제3 측면, 및 제8 측면 중 임의의 측면을 실시하는 방법을 구현하는 명령어 시퀀스를 포함한다.
본 발명의 제10 측면에 따르면, 전술한 제1 측면, 제2 측면, 제3 측면 및 제8 측면 중 임의의 측면을 실시하는 방법을 구현하는 컴퓨터 프로그램의 명령어들을 저장하는 컴퓨터 판독가능 저장 매체가 제공된다.
이하의 도면들을 참조하여, 단지 예로서, 본 발명의 실시예들이 이제부터 기술될 것이다.
도 1은 종래 기술의 루프 필터링 프로세스의 단계들을 나타낸 플로우차트.
도 2는 종래 기술의 HEVC 프로세스의 샘플 적응적 대역 오프셋 분류를 그래픽으로 나타낸 도면.
도 3은 HEVC의 SAO 대역 오프셋에 대한 보상 오프셋을 결정하는 프로세스의 단계들을 나타낸 플로우차트.
도 4는 HEVC의 SAO 대역 오프셋 필터링 프로세스의 단계들을 나타낸 플로우차트.
도 5는 본 발명의 하나 이상의 실시예들이 구현될 수 있는 데이터 통신 시스템을 개략적으로 나타낸 블록도.
도 6은 본 발명의 하나 이상의 실시예들이 구현될 수 있는 처리 장치의 구성요소들을 나타낸 블록도.
도 7은 본 발명의 실시예들에 따른 인코딩 방법의 단계들을 나타낸 플로우차트.
도 8은 본 발명의 하나 이상의 실시예들에 따른 루프 필터링 프로세스의 단계들을 나타낸 플로우차트.
도 9는 본 발명의 실시예들에 따른 디코딩 방법의 단계들을 나타낸 플로우차트.
도 10은 본 발명의 제1 실시예에 따른, SAO 대역 오프셋 분류를 결정하는 방법의 단계들을 나타낸 플로우차트.
도 11은 본 발명의 일 실시예에 따른, 적응된 분류(adapted classification)를 결정하는 방법의 단계들을 나타낸 플로우차트.
도 12는 본 발명의 대안의 실시예에 따른, 적응된 분류를 결정하는 방법의 단계들을 나타낸 플로우차트.
도 13은 본 발명의 일 실시예에 따른, 분류를 위한 유효 범위의 몇개의 크기들을 나타낸 도면.
도 14는 본 발명의 일 실시예에 따른, 분류를 위한 클래스들의 몇개의 크기들을 나타낸 도면.
도 15는 본 발명의 일 실시예에 따른, 분류를 위한 유효 범위에서의 클래스들의 몇개의 크기들을 나타낸 도면.
도 16은 본 발명의 일 실시예에 따른, 분류를 위한 제1 그룹의 유효 범위의 몇개의 중앙 위치들을 나타낸 도면.
도 17은 본 발명의 일 실시예에 따른, 분류를 위한 제2 그룹의 유효 범위의 몇개의 중앙 위치들을 나타낸 도면.
도 18은 본 발명의 일 실시예에 따른, 파라미터 분류의 레이트 왜곡 선택(rate distortion selection)을 나타낸 도면.
도 19a 및 도 19b는 본 발명의 다른 실시예에 따른, 전체 범위 내에서의 유효 범위의 가능한 위치들을 나타낸 도면.
도 20a는 LCU 레벨에서 SAO 파라미터들을 인코딩하는 종래 기술에서 적용되는 의사 코드를 나타낸 도면.
도 20b는 LCU 레벨에서 SAO 파라미터들을 인코딩하는 본 발명의 일 실시예에 따른 개선된 의사 코드를 나타낸 도면.
도 21은 도 20a의 의사 코드에 대응하는 플로우차트.
도 22는 도 20b의 의사 코드에 대응하는 플로우차트.
도 23은 본 발명의 추가의 실시예에 따른, SAO 파라미터들의 인코딩을 설명하는 데 사용하기 위한 플로우차트.
도 24는 본 발명의 또 다른 실시예에 따른, SAO 파라미터들을 인코딩하는 데 사용되는 의사 코드를 나타낸 도면.
도 25는 도 24의 의사 코드에 대응하는 플로우차트.
도 26은 본 발명의 다른 추가의 실시예에 따른, SAO 파라미터들의 인코딩을 설명하는 데 사용하기 위한 플로우차트.
도 5는 본 발명의 하나 이상의 실시예들이 구현될 수 있는 데이터 통신 시스템을 나타낸 것이다. 데이터 통신 시스템은 데이터 통신 네트워크(500)를 통해 데이터 스트림의 데이터 패킷들을 수신 장치[이 경우에, 클라이언트 단말(502)]로 전송하는 동작을 하는 전송 장치[이 경우에, 서버(501)]를 포함하고 있다. 데이터 통신 네트워크(500)는 WAN(Wide Area Network) 또는 LAN(Wide Area Network)일 수 있다. 이러한 네트워크는, 예를 들어, 무선 네트워크(WiFi / 802.11a 또는 b 또는 g), 이더넷 네트워크, 인터넷 네트워크, 또는 몇개의 상이한 네트워크들로 이루어진 혼합 네트워크일 수 있다. 본 발명의 특정의 실시예에서, 데이터 통신 시스템은 서버(501)가 동일한 데이터 콘텐츠를 다수의 클라이언트들로 송신하는 디지털 텔레비전 방송 시스템일 수 있다.
서버(501)에 의해 제공되는 데이터 스트림(504)은 비디오 및 오디오 데이터를 나타내는 멀티미디어 데이터로 이루어져 있을 수 있다. 본 발명의 어떤 실시예들에서, 오디오 및 비디오 데이터 스트림은, 각각, 마이크 및 카메라를 사용하여 서버(501)에 의해 포착될 수 있다. 어떤 실시예들에서, 데이터 스트림은 다른 데이터 제공자로부터 서버(501)에 저장되거나 서버(501)에 의해 수신될 수 있거나, 또는 서버(501)에서 발생될 수 있다. 서버(501)는 특히 인코더에 입력으로서 제시되는 데이터의 보다 콤팩트한 표현인 전송을 위한 압축된 비트스트림을 제공하기 위해 비디오 및 오디오 스트림을 인코딩하는 인코더를 구비하고 있다.
전송된 데이터의 품질 대 전송된 데이터의 양에 대한 보다 나은 비를 획득하기 위해, 비디오 데이터의 압축은, 예를 들어, HEVC 형식 또는 H.264/AVC 형식을 따를 수 있다.
클라이언트(502)는 전송된 비트스트림을 수신하고, 디스플레이 장치 상에서 비디오 영상을 그리고 스피커에 의해 오디오 데이터를 재생하기 위해 재구성된 비트스트림을 디코딩한다.
도 5의 예에서 스트리밍 시나리오가 고려되고 있지만, 본 발명의 어떤 실시예들에서, 인코더와 디코더 사이의 데이터 통신이, 예를 들어, 광 디스크 등의 미디어 저장 장치를 사용하여 수행될 수 있다는 것을 잘 알 것이다.
본 발명의 하나 이상의 실시예들에서, 비디오 영상이 최종 영상에 필터링된 픽셀들을 제공하기 위해 영상의 재구성된 픽셀들에 적용하기 위한 보상 오프셋들을 나타내는 데이터와 함께 전송된다.
도 6은 본 발명의 적어도 하나의 실시예를 구현하도록 구성되어 있는 처리 장치(600)를 개략적으로 나타낸 것이다. 처리 장치(600)는 마이크로컴퓨터, 워크스테이션, 또는 경량 휴대용 장치 등의 장치일 수 있다. 장치(600)는 다음과 같은 것들에 연결되어 있는 통신 버스(613)를 포함하고 있다:
- CPU로 표시된 마이크로프로세서 등의 중앙 처리 유닛(611);
- 본 발명을 구현하는 컴퓨터 프로그램들을 저장하는, ROM으로 표시된 판독 전용 메모리(607);
- 본 발명의 실시예들의 방법의 실행가능 코드를 저장하는 RAM으로 표시된 랜덤 액세스 메모리(612)는 물론, 본 발명의 실시예들에 따른 디지털 영상 시퀀스를 인코딩하는 방법 및/또는 비트스트림을 디코딩하는 방법을 구현하는 데 필요한 변수들 및 파라미터들을 기록하도록 구성되어 있는 레지스터들; 및
- 통신 네트워크(603)(처리될 디지털 데이터가 이를 통해 전송되거나 수신됨)에 연결되어 있는 통신 인터페이스(602).
선택적으로, 장치(600)는 또한 다음과 같은 구성요소들을 포함할 수 있다:
- 본 발명의 하나 이상의 실시예들의 방법들을 구현하는 컴퓨터 프로그램들 및 본 발명의 하나 이상의 실시예들의 구현 동안 사용되거나 생성되는 데이터를 저장하는, 하드 디스크 등의 데이터 저장 수단(604);
- 디스크(606)에 대한 디스크 드라이브(605)[디스크 드라이브는 디스크(606)로부터 데이터를 판독하거나 상기 디스크에 데이터를 기입하도록 구성되어 있음];
- 데이터를 디스플레이하는 및/또는 키보드(610) 또는 임의의 다른 포인팅 수단에 의해 사용자와의 그래픽 인터페이스로서 역할하는 화면(609).
장치(600)는, 예를 들어, 디지털 카메라(620) 또는 마이크(608) 등의 다양한 주변 장치들에 연결될 수 있고, 각각은 멀티미디어 데이터를 장치(600)에 제공하기 위해 입출력 카드(도시 생략)에 연결되어 있다.
통신 버스는 장치(600)에 포함되어 있거나 그에 연결되어 있는 다양한 요소들 간의 통신 및 상호운용성을 제공한다. 버스의 표현은 제한하는 것이 아니며, 상세하게는, 중앙 처리 유닛은 명령어들을 직접 또는 장치(600)의 다른 요소에 의해 장치(600)의 임의의 요소로 전달하는 동작을 한다.
디스크(606)는, 예를 들어, 콤팩트 디스크(CD-ROM)(재기입가능하거나 그렇지 않음), ZIP 디스크 또는 메모리 카드 등의 임의의 정보 매체로, 그리고, 일반적인 표현으로, 마이크로컴퓨터에 의해 또는 마이크로프로세서에 의해 판독될 수 있고, 장치 내에 통합되어 있거나 그렇지 않으며, 어쩌면 이동식이고 하나 이상의 프로그램들 - 그의 실행은 구현될 본 발명에 따른 디지털 영상 시퀀스를 인코딩하는 방법 및/또는 비트스트림을 디코딩하는 방법을 가능하게 함 - 을 저장하도록 구성되어 있는 정보 저장 수단으로 대체될 수 있다.
실행가능 코드는 판독 전용 메모리(607)에, 하드 디스크(604)에, 또는 이동식 디지털 매체[예를 들어, 앞서 기술한 바와 같은 디스크(606) 등]에 저장될 수 있다. 한 변형례에 따르면, 프로그램들의 실행가능 코드는, 실행되기 전에 하드 디스크(604) 등의 장치(600)의 저장 수단들 중 하나에 저장되기 위해, 인터페이스(602)를 통해 통신 네트워크(603)에 의해 수신될 수 있다.
중앙 처리 유닛(611)은 본 발명에 따른 프로그램 또는 프로그램들의 소프트웨어 코드의 명령어들 또는 일부분들, 상기한 저장 수단들 중 하나에 저장되어 있는 명령어들의 실행을 제어 및 지시하도록 구성되어 있다. 전원을 켤 시에, 비휘발성 메모리에[예를 들어, 하드 디스크(604) 상에 또는 판독 전용 메모리(607)에] 저장되어 있는 프로그램 또는 프로그램들은 랜덤 액세스 메모리(612) 내로 전송되는 것(그러면, 랜덤 액세스 메모리(612)는 프로그램 또는 프로그램들의 실행가능 코드를 포함하고 있음)은 물론, 본 발명을 구현하는 데 필요한 변수들 및 파라미터들을 저장하는 레지스터들로도 전송된다.
이 실시예에서, 장치는 본 발명을 구현하기 위해 소프트웨어를 사용하는 프로그램가능 장치이다. 그렇지만, 다른 대안으로서, 본 발명은 하드웨어로[예를 들어, ASIC(Application Specific Integrated Circuit)의 형태로] 구현될 수 있다.
도 7은 본 발명의 적어도 하나의 실시예에 따른 인코더의 블록도를 나타낸 것이다. 인코더가 연결된 모듈들로 나타내어져 있고, 각각의 모듈은, 예를 들어, 장치(600)의 CPU(611)에 의해 실행될 프로그래밍 명령어들의 형태로, 본 발명의 하나 이상의 실시예들에 따른, 영상 시퀀스의 영상을 인코딩하는 적어도 하나의 실시예를 구현하는 방법의 적어도 하나의 대응하는 단계를 구현하도록 구성되어 있다.
원래의 디지털 영상 시퀀스 i0 내지 in(701)이 인코더(70)에 의해 입력으로서 수신된다. 각각의 디지털 영상은 픽셀이라고 하는 샘플 세트로 표현된다.
인코딩 프로세스의 구현 후에 비트스트림(710)이 인코더(70)에 의해 출력된다. 비트스트림(710)은 복수의 인코딩 단위들 또는 슬라이스들을 포함하고, 각각의 슬라이스는 슬라이스를 인코딩하는 데 사용되는 인코딩 파라미터들의 인코딩 값들을 전송하는 슬라이스 헤더(slice header), 및 인코딩된 비디오 데이터를 포함하는 슬라이스 보디(slice body)를 포함하고 있다.
입력 디지털 영상들 i0 내지 in(701)은 모듈(702)에 의해 픽셀 블록들로 나누어진다. 블록들은 영상 일부분들에 대응하고, 가변 크기(예컨대, 4x4, 8x8, 16x16, 32x32, 64x64 픽셀)를 가질 수 있다. 각각의 입력 블록에 대해 코딩 모드가 선택된다. 2가지 계열의 코딩 모드 - 공간 예측 코딩에 기초한 코딩 모드(인트라 예측), 및 시간 예측에 기초한 코딩 모드[인터 코딩, 병합, 건너뜀] - 가 제공된다. 가능한 코딩 모드들이 테스트된다.
모듈(703)은 인트라 예측 프로세스를 구현하고, 여기서 인코딩될 주어진 블록이 인코딩될 상기 블록의 이웃의 픽셀들로부터 계산되는 예측자에 의해 예측된다. 인트라 코딩이 선택되는 경우 잔차를 제공하기 위해, 선택된 인트라 예측자의 표시 및 주어진 블록과 그의 예측자 간의 차가 인코딩된다.
시간 예측은 움직임 추정 모듈(704) 및 움직임 보상 모듈(705)에 의해 구현된다. 먼저, 참조 영상 세트(716) 중에서 참조 영상이 선택되고, 인코딩될 주어진 블록에 가장 가까운 영역인 참조 영상의 일부분(참조 영역 또는 영상 부분이라고도 불리움)이 움직임 추정 모듈(704)에 의해 선택된다. 움직임 보상 모듈(705)은 이어서 선택된 영역을 사용하여 인코딩될 블록을 예측한다. 선택된 참조 영역과 주어진 블록 간의 차(잔차 블록이라고도 함)가 움직임 보상 모듈(705)에 의해 계산된다. 선택된 참조 영역은 움직임 벡터로 표시된다.
이와 같이, 이들 경우(공간 예측 및 시간 예측) 둘 다에서, 잔차는 원래의 블록으로부터 예측을 차감함으로써 계산된다.
모듈(703)에 의해 구현되는 인트라 예측에서, 예측 방향이 인코딩된다. 시간 예측에서, 적어도 하나의 움직임 벡터가 인코딩된다.
인터 예측이 선택되는 경우, 움직임 벡터에 대한 정보 및 잔차 블록이 인코딩된다. 비트레이트를 추가로 감소시키기 위해, 움직임이 균질하다고 가정하여, 움직임 벡터가 움직임 벡터 예측자에 대한 차에 의해 인코딩된다. 움직임 정보 예측자 세트의 움직임 벡터 예측자들이 움직임 벡터 예측 및 코딩 모듈(717)에 의해 움직임 벡터 필드(718)로부터 획득된다.
인코더(70)는 레이트 왜곡 기준(rate-distortion criterion) 등의 인코딩 비용 기준을 적용함으로써 코딩 모드를 선택하는 선택 모듈(706)을 추가로 포함하고 있다. 중복성을 추가로 감소시키기 위해, 변환 모듈(707)에 의해 변환(DCT 등)이 잔차 블록에 적용되고, 획득되는 변환된 데이터는 이어서 양자화 모듈(708)에 의해 양자화되고, 엔트로피 인코딩 모듈(709)에 의해 엔트로피 인코딩된다. 마지막으로, 인코딩되고 있는 현재 블록의 인코딩된 잔차 블록이 비트스트림(710)에 삽입된다.
인코더(70)는 또한, 후속 영상의 움직임 추정을 위한 참조 영상을 생성하기 위해, 인코딩된 영상의 디코딩을 수행한다. 이것은 비트스트림을 수신하는 인코더 및 디코더가 동일한 참조 프레임을 가질 수 있게 해준다. 역양자화 모듈(711)은 양자화된 데이터의 역양자화를 수행하고, 이어서 역변환 모듈(712)에 의한 역변환이 있게 된다. 역 인트라 예측(reverse intra prediction) 모듈(713)은 주어진 블록에 대해 어느 예측자를 사용할지를 결정하기 위해 예측 정보를 사용하고, 역 움직임 보상(reverse motion compensation) 모듈(714)은 실제로 모듈(712)에 의해 획득된 잔차를 참조 영상 세트(716)로부터 획득된 참조 영역에 가산한다.
재구성된 픽셀 프레임을 필터링하기 위해 사후 필터링이 이어서 모듈(715)에 의해 적용된다. 본 발명의 실시예들에서, 보상 오프셋이 재구성된 영상의 재구성된 픽셀의 픽셀 값에 가산되는 SAO 루프 필터가 사용된다.
도 8은 본 발명의 적어도 하나의 실시예에 따른 루프 필터링 프로세스의 단계들을 나타낸 플로우차트이다. 초기 단계(801)에서, 인코더는 전체 프레임의 재구성을 발생한다. 그 다음에, 단계(802)에서, 디블록킹된 재구성을 발생(803)하기 위해 이 제1 재구성에 디블록킹 필터가 적용된다. 디블록킹 필터의 목표는 잔차 양자화 및 블록 움직임 보상 또는 블록 인트라 예측에 의해 발생된 블록 아티팩트를 제거하는 것이다. 이들 아티팩트는 낮은 비트레이트에서 시각적으로 중요하다. 디블록킹 필터는 2개의 이웃하는 블록들의 특성에 따라 블록 경계를 매끄럽게 하는 동작을 한다. 각각의 블록의 인코딩 모드, 잔차 코딩을 위해 사용되는 양자화 파라미터들, 및 경계에서의 이웃 픽셀 차가 고려된다. 모든 프레임들에 대해 동일한 기준/분류가 적용되고, 어떤 부가의 데이터도 전송되지 않는다. 디블록킹 필터는, 블록킹 아티팩트를 제거함으로써, 현재 프레임의 시각적 품질을 향상시키고, 또한 후속 프레임들에 대한 움직임 추정 및 움직임 보상을 향상시킨다. 실제로, 블록 아티팩트의 고주파수가 제거되고, 따라서 후속 프레임들의 텍스처 잔차(texture residual)에 대해 이들 고주파수가 보상될 필요가 없다.
디블록킹 필터 이후에, 디블록킹된 재구성이 본 발명의 실시예들에 따라 결정된 픽셀의 분류(814)에 기초하여, 단계(804)에서, SAO(sample adaptive offset) 루프 필터에 의해 필터링된다. 얻어진 프레임(805)은 이어서 디스플레이되고 후속 인터 프레임들에 대한 참조 프레임으로서 사용될 재구성된 프레임(807)을 발생시키기 위해 단계(806)에서 ALF(adaptive loop filter)에 의해 필터링될 수 있다.
단계(804)에서, 프레임 영역의 각각의 픽셀이 그의 픽셀 값에 따라 결정된 분류의 클래스로 분류된다. 클래스는 결정된 픽셀 값 범위에 대응한다. 동일한 보상 오프셋 값이 주어진 픽셀 값 범위 내의 픽셀 값을 가지는 모든 픽셀들의 픽셀 값에 가산된다.
샘플 적응적 오프셋 필터링을 위한 픽셀의 분류의 결정은 도 10 내지 도 17 중 임의의 것을 참조하여 이후에 더 상세히 설명될 것이다.
도 9는 본 발명의 일 실시예에 따른, 인코더로부터 데이터를 수신하기 위해 사용될 수 있는 디코더(90)의 블록도를 나타낸 것이다. 디코더는 연결된 모듈들로 나타내어져 있고, 각각의 모듈은, 예를 들어, 장치(600)의 CPU(611)에 의해 실행될 프로그래밍 명령어들의 형태로, 디코더(90)에 의해 구현되는 방법의 대응하는 단계를 구현하도록 구성되어 있다.
디코더(90)는 인코딩 단위들을 포함하는 비트스트림(901)을 수신하고, 각각의 인코딩 단위는 인코딩 파라미터들에 관한 정보를 포함하는 헤더 및 인코딩된 비디오 데이터를 포함하는 보디로 이루어져 있다. 도 7과 관련하여 설명한 바와 같이, 인코딩된 비디오 데이터는 엔트로피 인코딩되어 있고, 움직임 벡터 예측자의 인덱스가, 주어진 블록에 대해, 사전 결정된 수의 비트에 인코딩되어 있다. 수신된 인코딩된 비디오 데이터는 모듈(902)에 의해 엔트로피 디코딩된다. 잔차 데이터가 이어서 모듈(903)에 의해 역양자화되고, 픽셀 값을 획득하기 위해 모듈(904)에 의해 역변환이 적용된다.
코딩 모드를 나타내는 모드 데이터가 또한 엔트로피 디코딩되고, 모드에 기초하여, 인트라 유형 디코딩 또는 인터 유형 디코딩이 인코딩된 영상 데이터 블록에 대해 수행된다.
인트라 모드의 경우에, 비트스트림에 명시된 인트라 예측 모드에 기초하여 역 인트라 예측 모듈(905)에 의해 인트라 예측자가 결정된다.
모드가 인터인 경우, 인코더에 의해 사용되는 참조 영역을 찾아내기 위해 움직임 예측 정보가 비트스트림으로부터 추출된다. 움직임 예측 정보는 참조 프레임 인덱스 및 움직임 벡터 잔차로 이루어져 있다. 움직임 벡터 디코딩 모듈(910)에 의해 움직임 벡터를 획득하기 위해 움직임 벡터 예측자가 움직임 벡터 잔차에 가산된다.
움직임 벡터 디코딩 모듈(910)은 움직임 예측에 의해 인코딩된 각각의 현재 블록에 대해 움직임 벡터 디코딩을 적용한다. 현재 블록에 대한 움직임 벡터 예측자의 인덱스가 획득되면, 현재 블록과 연관되어 있는 움직임 벡터의 실제 값이 디코딩되고 모듈(906)에 의해 역 움직임 보상을 적용하는 데 사용될 수 있다. 역 움직임 보상(906)을 적용하기 위해, 디코딩된 움직임 벡터에 의해 표시되는 참조 영상 부분이 참조 영상(908)으로부터 추출된다. 후속하는 디코딩된 움직임 벡터의 역 예측에 사용되기 위해, 움직임 벡터 필드 데이터(911)가 디코딩된 움직임 벡터로 업데이트된다.
마지막으로, 디코딩된 블록이 획득된다. 도 8을 참조하여 기술된 바와 같이 인코더에서 적용되는 사후 필터링 모듈(815)과 유사하게, 사후 필터링 모듈(907)에 의해 사후 필터링이 적용된다. 디코딩된 비디오 신호(909)가 최종적으로 디코더(90)에 의해 제공된다.
도 10은 보상 오프셋의 적용을 위해 영상의 재구성된 픽셀을 분류하는 본 발명의 제1 실시예에 따른 방법의 단계들을 나타낸 플로우차트이다. 이 실시예에서, 프레임 영역의 재구성된 픽셀의 픽셀 값에 따른 그 픽셀의 분류에 대한 클래스가 프레임 영역의 재구성된 픽셀 값의 통계적 분포에 기초하여 결정된다. 중앙, 유효 범위 및 클래스당 픽셀의 양이 픽셀 값의 분포에 기초하여 결정된다. 이 실시예에서, 디코더는 분포의 세그먼트화를 위한 디코더와 완전히 동일한 프로세스를 적용할 수 있다.
이 프로세스의 초기 단계에서, 모듈(1002)은 프레임 영역(1001)의 픽셀들의 픽셀 값의 통계적 분포를 결정하기 위해 그리고 대응하는 히스토그램(1003)을 발생시키기 위해 현재 프레임 영역(1001)을 스캔한다. 한 특정의 실시예에서, 이 프로세스는 각각의 픽셀 값에 대한 픽셀들의 수를 포함하는 테이블을 업데이트하는 것을 포함한다(즉, 각각의 픽셀 값에 대해, 그 픽셀 값을 가지는 픽셀들의 수가 표로 작성됨). 테이블은 픽셀들의 비트 심도에 기초하여 표현식 Max = 2Bitdepth - 1에 따라 결정된 최대 픽셀 값 MAX와 같은 셀들의 수를 포함한다.
모듈(1004)은 이어서 발생된 히스토그램(1003)의 중앙을 결정한다. 히스토그램의 유효 픽셀 값 범위가 이어서 히스토그램(1003)에 표현된 픽셀 값들의 분포에 따라 그리고, 적절한 경우, 히스토그램의 중앙에 기초하여 모듈(1006)에 의해 결정된다. 마지막으로, 픽셀 값 범위를 정의하는 동일 확률의(equiprobable) 클래스가 결정된다. 이와 같이, 각각의 클래스의 픽셀 값 범위를 포함하는 테이블(1009) 또는, 다른 대안으로서, 각각의 픽셀의 픽셀 값을 포함하는 테이블이 제공된다. 본 발명의 어떤 실시예들에서, 동일 확률의 클래스의 결정은 사전 결정된 클래스 수(1000)에 의존할 수 있다.
단계(1004)에서, 발생된 히스토그램(1003)의 중앙을 결정하기 위해 다양한 알고리즘들이 이용될 수 있다. 일 실시예에서, 히스토그램의 최소값 MinHlst 및 최대값 MaxHist가 찾아질 수 있다. 최소값 MinHist를 찾아내기 위해, 히스토그램의 셀들 Histk이 픽셀 값 0부터 0이 아닌 히스토그램의 제1 셀 Histk까지 스캔된다. 그리고 ΜaxHist를 찾아내기 위해, 셀들이 역순으로(최대 픽셀 값 MAX로부터 0이 아닌 히스토그램의 제1 셀 Histk까지) 스캔된다. 히스토그램의 중앙 CenterHist는 다음과 같이 계산된다:
CenterHist = (MaxHist - MinHist ) 12 + MinHist
대안의 실시예에서, 히스토그램의 중앙은 분포의 가중 평균 중앙(weighted average center)인 것으로 간주된다. 히스토그램 셀 Histk의 값이 값 k를 가지는 픽셀의 수인 것으로 간주되는 경우, CenterHist는 다음과 같이 계산되고:
Figure pct00003
여기서 N은 현재 프레임 영역에 있는 픽셀의 수이다.
단계(1006)에서, 발생된 히스토그램의 유효 범위를 결정하는 한가지 가능한 기법은 유효 범위의 양쪽 끝에 대해 앞서 기술한 MinHlst 및 MaxHist를 선택하는 것이다.
다른 실시예에서, 히스토그램의 최소값 MinRange는 0부터 임계값 α보다 큰 값을 가지는 제1 Histk까지 스캔하는 것에 의해 결정된다. 동일한 방식으로, MaxRange는 최대 픽셀 값 MAX로부터 임계값 α보다 큰 제1 Histk까지 역스캔하는 것에 의해 결정된다. 임계값 α는 사전 결정된 값일 수 있다. 다른 대안으로서, 임계값 α는 프레임 영역에 있는 픽셀들의 수에 및/또는 입력 신호의 성분 유형(크로마 및 루마)에 의존할 수 있다.
한 특정의 실시예에서, 클래스의 수가 인코더측 및 디코더측에 알려져 있는 것으로 간주될 수 있다. 픽셀 값의 클래스의 수는, 예를 들어, 각각의 성분(루마, 크로마 U 및 V)에 따른 현재 프레임 영역 내의 픽셀들의 수에 의존할 수 있다.
동일 확률의 클래스를 생성하기 위해, 유효 범위(1007) 내의 픽셀들의 수 NbPixRange가 정의된다. 유효 범위 내의 픽셀들의 수 NbPixRange는 각각의 히스토그램 셀 Histk를 k= MinRange로부터 k= MaxRange까지 스캔하는 것에 의해 결정된다. 이어서, 각각의 클래스 NbPixclasses 내의 최적의 픽셀 수를 결정하기 위해, 유효 범위 내의 사전 결정된 픽셀 수 NbPixRange가 클래스 수(1000)로 나누어진다.
도 11은 본 발명의 일 실시예에 따른, 동일 확률의 클래스를 결정하는 알고리즘의 단계들을 나타낸 플로우차트이다. 초기 단계(1101)에서, 클래스 번호 j가 0으로 설정되고, 현재 픽셀 값 k가 MinRange로 설정된다. 동일 확률의 분류(equiprobable classification)에 대해, 클래스는 그의 픽셀 값 범위에 의해 식별된다. 클래스 번호 j는 이와 같이 그의 최소 픽셀 값 Minj부터 그의 최대 픽셀 값 Maxj까지의 그의 범위
Figure pct00004
에 의해 식별된다.
단계(1103)에서, j에 의해 인덱싱되는 현재 클래스의 최소 픽셀 값 Minj는 현재 픽셀 값 k로 설정된다. 이어서, 단계(1104)에서, SumNbPiXj는 0으로 설정된다. SumNbPiXj는 범위 j 내의 픽셀들의 수에 대응한다. 이어서, 단계(1105)에서, 픽셀 값 k를 가지는 픽셀들의 수(Histk)가 SumNbPiXj에 가산된다. 단계(1106)에서, 현재 클래스 j에 대한 픽셀들의 수의 합 SumNbPiXj이 클래스들 내의 픽셀들의 수 NbPixclasses보다 큰지 여부가 판정된다. 이 조건에 도달되지 않은 경우, 단계(1107)에서 k 값이 증가되고, 단계(1105)에서 픽셀들의 수 Histk 또는 픽셀 값 k가 SumNbPiXj에 가산된다. SumNbPiXj > NbPixclasses인 것으로 판정되는 경우 또는 k가 유효 범위의 최대값 MaxRange에 도달하는 경우, 단계(1108)에서 현재 클래스 j에 대한 최대값이 k의 현재 값과 같다. 이 스테이지에서, 클래스 j가 정의된다. 즉, 클래스 j의 범위
Figure pct00005
가 결정된다. 2개 이상의 클래스에서 동일한 픽셀 값을 획득하는 것을 피하기 위해 단계(1109)에서 변수 k가 증가된다. 더욱이, 그 다음 클래스에 대한 픽셀 값 범위를 정의하기 위해 단계(1110)에서 변수 j가 또한 증가된다. 변수 j가 클래스 수 NbPixclasses보다 큰 경우, 단계(1112)에서 모든 클래스가 정의된 것으로 간주될 수 있다.
그 결과, 인코더는, 도 3과 관련하여 기술된 바와 같이, 각각의 클래스 j에 대한 오프셋 값을 결정하고 이를 디코더로 전송할 것이다. 인코더 및 디코더는, 도 4를 참조하여 기술된 바와 같이, 프레임 영역을 필터링할 것이다.
이 실시예에서, 클래스 수가 구문 값(syntax value)에 기초하여 사전 결정되어 있기 때문에, 클래스 수 NbClasses가 픽셀 값에 의존하지 않는다는 것에 유의해야 한다. 그 결과, 이 실시예에서, SAO 대역 오프셋의 파싱(parsing)은 다른 프레임들의 디코딩에 독립적이다. SAO 대역 오프셋에 대한 파싱이 각각의 오프셋의 파싱을 포함한다는 것에 유의해야 한다.
동일 확률의 분류를 결정하는 추가의 실시예에서, 클래스 수가 발생된 히스토그램에서의 픽셀 값의 분포에 따라 결정될 수 있다. 실제로, 유효 범위의 진폭이 높거나 낮을 때, 클래스 수가 코딩 효율에 영향을 미칠 것이다. 그 결과, 각각의 클래스에서의 픽셀들의 수는 물론 픽셀 값들의 수를 결정함으로써 보다 나은 적응성있는 분류가 제공될 수 있다.
도 12는 보다 적응성있는 분류를 제공하는 추가의 실시예에 따른 알고리즘의 단계들을 나타낸 플로우차트이다. 이 플로우차트는 도 11의 실시예의 플로우차트에 기초하고 있으며, 여기서 끝 번호가 같은 모듈들은 동등한 기능을 수행한다. 그렇지만, 이 실시예의 결정 모듈(1206 및 1211)은 도 11의 대응하는 모듈(1106 및 1111)에 의해 처리되는 테스트 조건과 상이한 테스트 조건을 처리한다.
이 실시예에서, SumNbPiXj > NbPixclasses인 경우 또는 k가 유효 범위의 최대값 MaxRange에 도달하는 경우 또는 k - Minj가 클래스에 대한 최대 범위(MaxClassRange) 미만인 경우, 결정 모듈(1206)은 k 값에 기초하여 루프를 중단하고 클래스 j에 대해 Maxj를 선택한다. k - Minj는 클래스 j의 현재 범위 내의 픽셀 값들의 수에 대응한다. MaxClassRange는 범위 내의 픽셀 값들의 사전 결정된 최대 수이다. 이 범위는 비트 심도, 프레임 영역 내의 픽셀들의 수 N, 및 신호의 유형(루마, 크로마 U 및 V)에 의존할 수 있다. 예를 들어, 비트 심도가 8일 때, 루마 성분에 대한 MaxClassRange는 HEVC 구현예에서와 같이 16일 수 있다.
도 11의 실시예와 비교하여 도 12의 실시예의 장점은 큰 진폭을 갖는 픽셀 값 분포에 대한 그의 코딩 효율이다. 이 실시예는 분포에 대해 보다 적응성이 있다.
이 실시예에서, 결정된 클래스 수가 픽셀 값에 의존하고, 따라서 현재 프레임의 파싱이 이전 프레임의 디코딩에 의존한다는 것에 유의해야 한다. 전송 오류에 보다 강건하기 위해, 클래스 수 NbClasses가 비트스트림에 삽입된다. 이러한 데이터의 전송은 코딩 효율에 그다지 영향을 미치지 않는다.
도 10 내지 도 12의 분류의 제1 실시예의 주된 장점은 분류가 픽셀 값 분포에 적응된다는 것이다. 더욱이, 각각의 클래스의 중앙, 유효 범위 및 크기 그리고 그의 양이 전송될 필요가 없다. 그 결과, 공지된 HEVC 구현예에서와 같이, 결정된 분류에 대해 각각의 클래스의 오프셋을 나타내는 데이터 이외의 어떤 부가의 데이터도 전송될 필요가 없다.
분류의 파라미터들의 시그널링을 수반하는, 분류를 결정하는 본 발명의 추가의 실시예가 도 13을 참조하여 이제부터 기술될 것이다. 분류의 추가의 실시예의 목적은 픽셀 값들의 분포의 최적의 분류를 제공하는 것이다. 이전의 실시예들과 비교하여 차이점은 분류가 직접 픽셀 값의 분포에 기초하여 결정되지 않고 레이트 왜곡 기준에 기초하여 결정된다는 것이다. 추가의 실시예에서, 인코더는 사전 정의된 가능한 분류들 중에서 픽셀 값 분포에 가장 잘 적응된 분류를 선택한다. 이 선택은 레이트 왜곡 기준에 기초하고 있다. 이전의 실시예들에서와 같이, 픽셀 값의 분포를 나타내는 발생된 히스토그램의 클래스들의 중앙, 유효 범위 및 크기가 결정된다. 추가의 실시예에서, 이들 파라미터가 비트스트림에서 전송된다. 이러한 데이터의 전송의 영향을 최소화하기 위해, 클래스 및 관련 범위의 크기가 사전 정의된 값들 중에서 선택된다. 그 결과, 인코더는 선택된 분류의 중앙, 선택된 분류에 관련된 인덱스, 및 분류의 클래스의 크기를 비트스트림에 삽입한다.
픽셀 값의 분포에 대한 적응을 제공하기 위해, 도 13에 나타낸 바와 같이, 몇개의 픽셀 값 범위 크기가 정의된다. 도 13에서, 전체 픽셀 값 범위가 32개의 하위 범위로 나누어진다. 픽셀 값 범위의 중앙에 위치해 있는 픽셀 값에 관한 제1 클래스 그룹에 대해, 4개의 예(1301 , 1302, 1303, 1304)가 나타내어져 있다. 제1 예(1301)는 가능한 32개의 범위 중 26개의 범위를 포함하고 있다. 이와 같이, 유효 범위(1301)는 전체 범위의 13/16을 나타낸다. 동일한 방식으로, 1302는 32개의 가능한 범위들 중 단지 8개의 범위(즉, 유효 범위의 1/4)를 나타내고, 1303은 전체 범위의 1/8을 나타내며, 1304는 전체 범위의 1/16을 나타낸다. 제안된 방식에 대해, 전체 범위로부터 단지 하나의 픽셀 값에 대응하는 범위까지의 모든 가능한 크기가 고려될 수 있다. 가능한 유효 범위들의 수는 코딩 효율에 따라 사전 결정되어야만 하거나, 프레임 영역 내의 픽셀들의 수에 대해 사전 결정되어야만 한다.
도 13도 역시 픽셀 값 범위의 가장자리에 위치해 있는 픽셀 값에 관한 제2 클래스 그룹에 대한 크기의 몇가지 예를 나타낸 것이다. 제2 그룹은 2개의 하위 클래스 그룹 - 하나는 히스토그램의 각각의 가장자리 쪽에 위치해 있음 - 을 포함하고 있다. 예(1305, 1306, 1307, 1308)는, 각각, 제1 그룹의 예(1301 , 1302, 1303, 1304)와 동일한 픽셀 값 수를 나타낸다.
본 발명의 실시예에서, 종래 기술의 방법과 비교하여, 클래스의 크기(즉, 클래스당 픽셀 값 범위)가 고정되어 있지 않다. 도 14는 몇개의 크기의 예(1401 내지 1406)를 나타낸 것이다. 이 예에서, 클래스 크기가 32개의 픽셀(1401)부터 단지 하나의 픽셀(1406)까지이다. 도 13과 관련하여 앞서 기술한 바와 같이, 이들 클래스 크기는 모든 가능한 유효 범위들과 결합될 수 있다. 이 실시예에서, 모든 클래스가 특정의 픽셀 값 범위에 대해 동일한 크기를 가지는 것으로 간주된다. 이와 같이, 한 그룹에 대해, 유효 범위의 크기 및 클래스의 크기를 나타내는 데이터가 비트스트림에 삽입된다.
다른 실시예에서, 주어진 유효 범위에 대한 클래스의 크기가 유효 범위에서의 클래스의 위치에 따라 적응된다. 보다 정확하게는, 클래스의 크기가 픽셀 값들의 분포에 적응된다. 추가의 실시예에서, 이들 크기가 각각의 유효 범위에 대해 픽셀 값 분포에 따라 사전 결정된다. 실제로, 픽셀 값 분포의 히스토그램은 일반적으로 가우스 분포에 대응한다. 픽셀 값이 히스토그램의 중앙에 가까울수록, 이 값에 가까운 픽셀 값을 가지는 픽셀들이 더 많다. 이는 중앙에 가까운 히스토그램 셀 Histk가 히스토그램의 유효 범위의 양쪽 끝에 있는 히스토그램 셀 Histk보다 더 큰 값(대응하는 픽셀들의 수)을 가진다.
도 15는 클래스의 크기에 대한 2개의 기술된 실시예의 예를 나타낸 것이다. 예(1501)는 32개의 픽셀 값의 유효 범위에 대해 8개의 픽셀 값의 고정된 크기를 나타낸 것이다. 1502는 동일한 유효 범위 크기에 대해 4개의 픽셀 값의 고정된 크기를 나타낸 것이다.
예(1503)는 32개의 픽셀 값의 현재 범위에 대해 적응적 클래스 크기에 대한 다른 실시예를 나타낸 것이다. 이 예에서, 유효 범위의 양쪽 끝에 있는 클래스는 중앙에 있는 클래스보다 더 크며(즉, 보다 넓은 픽셀 값 범위를 가짐), 이들 클래스는, 각각, 8개의 픽셀 값 및 2개의 픽셀 값을 가진다. 이들 클래스 사이에 있는, 2개의 다른 클래스는 4개의 픽셀 값으로 된 범위를 가진다.
제2 그룹에 대한 클래스들의 크기도 역시 픽셀 값들의 분포에 적응될 수 있다. 현재의 HEVC 구현예의 제2 그룹의 목표는 히스토그램의 2개의 끝부분만을 이용하는 것이다. 실제로, 히스토그램의 양쪽 끝은 (손실 코딩으로 인한) 오차가 저주파수와 비교하여 보통 더 큰 고주파수에 종종 관련되어 있는 극단적인 값을 포함한다. 제1 그룹에서와 동일한 방식으로, 제2 그룹의 유효 범위들에 대해 몇개의 클래스 크기가 테스트될 수 있다. 그 경우에, 제2 그룹의 2개의 하위 그룹에 대해, 레이트 왜곡 기준을 사용하여 세부 구역(subdivision)(1501 및 1502)이 비교될 수 있다.
더욱이, 클래스의 크기가 적응되는 실시예가 적용될 수 있다. 예(1504)는 제2 그룹의 제1 범위(좌측)에 대한 제안된 적응된 클래스 크기를 나타낸 것이다. 그리고 예(1505)는 제2 그룹의 제2 하위 그룹(우측)에 대한 제안된 적응된 클래스 크기를 나타낸 것이다. 그 경우에, 중앙에 가까운 클래스보다 양쪽 끝에 있는 클래스가 더 많은 픽셀 값을 포함한다.
제2 그룹의 목표는 히스토그램의 양쪽 끝을 이용하는 것이며; 그 결과 제2 그룹에 대해 크기의 역적응(inverse adaptation)을 사용하는 것이 때때로 유용하다. 그 경우에, 예(1504)는 제2 하위 그룹(우측)에 대해 사용되고, 예(1505)는 제2 그룹의 제1 하위 그룹(좌측)에 대해 사용된다. 이 실시예에서, 중앙에 가까운 클래스보다 양쪽 끝에 있는 클래스가 더 적은 픽셀 값을 포함한다. 그 경우에, 목표는 동일 확률의 클래스 분류를 생성하는 것이 아니라 제2 그룹의 양쪽 끝의 보다 나은 세그먼트화를 찾아내는 것이다.
픽셀 값들의 통계적 분포의 중앙이 꼭 전체 픽셀 값 범위의 가운데에 있지는 않기 때문에, 유효 범위에 기초한 분포의 중앙이 결정되고 비트스트림에서 영상 데이터와 함께 전송되어야만 한다. 도 16은 전체 범위의 1/4에 대응하는 유효 범위에 대해 상이한 중앙 위치들을 갖는 전체 범위의 한 예를 나타낸 것이다. 도 13의 예(1302)와 달리, 도 16의 4개의 예(1601, 1602, 1603, 1604)에 대해, 유효 범위의 중앙이 전체 범위의 중앙에 위치해 있지 않다. 이 해결책은 선택된 분류가 픽셀 값들의 분포에 적응될 수 있게 한다.
결정된 중앙은 이어서 비트스트림에서 전송하기 위해 코딩될 수 있다. 데이터의 코딩을 위한 몇가지 기법들이 예상될 수 있다.
현재 프레임 영역의 비트 심도가 8 비트인 것으로 간주되는 경우, 중앙 값에 대해 고려될 수 있는 위치들의 수는 '256 - 최소 유효 범위의 크기'에 대응한다. 예를 들어, 도 13과 비교하여, 유효 범위의 최소 크기는 2이고, 이들 2개의 클래스가 적어도 1개의 픽셀을 포함할 수 있다. 따라서, 이 특정의 예에 대해, 중앙은 1부터 254까지의 값을 가질 수 있고, 따라서 중앙에 대해 254개의 위치가 고려될 수 있다.
다른 해결책은 중앙 값을 정량화하는 것이다. 일 실시예에서, 중앙이 클래스들의 크기에 따라 코딩된다. 따라서, 예를 들어, 클래스들의 크기(또는 적응된 클래스 크기 방식이 사용될 때 현재 유효 범위의 모든 클래스들의 최소 크기)가 1개의 픽셀 값인 경우, 중앙이 정량화되지 않고, 현재 유효 범위에 대한 모든 가능한 중앙 위치들일 수 있다. 도 16에 도시되어 있는 바와 같이, 클래스들의 크기가 16개의 픽셀 값인 경우, 매 16개의 픽셀 값들마다의 픽셀 값들만이 고려될 수 있다. 이와 같이, 도 16에서, 예(1601, 1602, 1603 및 1604)에 대한 중앙은, 각각, 9, 23, 27 및 6이다. 다른 실시예에서, 알고리즘에서 정의된 클래스들의 최대 크기의 배수인 중앙 위치들만이 고려될 수 있다. 이와 같이, 중앙은 픽셀 값을 클래스들의 최대 크기로 나눈 것이다. 이것은 전송될 비트의 수의 면에서의 감소를 제공한다.
더욱이, 이론적으로, 가장 가능성있는 중앙은 전체 범위의 중앙이다. 이와 같이, 디코더측에서 중앙 위치를 결정하기 위해 전송되는 데이터는 전체 범위의 중앙과 현재 분류의 유효 범위의 중앙 사이의 차이다. 이와 같이, 예를 들어, 도 16에서, 예(1601, 1602, 1603, 1604)에 대해 중앙과 관련하여 전송되는 데이터는, 각각, 16-9=7, 16-23=-7, 16-27=-11, 16-6=10이다.
제2 그룹에 대해, 히스토그램의 중앙이 코딩될 필요가 없다. 따라서, 제2 그룹에 대한 2개의 하위 그룹의 변위를 코딩하기 위해 몇개의 방식들이 고려될 수 있다. 제1 그룹에 대해 기술된 중앙 값의 양자화에 관한 제안된 실시예들은 제2 그룹에 대한 제안된 실시예들로 쉽게 확장될 수 있다.
본 발명의 실시예들에서, 유효 범위(선택된 분류)의 위치가 전체 범위에 걸쳐, 즉 전체 범위 내에서의 분류의 위치에 관계없이, 동일한 정밀도(precision) 또는 입도(granularity)로 지정될 수 있다. 이것은 도 16에 도시되어 있는 예(1601 내지 1604)에서의 경우이고, 여기서 위치들(중앙 위치들)은 9, 23, 27 및 6이다. 전체 범위는 0부터 32까지로 표시되어 있다. 32개의 가능한 위치들이 있고, 전체 범위에 걸쳐 입도가 동일하다.
그렇지만, 도 19a 및 도 19b에 도시된 바와 같이, 전체 범위의 한 부분에서 전체 범위의 다른 부분에서보다 많은 가능한 위치들을 제공하는 것도 가능하다. 환언하면, 전체 범위 내에서 분류가 어디에 있는지에 의존하여 위치의 입도가 변한다. 이들 실시예는 분류(유효 범위)의 중앙을 전체 범위의 가장 중요한(또는 유망한) 부분에 보다 정밀하게 위치시키기 위해 가변 입도에 의한 전체 범위(여기서 0부터 32까지로 표시되어 있음)의 불균등 양자화를 제안하고 있다. 또한, 불균등 양자화는, 전체 범위의 중요한 부분에서 여전히 적절한 정밀도를 제공하면서, 분류의 위치를 신호하는 데 필요한 비트의 수가 제한될 수 있게 해준다. 예를 들어, 도 19a에 나타낸 바와 같이 전체 범위의 가운데에서, 이러한 보다 세밀한 입도가 적용될 수 있다. 이 도면에서, 가능한 중앙 위치들은 굵은 실선으로 나타내어져 있는 인덱스들에 대응한다. 2개의 가능한 중앙 위치들 사이의 간격은 끝에서보다 전체 범위의 가운데에서 더 작다. 따라서, 전체 범위의 끝에서보다 전체 범위의 가운데에서 중앙 위치가 보다 정밀하게 설정될 수 있다.
도 19b에서, 2개의 가능한 중앙 위치들 사이의 간격은 가운데에서보다 전체 범위의 양끝에서 더 작다. 예를 들어, 이 실시예는 분포의 극단 값(extreme value)에서 중요한 샘플 값들을 가지는 경우에 특히 유용할 수 있다.
보다 일반적으로, 전체 범위의 어느 곳에서라도 보다 미세한 양자화가 적용될 수 있다.
앞서 기술한 바와 같은 가변적인 양자화가 사용될 때, 모든 위치들에 대해 분류 범위(유효 범위의 크기)가 고정될 수 있다. 예를 들어, 분류 범위가 4개의 클래스를 포함할 수 있고, 각각의 클래스는 8개의 픽셀 값으로 이루어져 있다.
분류 범위/클래스 크기를 위치에 따라 변하게 하는 것도 가능하고, 따라서 도 19a에서, 분류 범위는, 예컨대, 위치 12 내지 20에서는 8개의 픽셀 값이고, 위치 10 및 26에서는 16개의 픽셀 값이며, 위치 2 및 28에서는 32개의 픽셀 값이다.
가변적인 양자화는, 여기에서 기술된 바와 같이, 분류 범위를 결정하기 위해 적용되는 방법에 관계없이 사용될 수 있다. 이 방법은, 예를 들어, 샘플 값들의 통계적 분포의 특성들을 사용하거나 레이트 왜곡 기준을 사용할 수 있다.
가변적인 양자화는 인코더에서도 디코더에서도 사전 결정될 수 있다. 예를 들어, 인코더 및 디코더는 가능한 중앙 위치들(또는 좌측 위치들)에 인덱스들을 할당할 수 있고, 예컨대, 도 19a에서, 위치 2는 인덱스 0이고, 위치 6은 인덱스 1이며, 위치 10은 인덱스 2이고, 위치 12는 인덱스 3이며, 위치 13은 인덱스 4이고, 기타이다. 그러면, 인코더가 선택된 분류의 인덱스를 디코더로 전송하는 것으로 충분하다. 다른 대안으로서, 가변적인 양자화에 관한 정보가 인코더에서 결정되고 비트스트림을 통해 디코더로 신호될 수 있다.
한 특정의 실시예에서, 히스토그램의 중앙이 항상 전체 범위의 중앙이라는 것이 고려될 수 있다. 따라서, 그 경우에, 하나의 변위만이 고려된다. 양쪽 그룹이 동일한 변위에 의해 중앙으로 스케일링된다. 그 결과, 단지 하나의 데이터 - 제2 그룹의 제1 범위의 변위 - 만 코딩되면 된다. 도 17의 예(1701, 1702, 1703 및 1704)는 이러한 변위들의 예이다. 예(1701, 1702, 1703, 1704)에서, 변위는, 각각, 4, 6, 10 및 0이다. 변위가 예측 없이 직접 코딩될 수 있다.
추가의 실시예에서, 예(1705, 1706, 1707 및 1708)에 나타낸 바와 같이, 제2 그룹의 양쪽 하위 그룹이 전체 범위에서 독립적인 위치를 가진다. 2가지 코딩 방식이 고려될 수 있다.
제1 방식에서, 존재하지 않는 제1 그룹의 중앙이 이 존재하지 않는 제1 그룹의 유효 범위의 크기로 코딩된다.
양쪽 그룹을 독립적으로 코딩하는 제2 방식은 전체 범위의 2개의 끝으로부터의 2개의 변위(각각의 그룹에 대해 하나씩)를 전송하는 것이다. 따라서, 예(1705, 1706, 1707 및 1708)에 대해, 전송되는 변위는, 각각, 1705에 대해 11 및 32-28=4이고, 1706에 대해 21 및 0이며, 1707에 대해 3 및 32-16=32이고, 1708에 대해 7 및 32-31 =1이다.
도 18은 본 발명의 일 실시예에 따른, 레이트 왜곡 선택 알고리즘의 단계들을 나타낸 플로우차트이다. 간략화된 설명을 위해, 적응된 클래스 크기를 갖지 않는 제1 그룹에 대한 선택만이 고려된다. 앞서 기술된 다른 실시예들에 대한 선택이 쉽게 적응될 수 있다.
초기 단계(1801)에서, 현재 프레임 영역의 통계가 계산된다. 이것은 모든 픽셀 값 k에 대해 변수들 Histk 및 Sumk을 결정하는 것을 포함한다. Histk는 변수 k와 같은 픽셀 값을 가지는 픽셀들의 수에 대응하고, Sumk는 픽셀 값이 값 k인 모든 픽셀들과 그의 원래의 픽셀 값 사이의 차의 합에 대응한다. 이 알고리즘은 3개의 파라미터 - 클래스의 크기 S, 범위의 크기 R 및 중앙 C - 에 관한 3개의 루프를 포함한다. 단계(1803)에서, 제1 루프는 각각의 가능한 클래스 크기를 테스트한다. 예를 들어, 크기는 도 14에 정의되어 있다. 단계(1804)에서, 전체 범위의 각각의 하위 범위에 대한 오프셋이 계산된다. 예를 들어, 비트 심도가 8이고 클래스의 크기가 16인 경우, 전체 범위 내의 32개의 가능한 범위들에 대한 왜곡 및 오프셋이 계산된다. 특성들에 의해, 오프셋 및 왜곡이 Histk 및 Sumk 또는 현재 범위에서의 모든 k 값의 선형 결합에 의해 계산된다. 이어서, 단계(1807)에서, 각각의 가능한 범위 R(1805) 및 각각의 가능한 중앙 C(1806)에 대해, 레이트 왜곡 비용(rate distortion cost)이 평가된다. 이 평가는 레이트 왜곡 기준에 기초하고 있다. 모든 중앙 C(1808), 모든 범위(1809) 및 모든 크기(1810)가 테스트될 때, 단계(1811)에서, 최상의 레이트 왜곡 비용에 기초하여 최상의 파라미터들 S, R, C가 선택된다. 동일 확률의 분류를 생성하는 이 제2 방식의 장점은 복잡도의 감소 및 코딩 효율의 향상을 포함한다. 클래스의 중앙, 범위 및 크기의 분류 선택은, 분류가 픽셀 값들의 통계적 분포에 기초하고 있는 실시예들과 비교하여, 최적의 레이트 왜곡 선택을 제공한다. 물론, 이 실시예는 현재의 HEVC 구현예와 비교하여 코딩 효율의 면에서의 향상을 제공한다. 이 방식은, 이전의 방식과 비교하여, 디코더측에서 덜 복잡한데, 그 이유는 픽셀들의 분포가 디코더에서 결정될 필요가 없기 때문이다. 더욱이, 이 방식은 HEVC에서의 공지된 기법들보다 덜 복잡할 수 있는데, 그 이유는 어떤 그룹들에서, 보다 적은 수의 클래스들이 사용되기 때문이다.
도 18에 나타낸 알고리즘은 모든 대역 오프셋 파라미터들 - 클래스의 크기 S, 범위 R, 중앙 C를 나타내는 값의 위치 - 의 전체 레이트 왜곡 기반 선택을 수행한다. 복잡도를 제한하기 위해, 어떤 파라미터들을 고정시키는 것이 가능하다. 도 18의 알고리즘의 하나의 특정의 구현예에서, 크기 S 및 범위 R이 인코더 및 디코더가 알고 있는 주어진 값들에 고정되어 있다. 예를 들어, S는 8개의 픽셀 값을 나타낼 수 있고, R은 8 픽셀의 클래스 4개에 대응하는 32개의 픽셀 값을 나타낼 수 있다. 그 결과, 최적화될 유일한 파라미터는 중앙 C를 나타내는 값이다.
본 발명의 실시예들이 픽셀들의 분류를 결정하는 데 픽셀 값 범위에 걸쳐 픽셀 값들의 재분할을 고려하고 있기 때문에, 분류가 그에 따라 상이한 픽셀 값 분포들에 적응될 수 있다. 상세하게는, 분류가 픽셀들의 성분 유형에 따라 적응될 수 있다. 예를 들어, 크로마 성분 픽셀 세트의 경우에, 픽셀 값들이 루마 크로마 픽셀들의 픽셀 값들과 비교하여 더 낮은 경향이 있다. 그에 부가하여, 크로마 U 픽셀 값들은 보다 집중되어 있고 비교적 더 높은 픽셀 값들을 가지는 크로마 V 픽셀 값들의 분포와 상이한 분포를 가진다. 더욱이, 크로마 성분 픽셀들의 경우에, 픽셀 값들의 분포는, 보다 널리 확산된 분포를 제공하는 루마 크로마 픽셀들의 분포와 비교하여, 피크 픽셀 값들 부근에 더 집중되는 경향이 있다.
이상에서 알 수 있는 바와 같이, 디코더측에서 픽셀들의 분포를 결정하는 것을 피하기 위해, SAO 유형(SAO 없음, 에지 오프셋 또는 대역 오프셋) 및 보상 오프셋 값들에 부가하여, 파라미터들 S, R 및 C가 비트스트림에서 전송된다. 클래스 크기 및 범위가 고정되어 있을 때, 디코더가 범위의 중앙을 검색할 수 있게 해주기 위해 C만이 전송된다.
고정된 S 및 R의 경우에, SAO 파라미터들을 인코딩하는 하나의 공지된 해결책은 도 21의 플로우차트의 형태로 기술되는, 도 20a의 의사 코드를 적용하는 것이다.
이 프로세스는 SAO의 유형(코드워드 sao_type_idx에 저장되어 있음), 대역 오프셋 유형이 사용될 때 유효 범위의 중앙을 나타내는 값(코드워드 sao_band_position에 저장되어 있음), 및 SAO 오프셋들(코드워드들 sao_offset에 저장되어 있음)을 비롯한 SAO 파라미터들을 결정하는 것으로 시작한다. 도 20a에서, cldx는 SAO가 적용되는 색상 성분의 인덱스를 나타내고, rx 및 ry는 SAO가 적용되는 영역의 위치를 나타내며, i는 샘플 값들의 클래스의 인덱스이다.
SAO 파라미터 인코딩은 이어서 단계(2003)에서 unsigned Exp Golomb 코드(ue(v))(즉, unsigned 가변 길이 코드)를 사용하여 SAO 유형을 인코딩하는 것으로 시작한다. SAO 유형이 유형 5(대역 오프셋)인 경우, 단계(2017)에서, 인코딩은 크기 5의 unsigned 고정 길이 코드(u(5))를 사용하여 유효 범위의 중앙의 위치를 나타내는 값의 인코딩을 계속한다. 이어서, 범위 내에 포함되어 있는 4개의 클래스에 대응하는 4개의 오프셋의 인코딩이 단계들(2019 내지 2025)에서 반복하여 수행된다. 여기서, 각각의 오프셋이 signed Exp Golomb 코드(se(v))[즉, signed 가변 길이 코딩(variable-length-coding, VLC) 코드]를 사용하여 인코딩된다. 이어서, 인코딩 프로세스가 단계(2027)로 종료된다.
SAO 유형이 대역 오프셋이 아닌 경우, 먼저 SAO 유형이 SAO 없음인지를 검사한다(SAO 없음은 관렴 샘플들에 어떤 오프셋도 적용되지 않음을 의미함). SAO 없음이 선택된 경우, 단계(2027)에서, 인코딩 프로세스가 종료한다.
그렇지 않은 경우, 단계들(2007 내지 2013)에서 4개의 에지 오프셋의 반복적 인코딩을 계속한다. 다시 말하지만, 단계(2027)에서, 인코딩 프로세스가 종료한다.
표현할 값들의 범위가 비교적 크지만 이 범위 내의 어떤 값들이 다른 값들보다 가능성이 많을 때 VLC 코드가 일반적으로 사용된다. 가장 가능성이 많은 값들은 짧은 코드를 부여받는 반면, 가능성이 적은 값들은 긴 코드를 부여받는다. 이들 코드의 주된 단점은 FLC(fixed length code, 고정 길이 코드)보다 높은 디코딩 복잡도를 유발한다는 것이다. 실제로, VLC 코드는 코드의 최종 크기를 모르기 때문에 비트별로 판독되어야만 하는 반면, FLC 코드는 그의 크기를 알고 있기 때문에 직접 판독될 수 있다.
도 20b 및 도 22에서, VLC 코드를 FLC 코드로 대체하는, 이 인코딩 프로세스에 대한 대안을 제안한다.
이 인코딩 프로세스는 단계(2001)와 동일한 단계(2201)로 시작한다. 단계(2203)에서, 코드워드 sao_type_idx의 VLC 코딩이 FLC 인코딩으로 대체되어 있다. 여기서 6개의 가능한 SAO 유형 값(즉, "SAO 없음" 유형, 4개의 "에지 오프셋" 유형, 및 "대역 오프셋" 유형)을 인코딩하기 위해 3 비트가 필요하다. 이어서, SAO의 유형이 "SAO 없음"인지를 검사한다. 그 경우에, 더 이상 아무 것도 인코딩되지 않고, 프로세스가 단계(2215)로 종료한다. 그렇지 않은 경우, SAO의 유형이 "대역 오프셋"인지를 검사한다. 예인 경우, 범위의 중앙의 위치를 나타내는 값이 크기 5의 unsigned FLC 코드의 형태로 코드워드 SAO_band_position에 인코딩된다. 실제로, 이 예에서, 클래스 크기가 8개의 샘플 값이고 범위가 4개의 클래스로 이루어져 있는 경우, 256개 값의 전체 범위에 대해 28개의 상이한 위치들이 가능하다.
이 단계에 뒤이어서, 단계들(2211 내지 2213)에서 4개의 SAO 오프셋의 인코딩이 있게 된다. 여기서, FLC 코드가 단계(2023 및 2011)의 VLC 코드를 대체한다. -31부터 32까지의 정수 오프셋 값들을 커버하는 최대 5 비트의 VLC 코드를 사용하는 대신에, 여기서 단지 4개의 상이한 값들[일반적으로, (-2, -1 , 1 , 2)]을 인코딩할 수 있는 2 비트 크기의 FLC 코드를 사용한다. 가능한 값들의 수를 감소시키는 것은 인코딩을 가장 빈번히 사용되는 오프셋 값들에 집중시키는 효과를 가진다.
이 프로세스는 단계(2215)에서 오프셋 인코딩 후에 종료한다.
유의할 점은, 다른 실시예에서, 오프셋들에 의해 표현되는 범위가 픽처 헤더, 슬라이스 헤더 또는 LCU 헤더에서의 인코딩, 2 비트 코드에 의해 획득되는 오프셋들에 적용될 증배 인자에 의해 확장될 수 있다는 것이다. 예를 들어, 증배 인자가 4인 경우, 인코딩된 오프셋들(-2, -1 , 1 , 2)은 (-8, -4, 4, 8)로 된다. 증배 인자가 또한 표준화(고정)되어 있거나, 다른 LCU로부터 추론될 수 있다. 예를 들어, 이전 LCU에 적용가능한 증배 인자가 현재 LCU에 적용되는 것으로 가정될 수 있다.
이와 유사하게, 다른 실시예에서, 픽처 헤더, 슬라이스 헤더 또는 LCU 헤더에 인코딩되어 있는 천이 값이 2 비트 코드에 의해 획득되는 오프셋들에 적용될 수 있다. 예를 들어, 천이 값이 5인 경우, 인코딩된 오프셋들(-2, -1 , 1 , 2)은 (3, 4, 6, 7)로 된다. 다시 말하지만, 천이 값이 또한 표준화(고정)되어 있거나, 다른 LCU로부터 추론될 수 있다. 예를 들어, 이전 LCU에 적용가능한 천이 값이 현재 LCU에 적용되는 것으로 가정될 수 있다.
테스트로부터, 가능한 오프셋 값들을 보다 적게 가지는 것이 SAO 방법의 성능을 그다지 감소시키지 않는다는 것을 알았다. 어떤 오프셋 값들의 억제에 의해 유발되는 손실이 가능성이 적은 오프셋 값들의 과중한 비트레이트 비용의 억제로 보상되는 것처럼 보인다.
부가의 테스트로부터, 또한 상이한 오프셋 값들의 수가, 성능 손실이 그다지 없으면서, 3개 그리고 심지어 2개의 오프셋들(1 비트만 인코딩하면 됨)로 추가로 감소될 수 있다는 것을 알았다.
도 23에서, 인코딩 프로세스의 추가적인 개선이 제안되어 있다. 여기서, 에지 오프셋 유형의 경우에 사용되는 오프셋 값들이 에지 오프셋의 유형으로부터 직접 추론될 수 있는 것으로 생각한다. 그 경우에, 에지 오프셋 값들의 인코딩이 필요하지 않다. 다시 말하자면, 에지 오프셋의 각각의 유형이 신호 방향에 따라 4개의 클래스와 연관되어 있고, 각각의 클래스는 연관된 오프셋 값을 가진다. 이 실시예는 테스트가, 일반적으로 주어진 에지 오프셋 유형 및 주어진 클래스에 대해, 오프셋 값들이 서로 가깝고 일반적으로 동일하다는 것을 보여주는 것으로부터 촉발된 것이다. 그 결과, 각각의 에지 오프셋 유형에 대해 한 세트의 4개의 오프셋 값들을 고정시키는 것을 제안한다. 예를 들어, 다음과 같은 연관 관계를 제안한다:
Figure pct00006
수직 에지 오프셋: (-2, -1, 1, 2)
Figure pct00007
수평 에지 오프셋 (-2, -1, 1, 3)
Figure pct00008
제1 대각 에지 오프셋 (-3, -2, -1, 1)
Figure pct00009
제2 대각 에지 오프셋 (-1, 1, 2, 3)
도 23에서의 단계들(2301 및 2303)은 도 22를 참조하여 이미 설명한 단계들(2201 및 2203)과 동일하다. 단계들(2305 및 2307)에서, SAO 유형이, 각각, "에지 오프셋" 또는 "SAO 없음"인지를 검사한다. 이들 경우 둘 다에서, 어떤 오프셋도 인코딩되지 않는다. SAO 유형이 "에지 오프셋"인 경우에, 에지 오프셋 유형 값을 판독할 때, 디코더는 고정된 오프셋 값과의 기지의 연관 관계의 덕분으로 에지 오프셋 유형으로부터 오프셋 값을 추론할 것이다.
도 23의 실시예에서, SAO 유형이 "대역 오프셋"인 경우, 단계(2309)에서, 범위의 중앙의 위치를 나타내는 값이 인코딩되고, 4개의 오프셋 값이 단계들(2311 내지 2317)에 의해 반복적으로 인코딩된다. 인코딩 프로세스가 단계(2319)로 종료된다.
도 24 및 도 25의 실시예에서, 도 20a 및 도 21에 기술된 인코딩 프로세스의 다른 수정을 적용한다. 이전의 실시예에서 이미 언급한 바와 같이, 범위의 중앙의 위치를 나타내는 정보(sao_band_position)를 인코딩하기 위해 5 비트의 FLC 코드가 사용되는 반면, 단지 28개의 상이한 위치들이 사용된다. 그 조건에서, 4개의 FLC 코드(각각이 5 비트 길이임)가 사용되지 않은 채로 있다. 여기서, SAO 유형을 인코딩하기 위해 사용되는 코드워드를 제거하기 위해 이들 4개의 여분의 FLC 코드를 이용하는 것을 제안한다. 범위 위치들 및 에지 오프셋 유형들을 결합하여 코딩하기 위해 새로운 코드워드 SAO_band_position_and EO가 사용될 것이다. 이 새로운 코드워드도 역시 5 비트 길이이다.
종전과 같이, 이 프로세스는 단계(2501)에서 SAO 파라미터들을 정의하는 것으로 시작한다. 이 프로세스는 뒤이어서 단계(2503)에서 SAO가 사용되고 있는지 여부를 나타내는 1 비트 길이 플래그(SAO_LCU_flag)를 인코딩한다. SAO가 사용되지 않는 경우[단계(2505)], 프로세스가 종료한다[단계(2507)].
SAO가 사용되는 경우, 단계(2509)에서, 어느 유형의 SAO가 사용되는지를 검사한다. SAO 유형이 "대역 오프셋"인 경우, 단계(2513)에서, 범위의 중앙의 위치를 나타내는 값을 인코딩하기 위해 코드워드 SAO_band_position_and_EO의 처음 28개의 코드가 사용된다. SAO 유형이 "에지 오프셋"인 경우, 단계(2511)에서, 에지 오프셋의 유형(수직, 수평, 제1 대각 또는 제2 대각)을 인코딩하기 위해 코드워드 SAO_band_position_and_EO의 마지막 4개의 코드가 사용된다. 단계들(2511 또는 2513)에 뒤이어서, 단계들(2515 내지 2521)에 의해 4개의 오프셋 값들을 인코딩한다.
그런데, 본 실시예에서 에지 오프셋의 유형을 인코딩하기 위해 여분의 코드워드들이 사용되지만, 여분의 코드워드들이, 다른 대안으로서, 다른 목적들을 위해 사용될 수 있다는 것을 잘 알 것이다. 인코더로부터 디코더로 송신될 필요가 있는 임의의 다른 정보가 여분의 코드워드들을 사용하여 인코딩될 수 있다.
도 26에서, 대역 오프셋의 경우에 적용될 오프셋들을 결정하는 추가의 실시예를 제안한다. 이 실시예는 테스트가, 대역 오프셋의 경우에, 대부분의 오프셋들이 절대값에서 낮은 진폭을 가진다는 것을 보여주는 것으로부터 촉발된 것이다. 실제로, 오프셋 값들은 일반적으로 -2, -1, 1 및 2이다. 예를 들어, 도 20a 내지 도 25의 에에서와 같이, 범위 내의 클래스 수가 4로 감소될 때, 4개의 오프셋 값들로 된 상이한 그룹들의 수도 역시 감소된다. 4개의 상이한 오프셋 값 및 4개의 클래스를 갖는 상기 예에서, 상이한 그룹들의 수는 44 =256이다. 도 21, 도 22, 도 23 및 도 25의 실시예들에서, 오프셋 값들(4개의 오프셋 값, 각각이 2 비트를 사용하여 인코딩됨)을 인코딩하기 위해 8 비트가 사용된다. 여기서, 4개의 오프셋으로 된 그룹들 모두가 동일한 선택될 확률을 가지는 것으로 간주되고 있다. 그렇지만, 이들 그룹 중 일부가 다른 것들보다 가능성이 적다. 가능성이 적은 그룹들을 제거함으로써, 이들을 인코딩하는 데 필요한 비트의 수를 감소시키는 것이 가능하다. 그 결과, 각각의 오프셋 값에 대해 2 비트를 사용하여 4개의 상이한 오프셋 값을 인코딩하는 대신에, 4개의 오프셋 값으로 된 상이한 그룹들에 인덱스들을 할당하고 인덱스를 인코딩하는 것 - 가능성이 적은 그룹의 제거로 인해 인덱스가 8 비트 미만을 사용하여 인코딩됨 - 을 제안한다. 훈련 시퀀스 세트에 대해 SAO를 적용하고 그룹들에 관한 통계를 계산함으로써 그룹들의 확률이 결정될 수 있다. 선택될 확률에 따라 정렬되어 있는 모든 가능한 그룹들을 수집하는 테이블이 사전 결정되고 인코더 및 디코더에 알려져 있을 수 있다. 이 테이블에서, 각각의 오프셋 그룹은 인덱스 값에 연관될 것이다. 그룹 인덱스 인코딩에 할당되는 비트의 수가 고정(표준화)되거나 시퀀스, 프레임, 슬라이스 또는 LCU에 대해 고정되어 있고, 대응하는 헤더들에 인코딩되어 있을 수 있다. 가장 가능성있는 그룹들에 대응하는 테이블 내의 그룹들의 서브셋이 인덱스 인코딩에 할당된 비트의 수에 따라 인코더 및 디코더에 의해 결정될 것이다.
최상의 그룹의 선택을 나타내는 실시예가 도 26에 기술되어 있다. 이 프로세스는 변수 j가 초기화되는 단계(2601)에서 시작한다. 모든 가능한 오프셋 그룹들의 테스트를 가능하게 하기 위해 이 변수 j가 점차적으로 증가된다. 제안된 실시예에서, 4개의 오프셋들로 된 그룹을 생각하고 있지만, 다른 오프셋 수가 생각될 수 있을 것이다. 단계(2603)에서, 모든 그룹들이 테스트되었는지(예를 들어, NbOffsetGroup이 128일 수 있는지)를 검사한다. 예인 경우, 프로세스가 종료하고, 선택된 그룹에 대응하는 8 비트 미만의 코드워드가 인코딩된다. 아니오인 경우, 프로세스는 변수 i의 초기화로 계속되어, 범위 내의 모든 클래스들을 테스트할 수 있게 한다[단계(2605)]. 단계(2606)에서, 원래의 샘플들과 오프셋 그룹 j에 대응하는 SAO 필터링된 인코딩된 샘플들 간의 차의 합을 나타내는 변수 SumDiff(j)가 0으로 초기화된다. 여기서, 4개의 클래스만이 고려되고 있지만, 오프셋 수와 부합하는 다른 클래스 수가 가능하다. 단계(2607)에서, 테스트될 어떤 클래스들이 남아 있는 경우, 변수 k를 초기화하여, 클래스 i에 대응하는 샘플 범위 내의 모든 가능한 샘플들을 테스트할 수 있게 한다. 단계들(2611 내지 2619)에 의해, 오프셋 그룹 j 내의 클래스 i의 오프셋으로 필터링된 인코딩된 샘플들과 고려되는 클래스 i 내의 원래의 샘플들 간의 차의 절대값의 합을 계산한다. 여기서 orig(k)는 인코딩된 값 enc(k)에 대응하는 원래의 샘플 값들의 평균이다. filter(i,j)는 오프셋 그룹 j 내의 클래스 i에 대응하는 오프셋 값이다. SumDiff(j)는 범위를 구성하는 모든 클래스들(여기서, 4개의 클래스)에 대해 계산된 차의 합이다. 단계들(2621 내지 2626)을 포함하는 루프에서, 모든 계산된 차의 합들이 비교되고, 최소 합을 가지는 그룹의 인덱스가 선택된다. 선택된 인덱스는, 인코딩된 샘플들에 적용될 때, 필터링된 샘플들과 원래의 샘플 간의 차를 최소화할 수 있게 해주는 오프셋 그룹에 대응한다.
구문 인코딩 프로세스 동안, 예를 들어, 도 22의 단계들(2211 내지 2213)로 나타낸 오프셋 값들의 인코딩이 선택된 오프셋 그룹에 대응하는 인덱스의 인코딩으로 대체된다.
루마 성분 픽셀의 분류가 크로마 U 또는 V 성분 픽셀의 분류와 별개로 수행되고, 따라서 각각의 클래스가 유사한 수의 픽셀들을 가지도록 각각의 분류가 그에 따라 적응될 수 있다.
따라서, 본 발명의 실시예들의 방법들은 루마 또는 크로마 신호 둘 다에 대해 독립적으로 보다 최적의 분류를 제공하도록 구성되어 있을 수 있는 보다 유연한 분류 방식을 제공하고, 그로써 코딩 효율의 향상을 가져온다.
본 발명이 특정의 실시예들을 참조하여 이상에서 기술되어 있지만, 본 발명이 특정의 실시예들로 제한되지 않고, 본 발명의 범위 내에 속하는 수정들이 기술 분야의 당업자에게 명백할 것이다.
예를 들어, 이전의 실시예들이 영상의 픽셀들 및 그의 대응하는 픽셀 값들과 관련하여 기술되어 있지만, 본 발명과 관련하여, 픽셀 그룹이 대응하는 그룹 픽셀 값과 함께 고려될 수 있다는 것을 잘 알 것이다. 샘플은 따라서 영상의 하나 이상의 픽셀에 대응할 수 있다.
본 발명의 추가의 측면들이 이하에 기재되어 있다.
본 발명의 제1 추가의 측면에 따르면, 영상의 재구성된 샘플 세트에 대한 보상 오프셋들을 제공하는 방법이 제공되고, 각각의 샘플은 각자의 샘플 값을 가지며, 세트의 복수의 샘플들의 샘플 값들은 샘플 값들의 통계적 분포로 표현가능하며, 이 방법은 샘플 값들의 통계적 분포의 특성들에 의존하여, 샘플들의 대응하는 샘플 값에 따라 샘플들을 재분할하기 위한 복수의 클래스들을 결정하는 단계 - 각각의 클래스는 각자의 샘플 값의 범위를 정의함 -; 및 상기 클래스의 각각의 샘플의 각자의 샘플 값에 적용하기 위한 각자의 보상 오프셋을 각각의 결정된 클래스와 연관시키는 단계를 포함한다.
본 발명의 이 측면에서, 샘플들의 분류를 결정하는 데 샘플 값들의 통계적 분포가 고려되기 때문에, 분류가 그에 따라 모든 가능한 샘플 값의 범위들에 적응될 수 있다. 더욱이, 분류가 샘플들의 성분 유형에 따라 적응될 수 있다. 예를 들어, 크로마 신호에 대응하는 픽셀들의 경우에, 픽셀 값들의 분포는, 보다 널리 확산된 분포를 제공하는 루마 신호와 비교하여, 피크 픽셀 값들 부근에 더 집중되는 경향이 있다. 따라서, 본 발명의 실시예들의 방법들은 루마 또는 크로마 신호 둘 다에 대해 독립적으로 보다 최적의 분류를 제공하도록 구성되어 있을 수 있는 보다 유연한 분류 방식을 제공하고, 그로써 코딩 효율의 향상을 가져온다.
일 실시예에서, 통계적 분포의 특성들은 영상 샘플 값들의 통계적 분포의 결정된 중앙을 포함한다.
일 실시예에서, 통계적 분포의 특성들은 통계적 분포의 유효 샘플 값의 범위를 포함한다.
일 실시예에서, 샘플들이 클래스들 간에 실질적으로 균일하게 공유되도록 클래스들이 결정된다.
일 실시예에서, 세트의 샘플들이 적어도 제1 성분 유형 또는 제2 성분 유형일 수 있고, 복수의 클래스들이 샘플 세트의 성분 유형에 의존하여 결정된다.
일 실시예에서, 클래스 수가 사전 결정되고, 각각의 클래스에 대해 정의된 샘플 값의 범위가 통계적 분포의 특성들에 의존하여 결정된다.
다른 실시예에서, 클래스 수 및 각각의 클래스에 대해 정의된 샘플 값의 범위가 통계적 분포의 특성들에 의존하여 결정된다.
일 실시예에서, 클래스 수가 유효 범위 내의 샘플 값을 가지는 샘플들의 수에 의존하여 결정된다.
일 실시예에서, 클래스 수가 성분 유형에 따라 결정된다.
일 실시예에서, 이 방법은 유효 범위 내의 샘플 값들의 수에 따라 클래스당 샘플 값들의 최대 수를 결정하는 단계를 포함한다.
일 실시예에서, 복수의 클래스들을 결정하는 단계는, 복수의 사전 결정된 분류들 중에서, 통계적 분포의 특성들에 적응되어 있는 복수의 클래스들을 정의하는 분류를 선택하는 단계를 포함한다.
일 실시예에서, 각각의 클래스에 대한 샘플 값의 범위, 통계적 분포의 중앙 및/또는 유효 샘플 값의 범위가 레이트 왜곡 기준에 기초하여 결정된다.
일 실시예에서, 각각의 클래스에 대한 샘플 값의 범위, 통계적 분포의 중앙 및/또는 유효 샘플 값의 범위가 사전 결정되어 있다. 일 실시예에서, 유효 샘플 값의 범위가 임계값에 대한 샘플 값들의 비교에 기초하여 결정되고, 임계값이 샘플들의 총수에 의존하거나, 임계값이 샘플들의 성분 유형에 의존하거나, 임계값이 사전 결정된 값이다.
일 실시예에서, 각각의 클래스에 대한 보상 오프셋이 클래스의 각각의 재구성된 샘플의 샘플 값과 대응하는 원래의 영상의 각자의 샘플 값 사이의 차의 평균으로부터 결정된다.
일 실시예에서, 샘플 세트는 영상의 복수의 샘플 세트들 중 하나이고, 각각의 세트에 대해 동일한 클래스 수가 결정된다.
일 실시예에서, 샘플 값은 비트 심도를 나타내고, 유효 범위, 각각의 클래스의 범위 및/또는 통계적 분포의 중앙은 비트 심도에 의존한다.
일 실시예에서, 주어진 클래스에 대한 샘플 값의 범위가 유효 범위 내에서의 클래스의 위치에 의존한다.
일 실시예에서, 통계적 분포의 가장자리에 위치한 주어진 클래스에 대한 샘플 값의 범위는 분포의 중앙 영역에 있는 주어진 클래스에 대한 샘플 값의 범위보다 크다.
일 실시예에서, 통계적 분포의 중앙은 유효 범위에 기초하여 결정된다.
일 실시예에서, 복수의 클래스들은 통계적 분포의 중앙 부분에 위치한 제1 클래스 그룹 및 통계적 분포의 각자의 가장자리 부분들에 위치한 제1 및 제2 하위 클래스 그룹들을 포함하는 제2 클래스 그룹을 포함한다.
일 실시예에서, 통계적 분포에서의 제2 하위 클래스 그룹들의 위치들이 코딩을 위한 데이터로서 제공된다.
일 실시예에서, 제2 그룹의 하위 그룹들의 위치들이 통계적 분포의 전체 범위와 무관하다.
일 실시예에서, 통계적 분포의 중앙은 코딩을 위해 제공되지 않는다.
일 실시예에서, 전체 범위 내에서의 유효 범위(분류)의 위치가 전체 범위에 걸쳐 분포되어 있는 복수의 가능한 위치들 중에서 선택되고, 2개의 연속적인 위치들 사이의 간격은 전체 범위의 적어도 하나의 부분에서 전체 범위의 다른 부분에서보다 더 작다.
예를 들어, 보다 작은 간격을 가지는 부분은 전체 범위의 가운데에 있을 수 있다.
다른 예에 따르면, 보다 작은 간격을 가지는 부분은 전체 범위의 한쪽 끝 또는 양쪽 끝에 있을 수 있다.
위치들이 중앙 위치일 수 있다. 다른 대안으로서, 위치들이 끝 위치일 수 있다.
가능한 위치들이 인덱스들을 할당받을 수 있다.
일 실시예에서, 각각의 클래스에 대한 샘플 값의 범위, 통계적 분포의 중앙 및/또는 유효 샘플 값의 범위가 사전 결정되어 있다.
일 실시예에서, 적어도 2개의 상이한 유형의 오프셋 값들이 발생될 수 있고, 유형들 중 하나는, 앞서 기술한 바와 같이, 클래스들(샘플 값의 범위들)과 각각 연관되어 있는 소위 대역 오프셋 값들이다. 하나 이상의 다른 유형의 오프셋 값들은 소위 에지 오프셋 값들일 수 있다. 방향마다 상이한 유형의 에지 오프셋 값들이 있을 수 있다 - 예를 들어, 4개의 상이한 유형들은 4개의 상이한 방향들에 각각 대응함 -. 이와 같이, 방향마다 에지 오프셋 값 세트가 있을 수 있다. 한 유형의 오프셋 값(대역 또는 에지)이 이어서 선택될 수 있다. 선택 기준이 제한되지 않으며, 하나의 적당한 기준은 레이트 왜곡 기준이다. 선택된 유형의 SAO 필터링(대역 또는 에지 오프셋)만이 인코더 및 디코더에 의해 적용된다. 각각의 프레임 영역에 대해 선택이 수행될 수 있다. 그에 부가하여, 예를 들어, 어느 유형에 의해서도 그다지 향상이 달성되지 않는 경우, "SAO 없음"을 선택하는 것, 즉 대역 오프셋 및 에지 오프셋 중 어느 것도 적용하지 않는 것이 가능할 수 있다. 일 실시예에서, 선택된 유형의 SAO 필터링이 인코더에 의해 인코딩되고 디코더로 전송된다.
일 실시예에서, 선택된 유형을 인코딩하기 위해 고정 길이 코드가 사용된다.
일 실시예에서, 선택된 유형이 대역 오프셋일 때, 유효 범위의 위치를 나타내는 값이 인코딩된다. 위치는 유효 범위의 중앙 위치 또는 끝 위치일 수 있다.
일 실시예에서, 유효 범위의 위치를 인코딩하기 위해 고정 길이 코드가 사용된다.
일 실시예에서, 유효 범위의 위치를 나타내는 값들에 대응하는 코드워드들을 인코딩하는 데 사용되는 고정 길이 코드의 길이에 의해 허용되는 상이한 코드워드들의 수가 상이한 가능한 위치들의 실제 수보다 많을 때, 기타 정보를 인코딩하기 위해 여분의 코드워드들이 사용된다. 예를 들어, 일 실시예에서, 에지 오프셋의 유형(방향)을 인코딩하기 위해 여분의 코드워드들이 사용된다.
일 실시예에서, 보상 오프셋들이 고정 길이 코드들로 인코딩된다. 이것은 대역 오프셋 또는 에지 오프셋 또는 이들 유형의 오프셋 둘 다에 적용될 수 있다.
일 실시예에서, 고정 길이 코드의 길이에 의해 허용되는 상이한 보상 오프셋들의 수가 가능한 보상 오프셋들의 수보다 적다.
일 실시예에서, 보상 오프셋 값들에 증배 인자(multiplication factor)가 적용되고, 필터링을 위해 증배된 보상 오프셋 값들이 사용된다.
일 실시예에서, 증배 인자가 인코더로부터 디코더로 전송된다.
일 실시예에서, 보상 오프셋 값들에 천이 값(shifting value)이 적용되고, 필터링을 위해 천이된 보상 오프셋 값들이 사용된다.
일 실시예에서, 천이 값이 인코더로부터 디코더로 전송된다.
일 실시예에서, 적어도 하나의 유형(방향)에 대한 에지 오프셋 값들이 사전 결정된다.
일 실시예에서, 영상의 재구성된 샘플 세트에 대해 보상 오프셋들이 적용될 필요가 있는지 여부를 나타내는 플래그가 인코딩된다.
일 실시예에서, 대역 오프셋 값 그룹들이 사전 정의되고, 그룹의 각각의 오프셋은 유효 범위의 하나의 클래스와 연관되어 있다.
일 실시예에서, 각각의 그룹은 인덱스를 할당받는다.
일 실시예에서, 사전 정의된 그룹들이 테이블에 수집되고, 테이블 정렬(table order)은 각각의 그룹의 선택 확률에 의존한다.
일 실시예에서, 각각의 그룹의 선택 확률은 본 발명을 구현하는 보상 오프셋들을 제공하는 방법들을 훈련 시퀀스 세트에 적용함으로써 계산된다.
일 실시예에서, 원래의 샘플들과 필터링된 샘플들 간에 최소 차를 가지는 사전 정의된 대역 오프셋 값 그룹들 중의 대역 오프셋 값 그룹이 선택된다.
일 실시예에서, 그룹들의 인덱스들이 고정 길이 코드를 사용하여 인코딩된다.
일 실시예에서, 고정 길이 코드의 길이에 의해 허용되는 상이한 인코딩된 그룹 인덱스들의 수가 가능한 상이한 그룹들의 수보다 적다.
일 실시예에서, 가능한 상이한 그룹들 내의 대역 오프셋 그룹들의 서브셋이 각각의 그룹의 선택 확률 및 고정 길이 코드의 길이에 의존하여 결정된다.
일 실시예에서, 대역 오프셋 그룹들의 인덱스들을 인코딩하는 데 사용되는 고정 길이 코드의 길이가 사전 결정되어 있다.
일 실시예에서, 보상 오프셋 그룹들의 인덱스들을 인코딩하는 데 사용되는 고정 길이 코드의 길이가 시퀀스 헤더, 픽처 그룹 헤더, 픽처 헤더(picture header), 슬라이스 헤더(slice header) 또는 LCU 헤더에 인코딩된다.
본 발명의 제2 추가의 측면에 따르면, 복수의 샘플들로 이루어져 있는 영상을 인코딩하는 방법이 제공되고, 이 방법은 샘플들을 인코딩하는 단계; 재구성된 샘플들을 제공하기 위해 인코딩된 샘플들을 디코딩하는 단계; 재구성된 샘플들에 대해 루프 필터링을 수행하는 단계 - 루프 필터링은 각자의 재구성된 샘플들의 샘플 값들에 보상 오프셋들을 적용하는 것을 포함하고, 각각의 보상 오프셋은 샘플 값의 범위와 연관되어 있으며, 보상 오프셋들은 제1 추가의 측면의 방법에 따라 제공됨 -; 및 인코딩된 샘플들의 비트스트림을 발생시키는 단계를 포함한다.
일 실시예에서, 이 방법은, 비트스트림에서, 각각의 클래스에 대한 각자의 보상 오프셋들을 나타내는 인코딩된 데이터를 전송하는 단계를 포함한다.
일 실시예에서, 이 방법은, 비트스트림에서, 복수의 결정된 클래스들을 정의하는 인코딩 분류 데이터를 전송하는 단계를 포함한다.
일 실시예에서, 분류 데이터는 통계적 분포의 중앙을 나타내는 데이터를 포함한다.
일 실시예에서, 분류 데이터는 복수의 클래스들 각각에 대해 정의된 샘플 값의 범위를 나타내는 데이터를 포함한다.
일 실시예에서, 분류 데이터는 통계적 분포의 유효 범위를 나타내는 데이터를 포함한다.
본 발명의 제3 추가의 측면에 따르면, 복수의 샘플들로 이루어져 있는 영상을 디코딩하는 방법이 제공되고, 이 방법은,
인코딩된 샘플들을 수신하는 단계;
재구성된 샘플들을 제공하기 위해 인코딩된 샘플들을 디코딩하는 단계; 및
재구성된 샘플들에 대해 루프 필터링을 수행하는 단계 - 루프 필터링은 각자의 재구성된 샘플들의 샘플 값들에 보상 오프셋들을 적용하는 것을 포함하고, 각각의 보상 오프셋은 샘플 값의 범위와 연관되어 있으며, 보상 오프셋들은 이전의 실시예들 중 임의의 실시예에 따라 제공됨 - 를 포함한다.
본 발명의 추가의 측면들 중 다른 측면은 복수의 샘플 값들로 이루어져 있는 영상을 디코딩하는 방법을 제공하고, 이 방법은
인코딩된 샘플 값들을 수신하는 단계;
이전의 실시예들 중 임의의 실시예의 방법에 따라 제공되는 각자의 보상 오프셋들과 연관되어 있는 복수의 클래스들을 정의하는 인코딩된 분류 데이터를 수신하는 단계 - 각각의 보상 오프셋은 샘플 값의 범위에 대응함 -;
재구성된 샘플들을 제공하기 위해 인코딩된 샘플들을 디코딩하고 인코딩된 보상 오프셋들을 디코딩하는 단계; 및
샘플의 샘플 값에 따라, 재구성된 샘플들에 대해 루프 필터링을 수행하는 단계 - 루프 필터링은 각자의 샘플들의 영상 샘플들에 수신된 보상 오프셋들을 적용하는 것을 포함함 - 를 포함한다.
일 실시예에서, 분류 데이터는 통계적 분포의 중앙을 나타내는 데이터, 복수의 클래스들 각각에 대해 정의된 샘플 값의 범위를 나타내는 데이터, 및/또는 통계적 분포의 유효 범위를 나타내는 데이터를 포함한다.
본 발명의 추가의 측면들 중 다른 측면에 따르면, 비디오 비트스트림에 의해 표현되는 영상에 대한 정보 데이터 세트를 전달하는 신호가 제공되고, 영상은 재구성가능 샘플 세트를 포함하며, 각각의 재구성가능 샘플은, 재구성 후에, 각자의 샘플 값을 가지며, 세트의 복수의 재구성된 샘플들의 샘플 값들은 샘플 값들의 통계적 분포로 표현가능하고; 정보 데이터 세트는 각자의 재구성된 샘플들의 샘플 값들에 적용하기 위한 각자의 보상 오프셋들과 연관되어 있는 복수의 클래스들을 나타내는 분류 데이터를 포함하며, 분류 데이터는 통계적 분포에 따라 결정된다.
일 실시예에서, 분류 데이터는 통계적 분포의 중앙을 나타내는 데이터, 복수의 클래스들 각각에 대해 정의된 샘플 값의 범위를 나타내는 데이터, 및/또는 통계적 분포의 유효 범위를 나타내는 데이터를 포함한다.
본 발명의 추가의 측면들 중 다른 측면에 따르면, 영상의 재구성된 샘플 세트에 대한 보상 오프셋들을 제공하는 장치가 제공되고, 각각의 샘플은 각자의 샘플 값을 가지며, 세트의 복수의 샘플들의 샘플 값들은 샘플 값들의 통계적 분포로 표현가능하며, 이 장치는
샘플 값들의 통계적 분포의 특성들에 의존하여, 샘플들의 대응하는 샘플 값에 따라 샘플들을 재분할하기 위한 복수의 클래스들을 결정하는 수단 - 각각의 클래스는 각자의 샘플 값의 범위를 정의함 -; 및
상기 클래스의 각각의 샘플의 각자의 샘플 값에 적용하기 위한 각자의 보상 오프셋을 각각의 결정된 클래스와 연관시키는 수단을 포함한다.
본 발명의 추가의 측면들 중 다른 측면은 복수의 샘플들로 이루어져 있는 영상을 인코딩하는 인코딩 장치를 제공하고, 이 장치는,
샘플들을 인코딩하는 인코더; 재구성된 샘플들을 제공하기 위해 인코딩된 샘플들을 디코딩하는 디코더; 재구성된 샘플들을 필터링하는 루프 필터 - 루프 필터링 수단은 각자의 재구성된 샘플들의 샘플 값들에 보상 오프셋들을 적용하는 오프셋 적용 수단을 포함하고, 각각의 보상 오프셋은 샘플 값의 범위와 연관되어 있으며, 보상 오프셋들은 이전의 실시예의 장치에 의해 제공됨 -; 및 인코딩된 샘플들의 비트스트림을 발생시키는 비트스트림 발생기를 포함한다.
본 발명의 추가의 측면들 중 또 다른 측면은 복수의 샘플들로 이루어져 있는 영상을 디코딩하는 디코딩 장치를 제공하고, 이 장치는, 인코딩된 샘플들을 수신하는 수신기; 재구성된 샘플들을 제공하기 위해 인코딩된 샘플들을 디코딩하는 디코더; 및 재구성된 샘플들을 루프 필터링하는 루프 필터 - 루프 필터는 각자의 재구성된 샘플들의 샘플 값들에 보상 오프셋들을 적용하는 수단을 포함하고, 각각의 보상 오프셋은 샘플 값의 범위와 연관되어 있으며, 보상 오프셋들은 이전의 실시예에 따른 장치에 의해 제공됨 - 를 포함한다.
본 발명의 추가의 측면들 중 다른 측면은 복수의 샘플 값들로 이루어져 있는 영상을 디코딩하는 디코딩 장치를 제공하고, 이 장치는, 인코딩된 샘플 값들을 수신하고 이전의 실시예에 따른 장치에 의해 제공되는 각자의 보상 오프셋들과 연관되어 있는 복수의 클래스들을 정의하는 인코딩된 분류 데이터를 수신하는 수신기 - 각각의 보상 오프셋은 샘플 값의 범위에 대응함 -; 재구성된 샘플들을 제공하기 위해 인코딩된 샘플들을 디코딩하고 인코딩된 보상 오프셋들을 디코딩하는 디코더; 및 샘플의 샘플 값에 따라, 재구성된 샘플들을 루프 필터링하는 루프 필터 - 루프 필터는 각자의 샘플들의 영상 샘플들에 수신된 보상 오프셋들을 적용하는 수단을 포함함 - 를 포함한다.
단지 예로서 제공되어 있고 첨부된 특허청구범위에 의해서만 결정되는 본 발명의 범위를 제한하기 위한 것이 아닌 이상의 예시적인 실시예들을 참조하면 많은 추가의 수정들 및 변형들이 기술 분야의 당업자에게 안출될 것이다. 상세하게는, 상이한 실시예들로부터의 상이한 특징들이, 적절한 경우, 상호 교환될 수 있다.
특허청구범위에서, 용어 "포함하는"은 다른 구성요소들 또는 단계들을 배제하지 않으며, 단수 표현 "한" 또는 "어떤"은 복수를 배제하지 않는다. 상이한 특징들이 서로 다른 종속 청구항에 언급되어 있다는 단순한 사실이 이들 특징의 조합이 유리하게 사용될 수 없다는 것을 말하는 것은 아니다.

Claims (47)

  1. 영상의 재구성된 샘플들의 세트에 대한 보상 오프셋들을 제공하는 방법으로서,
    각각의 샘플은 샘플 값을 가지며, 이 방법은,
    레이트 왜곡 기준(rate distortion criterion)에 기초하여, 복수의 사전 결정된 분류들 중에서 분류를 선택하는 단계 - 각각의 상기 사전 결정된 분류는 샘플 값의 전체 범위보다 작은 분류 범위(classification range)를 가지며 복수의 클래스들로 이루어져 있고, 각각의 클래스는 상기 분류 범위 내에서의 샘플 값의 범위를 정의하고, 샘플의 샘플 값이 관련 클래스의 범위 내에 있는 경우 상기 샘플이 그 클래스 내에 배치됨 -; 및
    상기 관련 클래스의 각각의 샘플의 샘플 값에 적용하기 위한 보상 오프셋을 선택된 상기 분류의 각각의 클래스와 연관시키는 단계를 포함하는, 영상의 재구성된 샘플들의 세트에 대한 보상 오프셋들을 제공하는 방법.
  2. 제1항에 있어서, 하나 이상의 상기 사전 결정된 분류의 상기 분류 범위가 상기 전체 범위의 1/2보다 작은 것인, 영상의 재구성된 샘플들의 세트에 대한 보상 오프셋들을 제공하는 방법.
  3. 제1항에 있어서, 하나 이상의 상기 사전 결정된 분류의 상기 분류 범위가 상기 전체 범위의 1/8인, 영상의 재구성된 샘플들의 세트에 대한 보상 오프셋들을 제공하는 방법.
  4. 제1항에 있어서, 하나 이상의 상기 사전 결정된 분류가 4개의 클래스로 이루어져 있는 것인, 영상의 재구성된 샘플들의 세트에 대한 보상 오프셋들을 제공하는 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 세트의 샘플들이 적어도 제1 성분 유형 또는 제2 성분 유형일 수 있고, 상기 복수의 클래스들이 상기 샘플 세트의 성분 유형에 의존하여 결정되는 것인, 영상의 재구성된 샘플들의 세트에 대한 보상 오프셋들을 제공하는 방법.
  6. 제5항에 있어서, 클래스 수가 상기 성분 유형에 따라 결정되는 것인, 영상의 재구성된 샘플들의 세트에 대한 보상 오프셋들을 제공하는 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 각각의 클래스에 대한 보상 오프셋이, 클래스의 각각의 재구성된 샘플의 샘플 값과, 대응하는 원래의 영상의 각자의 샘플 값 사이의 차의 평균으로부터 결정되는 것인, 영상의 재구성된 샘플들의 세트에 대한 보상 오프셋들을 제공하는 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 샘플 값은 비트 심도를 나타내고, 상기 분류 범위, 각각의 클래스의 범위 및 상기 선택된 분류의 중앙 중 하나 이상이 상기 비트 심도에 의존하는 것인, 영상의 재구성된 샘플들의 세트에 대한 보상 오프셋들을 제공하는 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서, 주어진 클래스에 대한 샘플 값의 범위가 상기 선택된 분류 내에서의 클래스의 위치에 의존하는 것인, 영상의 재구성된 샘플들의 세트에 대한 보상 오프셋들을 제공하는 방법.
  10. 제9항에 있어서, 상기 선택된 분류의 가장자리에 위치한 주어진 클래스에 대한 샘플 값의 범위는 상기 선택된 분류의 중앙 영역에 있는 주어진 클래스에 대한 샘플 값의 범위보다 큰 것인, 영상의 재구성된 샘플들의 세트에 대한 보상 오프셋들을 제공하는 방법.
  11. 복수의 샘플들로 이루어져 있는 영상을 인코딩하는 방법으로서,
    샘플들을 인코딩하는 단계;
    상기 인코딩된 샘플들을 디코딩하여 재구성된 샘플들을 제공하는 단계;
    상기 재구성된 샘플들에 대해 루프 필터링을 수행하는 단계 - 상기 루프 필터링은 각자의 재구성된 샘플들의 샘플 값들에 보상 오프셋들을 적용하는 것을 포함하고, 각각의 보상 오프셋은 샘플 값의 범위와 연관되어 있으며, 상기 보상 오프셋들은 제1항 내지 제10항 중 어느 한 항의 방법에 따라 제공됨 -; 및
    인코딩된 샘플들의 비트스트림을 발생시키는 단계를 포함하는 방법.
  12. 제11항에 있어서, 상기 비트스트림에서, 선택된 분류의 복수의 클래스들과 각각 연관되어 있는 상기 보상 오프셋들을 나타내는 인코딩된 데이터를 전송하는 단계를 추가로 포함하는 방법.
  13. 제11항 또는 제12항에 있어서, 상기 비트스트림에서, 선택된 분류에 관한 인코딩된 분류 데이터를 전송하는 단계를 추가로 포함하는 방법.
  14. 제13항에 있어서, 상기 분류 데이터가 상기 선택된 분류의 중앙을 나타내는 데이터를 포함하는 것인 방법.
  15. 제13항에 있어서, 상기 분류 데이터가 상기 선택된 분류에 관련된 인덱스를 나타내는 데이터를 포함하는 것인 방법.
  16. 제13항에 있어서, 상기 분류 데이터가 샘플 값의 전체 범위 내에서의 상기 선택된 분류의 위치를 나타내는 데이터를 포함하는 것인 방법.
  17. 제16항에 있어서, 상기 위치가 상기 선택된 분류의 끝 위치인 방법.
  18. 제17항에 있어서, 상기 끝 위치가 상기 전체 범위의 한쪽 끝으로부터의 변위로서 표현되는 것인 방법.
  19. 제13항 내지 제18항 중 어느 한 항에 있어서, 상기 분류 데이터가 상기 복수의 클래스들 각각에 대해 정의된 샘플 값의 범위를 나타내는 데이터를 포함하는 것인 방법.
  20. 제13항 내지 제19항 중 어느 한 항에 있어서, 상기 분류 데이터가 상기 선택된 분류의 분류 범위를 나타내는 데이터를 포함하는 것인 방법.
  21. 복수의 샘플들로 이루어져 있는 영상을 디코딩하는 방법으로서,
    각각의 샘플은 샘플 값을 가지며, 상기 방법은,
    인코딩된 샘플 값들을 수신하는 단계;
    인코딩된 분류 데이터를 수신하는 단계;
    인코딩된 보상 오프셋들을 수신하는 단계;
    상기 분류 데이터를 디코딩하고, 디코딩된 분류 데이터에 기초하여, 복수의 사전 결정된 분류들 중에서 분류를 선택하는 단계 - 각각의 상기 사전 결정된 분류는 샘플 값의 전체 범위보다 작은 분류 범위를 가지며 복수의 클래스들로 이루어져 있고, 각각의 클래스는 상기 분류 범위 내에서의 샘플 값의 범위를 정의하고, 샘플의 샘플 값이 관련 클래스의 범위 내에 있는 경우 상기 샘플이 그 클래스 내에 배치됨 -;
    재구성된 샘플 값들을 제공하기 위해 인코딩된 샘플들을 디코딩하고, 상기 인코딩된 보상 오프셋들을 디코딩하는 단계;
    디코딩된 상기 보상 오프셋들을 선택된 상기 분류의 클래스들과 각각 연관시키는 단계; 및
    상기 재구성된 샘플 값들에 대해 루프 필터링을 수행하는 단계 - 상기 루프 필터링은 상기 선택된 분류의 각각의 클래스와 연관되어 있는 상기 디코딩된 보상 오프셋을 관련 클래스의 범위 내의 재구성된 샘플 값들에 적용하는 것을 포함함 - 를 포함하는, 영상 디코딩 방법.
  22. 제21항에 있어서, 하나 이상의 상기 사전 결정된 분류의 상기 분류 범위가 상기 전체 범위의 1/2보다 작은 것인, 영상 디코딩 방법.
  23. 제21항에 있어서, 하나 이상의 상기 사전 결정된 분류의 상기 분류 범위가 상기 전체 범위의 1/8인, 영상 디코딩 방법.
  24. 제21항에 있어서, 하나 이상의 상기 사전 결정된 분류가 4개의 클래스로 이루어져 있는 것인, 영상 디코딩 방법.
  25. 제21항 내지 제24항 중 어느 한 항에 있어서, 상기 분류 데이터가 상기 선택된 분류의 중앙을 나타내는 데이터를 포함하는 것인, 영상 디코딩 방법.
  26. 제21항 내지 제24항 중 어느 한 항에 있어서, 상기 분류 데이터가 상기 선택된 분류에 관련된 인덱스를 나타내는 데이터를 포함하는 것인, 영상 디코딩 방법.
  27. 제21항 내지 제24항 중 어느 한 항에 있어서, 상기 분류 데이터가 샘플 값의 전체 범위 내에서의 상기 선택된 분류의 위치를 나타내는 데이터를 포함하는 것인, 영상 디코딩 방법.
  28. 제27항에 있어서, 상기 위치가 상기 선택된 분류의 끝 위치인, 영상 디코딩 방법.
  29. 제28항에 있어서, 상기 끝 위치가 상기 전체 범위의 한쪽 끝으로부터의 변위로서 표현되는 것인, 영상 디코딩 방법.
  30. 제21항 내지 제29항 중 어느 한 항에 있어서, 상기 분류 데이터가 상기 복수의 클래스들 각각에 대해 정의된 샘플 값의 범위를 나타내는 데이터를 포함하는 것인, 영상 디코딩 방법.
  31. 제21항 내지 제30항 중 어느 한 항에 있어서, 상기 분류 데이터가 상기 선택된 분류의 분류 범위를 나타내는 데이터를 포함하는 것인, 영상 디코딩 방법.
  32. 프로그램가능 장치에 대한 컴퓨터 프로그램 제품으로서, 상기 프로그램가능 장치에 로드되어 상기 프로그램가능 장치에 의해 실행될 때, 제1항 내지 제31항 중 어느 한 항에 따른 방법을 구현하는 명령어 시퀀스를 포함하는 컴퓨터 프로그램 제품.
  33. 제1항 내지 제32항 중 어느 한 항에 따른 방법을 구현하는 컴퓨터 프로그램의 명령어들을 저장하는 컴퓨터 판독가능 저장 매체.
  34. 비디오 비트스트림에 의해 표현되는 영상에 대한 정보 데이터 세트(information dataset)를 전달하는 신호로서,
    상기 영상은 재구성가능 샘플 세트를 포함하며, 각각의 재구성가능 샘플은 샘플 값을 갖고, 상기 정보 데이터 세트는 복수의 사전 결정된 분류들 중에서 인코더에 의해 선택된 분류에 관한 분류 데이터를 포함하며, 각각의 상기 사전 결정된 분류는 샘플 값의 전체 범위보다 작은 분류 범위를 갖고 복수의 클래스들로 이루어져 있으며, 각각의 클래스는 상기 분류 범위 내의 샘플 값의 범위를 정의하고, 샘플의 샘플 값이 관련 클래스의 범위 내에 있는 경우 상기 샘플이 그 클래스 내에 배치되며, 상기 선택된 분류의 복수의 클래스들의 각각의 클래스는 관련 클래스의 범위 내의 상기 재구성가능 샘플들의 샘플 값들에 적용하기 위한 보상 오프셋과 연관되어 있는 것인 신호.
  35. 제34항에 있어서, 하나 이상의 상기 사전 결정된 분류의 상기 분류 범위가 상기 전체 범위의 1/2보다 작은 것인 신호.
  36. 제34항에 있어서, 하나 이상의 상기 사전 결정된 분류의 상기 분류 범위가 상기 전체 범위의 1/8인 신호.
  37. 제34항에 있어서, 하나 이상의 상기 사전 결정된 분류가 4개의 클래스로 이루어져 있는 것인 신호.
  38. 제34항 내지 제37항 중 어느 한 항에 있어서, 상기 분류 데이터가 상기 선택된 분류의 중앙을 나타내는 데이터를 포함하는 것인 신호.
  39. 제34항 내지 제37항 중 어느 한 항에 있어서, 상기 분류 데이터가 상기 선택된 분류에 관련된 인덱스를 나타내는 데이터를 포함하는 것인 신호.
  40. 제34항 내지 제37항 중 어느 한 항에 있어서, 상기 분류 데이터가 상기 샘플 값의 전체 범위 내에서의 상기 선택된 분류의 위치를 나타내는 데이터를 포함하는 것인 신호.
  41. 제40항에 있어서, 상기 위치가 상기 선택된 분류의 끝 위치인 신호.
  42. 제41항에 있어서, 상기 끝 위치가 상기 전체 범위의 한쪽 끝으로부터의 변위로서 표현되는 것인 신호.
  43. 제34항 내지 제42항 중 어느 한 항에 있어서, 상기 분류 데이터가 상기 복수의 클래스들 각각에 대해 정의된 샘플 값의 범위를 나타내는 데이터를 포함하는 것인 신호.
  44. 제34항 내지 제43항 중 어느 한 항에 있어서, 상기 분류 데이터가 상기 선택된 분류의 유효 범위를 나타내는 데이터를 포함하는 것인 신호.
  45. 영상의 재구성된 샘플들의 세트에 대한 보상 오프셋들을 제공하는 장치로서,
    각각의 샘플은 샘플 값을 가지며, 상기 장치는,
    레이트 왜곡 기준에 기초하여, 복수의 사전 결정된 분류들 중에서 분류를 선택하는 수단 - 각각의 상기 사전 결정된 분류는 샘플 값의 전체 범위보다 작은 분류 범위를 가지며 복수의 클래스들로 이루어져 있고, 각각의 클래스는 상기 분류 범위 내에서의 샘플 값의 범위를 정의하고, 샘플의 샘플 값이 관련 클래스의 범위 내에 있는 경우 상기 샘플이 그 클래스 내에 배치됨 -; 및
    관련 클래스의 각각의 샘플의 샘플 값에 적용하기 위한 보상 오프셋을 선택된 상기 분류의 각각의 클래스와 연관시키는 수단을 포함하는, 영상의 재구성된 샘플들의 세트에 대한 보상 오프셋들을 제공하는 장치.
  46. 복수의 샘플들로 이루어져 있는 영상을 인코딩하는 인코딩 장치로서,
    상기 샘플들을 인코딩하는 인코더;
    재구성된 샘플들을 제공하기 위해, 인코딩된 상기 샘플들을 디코딩하는 디코더; 및
    상기 재구성된 샘플들을 필터링하는 루프 필터 - 상기 루프 필터링 수단은 상기 각자의 재구성된 샘플들의 샘플 값들에 보상 오프셋들을 적용하는 오프셋 적용 수단을 포함하고, 각각의 보상 오프셋은 샘플 값의 범위와 연관되어 있으며, 상기 보상 오프셋들은 제45항의 장치에 의해 제공됨 -; 및
    인코딩된 샘플들의 비트스트림을 발생시키는 비트스트림 발생기를 포함하는, 인코딩 장치.
  47. 복수의 샘플들로 이루어져 있는 영상을 디코딩하는 장치로서,
    각각의 샘플은 샘플 값을 가지며, 상기 장치는,
    인코딩된 샘플 값들을 수신하는 수단;
    인코딩된 분류 데이터를 수신하는 수단;
    인코딩된 보상 오프셋들을 수신하는 수단;
    상기 분류 데이터를 디코딩하고, 상기 디코딩된 분류 데이터에 기초하여, 복수의 사전 결정된 분류들 중에서 분류를 선택하는 수단 - 각각의 상기 사전 결정된 분류는 샘플 값의 전체 범위보다 작은 분류 범위를 가지며 복수의 클래스들로 이루어져 있고, 각각의 클래스는 상기 분류 범위 내에서의 샘플 값의 범위를 정의하고, 샘플의 샘플 값이 관련 클래스의 범위 내에 있는 경우 상기 샘플이 그 클래스 내에 배치됨 -;
    재구성된 샘플 값들을 제공하기 위해 상기 인코딩된 샘플들을 디코딩하고, 상기 인코딩된 보상 오프셋들을 디코딩하는 수단;
    상기 디코딩된 보상 오프셋들을 상기 선택된 분류의 클래스들과 각각 연관시키는 수단; 및
    상기 재구성된 샘플 값들에 대해 루프 필터링을 수행하는 수단 - 상기 루프 필터링은 상기 선택된 분류의 각각의 클래스와 연관되어 있는 상기 디코딩된 보상 오프셋을 관련 클래스의 범위 내의 재구성된 샘플 값들에 적용하는 것을 포함함 - 을 포함하는, 장치.
KR1020147014408A 2011-11-07 2012-11-07 영상의 재구성된 샘플 세트에 대한 보상 오프셋들을 제공하는 방법 및 장치 KR101530244B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
GBGB1119206.9A GB201119206D0 (en) 2011-11-07 2011-11-07 Method and device for providing compensation offsets for a set of reconstructed samples of an image
GB1119206.9 2011-11-07
GB1203285.0 2012-02-24
GB1203285.0A GB2499983A (en) 2011-11-07 2012-02-24 Providing compensation offsets for a set of reconstructed samples of an image
PCT/EP2012/072069 WO2013068427A2 (en) 2011-11-07 2012-11-07 Method and device for providing compensation offsets for a set of reconstructed samples of an image

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020147017658A Division KR101920105B1 (ko) 2011-11-07 2012-11-07 영상의 재구성된 샘플 세트에 대한 보상 오프셋들을 제공하는 방법

Publications (2)

Publication Number Publication Date
KR20140090648A true KR20140090648A (ko) 2014-07-17
KR101530244B1 KR101530244B1 (ko) 2015-06-22

Family

ID=45421397

Family Applications (12)

Application Number Title Priority Date Filing Date
KR1020187032809A KR102029614B1 (ko) 2011-11-07 2012-11-07 샘플 적응적 오프셋을 적용하는 장치
KR1020187032999A KR102083280B1 (ko) 2011-11-07 2012-11-07 영상의 재구성된 샘플 세트에 대한 보상 오프셋들의 인코딩/디코딩을 최적화하는 방법 및 장치
KR1020187032998A KR102068431B1 (ko) 2011-11-07 2012-11-07 영상의 재구성된 샘플 세트에 대한 보상 오프셋들의 인코딩/디코딩을 최적화하는 방법 및 장치
KR1020147017658A KR101920105B1 (ko) 2011-11-07 2012-11-07 영상의 재구성된 샘플 세트에 대한 보상 오프셋들을 제공하는 방법
KR1020187032810A KR101972366B1 (ko) 2011-11-07 2012-11-07 샘플 적응적 오프셋을 적용하는 장치
KR1020207005285A KR102130480B1 (ko) 2011-11-07 2012-11-07 영상의 재구성된 샘플 세트에 대한 보상 오프셋들의 인코딩/디코딩을 최적화하는 방법 및 장치
KR1020187032811A KR102030304B1 (ko) 2011-11-07 2012-11-07 샘플 적응적 오프셋을 적용하는 장치
KR1020147019037A KR101920529B1 (ko) 2011-11-07 2012-11-07 영상의 재구성된 샘플 세트에 대한 보상 오프셋들의 인코딩/디코딩을 최적화하는 방법 및 장치
KR1020147014410A KR101530832B1 (ko) 2011-11-07 2012-11-07 영상의 재구성된 샘플 세트에 대한 보상 오프셋들의 인코딩/디코딩을 최적화하는 방법 및 장치
KR1020147014408A KR101530244B1 (ko) 2011-11-07 2012-11-07 영상의 재구성된 샘플 세트에 대한 보상 오프셋들을 제공하는 방법 및 장치
KR1020187033000A KR102068432B1 (ko) 2011-11-07 2012-11-07 영상의 재구성된 샘플 세트에 대한 보상 오프셋들의 인코딩/디코딩을 최적화하는 방법 및 장치
KR1020197028861A KR20190114049A (ko) 2011-11-07 2012-11-07 샘플 적응적 오프셋을 영상에 적용하는 장치

Family Applications Before (9)

Application Number Title Priority Date Filing Date
KR1020187032809A KR102029614B1 (ko) 2011-11-07 2012-11-07 샘플 적응적 오프셋을 적용하는 장치
KR1020187032999A KR102083280B1 (ko) 2011-11-07 2012-11-07 영상의 재구성된 샘플 세트에 대한 보상 오프셋들의 인코딩/디코딩을 최적화하는 방법 및 장치
KR1020187032998A KR102068431B1 (ko) 2011-11-07 2012-11-07 영상의 재구성된 샘플 세트에 대한 보상 오프셋들의 인코딩/디코딩을 최적화하는 방법 및 장치
KR1020147017658A KR101920105B1 (ko) 2011-11-07 2012-11-07 영상의 재구성된 샘플 세트에 대한 보상 오프셋들을 제공하는 방법
KR1020187032810A KR101972366B1 (ko) 2011-11-07 2012-11-07 샘플 적응적 오프셋을 적용하는 장치
KR1020207005285A KR102130480B1 (ko) 2011-11-07 2012-11-07 영상의 재구성된 샘플 세트에 대한 보상 오프셋들의 인코딩/디코딩을 최적화하는 방법 및 장치
KR1020187032811A KR102030304B1 (ko) 2011-11-07 2012-11-07 샘플 적응적 오프셋을 적용하는 장치
KR1020147019037A KR101920529B1 (ko) 2011-11-07 2012-11-07 영상의 재구성된 샘플 세트에 대한 보상 오프셋들의 인코딩/디코딩을 최적화하는 방법 및 장치
KR1020147014410A KR101530832B1 (ko) 2011-11-07 2012-11-07 영상의 재구성된 샘플 세트에 대한 보상 오프셋들의 인코딩/디코딩을 최적화하는 방법 및 장치

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020187033000A KR102068432B1 (ko) 2011-11-07 2012-11-07 영상의 재구성된 샘플 세트에 대한 보상 오프셋들의 인코딩/디코딩을 최적화하는 방법 및 장치
KR1020197028861A KR20190114049A (ko) 2011-11-07 2012-11-07 샘플 적응적 오프셋을 영상에 적용하는 장치

Country Status (14)

Country Link
US (12) US9106931B2 (ko)
EP (11) EP3648461A1 (ko)
JP (10) JP6184416B2 (ko)
KR (12) KR102029614B1 (ko)
CN (15) CN107295337B (ko)
BR (10) BR112014010885B1 (ko)
DK (2) DK2777253T3 (ko)
ES (7) ES2905473T3 (ko)
GB (5) GB201119206D0 (ko)
HU (5) HUE057828T2 (ko)
IN (2) IN2014CN04154A (ko)
PL (5) PL3247117T3 (ko)
RU (13) RU2586862C2 (ko)
WO (3) WO2013068427A2 (ko)

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101529992B1 (ko) 2010-04-05 2015-06-18 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
GB201119206D0 (en) 2011-11-07 2011-12-21 Canon Kk Method and device for providing compensation offsets for a set of reconstructed samples of an image
US9253482B2 (en) 2011-11-08 2016-02-02 Texas Insturments Incorporated Method and apparatus for sample adaptive offset without sign coding
US9277194B2 (en) * 2011-11-08 2016-03-01 Texas Instruments Incorporated Method and apparatus for image and video coding using hierarchical sample adaptive band offset
BR112014015171B1 (pt) * 2011-12-22 2020-10-06 Samsung Electronics Co., Ltd Aparelho de decodificação de vídeo
US9161035B2 (en) * 2012-01-20 2015-10-13 Sony Corporation Flexible band offset mode in sample adaptive offset in HEVC
GB2509707B (en) 2013-01-04 2016-03-16 Canon Kk A method, device, computer program, and information storage means for encoding or decoding a video sequence
KR102166335B1 (ko) * 2013-04-19 2020-10-15 삼성전자주식회사 Sao 파라미터를 시그널링하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US9826240B2 (en) * 2013-07-05 2017-11-21 Texas Instruments Incorporated High throughput VLSI architecture for HEVC SAO encoding
JP6174966B2 (ja) * 2013-10-17 2017-08-02 キヤノン株式会社 画像符号化装置、画像符号化方法、及びプログラム
EP3061253A4 (en) 2013-10-25 2016-08-31 Microsoft Technology Licensing Llc PAIRING OF BLOCKS BY HASHING VIDEO AND IMAGE CODING
WO2015058397A1 (en) 2013-10-25 2015-04-30 Microsoft Technology Licensing, Llc Representing blocks with hash values in video and image coding and decoding
TWI496456B (zh) * 2013-11-19 2015-08-11 Ind Tech Res Inst 畫面間成本計算方法及畫面間成本計算裝置
CN103647975B (zh) * 2013-12-02 2017-01-11 国家广播电影电视总局广播科学研究院 基于直方图分析的改进样本自适应偏移滤波方法
CN104717506B (zh) * 2013-12-13 2019-07-05 北京三星通信技术研究有限公司 视频编解码中像素处理的方法和装置
US9628822B2 (en) 2014-01-30 2017-04-18 Qualcomm Incorporated Low complexity sample adaptive offset encoding
KR102185245B1 (ko) 2014-03-04 2020-12-01 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 해시 기반 블록 매칭을 위한 해시 테이블 구성 및 이용가능성 검사
US10368092B2 (en) 2014-03-04 2019-07-30 Microsoft Technology Licensing, Llc Encoder-side decisions for block flipping and skip mode in intra block copy prediction
JP6338408B2 (ja) * 2014-03-14 2018-06-06 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
WO2015165030A1 (en) 2014-04-29 2015-11-05 Microsoft Technology Licensing, Llc Encoder-side decisions for sample adaptive offset filtering
CN105323588B (zh) * 2014-06-16 2019-06-21 敦泰电子股份有限公司 一种动态适应压缩参数的影像压缩系统
US10681372B2 (en) 2014-06-23 2020-06-09 Microsoft Technology Licensing, Llc Encoder decisions based on results of hash-based block matching
KR102276854B1 (ko) * 2014-07-31 2021-07-13 삼성전자주식회사 인루프 필터 파라미터 예측을 사용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
JP6462119B2 (ja) 2014-09-30 2019-01-30 マイクロソフト テクノロジー ライセンシング，エルエルシー コンピューティングデバイス
GB2533905A (en) * 2014-10-06 2016-07-13 Canon Kk Method and apparatus for video coding and decoding
WO2016127271A1 (en) * 2015-02-13 2016-08-18 Xiaoou Tang An apparatus and a method for reducing compression artifacts of a lossy-compressed image
JP6454229B2 (ja) * 2015-06-10 2019-01-16 日本電信電話株式会社 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
US20170006283A1 (en) * 2015-06-30 2017-01-05 Microsoft Technology Licensing, Llc Computationally efficient sample adaptive offset filtering during video encoding
KR102423880B1 (ko) 2015-10-06 2022-07-21 삼성전자주식회사 인코더의 작동방법과 상기 인코더를 포함하는 시스템 온 칩의 작동 방법
KR20180064423A (ko) * 2015-11-04 2018-06-14 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
US10728546B2 (en) 2016-02-05 2020-07-28 Apple Inc. Sample adaptive offset systems and methods
EP3220643A1 (en) * 2016-03-14 2017-09-20 Thomson Licensing Method and device for encoding at least one image unit, and method and device for decoding a stream representative of at least one image unit
CN105959731B (zh) * 2016-04-28 2019-02-05 西安交通大学 一种数字电视的统计复用编码方法
US10390039B2 (en) 2016-08-31 2019-08-20 Microsoft Technology Licensing, Llc Motion estimation for screen remoting scenarios
EP3306922A1 (en) * 2016-10-05 2018-04-11 Thomson Licensing Method and apparatus for encoding a picture using rate-distortion based block splitting
US10432972B2 (en) * 2016-10-19 2019-10-01 Google Llc Guided offset correction for loop restoration in video coding
US11095877B2 (en) 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios
WO2018120230A1 (zh) * 2016-12-30 2018-07-05 华为技术有限公司 图像滤波方法、装置以及设备
JP7001346B2 (ja) 2017-01-30 2022-01-19 ダイキン工業株式会社 冷凍装置
EP3606077A4 (en) 2017-03-22 2021-01-06 Industry - University Cooperation Foundation Hanyang University LOOP FILTERING PROCESS ACCORDING TO AN ADAPTIVE PIXEL CLASSIFICATION STANDARD
CN107360431B (zh) * 2017-06-30 2019-08-02 武汉斗鱼网络科技有限公司 一种帧类型的判断方法及装置
CN107707915B (zh) * 2017-09-30 2019-11-12 上海兆芯集成电路有限公司 采样点自适应偏移滤波的控制方法及其影像处理系统
CN111264059B (zh) * 2017-10-25 2021-11-12 株式会社索思未来 编码方法、解码方法、编码装置、解码装置以及计算机可读取的记录介质
CN111587576B (zh) 2018-01-05 2023-03-31 株式会社索思未来 编码方法、解码方法、编码装置、解码装置以及记录介质
GB2574423A (en) * 2018-06-05 2019-12-11 Canon Kk Video coding and decoding
JP6990627B2 (ja) 2018-06-29 2022-01-12 ダイキン工業株式会社 屋外空気調和装置
KR102312337B1 (ko) * 2018-10-19 2021-10-14 삼성전자주식회사 Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
WO2020094154A1 (en) * 2018-11-09 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Improvements for region based adaptive loop filter
GB2580173B (en) 2018-12-21 2022-07-27 Canon Kk A filter
CN109862374A (zh) * 2019-01-07 2019-06-07 北京大学 一种自适应环路滤波方法及装置
CN109859126B (zh) * 2019-01-17 2021-02-02 浙江大华技术股份有限公司 一种视频降噪方法、装置、电子设备及存储介质
CN113574898B (zh) 2019-03-08 2024-01-23 佳能株式会社 自适应环路滤波器
CN110677649B (zh) * 2019-10-16 2021-09-28 腾讯科技（深圳）有限公司 基于机器学习的去伪影方法、去伪影模型训练方法及装置
WO2021093801A1 (en) * 2019-11-14 2021-05-20 Beijing Bytedance Network Technology Co., Ltd. Coding of low bit-depth visual media data
EP4074034A4 (en) * 2019-12-09 2023-05-10 Telefonaktiebolaget Lm Ericsson (Publ) ADAPTIVE LOOP FILTERING
EP4074042A4 (en) * 2019-12-17 2023-01-25 Alibaba Group Holding Limited METHODS OF ACHIEVING MOTION COMPENSATION WITH ENVELOPMENT
US11375221B2 (en) * 2020-02-12 2022-06-28 Tencent America LLC Method and apparatus for cross-component filtering
WO2021195546A1 (en) 2020-03-26 2021-09-30 Alibaba Group Holding Limited Methods for signaling video coding data
CN111698511B (zh) * 2020-06-07 2022-09-16 咪咕文化科技有限公司 图像滤波方法、装置、设备及可读存储介质
US11202085B1 (en) 2020-06-12 2021-12-14 Microsoft Technology Licensing, Llc Low-cost hash table construction and hash-based block matching for variable-size blocks
US11750816B2 (en) 2020-12-03 2023-09-05 Alibaba Group Holding Limited Methods and systems for cross-component sample adaptive offset
CN112862924B (zh) * 2020-12-31 2022-11-25 哈尔滨工业大学（威海） 多模态成像中图像重建方法、装置和多模态成像技术系统
TWI764492B (zh) * 2020-12-31 2022-05-11 鴻海精密工業股份有限公司 缺陷檢測分類方法、裝置、電子設備及存儲介質
CN114764768A (zh) 2020-12-31 2022-07-19 富泰华工业（深圳）有限公司 缺陷检测分类方法、装置、电子设备及存储介质
CN113099230B (zh) * 2021-02-22 2022-09-06 浙江大华技术股份有限公司 编码方法、装置、电子设备及计算机可读存储介质
CN112819017B (zh) * 2021-03-09 2022-08-16 遵义师范学院 基于直方图的高精度色偏图像识别方法
CN113068037B (zh) * 2021-03-17 2022-12-06 上海哔哩哔哩科技有限公司 用于样点自适应补偿的方法及装置、设备和介质
CN112752104B (zh) * 2021-04-06 2021-06-08 浙江华创视讯科技有限公司 图像补偿方法、装置、存储介质及电子设备
WO2023023174A1 (en) * 2021-08-19 2023-02-23 Beijing Dajia Internet Information Technology Co., Ltd. Coding enhancement in cross-component sample adaptive offset
EP4447438A1 (en) * 2023-04-14 2024-10-16 Beijing Xiaomi Mobile Software Co., Ltd. Encoding/decoding video picture data
EP4447439A1 (en) * 2023-04-14 2024-10-16 Beijing Xiaomi Mobile Software Co., Ltd. Encoding/decoding video picture data

Family Cites Families (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0223557A3 (en) 1985-11-15 1989-04-05 Data General Corporation Display control in a data processing system
KR0148130B1 (ko) 1992-05-18 1998-09-15 강진구 블럭킹아티팩트를 억제시키는 부호화/복호화 방법 및 그 장치
US5502489A (en) 1994-01-03 1996-03-26 Daewoo Electronics Co., Ltd. Method for the motion adaptive spatial filtering of video signals in an image coding apparatus
US6519369B1 (en) * 1999-02-12 2003-02-11 Sony Corporation Method and apparatus for filter tap expansion
FI117533B (fi) * 2000-01-20 2006-11-15 Nokia Corp Menetelmä digitaalisten videokuvien suodattamiseksi
JP4156188B2 (ja) * 2000-10-20 2008-09-24 パイオニア株式会社 情報出力装置及び情報出力方法、情報記録装置及び情報記録方法、情報出力記録システム及び情報出力記録方法並びに情報記録媒体
US7450641B2 (en) 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
CN100493205C (zh) * 2003-08-19 2009-05-27 松下电器产业株式会社 动态图像编码方法及动态图像解码方法
EP1510973A3 (en) 2003-08-29 2006-08-16 Samsung Electronics Co., Ltd. Method and apparatus for image-based photorealistic 3D face modeling
US7369709B2 (en) 2003-09-07 2008-05-06 Microsoft Corporation Conditional lapped transform
CN1285214C (zh) * 2004-01-14 2006-11-15 华中科技大学 一种环路滤波方法和环路滤波器
US7397854B2 (en) * 2004-04-29 2008-07-08 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7876833B2 (en) 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
WO2006112992A1 (en) * 2005-04-13 2006-10-26 Thomson Licensing Luma-chroma coding with one common or three distinct spatial predictors
US7511769B2 (en) 2005-04-19 2009-03-31 Texas Instruments Incorporated Interframe noise reduction for video
RU2419859C2 (ru) * 2005-06-01 2011-05-27 Конинклейке Филипс Электроникс Н.В. Способ и электронное устройство для определения характеристики элемента контента
ES2557476T3 (es) 2005-06-23 2016-01-26 Koninklijke Philips N.V. Intercambio combinado de datos de imágenes y de datos de profundidad asociados
KR100678958B1 (ko) 2005-07-29 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
CN100438629C (zh) * 2005-09-19 2008-11-26 华为技术有限公司 图像编码处理中的环路滤波方法
KR100647402B1 (ko) * 2005-11-01 2006-11-23 매그나칩 반도체 유한회사 이미지 센서의 화질개선장치 및 그 방법
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
RU2406259C2 (ru) 2006-03-27 2010-12-10 Квэлкомм Инкорпорейтед Способы и системы для кодирования уточняющих коэффициентов при сжатии видеоданных
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
US9001899B2 (en) 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
US20080080618A1 (en) 2006-09-28 2008-04-03 Kazuya Takagi Video decoding apparatus and method of the same
EP4224853A1 (en) 2006-11-08 2023-08-09 InterDigital VC Holdings, Inc. Methods and apparatus for in-loop de-artifact filtering
CN100578618C (zh) * 2006-12-04 2010-01-06 华为技术有限公司 一种解码方法及装置
US9445128B2 (en) * 2006-12-08 2016-09-13 Freescale Semiconductor, Inc. System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers
RU2461977C2 (ru) * 2006-12-18 2012-09-20 Конинклейке Филипс Электроникс Н.В. Сжатие и снятие сжатия изображения
US8363734B2 (en) * 2008-01-12 2013-01-29 Huaya Microelectronics Multi-directional comb filtering in a digital video decoder
US8234193B2 (en) * 2008-03-03 2012-07-31 Wildfire Interactive, Inc. Method and system for providing online promotions through a social network-based platform
US8831086B2 (en) * 2008-04-10 2014-09-09 Qualcomm Incorporated Prediction techniques for interpolation in video coding
JP2009290552A (ja) * 2008-05-29 2009-12-10 Fujifilm Corp 動画圧縮装置および動画圧縮プログラム
KR20090129926A (ko) * 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
US9571856B2 (en) * 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
JP5161702B2 (ja) * 2008-08-25 2013-03-13 キヤノン株式会社 撮像装置、撮像システム、及び焦点検出方法
CN101742290B (zh) * 2008-11-12 2013-03-27 北京中星微电子有限公司 视频编、解码降噪方法和视频编、解码降噪装置
WO2010092740A1 (ja) * 2009-02-10 2010-08-19 パナソニック株式会社 画像処理装置、画像処理方法、プログラムおよび集積回路
CN101511024A (zh) * 2009-04-01 2009-08-19 北京航空航天大学 实时电子稳像中基于运动状态识别的运动补偿方法
EP2237557A1 (en) * 2009-04-03 2010-10-06 Panasonic Corporation Coding for filter coefficients
US20100329362A1 (en) 2009-06-30 2010-12-30 Samsung Electronics Co., Ltd. Video encoding and decoding apparatus and method using adaptive in-loop filter
EP2486731B1 (en) 2009-10-05 2018-11-07 InterDigital Madison Patent Holdings Methods and apparatus for adaptive filtering of prediction pixels for chroma components in video encoding and decoding
CN102792690B (zh) * 2010-03-09 2016-06-15 汤姆森特许公司 基于分类环路滤波器的方法和装置
KR101529992B1 (ko) * 2010-04-05 2015-06-18 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
US8428372B2 (en) * 2010-04-09 2013-04-23 The Boeing Company Method, apparatus and computer program product for compressing data
CN101860753B (zh) * 2010-04-30 2012-10-03 北京航空航天大学 一种基于分形的视频压缩与解压缩方法
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US8660174B2 (en) * 2010-06-15 2014-02-25 Mediatek Inc. Apparatus and method of adaptive offset for video coding
US9247265B2 (en) * 2010-09-01 2016-01-26 Qualcomm Incorporated Multi-input adaptive filter based on combination of sum-modified Laplacian filter indexing and quadtree partitioning
US9055305B2 (en) * 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
CN107087180B (zh) * 2010-10-05 2019-10-29 寰发股份有限公司 基于分区基础的自适应环路滤波方法和装置
US20130294705A1 (en) * 2010-11-10 2013-11-07 Sony Corporation Image processing device, and image processing method
WO2012092787A1 (en) * 2011-01-09 2012-07-12 Mediatek Inc. Apparatus and method of efficient sample adaptive offset
US9161041B2 (en) * 2011-01-09 2015-10-13 Mediatek Inc. Apparatus and method of efficient sample adaptive offset
US20120183078A1 (en) 2011-01-14 2012-07-19 Samsung Electronics Co., Ltd. Filter adaptation with directional features for video/image coding
US9001883B2 (en) * 2011-02-16 2015-04-07 Mediatek Inc Method and apparatus for slice common information sharing
GB2488830B (en) 2011-03-10 2015-07-29 Canon Kk Method and device for encoding image data and method and device for decoding image data
CN107396129B (zh) 2011-03-30 2020-05-05 Lg 电子株式会社 环路滤波方法及其设备
US9872015B2 (en) 2011-04-21 2018-01-16 Hfi Innovation Inc. Method and apparatus for improved in-loop filtering
US9008170B2 (en) 2011-05-10 2015-04-14 Qualcomm Incorporated Offset type and coefficients signaling method for sample adaptive offset
CN105120270B (zh) 2011-05-16 2018-09-04 寰发股份有限公司 采用样本自适应偏移处理重构视频的方法及装置
DK3787289T3 (da) 2011-06-14 2022-08-29 Lg Electronics Inc Fremgangsmåde til kodning og afkodning af billedinformationer
WO2012175195A1 (en) * 2011-06-20 2012-12-27 Panasonic Corporation Simplified pipeline for filtering
KR101931675B1 (ko) * 2011-06-23 2018-12-21 후아웨이 테크놀러지 컴퍼니 리미티드 오프셋 복호 장치, 오프셋 부호화 장치, 화상 필터 장치 및 데이터 구조
CN107426578B (zh) 2011-06-24 2020-03-20 Lg 电子株式会社 图像信息编码和解码方法
SG10201408726QA (en) 2011-06-28 2015-02-27 Samsung Electronics Co Ltd Video Encoding Method Using Offset Adjustments According To Pixel Classification And Apparatus Therefor, Video Decoding Method And Apparatus Therefor
CN106101727B (zh) * 2011-08-04 2019-10-08 寰发股份有限公司 基于上下文自适应二进制算术编码的方法及装置
US9344743B2 (en) * 2011-08-24 2016-05-17 Texas Instruments Incorporated Flexible region based sample adaptive offset (SAO) and adaptive loop filter (ALF)
US10070152B2 (en) 2011-08-24 2018-09-04 Texas Instruments Incorporated Sample adaptive offset (SAO) parameter signaling
US9485521B2 (en) 2011-09-19 2016-11-01 Lg Electronics Inc. Encoding and decoding image using sample adaptive offset with start band indicator
KR20130034566A (ko) * 2011-09-28 2013-04-05 한국전자통신연구원 제한된 오프셋 보상 및 루프 필터를 기반으로 하는 영상 부호화 및 복호화 방법 및 그 장치
WO2013046990A1 (ja) * 2011-09-29 2013-04-04 シャープ株式会社 オフセット復号装置、オフセット符号化装置、画像フィルタ装置、および、データ構造
US20130083844A1 (en) * 2011-09-30 2013-04-04 In Suk Chong Coefficient coding for sample adaptive offset and adaptive loop filter
US9357235B2 (en) 2011-10-13 2016-05-31 Qualcomm Incorporated Sample adaptive offset merged with adaptive loop filter in video coding
CN103891292B (zh) * 2011-10-24 2018-02-02 寰发股份有限公司 视频数据环路滤波处理方法及其装置
JP2013093792A (ja) * 2011-10-27 2013-05-16 Sony Corp 画像処理装置および方法
WO2013064661A1 (en) 2011-11-03 2013-05-10 Panasonic Corporation Filtering of blocks coded in the pulse code modulation mode
JP2013138395A (ja) 2011-11-04 2013-07-11 Sharp Corp 画像フィルタ装置、画像復号装置、画像符号化装置、および、データ構造
US10051289B2 (en) 2011-11-04 2018-08-14 Qualcomm Incorporated Adaptive center band offset filter for video coding
GB201119206D0 (en) 2011-11-07 2011-12-21 Canon Kk Method and device for providing compensation offsets for a set of reconstructed samples of an image
WO2013073184A1 (ja) 2011-11-15 2013-05-23 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、および画像符号化復号装置
BR112014015171B1 (pt) 2011-12-22 2020-10-06 Samsung Electronics Co., Ltd Aparelho de decodificação de vídeo
US9161035B2 (en) * 2012-01-20 2015-10-13 Sony Corporation Flexible band offset mode in sample adaptive offset in HEVC
US9380302B2 (en) 2012-02-27 2016-06-28 Texas Instruments Incorporated Sample adaptive offset (SAO) parameter signaling
WO2014005305A1 (en) * 2012-07-04 2014-01-09 Intel Corporation Inter-view filter parameters re-use for three dimensional video coding
CN108055544B (zh) * 2012-07-16 2020-09-08 三星电子株式会社 Sao编码方法和设备以及sao解码方法和设备

Also Published As

Publication number Publication date
CN107295337A (zh) 2017-10-24
PL3657791T3 (pl) 2022-06-20
CN103975588A (zh) 2014-08-06
GB201205304D0 (en) 2012-05-09
JP6490276B2 (ja) 2019-03-27
RU2020108456A (ru) 2021-08-27
CN111405278A (zh) 2020-07-10
CN107197270B (zh) 2020-03-17
CN103975590B (zh) 2017-09-26
BR112014010882B1 (pt) 2022-05-17
CN107347156B (zh) 2020-04-21
JP2019110587A (ja) 2019-07-04
RU2684478C1 (ru) 2019-04-09
CN107707914B (zh) 2021-03-19
US9794596B2 (en) 2017-10-17
RU2636666C1 (ru) 2017-11-27
ES2906724T3 (es) 2022-04-20
EP3247117B1 (en) 2020-01-08
US20150326860A1 (en) 2015-11-12
CN107483935A (zh) 2017-12-15
EP3657791B1 (en) 2021-12-22
CN103975588B (zh) 2017-06-06
DK2777255T3 (en) 2017-05-15
IN2014CN04153A (ko) 2015-07-10
GB2496213B (en) 2014-12-03
EP3657792B1 (en) 2021-12-22
KR20140090698A (ko) 2014-07-17
RU2014123360A (ru) 2015-12-20
ES2771249T3 (es) 2020-07-06
KR102083280B1 (ko) 2020-03-02
RU2586862C2 (ru) 2016-06-10
US11076173B2 (en) 2021-07-27
PL3247117T3 (pl) 2020-06-01
RU2707926C1 (ru) 2019-12-02
WO2013068427A3 (en) 2013-07-04
KR20180125041A (ko) 2018-11-21
ES2906155T3 (es) 2022-04-13
KR102130480B1 (ko) 2020-07-06
CN107396105A (zh) 2017-11-24
GB2499983A (en) 2013-09-11
HUE057828T2 (hu) 2022-06-28
KR101530244B1 (ko) 2015-06-22
CN107465918A (zh) 2017-12-12
EP2777255A2 (en) 2014-09-17
CN107197271A (zh) 2017-09-22
GB201119206D0 (en) 2011-12-21
HUE057826T2 (hu) 2022-06-28
EP2777253B1 (en) 2017-04-12
CN107396105B (zh) 2020-03-31
US9106931B2 (en) 2015-08-11
GB2496222A (en) 2013-05-08
KR20180125052A (ko) 2018-11-21
US10743033B2 (en) 2020-08-11
EP3657792A1 (en) 2020-05-27
US9848208B2 (en) 2017-12-19
KR101972366B1 (ko) 2019-04-25
CN107197270A (zh) 2017-09-22
EP3270592B1 (en) 2018-11-07
BR122019026461B1 (pt) 2023-01-31
GB201206591D0 (en) 2012-05-30
CN111405278B (zh) 2022-05-24
CN107566840A (zh) 2018-01-09
JP7077385B2 (ja) 2022-05-30
RU2701130C1 (ru) 2019-09-24
CN107465919B (zh) 2020-05-01
KR102068431B1 (ko) 2020-01-20
RU2019137625A3 (ko) 2021-05-24
BR122019026456B1 (pt) 2022-05-24
KR20180125051A (ko) 2018-11-21
JP6797993B2 (ja) 2020-12-09
IN2014CN04154A (ko) 2015-07-10
JP2019036982A (ja) 2019-03-07
US20210306675A1 (en) 2021-09-30
RU2716535C1 (ru) 2020-03-12
JP2014533028A (ja) 2014-12-08
JP6419269B2 (ja) 2018-11-07
EP3657791A1 (en) 2020-05-27
JP6067024B2 (ja) 2017-01-25
EP3270592A1 (en) 2018-01-17
EP2777255B1 (en) 2017-03-29
EP2777254B1 (en) 2017-09-06
GB201203285D0 (en) 2012-04-11
KR20190114049A (ko) 2019-10-08
BR122019028117B1 (pt) 2022-11-22
RU2014123386A (ru) 2015-12-20
WO2013068428A2 (en) 2013-05-16
ES2772837T3 (es) 2020-07-08
US20190281322A1 (en) 2019-09-12
JP6598957B2 (ja) 2019-10-30
CN103975587A (zh) 2014-08-06
US9774886B2 (en) 2017-09-26
EP2777253A2 (en) 2014-09-17
KR20180125040A (ko) 2018-11-21
RU2019137625A (ru) 2021-05-24
JP6748749B2 (ja) 2020-09-02
KR101920105B1 (ko) 2018-11-19
BR112014010885B1 (pt) 2022-05-17
KR101920529B1 (ko) 2018-11-20
EP3229471A1 (en) 2017-10-11
US20150334393A1 (en) 2015-11-19
US20140369429A1 (en) 2014-12-18
CN107197271B (zh) 2020-04-21
US20150334423A1 (en) 2015-11-19
KR20140095112A (ko) 2014-07-31
CN107566840B (zh) 2020-05-01
US20180367815A1 (en) 2018-12-20
JP2017098979A (ja) 2017-06-01
RU2708351C1 (ru) 2019-12-05
JP2020022183A (ja) 2020-02-06
US20140301480A1 (en) 2014-10-09
GB2496220A (en) 2013-05-08
BR122019028116B1 (pt) 2022-05-17
CN103975587B (zh) 2017-05-10
CN107347156A (zh) 2017-11-14
CN107707914A (zh) 2018-02-16
RU2676410C1 (ru) 2018-12-28
GB2496213A (en) 2013-05-08
DK2777253T3 (en) 2017-05-22
HUE057829T2 (hu) 2022-06-28
JP6490264B2 (ja) 2019-03-27
US20140301489A1 (en) 2014-10-09
WO2013068433A2 (en) 2013-05-16
US20170280165A1 (en) 2017-09-28
HUE047964T2 (hu) 2020-05-28
EP3396957A1 (en) 2018-10-31
CN107483935B (zh) 2020-08-11
US10462493B2 (en) 2019-10-29
HUE048923T2 (hu) 2020-09-28
CN107197256B (zh) 2021-09-21
KR102029614B1 (ko) 2019-10-07
KR102030304B1 (ko) 2019-10-08
CN107465918B (zh) 2020-08-11
PL3657790T3 (pl) 2022-06-20
RU2641230C1 (ru) 2018-01-16
US11601687B2 (en) 2023-03-07
CN103975590A (zh) 2014-08-06
EP3648461A1 (en) 2020-05-06
ES2905473T3 (es) 2022-04-08
BR122019028115B1 (pt) 2023-02-07
JP2018137752A (ja) 2018-08-30
EP2777254A2 (en) 2014-09-17
ES2626823T3 (es) 2017-07-26
PL3396957T3 (pl) 2020-05-18
GB201200918D0 (en) 2012-02-29
KR20140093247A (ko) 2014-07-25
CN107295337B (zh) 2020-03-31
BR112014010882A2 (pt) 2017-05-02
US9118931B2 (en) 2015-08-25
US10085042B2 (en) 2018-09-25
EP3396957B1 (en) 2019-12-25
EP3657790A1 (en) 2020-05-27
KR20180125042A (ko) 2018-11-21
KR20200022537A (ko) 2020-03-03
JP2017225144A (ja) 2017-12-21
PL3657792T3 (pl) 2022-05-16
BR112014010885A2 (pt) 2017-04-18
WO2013068428A3 (en) 2013-07-18
US10771819B2 (en) 2020-09-08
WO2013068427A2 (en) 2013-05-16
US10575020B2 (en) 2020-02-25
EP3657790B1 (en) 2021-12-22
ES2628070T3 (es) 2017-08-01
RU2702054C1 (ru) 2019-10-03
BR122019028118B1 (pt) 2022-05-17
JP6324481B2 (ja) 2018-05-16
BR122019026460B1 (pt) 2022-11-22
KR102068432B1 (ko) 2020-01-20
JP2014534762A (ja) 2014-12-18
CN107197256A (zh) 2017-09-22
KR20180125616A (ko) 2018-11-23
US20190373291A1 (en) 2019-12-05
WO2013068433A3 (en) 2013-11-21
RU2586863C2 (ru) 2016-06-10
BR122019026459B1 (pt) 2022-11-22
JP2018139426A (ja) 2018-09-06
EP3247117A1 (en) 2017-11-22
JP6184416B2 (ja) 2017-08-23
KR101530832B1 (ko) 2015-06-22
CN107465919A (zh) 2017-12-12
US20170359598A1 (en) 2017-12-14
JP2021040333A (ja) 2021-03-11

Similar Documents

Publication Publication Date Title
JP7077385B2 (ja) サンプル適応オフセットの処理を実行するための情報を符号化する符号化方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180525

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190612

Year of fee payment: 5