KR101433501B1 - 비디오 코딩을 위한 적응적 오프셋 복원 장치 및 방법 - Google Patents

비디오 코딩을 위한 적응적 오프셋 복원 장치 및 방법 Download PDF

Info

Publication number
KR101433501B1
KR101433501B1 KR1020127029701A KR20127029701A KR101433501B1 KR 101433501 B1 KR101433501 B1 KR 101433501B1 KR 1020127029701 A KR1020127029701 A KR 1020127029701A KR 20127029701 A KR20127029701 A KR 20127029701A KR 101433501 B1 KR101433501 B1 KR 101433501B1
Authority
KR
South Korea
Prior art keywords
pixels
intensity
region
classes
offset
Prior art date
Application number
KR1020127029701A
Other languages
English (en)
Other versions
KR20130019423A (ko
Inventor
치-밍 푸
칭-예 첸
유-웬 후앙
Original Assignee
미디어텍 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미디어텍 인크. filed Critical 미디어텍 인크.
Publication of KR20130019423A publication Critical patent/KR20130019423A/ko
Application granted granted Critical
Publication of KR101433501B1 publication Critical patent/KR101433501B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Abstract

콘텐트 적응적 오프셋 복원(content adaptive offset restoration)을 위한 장치 및 방법이 개시된다. 비디오 프로세싱 시스템에 있어서, 데이터에 적용되는 다양한 수학적 연산으로 인해, 프로세싱된 비디오 데이터의 평균 강도는 오리지날 데이터의 평균 강도로부터 시프팅(shifting)될 수 있다. 강도 오프셋은 현저한 아티팩트(artifact)들을 초래할 것이다. 따라서, 언더라잉 픽셀들의 동적 특성들에 기초하여 픽쳐의 영역을 위한 강도 오프셋을 도출하는 적응적 오프셋 복원이 개시된다. 언더라잉 픽셀들의 특성 측정에 따라, 각 영역 내의 픽셀들은 클래스들로 분류되고, 강도 오프셋은 각 클래스를 위해 결정된다. 특성 측정은 언더라잉 픽셀에서 픽셀 패턴에 기초할 수 있고, 특성들은 언더라잉 픽셀에서 엣지, 피크, 및 밸리에 관련될 수 있다. 대안으로서, 특성 측정은 언더라잉 픽셀의 픽셀 강도에 기초할 수 있고, 픽셀 강도는 분류를 위한 멀티플 밴드들로 파티션된다.

Description

비디오 코딩을 위한 적응적 오프셋 복원 장치 및 방법{APPARATUS AND METHOD OF ADAPTIVE OFFSET RESTORATION FOR VIDEO CODING}
본 발명은 발명의 명칭이 "Adaptive Restoration Method in Video Coding"이며 2010년 6월 15일에 출원된 미국 특허 가출원 제61/354,789호의 우선권을 주장한다. 상기 미국 특허 가출원은 그 전체가 참조로서 여기에 포함되어 있다. 본 발명은 또한 2011년 1월 9일에 출원된 미국 특허 출원 제12/987,151호의 우선권을 주장한다. 상기 미국 특허 가출원은 그 전체가 참조로서 여기에 포함되어 있다.
본 발명은 일반적으로 비디오 프로세싱에 관한 것이다. 특히, 본 발명은 적응적 오프셋 복구를 위한 장치 및 방법에 관한 것이다.
디지털 포맷의 비디오 데이터는 종래의 아날로그 포맷에 대하여 다수의 장점을 제공하고, 비디오 저장 및 송신을 위한 지배적인 포맷이 되었다. 비디오 데이터는 일반적으로 샘플당 8비트 또는 10비트 등의 고정수의 비트에 의해 표현되는 정수로 디지털화된다. 또한, 컬러 비디오 데이터는 종종 RGB(Red-Green-Blue) 주요 표색계(primary color coordinates) 또는 휘도-색차 시스템(luminance-chrominance system) 등의 선택된 컬러 시스템을 사용하여 표현된다. 디지털 비디오에 통용되는 휘도-색차 컬러 시스템 중 하나는 주지의 YCrCb 컬러 시스템이고, 여기서 Y는 휘도 성분을 나타내고, Cr 및 Cb는 색차 성분을 나타낸다. RGB 성분 및 Y 성분은 각각 주요 컬러 및 휘도의 강도와 관련되고, 그것들의 디지털 표시(representation)는 흔히 디지털 표시의 비트수와 관련된 범위를 갖는 정수로 맵핑된다. 예컨대, 8-비트 비디오 데이터는 일반적으로 강도 레벨 0 내지 255를 나타낸다. 한편, 색차 성분 Cr 및 Cb는 다른 데이터에 대응하고, 그것들의 디지털 표시는 흔히 음의 값 및 양의 값을 갖는 정수로 맵핑된다. 예컨대, 8-비트 Cr/Cb 데이터는 색차 강도 -128 내지 +127을 나타낸다.
디지털 비디오 시스템 내의 프로세싱 경로를 따라, 프로세싱된 비디오의 평균값이 시프팅(shifting)될 수 있고, 이에 따라 강도 오프셋이 야기된다. 강도 시프팅은 필터링, 데이터 라운딩(data rounding), 양자화(quantization), 또는 다른 프로세싱에 의해 야기될 수 있다. 강도 오프셋이라고도 불리는 강도 시프팅은 프레임으로부터 프레임으로 강도 시프트가 변경되는 경우에 특히 현저한 시각적(visual) 장애(impairment) 또는 아티팩트(artifact)들을 야기할 수 있다. 따라서, 픽셀 강도 오프셋은 상기 잠재적 문제점을 회피하기 위해 신중히 복원되어야 한다. 그러나, 흔히 픽쳐 콘텐트(picture content)들은 프레임 내에서 매우 동적(dynamic)이다. 픽쳐 내의 동적 콘텐트 특성들을 조사(explore)하기 위해, 픽쳐의 영역(region)에 적용될 수 있는 적응적 오프셋 복원을 위한 장치 및 방법을 개발하는 것이 바람직하다. 또한, 영역(region) 내의 언더라잉 픽셀(underlying pixel)의 특성들을 클래스(calss)들로 분류(classify)함으로써 픽셀 특성들에 적응된 오프셋 복원을 조사하는 것이 바람직하다. 따라서, 오프셋 복원이 각 클래스에 대하여 적응적으로(adaptively) 수행될 수 있다.
적응적 오프셋 복원을 위한 장치 및 방법이 개시된다. 본 발명에 의한 방법은, 프로세싱된 비디오 데이터를 수신하는 단계, 프로세싱된 비디오 데이터를 위한 영역(region)을 선택하는 단계, 각 픽셀들의 특성 측정에 기초하여 상기 프로세싱된 비디오 데이터의 영역(region) 내의 각 픽셀들을 위한 클래스를 결정하는 단계, 관련된 오리지날 비디오 데이터의 각 영역(region) 내의 각 픽셀들에 따라 클래스를 위한 강도 오프셋을 결정하는 단계, 및 클래스를 위한 강도 오프셋에 기초하여 프로세싱된 비디오 데이터를 보정(compensate)하는 단계를 포함한다. 픽쳐의 동적 특성들에 적응적 오프셋이 적응될 수 있도록 상기 영역(region)은 픽쳐보다 더 작을 수 있다. 적응적 오프셋 복원은 디블럭킹 프로세싱(deblocking processing) 전에 복원된 비디오 데이터에 적용될 수 있다. 본 발명에 의한 일실시형태에서, 특성 측정은 언더라잉 픽셀 주위의 픽셀들을 구성하는 픽셀 패턴에 기초하고, 특성 측정은 언더라잉 픽셀에서 에지(edge), 피크(peak), 및 밸리(valley)에 관련된다. 본 발명에 의한 다른 실시형태에서, 특정 측정은 언더라잉 픽셀의 강도에 기초하고, 강도는 분류를 위한 멀티플 밴드들(multiple bands)로 분할(partition)된다. 본 발명에 의한 또 다른 실시형태에서, 적응적 오프셋은 적응적 루프 필터(adaptive loop filter)와 동일한 픽셀 분류를 공유한다.
비디오 비트스트림(bitstream)에 대응하는 재구성된 비디오 픽쳐가 적응적 오프셋에 의해 프로세싱되는 비디오 비트스트림의 디코딩을 위한 장치 및 방법이 개시된다. 비디오 비트스트림에 대응하는 재구성된 비디오 픽쳐가 적응적 오프셋에 의해 프로세싱되는 비디오 비트스트림의 디코딩을 위한 방법은, 비디오 픽쳐들을 재구성하고, 프로세싱된 비디오 픽쳐들을 제공하기 위해 상기 비디오 비트스트림을 프로세싱하는 단계, 상기 프로세싱된 비디오 픽쳐들을 위한 영역(region)을 선택하는 단계, 각 픽셀들의 특성 측정에 기초하여 상기 프로세싱된 비디오 픽쳐들의 영역(region) 내의 각 픽셀들을 위한 클래스를 결정하는 단계, 상기 비디오 비트스트림 내에 표시(indicate)된 바와 같은 상기 클래스를 위한 강도 오프셋을 결정하는 단계, 및 상기 클래스를 위한 상기 강도 오프셋에 기초한 상기 프로세싱된 비디오 픽쳐의 영역(region)을 보정하는 단계를 포함한다. 픽쳐의 동적 특성들에 적응적 오프셋이 적응될 수 있도록 상기 영역(region)은 픽쳐보다 더 작을 수 있다. 적응적 오프셋 복원은 디블럭킹 프로세싱(deblocking processing) 전에 복원된 비디오 데이터에 적용될 수 있다. 본 발명에 의한 일실시형태에서, 특성 측정은 언더라잉 픽셀 주위의 픽셀들을 구성하는 픽셀 패턴에 기초하고, 특성 측정은 언더라잉 픽셀에서 에지(edge), 피크(peak), 및 밸리(valley)에 관련된다. 본 발명에 의한 다른 실시형태에서, 특정 측정은 언더라잉 픽셀의 강도에 기초하고, 강도는 분류를 위한 멀티플 밴드들(multiple bands)로 분할(partition)된다. 본 발명에 의한 또 다른 실시형태에서, 적응적 오프셋은 적응적 루프 필터(adaptive loop filter)와 동일한 픽셀 분류를 공유한다.
도 1은 고효율 비디오 코딩을 위한 예시적 비디오 인코더의 시스템 블록 다이어그램을 나타낸다.
도 2는 고효율 비디오 코딩을 위한 예시적 비디오 디코더의 시스템 블록 다이어그램을 나타낸다.
도 3은 픽셀(C) 및 그 인접 픽셀(n1-n4)에 따라 카테고리가 결정되는 픽셀 카테고리에 기초한 적응적 오프셋의 예를 나타낸다.
도 4는 본 발명의 실시형태에 의한 적응적 오프셋 복원을 구현하는 고효율 비디오 코딩을 위한 비디오 인코더의 시스템 블록 다이어그램을 나타낸다.
도 5a는 강도 범위를 16 균등 공간 밴드들로 분할하는 예를 나타낸다.
도 5b는 강도 범위를 12 비균등 밴드들로 분할하는 예를 나타낸다.
도 6a는 픽셀 카테고리 결정을 위한 현재 픽셀 및 그 인접 픽셀들의 구성을 나타낸다.
도 6b는 픽셀 카테고리 결정을 위한 현재 픽셀 및 그 인접 픽셀들의 대체 구성을 나타낸다.
도 7a-7d는 픽셀 카테고리 결정을 위한 현재 픽셀 및 그 인접 픽셀들의 다양한 선형 구성을 나타낸다.
디지털 포맷의 비디오 데이터는 종래의 아날로그 포맷에 대하여 다수의 장점을 제공하고, 비디오 저장 및 송신을 위한 지배적인 포맷이 되었다. 비디오 데이터는 일반적으로 샘플당 8비트 또는 10비트 등의 고정수의 비트에 의해 표현되는 정수로 디지털화된다. 또한, 컬러 비디오 데이터는 종종 RGB(Red-Green-Blue) 주요 표색계(primary color coordinates) 또는 휘도-색차 시스템(luminance-chrominance system) 등의 선택된 컬러 시스템을 사용하여 표현된다. 디지털 비디오에 통용되는 휘도-색차 컬러 시스템 중 하나는 주지의 YCrCb 컬러 시스템이고, 여기서 Y는 휘도 성분을 나타내고, Cr 및 Cb는 색차 성분을 나타낸다. RGB 성분 및 Y 성분은 각각 주요 컬러 및 휘도의 강도와 관련되고, 그것들의 디지털 표시(representation)는 흔히 디지털 표시의 비트수와 관련된 범위를 갖는 정수로 맵핑된다. 예컨대, 8-비트 비디오 데이터는 일반적으로 강도 레벨 0 내지 255를 나타낸다. 한편, 색차 성분 Cr 및 Cb는 다른 데이터에 대응하고, 그것들의 디지털 표시는 흔히 음의 값 및 양의 값을 갖는 정수로 맵핑된다. 예컨대, 8-비트 Cr/Cb 데이터는 색차 강도 -128 내지 +127을 나타낸다.
디지털 비디오 시스템 내의 프로세싱 경로를 따라, 프로세싱된 비디오의 평균값이 시프팅(shifting)될 수 있고, 이에 따라 강도 오프셋이 야기된다. 강도 시프팅은 필터링, 데이터 라운딩(data rounding), 양자화(quantization), 또는 다른 프로세싱에 의해 야기될 수 있다. 강도 오프셋이라고도 불리는 강도 시프팅은 프레임으로부터 프레임으로 강도 시프트가 변경되는 경우에 특히 현저한 시각적(visual) 장애(impairment) 또는 아티팩트들(artifacts)을 야기할 수 있다. 따라서, 픽셀 강도는 상기 잠재적 문제점을 회피하기 위해 신중히 오프셋 수정되어야 한다. 그러나, 흔히 픽셀 콘텐트들은 프레임 내에서 그리고 프레임들 사이에서 매우 동적이고, 타임(time)으로부터 타임으로 변경된다. 동적 비디오 환경에서의 콘텐트 적응적 픽셀 프로세싱의 장점을 조사하기 위해, 언더라잉 비디오 데이터를 위한, 미리 규정된 세트(predefined set)라고 칭하는, 픽쳐 유닛을 선택할 수 있는 시스템 및 방법을 개발하여 프로세싱된 비디오 데이터의 품질을 더 향상시키는 것이 바람직하다. 언더라잉 비디오 데이터의 동적 특성들을 캡쳐(capture)하기 위해 미리 규정된 세트가 선택될 수 있다.
도 1에 도시된 예시적 인코더는 인트라/인터-프리딕션(intra/inter-prediction)을 사용하는 시스템을 나타낸다. 인트라-프리딕션(intra-prediction)(110)은 동일 픽쳐 내의 비디오 데이터에 기초한 프리딕션 데이터의 제공에 대한 책임을 맡는다. 인터-프리딕션(inter-prediction)을 위해, 모션 추정(ME : motion estimation)과 모션 보정(MC : motion compensation)(112)은 다른 픽쳐 또는 픽쳐들로부터의 비디오 데이터에 기초하여 프리딕션 데이터를 제공하는데 사용된다. 스위치(114)는 인트라-프리딕션 또는 인터-프리딕션 데이터를 선택하고, 소위 레지듀(residue)라고도 불리는 프리딕션 에러(prediction error)들을 형성하기 위해 선택된 프리딕션 데이터가 애더(adder)(116)에 공급된다. 이어서, 프리딕션 에러는 양자화(Q)(120)가 후속하는 변환(transformation)(T)(118)에 의해 프로세싱된다. 이이서, 변환된 및 양자화된 레지듀는 압축된 비디오 데이터에 대응하는 비트스트림을 형성하기 위해 엔트로피 코딩(entropy coding)(122)에 의해 코딩된다. 이어서, 변환 계수와 관련된 비트스트림은 이미지 에리어(area)와 관련된 모션, 모드, 및 다른 정보 등의 사이드 정보(side information)에 의해 패킹(packing)된다. 또한, 사이드 정보는 필요한 대역폭을 감소시키기 위해 엔트로피 코딩에 서브젝팅(subjecting)될 수 있고, 이에 따라 도 1에 도시된 바와 같이 사이드 정보와 관련된 데이터는 엔트로피 코딩(122)을 위해 제공된다. 인터-프리딕션 모드가 사용되는 경우에, 기준 픽쳐 또는 기준 픽쳐들은 인코더 엔드(encoder end)에서 재구성되어야 한다. 따라서, 변환된 및 양자화된 레지듀들은, 레지듀들을 복구(recover)하기 위한 역양자화(inverse quantization)(IQ)(124) 및 역변환(inverse transformation)(IT)(126)에 의해 프로세싱된다. 이어서, 비디오 데이터를 재구성하기 위해 재구성(REC)(128)에서 프리딕션 데이터(136)에 레지듀들이 다시 추가된다. 재구성된 비디오 데이터는 기준 픽쳐 버퍼(134) 내에 저장되어 다른 프레임의 프리딕션을 위해 사용될 수 있다. 그러나, 비디오 품질을 향상시키기 위해, 기준 픽쳐 버퍼 내에 비디오 데이터가 저장되기 전에, 재구성된 비디오 데이터에 디블록킹 필터(deblocking filter)(130) 및 적응적 루프 필터(adaptive loop filter)(132)가 적용된다. 적응적 루프 필터를 적용하기 위해, 디코더가, 요구되는 정보를 적절하게 복구하도록, 적응적 루프 필터 정보가 비트스트림 내에 송신되어야 할 수 있다. 따라서, ALF(132)로부터의 적응적 루프 필터 정보는 파이널 비트스트림으로의 통합(incorporation)을 위한 엔트로피 코딩(122)에 제공된다. 도 1에 도시된 바와 같이, 인커밍 비디오 데이터는 인코딩 시스템 내에서 일련의 프로세싱을 경험하고, REC(128)로부터의 재구성된 비디오 데이터는 일련의 프로세싱으로 인해 강도 오프셋에 서브젝팅될 수 있다. 재구성된 비디오 데이터는 강도 오프셋을 더 야기할 수 있는 디블록킹(130) 및 적응적 루프 필터(132)에 의해 더 프로세싱된다. 따라서, 강도 오프셋을 복원하기 위해, 오프셋 수정이라고도 불리는 오프셋 복원을 통합(incorporate)하는 것이 바람직하다.
도 2는 고효율 비디오 코딩을 위한 비디오 디코더의 시스템 블록 다이어그램을 나타낸다. 또한, 인코더는 비디오 데이터를 재구성하기 위한 파트(part)들을 포함하기 때문에, 이미 인코더에서 일부 디코더 파트들이 사용된다. 그러나, 엔트로피 디코더(222)는 인코더에 의해 사용되지 않는다. 또한, 디코더 측에서는 모션 보상(212)만을 필요로 한다. 스위치(214)는 인트라-프리딕션 또는 인터-프리딕션을 선택하고, 선택된 프리딕션 데이터는 복원된 레지듀들과 결합(combine)될 재구성(REC)(128)에 공급된다. 압축된 비디오 데이터를 위한 엔트로피 디코딩을 수행하는 것뿐만 아니라, 엔트로피 디코딩(222)은 또한 사이드 정보의 엔트로피 디코딩에 대한 책임을 맡고, 각 블록들에 사이드 정보를 제공한다. 예컨대, 인트라 모드 정보는 인트라-프리딕션(110)에 제공되고, 인터 모드 정보는 모션 보상(212)에 제공되고, 적응적 루프 필터 정보는 ALF(132)에 제공되고, 레지듀들은 역양자화(124)에 제공된다. 비디오 데이터를 재구성하기 위해, 레지듀들은 IQ(124), IT(126), 및 후속 재구성 프로세스에 의해 프로세싱된다. 또한, 도 2에 도시된 바와 같이, REC(128)로부터의 재구성된 비디오 데이터는 IQ(124) 및 IT(126)를 포함하는 일련의 프로세싱을 경험하고, 강도 오프셋에 서브젝팅된다. 재구성된 비디오 데이터는 강도 오프셋을 더 야기할 수 있는 디블록킹 필터(130) 및 적응적 루프 필터(132)에 의해 더 프로세싱된다. 따라서, 강도 오프셋을 보상하기 위해, 오프셋 수정을 통합(incorporate)하는 것이 바람직하다.
오프셋 문제를 극복하기 위해, McCann 등은, 2010년 4월 15일-23일에, 독일 드레스덴(Dresden)에서의 1차 미팅에서, "Samsung's Response to the Call for Proposals on Video Compression Technology", 도큐먼트(Document) : JCTVC-A124, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11에, 콘텐트 적응적 극단적 수정(content adaptive extreme correction) 및 밴드 수정(band correction)을 개시하였다. 인접 픽셀들에 기초한 콘텐트 정보의 사용은 로컬 에지 특성들을 조사할 수 있고, 더 나은 비쥬얼 품질(visual quality) 또는 비트 레이트 감소(bit rate reduction)에 관한 향상된 성능(performance)를 얻을 수 있다. McCann 등은, 도 3에 도시된 바와 같은 인접 픽셀 구성을 개시하고 있고, 여기서 C는 현재 픽셀값이고, n1 내지 n4는 현재 픽셀의 각각의 상측, 좌측, 우측, 및 하측의 4개의 인접 픽셀이다. McCann 등에 의한 7개의 카테고리로 픽셀을 분류하는 방법을 아래 표에 나타냈다.
Figure 112012093114982-pct00001
카테고리 0에서, 픽셀 C는 밸리(valley)라고도 불리는 로컬 미니멈(local minimum)이다. 카테고리 5에서, 픽셀 C는 피크(peak)라고도 불리는 로컬 맥시멈(local maximum)이다. 카테고리 1, 2, 3, 및 4에서, 픽셀 C는 오브젝트 에지(object edge)에 있다. 각 카테고리 내의 픽셀에 대하여, 프로세싱된 비디오 데이터의 평균과 오리지날 비디오 데이터의 평균 사이의 차이가 계산되어 디코더로 송신된다. 프로세싱된 비디오 데이터는 REC(128)로부터의 재구성된 비디오 데이터, DF(130)로부터의 디블록킹된 데이터, 또는 ALF(132)로부터의 적응적 루프 필터링된 데이터가 될 수 있다. McCann 등은 "클래스(calss)"라고도 불리는 "카테고리(category)"로 엣지 특성(edge characteristic)들을 분류한다. 도 1 및 도 2는 비디오 코딩을 위한 적응적 오프셋이 적용될 수 있는 예시적 시스템을 나타내지만, 다른 시스템들도 강도 오프셋 이슈(issue)를 극복하기 위한 본 발명을 구현할 수 있다. 예컨대, 카메리 이미지 프로세싱 시스템에 있어서, 디모자이킹(demosaicing), 화이트 발란싱(white balancing) 및/또는 엣지 강조(edge enhancement)에 의해 프로세싱된 비디오 데이터는 또한 강도 오프셋에 서브젝팅(subjecting)될 수 있다. 상기 논의된 바와 같이, McCann 등은 언더라잉 픽셀의 엣지 특성에 따라 DF(130)와 ALF(132) 사이의 프로세싱된 데이터에 대하여 제1 강도 오프셋 수정을 적용한다. McCann 등은 언더라잉 픽셀의 엣지 특성에 기초한 적응적 오프셋 수정을 익스트림 코렉션(EXC : Extreme Correction)이라 칭한다.
McCann 등에 따르면, 상기 익스트림 코렉션은 재구성된 비디오 데이터에 적용된다. 클래스 c에 대응하는 재구성된 평균 강도값[Vr(c)], 및 클래스 c에 대응하는 오리지날 평균 강도값[Vo(c)]은 비디오 픽쳐를 위해 결정된다. 클래스 c에 대응하는 오프셋[Vd(c)]은 하기 식에 따라 결정된다:
Vd(c) = Vo(c) - Vr(c).
상기한 바와 같이 계산된 오프셋[Vd(c)]은 클래스 c에 속하는 재구성된 비디오 데이터에 더해진다, 즉 Vr'(c) = Vr(c) + Vd(c)이고, Vr'(c)는 수정된 오프셋 비디오 데이터이다. 각각의 클래스에 대하여 적절한 오프셋을 적용하기 위한 디코더를 위해, 모든 클래스들에 대한 오프셋[Vd(c)] 값은 디코더로 송신되어야 한다. 적절한 비트스트림 신택스(syntax)는 오프셋[Vd(c)] 값을 통합하기 위해 필요할 것이다.
McCann 등은 DF(130)와 ALF(132) 사이의 프로세싱된 비디오 데이터에 익스트림 코렉션을 적용하고, ALF(132)와 기준 픽쳐 버퍼(134) 사이의 프로세싱된 데이터에 밴드 코렉션을 적용했지만, 적응적 오프셋 수정이 DF(130)가 적용되기 전에 재구성된 데이터에 적용될 수도 있다. 도 4는 재구성(128)과 DF(130) 사이의 프로세싱된 비디오 데이터에 적응적 오프셋이 적용된 본 발명에 따른 실시형태를 나타낸다.
McCann 등은 언더라잉 픽셀이 속한 밴드에 따른 다른 적응적 오프셋 수정을 개시하고 있다. 이 방법은 밴드 코렉션(BDC : band correction)이라고도 한다. McCann 등에 따르면, 밴드-기반 분류의 주요 모티베이션(motivation)은 오리지날 비디오 데이터 및 재구성된 비디오 데이터에 대응하는 언더라잉 데이터의 2개의 상이한 확률밀도함수(PDF : Probability Density Function)들을 동등하게 하는(equalize) 것이다. McCann 등은, 균일한 간격(interval)들을 가진 2p 클래스들로 강도를 분할(dividing)하는 것에 상응하는 픽셀들의 가장 현저한 p 비트(p most significant bit)들을 사용함으로써 밴드-기반 분류를 개시하였다. 하나의 구현(implementation)에 있어서, McCann 등은 클래스라고도 불리는 동등하게 스페이싱된(spaced) 16개의 밴드들로 강도를 분할하기 위해 p=4를 선택하였다. 각 밴드 또는 클래스에 대하여, 평균차(mean difference)가 계산되어 디코더로 송신되고, 오프셋이 각 밴드에 대하여 개별적으로 수정될 수 있다. 밴드 c 또는 클래스 c에 대응하는 재구성된 평균 강도값[Vr(c)], 및 밴드 c 또는 클래스 c에 대응하는 오리지날 평균 강도값[Vo(c)]은 비디오 픽쳐를 위해 결정된다. EXC를 위한 동일한 수학적 심볼들 Vr(c) 및 Vo(c)은 편의를 위해 사용된다. 엣지 특성에 기초한 적응적 오프셋 수정에 있어서, 클래스 c에 대응하여 관련된 오프셋[Vd(c)]은 Vd(c) = Vo(c) - Vr(c)에 따라 결정될 수 있다. 상기한 바와 같이 계산된 오프셋[Vd(c)]은 클래스 c에 속하는 재구성된 비디오 데이터에 더해진다, 즉 Vr'(c) = Vr(c) + Vd(c)이고, Vr'(c)는 오프셋 수정된 비디오 데이터이다. McCann 등은 ALF(132)와 기준 픽쳐 버퍼(134) 사이의 프로세싱된 비디오 데이터에 밴드 수정을 적용한다.
McCann 등은 입접한 픽셀들 또는 강도 밴드에 관련된 특성들에 기초한 적응적 프로세싱을 개시하였지만, 하나의 픽쳐 에리어(area)의 특성들은 다른 픽쳐 에리어(area)의 특성들과 매우 상이할 수 있는, 픽쳐 내의 동적 특성을 조사하기 위한 적응성은 없다. McCann 등에 의한 방법에 있어서, 카테고리 또는 밴드 결정은 항상 픽쳐들의 그룹 또는 전체 프레임에 기초한다. 더 작은 픽쳐 에리어에 관련된 카테고리 또는 밴드가 영역(region) 내의 언더라잉 비디오 데이터를 더 잘 특징지을 수 있기 때문에, 일부 비디오 데이터에 대하여, 더 작은 픽쳐 에리어(area)에 대응하는 영역(region)은 적응적 프로세싱을 위해 더 유리할 수 있다. 그러나, McCann 등에 의해 개시된 예에서의 강도 오프셋 정보가 디코더로 송신될 필요가 있는 바와 같이, 더 작은 픽쳐 에리어는 더 많은 오버헤드 정보를 필요로 할 수 있다. 따라서, 포텐셜 퍼포먼스 향상과 더 작은 픽쳐 에리어에 관련된 오버헤드 정보의 증가 사이의 교환(tradeoff)이 있다. 따라서, 본 명세서에 개시된 픽셀 강도 프로세싱은 본 명세서에서 영역(region)으로 칭해진 더 작은 픽쳐 에리어를 활용한다. 영역(region)의 사이즈는 압축 시스템 내의 비디오 압축 또는 디지털 카메라 내의 센서 이미지 프로세싱 등의 각각의 비디오 프로세싱을 위해 사용되는 픽쳐 에리어에 대하여 독립적일 수 있다. 또한, 영역은 픽쳐로부터 픽쳐로 적응적으로 구성될 수 있다. 본 명세서에 있어서, 적응적 오프셋(AO : adaptive offset)은 적응적 오프셋 수정 또는 적응적 오프셋 복원을 위한 축약(abbreviation)으로서도 사용된다.
본 발명의 다른 실시형태에 있어서, AO는 ALF와 더 결합(combine)된다. 픽쳐의 각 영역에 대하여, AO, ALF 또는 AO와 ALF의 조합은 영역 적응적으로 적용될 수 있다. AO와 ALF가 영역에 대하여 선택적으로 적용되는 경우에, 코딩 효율을 희생하지 않고 평균 디코딩 시간이 감소될 수 있다. AO, ALF 또는 AO와 ALF의 조합 중 어느 것이 영역에 대하여 적용되는지에 대한 신호(signal)를 위해, 선택을 나타내도록 영역에 대하여 플래그(flag)가 사용될 수 있다.
McCann 등은 전체 픽쳐에 대한 균일한 간격들을 사용하는 밴드 수정을 개시하였지만, 본 발명에 따른 실시형태는 픽쳐의 영역에 기초한 개선된 밴드 분류(calssification)을 개시한다. 우선, 픽쳐는 고정된 사이즈의 블록들을 사용하거나 쿼드트리(quadtree)를 사용하여 파티션(partition)들로 분할된다. 상기 분할의 각 파티션은 상기한 AO 케이스(case)에 있어서와 같이 영역으로도 불린다. 이어서, 각 영역 내의 픽셀들은 개선된 밴드 분류 방법에 따라 멀티플 밴드(multiple band)들로 분할된다. 개선된 밴드 분류는 도 5a에 도시된 바와 같은 균일한 16 밴드들 또는 도 5b에 도시된 바와 같은 비균일 12 밴드들로부터 하나의 밴드 분류를 적응적으로 선택한다. 밴드 분류 타입의 선택은 영역마다 이루어질 수 있고, 선택을 나타내기 위해 플래그가 요구된다. 최소 및 최대의 강도는 영역에 대하여 재구성된 비디오 데이터로부터 도출될 수 있다. 따라서, 최소 및 최대는 디코더로의 통신을 위해 요구되지 않을 수 있다. 각 영역의 각 밴드에 대한 밴드 오프셋을 디코더가 적절하게 수정할 수 있도록 하기 위해, 각 영역에 대한 밴드 오프셋은 디코더 측으로 송신된다. 개선된 밴드 분류에 기초한 오프셋 복원 방법은 밴드 오프셋 복원 또는 짧게 밴드 오프셋(BO : band offset)으로도 불린다. 2가지 타입의 밴드들이 상기 예에서 본 발명의 실시하기 위한 예시적 실시형태로서 사용되지만, 더 많은 타입의 밴드들이 사용될 수 있다. 균일 16 밴드들 및 비균일 12 밴드들이 2가지 예시적 타입의 밴드들로서 사용되지만, 2개의 예시적 타입의 밴드들에 의해 사용되는 다수의 밴드들은 본 발명의 한정이 아니다. 균일 및 비균일 밴드 타입들은 본 발명의 실시를 위해 더 많거나 더 적은 밴드들을 사용할 수 있다.
2가지 타입의 밴드들, 즉 균일 16 밴드들과 비균일 12 밴드들이 위에서 개시되었지만, 대체 밴드 분류가 밴드 오프셋 수정을 위해 사용될 수 있다. 이 대체 밴드 분류는 영역 내의 픽셀들을 N 밴드들로 분류한다. 이이서, N 밴드들은 2개의 그룹으로 분할되고, 하나의 그룹은 오프셋 수정을 위해 지정되고, 다른 그룹은 노 오프셋 수정(no offset correction)을 위해 지정된다. 예컨대, 영역 내의 픽셀들은 32 균일 밴드들로 분할될 수 있다. [64, 191]을 커버하는 중앙 16-밴드 파티션은 제1 그룹으로 할당될 수 있고, 나머지 강도들을 커버하는 나머지 16 밴드들은 제2 그룹으로 할당될 수 있다. 오프셋 수정을 위한 그룹에 대한 결정(decision)은 영역마다(on a region by region basis) 이루어지거나 이루어지지 않을 수 있다. 2개의 그룹이 본 발명의 실시를 위한 예로서 사용되지만, 더 많은 그룹이 사용될 수 있다. 예컨대, N 밴드들은 M 그룹들로 분할될 수 있고, M은 2보다 크거나 같은 정수이다. M 그룹들 중에서, P 그룹들은 노 오프셋 수정을 위해 지정될 수 있고, P는 M보다 더 작거나 같다. 따라서, 나머지(M-P) 그룹들만이 오프셋 수정에 서브젝팅(subjecting)되고, 이들 (M-P) 그룹들을 위한 강도 오프셋은 오프셋 수정을 위해 디코더로 제공될 필요가 있다.
McCann 등은 언더라잉 픽셀의 엣지 특성에 관련된 적응적 프로세싱을 개시하였고, 픽셀 분류는 전체 픽셀에 기초하지만, 본 발명에 따른 실시형태는 영역마다 적응적으로 엣지 특성들을 측정하기 위해 픽셀 구조 또는 픽셀 패턴을 선택한다. 엣지 특성들 결정을 위해 픽셀 구조의 선택을 송신하도록 각 영역에 대하여 플래그가 사용된다. 영역은 고정 사이즈 블록 또는 쿼드트리 파티션을 사용하여 픽셀을 분할함으로써 얻어질 수 있다. 도 6a에 도시된 바와 같이 McCann 등에 의해 개시된 픽셀 구조 이외에 도 6b에 도시된 바와 같은 추가적인 픽셀 구조도 선택될 수 있다. 도 6a에 도시된 크로스(cross) 픽셀 구조 또는 크로스 픽셀 패턴이 수평 엣지들 또는 수직 엣지들에 더욱 민감(responsive)하다. 또한, 픽셀 패턴도 언더라잉 픽셀에서의 피크(peak) 또는 밸리(valley)에 대하여 민감하다. 한편, 도 6b의 대각선 픽셀 구조는 언더라잉 픽셀에서의 피크 또는 밸리뿐만 아니라 45 또는 135에서의 기울어진 엣지들에 더 민감하다. 또한, 적응적 방법은 이하의 표에 나타낸 바와 같은 7개의 카테고리로 픽셀들을 분류한다.
Figure 112012093114982-pct00002
픽셀 패턴에 기초한 7개의 카테고리들로의 상기 분류는 본 발명의 한정으로서 이해되지 않고 본 발명을 실시하기 위한 예로서 사용된다. 더 많거나 더 적은 카테고리들이 사용될 수 있고, 다른 픽셀 패턴들도 본 발명을 실시하기 위해 사용될 수 있다. 2차원 픽셀 구조들은 엣지 특성들을 결정하기 위해 상기한 바와 같이 개시되었지만, 2개의 인접 픽셀들을 사용하는 간략화된 선형 픽셀 구조들이 사용될 수도 있다. 간략화된 픽셀 구조의 사용은 요구되는 계산(computation)을 감소시킬 것이다. 따라서, 픽셀 패턴들이라고도 불리는 4개의 간략화된 픽셀 구조들은 수직 라인, 수평 라인, 135° 기울어진 라인 및 45° 기울어진 라인에 각각 대응하는 도 7a 내지 도 7d에 도시된 바와 같이 개시되어 있다. 짧은 라인으로서 배열된 각각의 픽셀 구조는 라인을 따른 강도 변화(intensity transition)에 민감하다. 예컨대, 수평 엣지는 다른 배향들을 가진 라인들보다 수직 라인에 있어서의 더 뚜렷한 강도 변화를 야기할 것이다. 마찬가지로, 수직 엣지는 다른 배향(orientation)들을 가진 라인들보다 수평 라인에 있어서의 더 뚜렷한 강도 변화를 야기할 것이다. 픽셀 구조의 선택은 영역마다 결정될 수 있고, 각 영역에 대하여 플래그가 요구된다. 픽셀 구조에 기초하여, 언더라잉 픽셀은 하기 표에 나타낸 바와 같이, 엣지들, 피크, 밸리, 및 기타(none of the above)에 대응하는 6개의 클래스들로 분류된다.
Figure 112012093114982-pct00003
언더라잉 픽셀 주위의 2개의 픽셀들은 쇼트-라인(short-line) 픽셀 패턴을 형성하기 위해 사용되지만, 선형 방향을 따라 더 많은 픽셀들이 사용될 수 있다. 예컨대, 언더라잉 픽셀의 각 측면 상의 2개의 픽셀들은 5-픽셀 라인에 대응하는 픽셀 패턴을 형성하는데 사용될 수 있다. 또한, 더 많거나 더 적은 카테고리들이 본 발명의 실시를 위해 사용될 수 있다.
고효율 비디오 코딩(HEVC : high efficiency video coding)에서 사용되는 ALF 프로세싱도 각각의 필터를 선택하기 위해 픽셀 분류를 사용한다. ALF는 일반적으로 언더라잉 픽셀에 대한 클래스를 결정하기 위해 라플라스 합(sum of Laplacians)을 사용한다. 본 발명에 의한 또 다른 실시형태에서, 적응적 오프셋은 ALF와 동일한 분류를 공유할 수 있다. 즉, 적응적 오프셋은 ALF에 의해 사용되는 영역에 채택하고, ALF는 최대 코딩 유닛, 슬라이스(slice), 슬라이스 그룹(slice group) 또는 다른 부분적 픽쳐(partial picture)가 될 수 있다. 라플라스 합은 언더라잉 픽셀에 대한 분류를 결정하기 위해 특성 측정으로서 적응적 오프셋에 의해 사용될 것이다. 따라서, 영역 내의 각 클래스에 대한 오프셋이 결정되고, 디코더로 제공될 것이다. 마찬가지로, ALF는 BO/BDC와 동일한 분류를 공유할 수 있고, BO/BDC는 픽셀들 강도에 기초하여 영역 내의 픽셀들을 클래스들로 분류한다.
엣지 특성들과 강도 밴드는 언더라잉 픽셀을 클래스들로 분류하기 위한 특성들로서 사용되지만, 다른 특성들도 언더라잉 픽셀을 클래스들로 분류하는데 사용될 수 있다. 예컨대, 코딩 유닛 모드(coding unit mode)들, 프리딕션 유닛 사이즈(prediction unit size)들, 트랜스폼 유닛 사이즈(transform unit size)들, 양자화 파라미터(quantization parameter)들, 기준 픽쳐들, 모션 벡터들, 인트라 프리딕션 모드(intra prediction mode)들, 레지듀(residue)들, 및 디블록킹 바운더리 강도(deblocking boundary strength)들이 언더라잉 픽셀을 클래스들로 분류하기 위한 특성들로서 사용될 수 있다. 예컨대, 각 픽셀은 라플라스 합에 기초하여 카테고리 또는 클래스로 분류된다. 따라서, 각 카테고리 또는 클래스에 대한 강도 오프셋이 계산되고 각각의 카테고리 또는 클래스에 대한 오프셋을 수정하기 위해 사용된다.
상기한 바와 같은 본 발명에 따른 적응적 오프셋 복원의 실시형태는 다양한 하드웨어, 소프트웨어 코드들, 또는 이 두가지의 조합으로 구현될 수 있다. 예컨대, 본 발명의 실시형태는 여기에 개시된 프로세싱을 수행하기 위한, 비디오 압축 칩에 통합된 회로 또는 비디오 압축 소프트웨어에 통합된 프로그램 코드들이 될 수 있다. 또한, 본 발명의 실시형태는 여기에 개시된 프로세싱을 수행하기 위해, DSP(Digital Signal Processor) 상에서 실행될 프로그램 코드들이 될 수 있다. 또한, 본 발명은 컴퓨터 프로세서, 디지털 신호 프로세서, 마이크로프로세서, 또는 FPGA(field programmable gate array)에 의해 수행될 다수의 기능들을 포함할 수 있다. 이들 프로세서들은 본 발명에 의해 실시되는 특정 방법들을 규정하는 펌웨어 또는 기계-판독가능 소프트웨어 코드를 실행함으로써 본 발명에 따른 특정 과제를 수행하도록 구성될 수 있다. 소프트웨어 코드 또는 펌웨어 코드들은 상이한 프로그래밍 언어들 및 상이한 포맷이나 스타일로 개발될 수 있다. 또한, 소프트웨어 코드는 상이한 타겟 플랫폼을 위해 컴파일(compile)될 수 있다. 그러나, 본 발명에 따른 과제들을 수행하기 위한 코드를 구성하는 소프트웨어의 상이한 코드 포맷들, 스타일들, 및 언어들과 다른 수단들은 본 발명의 사상 및 범위로부터 벗어나지 않을 것이다.
여기에 개시된 본 발명에 따른 적응적 오프셋 복원의 실시형태들은 통합 하드웨어 또는 멀티플 프로세싱 유닛들로 구현될 수 있고, 각 프로세싱 유닛은 적응적 오프셋 복원의 소정 기능을 담당할 수 있다. 예컨대, 제1 프로세싱 유닛은 상기 각각의 픽셀들의 특성 측정에 기초하여 프로세싱된 비디오 데이터의 영역 내의 각 픽셀들을 위한 클래스를 결정하도록 구성될 수 있다. 제2 프로세싱 유닛은 프로세싱된 비디오 데이터의 영역 내의 픽셀들 및 관련 오리지날 비디오 데이터의 각 영역 내의 개별 픽셀들에 따른 클래스에 대하여 강도 오프셋을 결정하도록 구성될 수 있다. 제3 프로세싱 유닛은 클래스에 대한 강도 오프셋에 기초하여 프로세싱된 비디오 데이터의 영역을 보상(compensate)하도록 구성될 수 있다. 멀티플 프로세싱 유닛들에 기초한 하드웨어 구현의 상기 예는 시스템 기능들과 프로세싱 유닛들 사이의 하나의 맵핑을 나타낸다. 그럼에도 불구하고, 특정 기능 파티션 및 하드웨어 맵핑은 본 발명에 대한 한정으로서 이해되지 않아야 한다. 당업자는 시스템 기능들에 따른 상이한 파티션을 사용하고, 상이한 하드웨어 프로세싱 유닛들로 상기 기능들을 맵핑함으로써 본 발명을 실시할 수 있다. 여기에 개시된 본 발명에 따른 디코딩 시스템에서의 적응적 오프셋 복원의 실시형태들은 통합 하드웨어 또는 멀티플 프로세싱 유닛들로 구현될 수 있고, 각 프로세싱 유닛은 적응적 오프셋 복원의 소정 기능을 담당할 수 있다. 예컨대, 제1 프로세싱 유닛은 비디오 비트스트림으로부터 비디오 픽쳐들을 재구성하고, 프로세싱된 비디오 픽쳐들을 제공하도록 구성될 수 있다. 구성 유닛은 프로세싱된 비디오 픽쳐들을 위한 영역을 구성하는데 사용될 수 있다. 제2 프로세싱 유닛은 상기 각각의 픽셀들의 특성 측정에 기초하여 프로세싱된 비디오 데이터의 영역 내의 각 픽셀들을 위한 클래스를 결정하도록 구성될 수 있다. 제3 프로세싱 유닛은 비디오 비트스트림 내에 표시된 바와 같은 클래스를 위한 강도 오프셋을 결정하도록 구성될 수 있다. 제4 프로세싱 유닛은 클래스에 대한 강도 오프셋에 기초하여 프로세싱된 비디오 데이터의 영역을 보상(compensate)하도록 구성될 수 있다. 멀티플 프로세싱 유닛들에 기초한 디코더 시스템을 위한 하드웨어 구현의 상기 예는 시스템 기능들과 프로세싱 유닛들 사이의 하나의 맵핑을 나타낸다. 그럼에도 불구하고, 특정 기능 파티션 및 하드웨어 맵핑은 본 발명에 대한 한정으로서 이해되지 않아야 한다. 당업자는 시스템 기능들에 따른 상이한 파티션을 사용하고, 상이한 하드웨어 프로세싱 유닛들로 상기 기능들을 맵핑함으로써 본 발명을 실시할 수 있다.
본 발명은 그 사상 또는 본질적 특징으로부터 벗어나지 않는 다른 특정 형태로 실시될 수 있다. 개시된 실시예들은 모든면에서 한정이 아닌 예시로서만 간주될 것이다. 따라서, 본 발명의 범위는 상기 설명에 의해서가 아니라 첨부된 청구범위에 의해 제시된다. 청구범위의 동등 범위 및 의미 내에 있는 모든 변경들은 그 범위 내에 포함된다.

Claims (24)

  1. 프로세싱된 비디오 데이터의 적응적 오프셋 프로세싱을 위한 방법에 있어서,
    픽쳐(picture)를 포함하는 상기 프로세싱된 비디오 데이터를 수신하는 단계;
    상기 픽쳐 내에서 제1 영역(region) 및 제2 영역을 선택하는 단계;
    상기 제1 영역 내의 복수의 제1 픽셀들을 상기 복수의 제1 픽셀들 각각의 특성 측정에 기초하여 제1 분류 기준에 따라 복수의 제1 클래스(class)들로 분류하는 단계;
    상기 제2 영역 내의 복수의 제2 픽셀들을 상기 복수의 제2 픽셀들 각각의 특성 측정에 기초하여 상기 제1 분류 기준과 다른 제2 분류 기준에 따라 복수의 제2 클래스들로 분류하는 단계;
    상기 제1 영역 내의 상기 복수의 제1 픽셀들 및 관련된 오리지날 비디오 데이터의 상기 복수의 제1 픽셀들에 대응하는 픽셀들에 따라, 상기 복수의 제1 클래스들 각각에 대하여 제1 강도(intensity) 오프셋을 결정하는 단계;
    상기 제2 영역 내의 상기 복수의 제2 픽셀들 및 관련된 오리지날 비디오 데이터의 상기 복수의 제2 픽셀들에 대응하는 픽셀들에 따라, 상기 복수의 제2 클래스들 각각에 대하여 제2 강도 오프셋을 결정하는 단계;
    상기 복수의 제1 클래스들에 대한 복수의 제1 강도 오프셋들에 기초하여 상기 제1 영역을 보상(compensate)하는 단계; 및
    상기 복수의 제2 클래스들에 대한 복수의 제2 강도 오프셋들에 기초하여 상기 제2 영역을 보상하는 단계;
    를 포함하는,
    적응적 오프셋 프로세싱 방법.
  2. 제1항에 있어서,
    상기 프로세싱된 비디오 데이터는 디블록킹 프로세싱 이전에 재구성된 비디오 데이터에 대응하는,
    적응적 오프셋 프로세싱 방법.
  3. 제1항에 있어서,
    상기 복수의 제1 픽셀들을 분류하는 단계, 상기 제1 강도 오프셋을 결정하는 단계 및 상기 제1 영역을 보상하는 단계는 상기 제1 영역을 위한 적응적 루프 필터링(adaptive loop filtering)에 의해 선택적으로 교체될 수 있는,
    적응적 오프셋 프로세싱 방법.
  4. 제1항에 있어서,
    상기 복수의 제1 픽셀들을 분류하는 단계는 N개의 비균일 밴드들로 픽셀 강도를 분할하는 단계를 포함하고, 상기 N은 정수(integer)인,
    적응적 오프셋 프로세싱 방법.
  5. 제1항에 있어서,
    상기 복수의 제1 픽셀들을 분류하는 단계는 N개의 비균일 밴드들 또는 M개의 균일 밴드들로 픽셀 강도를 선택적으로 분할하는 단계 및 상기 N개의 비균일 밴드들 또는 상기 M개의 균일 밴드들이 선택되었는지 여부를 나타내기 위해 디코더에 플래그(flag)를 제공하는 단계를 포함하고, 상기 N과 M은 정수인,
    적응적 오프셋 프로세싱 방법.
  6. 제1항에 있어서,
    상기 복수의 제1 픽셀들을 분류하는 단계는, 픽셀 강도를 최소값과 최대값 사이의 N개의 밴드들로 분할하는 단계를 포함하고, 상기 N은 정수(integer)인,
    적응적 오프셋 프로세싱 방법.
  7. 제1항에 있어서,
    상기 복수의 제1 픽셀들을 분류하는 단계는, 픽셀 강도를 N개의 밴드들로 분할하는 단계, 시퀀스(sequence), 픽쳐 또는 슬라이스 레벨(slice level)에 있어서 오프셋 수정을 받지 않는 M개의 밴드들에 관한 정보를 제공하는 단계, 및 (N-M)개의 밴드들 각각에 대하여 상기 제1 강도 오프셋을 제공하는 단계를 포함하고,
    N과 M은 정수이고, M은 N보다 작거나 같은,
    적응적 오프셋 프로세싱 방법.
  8. 제1항에 있어서,
    상기 복수의 제1 픽셀들을 분류하는 단계는, 픽셀 강도를 N개의 밴드들로 분할하는 단계, N개의 밴드들을 M개의 그룹들로 분류하는 단계, 오프셋 수정을 받지 않는 P개의 그룹들에 대한 정보를 제공하는 단계, 및 (M-P)개의 그룹들 내의 밴드들 각각에 대하여 상기 제1 강도 오프셋을 제공하는 단계를 포함하고, N, M, 및 P는 정수이고, M은 2보다 크거나 같고, P는 M보다 작거나 같은,
    적응적 오프셋 프로세싱 방법.
  9. 제1항에 있어서,
    상기 복수의 제1 픽셀들을 분류하는 단계는, 픽셀 패턴을 선택하는 단계 및 상기 선택된 픽셀 패턴을 나타내기 위한 디코더에 플래그를 제공하는 단계를 포함하고, 상기 픽셀 패턴은 특성 측정을 위해 사용되는,
    적응적 오프셋 프로세싱 방법.
  10. 제1항에 있어서,
    상기 복수의 제1 픽셀들 각각의 특성 측정은 코딩 유닛 모드들, 프리딕션 유닛 사이즈(prediction unit size)들, 트랜스폼 유닛 사이즈(transform unit size)들, 양자화 파라미터들, 기준 픽쳐들, 모션 벡터들, 인트라 프리딕션 모드(intra prediction mode)들, 레지듀(residue)들, 및 디블록킹 바운더리 강도(deblocking boundary strength)들로 구성된 그룹으로부터 선택되는,
    적응적 오프셋 프로세싱 방법.
  11. 제1항에 있어서,
    유니크 필터(unique filter)를 사용하여 상기 제1 영역의 상기 복수의 제1 픽셀들 각각에 대하여 ALF(adaptive loop filtering)를 적용하는 단계를 더 포함하고, 상기 유니크 필터는 상기 복수의 제1 픽셀들 각각을 위한 상기 복수의 제1 클래스들 중 하나에 따라 결정되는,
    적응적 오프셋 프로세싱 방법.
  12. 제1항에 있어서,
    유니크 필터(unique filter)를 사용하여 상기 제1 영역의 상기 복수의 제1 픽셀들 각각에 대하여 ALF(adaptive loop filtering)를 적용하는 단계를 더 포함하고, 상기 유니크 필터는 상기 복수의 제1 픽셀들 각각을 위한 상기 복수의 제1 클래스들 중 하나에 따라 결정되고, 상기 복수의 제1 픽셀들 각각의 특성 측정으로서 라플라스 합(sum of Laplacians)이 사용되는,
    적응적 오프셋 프로세싱 방법.
  13. 프로세싱된 비디오 데이터의 적응적 오프셋 프로세싱을 위한 장치에 있어서,
    픽쳐(picture)를 포함하는 상기 프로세싱된 비디오 데이터를 수신하기 위한 인터페이스;
    상기 픽쳐 내의 제1 영역 및 제2 영역을 구성하기 위한 구성 유닛;
    상기 제1 영역 내의 복수의 제1 픽셀들을 상기 복수의 제1 픽셀들 각각의 특성 측정에 기초하여 제1 분류 기준에 따라 복수의 제1 클래스(class)들로 분류하고, 상기 제2 영역 내의 복수의 제2 픽셀들을 상기 복수의 제2 픽셀들 각각의 특성 측정에 기초하여 상기 제1 분류 기준과 다른 제2 분류 기준에 따라 복수의 제2 클래스들로 분류하기 위한 제1 프로세싱 유닛;
    상기 제1 영역 내의 상기 복수의 제1 픽셀들 및 관련된 오리지날 비디오 데이터의 상기 복수의 제1 픽셀들에 대응하는 픽셀들에 따라, 상기 복수의 제1 클래스들 각각에 대하여 제1 강도(intensity) 오프셋을 결정하고, 상기 제2 영역 내의 상기 복수의 제2 픽셀들 및 관련된 오리지날 비디오 데이터의 상기 복수의 제2 픽셀들에 대응하는 픽셀들에 따라, 상기 복수의 제2 클래스들 각각에 대하여 제2 강도 오프셋을 결정하기 위한 제2 프로세싱 유닛;
    상기 복수의 제1 클래스들에 대한 복수의 제1 강도 오프셋들에 기초하여 상기 제1 영역을 보상(compensate)하고, 복수의 제2 클래스들에 대한 복수의 제2 강도 오프셋들에 기초하여 상기 제2 영역을 보상하기 위한 제3 프로세싱 유닛;
    을 포함하는,
    적응적 오프셋 프로세싱 장치.
  14. 비디오 비트스트림(bitstream)에 대응하는 재구성된 비디오 픽쳐(picture)들은 적응적 오프셋에 의해 프로세싱되는, 비디오 비트스트림을 디코딩하는 방법에 있어서,
    비디오 픽쳐들을 재구성하고, 프로세싱된 비디오 픽쳐들을 제공하기 위해 상기 비디오 비트스트림을 프로세싱하는 단계;
    상기 프로세싱된 비디오 픽쳐들의 제1 영역(region) 및 제2 영역을 선택하는 단계;
    상기 제1 영역 내의 복수의 제1 픽셀들을 상기 복수의 제1 픽셀들 각각의 특성 측정에 기초하여 제1 분류 기준에 따라 복수의 제1 클래스(class)들로 분류하는 단계;
    상기 제2 영역 내의 복수의 제2 픽셀들을 상기 복수의 제2 픽셀들 각각의 특성 측정에 기초하여 상기 제1 분류 기준과 다른 제2 분류 기준에 따라 복수의 제2 클래스들로 분류하는 단계;
    상기 비디오 비트스트림 내에 표시된 바와 같은 상기 복수의 제1 클래스들 각각을 위한 제1 강도(intensity) 오프셋을 결정하는 단계;
    상기 비디오 비트스트림 내에 표시된 바와 같은 상기 복수의 제2 클래스들 각각을 위한 제2 강도 오프셋을 결정하는 단계;
    상기 복수의 제1 클래스들을 위한 복수의 제1 강도 오프셋들에 기초하여 상기 제1 영역을 보상(compensate)하는 단계; 및
    상기 복수의 제2 클래스들을 위한 복수의 제2 강도 오프셋들에 기초하여 상기 제2 영역을 보상하는 단계;
    를 포함하는,
    비디오 비트스트림의 디코딩 방법.
  15. 제14항에 있어서,
    상기 복수의 제1 픽셀들을 분류하는 단계, 상기 제1 강도 오프셋을 결정하는 단계 및 상기 제1 영역을 보상하는 단계는 상기 제1 영역을 위한 적응적 루프 필터링(adaptive loop filtering)에 의해 선택적으로 교체되는,
    비디오 비트스트림의 디코딩 방법.
  16. 제14항에 있어서,
    상기 복수의 제1 픽셀들을 분류하는 단계는, 상기 비디오 비트스트림으로부터 플래그(flag)를 추출하는 단계 및 상기 플래그에 따라 픽셀 강도를 N개의 비균일 밴드들 또는 M개의 균일 밴드들로 선택적으로 분할하는 단계를 포함하는,
    비디오 비트스트림의 디코딩 방법.
  17. 제14항에 있어서,
    상기 복수의 제1 픽셀들을 분류하는 단계는, 픽셀 강도를 최소값과 최대값 사이의 N개의 밴드들로 분할하는 단계를 포함하고, N은 정수(integer)인,
    비디오 비트스트림의 디코딩 방법.
  18. 제14항에 있어서,
    상기 복수의 제1 픽셀들을 분류하는 단계는, 픽셀 강도를 N개의 밴드들로 분할하는 단계, 시퀀스(sequence), 픽쳐 또는 슬라이스 레벨(slice level)에 있어서 오프셋 수정을 받지 않는 M개의 밴드들에 관한 정보를 제공하는 단계, 및 (N-M)개의 밴드들 각각을 위한 상기 제1 강도 오프셋을 제공하는 단계를 포함하고,
    N과 M은 정수이고, M은 N보다 작거나 같은,
    비디오 비트스트림의 디코딩 방법.
  19. 제14항에 있어서,
    상기 복수의 제1 픽셀들을 분류하는 단계는, 픽셀 강도를 N개의 밴드들로 분할하는 단계, N개의 밴드들을 M개의 그룹들로 분류하는 단계, 오프셋 수정을 받지 않는 P개의 그룹들에 대한 정보를 제공하는 단계, 및 (M-P)개의 그룹들 내의 밴드들 각각을 위한 상기 제1 강도 오프셋을 제공하는 단계를 포함하고, N, M, 및 P는 정수이고, M은 2보다 크거나 같고, P는 M보다 작거나 같은,
    비디오 비트스트림의 디코딩 방법.
  20. 제14항에 있어서,
    상기 복수의 제1 픽셀들을 분류하는 단계는, 상기 비디오 비트스트림으로부터 플래그를 추출하는 단계 및 상기 플래그에 따라 픽셀 패턴을 선택하는 단계를 포함하고, 상기 픽셀 패턴은 특성 측정을 위해 사용되는,
    비디오 비트스트림의 디코딩 방법.
  21. 제14항에 있어서,
    상기 복수의 제1 픽셀들 각각의 특성 측정은 코딩 유닛 모드들, 프리딕션 유닛 사이즈(prediction unit size)들, 트랜스폼 유닛 사이즈(transform unit size)들, 양자화 파라미터들, 기준 픽쳐들, 모션 벡터들, 인트라 프리딕션 모드(intra prediction mode)들, 레지듀(residue)들, 및 디블록킹 바운더리 강도(deblocking boundary strength)들로 구성된 그룹으로부터 선택되는,
    비디오 비트스트림의 디코딩 방법.
  22. 제14항에 있어서,
    유니크 필터(unique filter)를 사용하여 상기 제1 영역의 상기 복수의 제1 픽셀들 각각에 대하여 ALF(adaptive loop filtering)를 적용하는 단계를 더 포함하고, 상기 유니크 필터는 상기 복수의 제1 픽셀들 각각을 위한 상기 복수의 제1 클래스들 중 하나에 따라 결정되는,
    비디오 비트스트림의 디코딩 방법.
  23. 제14항에 있어서,
    유니크 필터(unique filter)를 사용하여 상기 제1 영역의 상기 복수의 제1 픽셀들 각각에 대하여 ALF(adaptive loop filtering)를 적용하는 단계를 더 포함하고, 상기 유니크 필터는 상기 복수의 제1 픽셀들 각각을 위한 상기 복수의 제1 클래스들 중 하나에 따라 결정되고, 상기 복수의 제1 픽셀들 각각의 특성 측정으로서 라플라스 합(sum of Laplacians)이 사용되는,
    비디오 비트스트림의 디코딩 방법.
  24. 비디오 비트스트림에 대응하는 재구성된 비디오 픽쳐(picture)들이 적응적 오프셋에 의해 프로세싱되는, 비디오 비트스트림의 디코딩을 위한 장치에 있어서,
    상기 비디오 비트스트림으로부터 비디오 픽쳐들을 재구성하고, 상기 프로세싱된 비디오 픽쳐들을 제공하기 위한 제1 프로세싱 유닛;
    상기 프로세싱된 비디오 픽쳐들의 제1 영역 및 제2 영역을 구성하기 위한 구성 유닛;
    상기 제1 영역 내의 복수의 제1 픽셀들을 상기 복수의 제1 픽셀들 각각의 특성 측정에 기초하여 제1 분류 기준에 따라 복수의 제1 클래스(class)들로 분류하고, 상기 제2 영역 내의 복수의 제2 픽셀들을 상기 복수의 제2 픽셀들 각각의 특성 측정에 기초하여 상기 제1 분류 기준과 다른 제2 분류 기준에 따라 복수의 제2 클래스(class)들로 분류하기 위한 제2 프로세싱 유닛;
    상기 비디오 비트스트림 내에 표시된 바와 같은 상기 복수의 제1 클래스들 각각을 위한 제1 강도(intensity) 오프셋을 결정하고, 상기 비디오 비트스트림 내에 표시된 바와 같은 상기 복수의 제2 클래스들 각각을 위한 제2 강도 오프셋을 결정하기 위한 제3 프로세싱 유닛;
    상기 복수의 제1 클래스들을 위한 복수의 제1 강도 오프셋들에 기초하여 상기 제1 영역을 보상(compensate)하고, 상기 복수의 제2 클래스들을 위한 복수의 제2 강도 오프셋들에 기초하여 상기 제2 영역을 보상하기 위한 제4 프로세싱 유닛;
    을 포함하는,
    비디오 비트스트림의 디코딩 장치.
KR1020127029701A 2010-06-15 2011-05-03 비디오 코딩을 위한 적응적 오프셋 복원 장치 및 방법 KR101433501B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US35478910P 2010-06-15 2010-06-15
US61/354,789 2010-06-15
US12/987,151 US8660174B2 (en) 2010-06-15 2011-01-09 Apparatus and method of adaptive offset for video coding
US12/987,151 2011-01-09
PCT/CN2011/073620 WO2011157084A1 (en) 2010-06-15 2011-05-03 Apparatus and method of adaptive offset restoration for video coding

Publications (2)

Publication Number Publication Date
KR20130019423A KR20130019423A (ko) 2013-02-26
KR101433501B1 true KR101433501B1 (ko) 2014-08-25

Family

ID=45096208

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127029701A KR101433501B1 (ko) 2010-06-15 2011-05-03 비디오 코딩을 위한 적응적 오프셋 복원 장치 및 방법

Country Status (12)

Country Link
US (1) US8660174B2 (ko)
EP (2) EP2458862A3 (ko)
KR (1) KR101433501B1 (ko)
CN (1) CN102742275B (ko)
AU (1) AU2011267667B2 (ko)
BR (1) BR112012026492B1 (ko)
DK (1) DK3082339T3 (ko)
ES (1) ES2898660T3 (ko)
HU (1) HUE056653T2 (ko)
PL (1) PL3082339T3 (ko)
TW (1) TWI491263B (ko)
WO (1) WO2011157084A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017179960A1 (ko) * 2016-04-15 2017-10-19 삼성전자 주식회사 인코딩 장치, 디코딩 장치 및 이의 제어 방법

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
WO2012044093A2 (ko) * 2010-09-29 2012-04-05 한국전자통신연구원 필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치
US8861617B2 (en) 2010-10-05 2014-10-14 Mediatek Inc Method and apparatus of region-based adaptive loop filtering
RU2565363C2 (ru) 2011-01-07 2015-10-20 Нокиа Корпорейшн Предсказание движения при видеокодировании
CN103460699B (zh) * 2011-03-30 2017-06-20 Lg电子株式会社 环路滤波方法及其设备
PL3220641T3 (pl) 2011-04-21 2019-07-31 Hfi Innovation Inc. Sposób i urządzenie do poprawionego filtrowania w pętli
GB2505344B (en) * 2011-04-26 2017-11-15 Lg Electronics Inc Method for managing a reference picture list, and apparatus using same
CN103733627B (zh) 2011-06-14 2017-11-17 Lg电子株式会社 用于编码和解码图像信息的方法
US10382753B2 (en) * 2011-06-20 2019-08-13 Sun Patent Trust Simplified pipeline for filtering
US10484693B2 (en) 2011-06-22 2019-11-19 Texas Instruments Incorporated Method and apparatus for sample adaptive offset parameter estimation for image and video coding
US10038903B2 (en) * 2011-06-22 2018-07-31 Texas Instruments Incorporated Method and apparatus for sample adaptive offset parameter estimation in video coding
KR102229157B1 (ko) 2011-06-24 2021-03-17 엘지전자 주식회사 영상 정보 부호화 및 복호화 방법
US9357235B2 (en) * 2011-10-13 2016-05-31 Qualcomm Incorporated Sample adaptive offset merged with adaptive loop filter in video coding
GB201119206D0 (en) 2011-11-07 2011-12-21 Canon Kk Method and device for providing compensation offsets for a set of reconstructed samples of an image
BR112014011149A2 (pt) 2011-11-08 2017-05-16 Motorola Mobility Llc dispositivos e métodos para codificação e / ou de sinalização de deslocamento adaptativo de amostra
US9277194B2 (en) * 2011-11-08 2016-03-01 Texas Instruments Incorporated Method and apparatus for image and video coding using hierarchical sample adaptive band offset
US20130128971A1 (en) * 2011-11-23 2013-05-23 Qualcomm Incorporated Transforms in video coding
US9386305B2 (en) 2011-11-28 2016-07-05 Qualcomm Incorporated Largest coding unit (LCU) or partition-based syntax for adaptive loop filter and sample adaptive offset in video coding
US10708622B2 (en) * 2011-12-20 2020-07-07 Texas Instruments Incorporated Adaptive loop filtering (ALF) for video coding
BR122019019874B1 (pt) 2011-12-22 2020-08-11 Samsung Electronics Co., Ltd Método de decodificação de vídeo
US9955153B2 (en) 2012-01-05 2018-04-24 Google Technology Holdings LLC Devices and methods for sample adaptive offset coding
WO2013103892A1 (en) 2012-01-05 2013-07-11 General Instrument Corporation Devices and methods for sample adaptive offset coding and/or selection of edge offset parameters
JP2014197723A (ja) 2012-01-06 2014-10-16 ソニー株式会社 画像処理装置および方法
WO2013109879A1 (en) * 2012-01-19 2013-07-25 Cisco Technology Inc. Digital video compression system, method and computer readable medium
US9161035B2 (en) 2012-01-20 2015-10-13 Sony Corporation Flexible band offset mode in sample adaptive offset in HEVC
KR101689938B1 (ko) 2012-01-20 2016-12-26 소니 주식회사 크로마 양자화 파라미터 확장
WO2013109419A1 (en) * 2012-01-21 2013-07-25 General Instrument Corporation Devices and methods for sample adaptive offset coding and/or selection of band offset parameters
US9282328B2 (en) * 2012-02-10 2016-03-08 Broadcom Corporation Sample adaptive offset (SAO) in accordance with video coding
US9380320B2 (en) 2012-02-10 2016-06-28 Broadcom Corporation Frequency domain sample adaptive offset (SAO)
TWI524739B (zh) * 2012-02-10 2016-03-01 美國博通公司 根據視頻編碼的採樣點自適應偏移（sao）
US9596463B2 (en) 2012-02-22 2017-03-14 Qualcomm Incorporated Coding of loop filter parameters using a codebook in video coding
WO2013152356A1 (en) 2012-04-06 2013-10-10 Motorola Mobility Llc Devices and methods for signaling sample adaptive offset (sao) parameters
SG10201800588QA (en) * 2012-04-13 2018-02-27 Mitsubishi Electric Corp Image encoding device, image decoding device, image encoding method and image decoding method
RU2679984C2 (ru) * 2012-05-25 2019-02-14 Вилос Медиа Интернэшнл Лимитед Способ кодирования изображений, устройство кодирования изображений, способ декодирования изображений, устройство декодирования изображений и устройство кодирования и декодирования изображений
MY169635A (en) 2012-06-08 2019-04-24 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
CN108600752B (zh) 2012-06-11 2021-09-21 三星电子株式会社 视频编码方法和设备以及计算机可读存储介质
US10623759B2 (en) 2012-06-13 2020-04-14 Sony Corporation Decoupling enhancements in sample adaptive offset (SAO) for high efficiency video encoder (HEVC)
MX2013015086A (es) 2012-06-27 2014-02-21 Panasonic Corp Metodo de codificacion de imagenes, metodo de decodificacion de imagenes, aparato de codificacion de imagenes, aparato de decodificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
ES2967482T3 (es) * 2012-07-02 2024-04-30 Sony Group Corp Mejoras de desacoplamiento en el desplazamiento adaptativo de muestra (SAO) para codificador de vídeo de alta eficiencia (HEVC)
CN108055545B (zh) 2012-07-16 2020-09-08 三星电子株式会社 Sao编码方法和设备以及sao解码方法和设备
US9344717B2 (en) 2012-08-06 2016-05-17 Mediatek Inc. Method and apparatus for sample adaptive offset in a video decoder
KR102166335B1 (ko) * 2013-04-19 2020-10-15 삼성전자주식회사 Sao 파라미터를 시그널링하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
JP6328759B2 (ja) * 2013-07-15 2018-05-23 寰發股▲ふん▼有限公司ＨＦＩ Ｉｎｎｏｖａｔｉｏｎ Ｉｎｃ． ビデオ符号化のサンプル適応オフセット処理の方法
KR102276914B1 (ko) * 2013-10-24 2021-07-13 삼성전자주식회사 비디오 인코딩 장치 그리고 이의 구동 방법
CN104717506B (zh) * 2013-12-13 2019-07-05 北京三星通信技术研究有限公司 视频编解码中像素处理的方法和装置
CN104735460B (zh) * 2013-12-24 2018-04-06 珠海全志科技股份有限公司 视频图像采样点自适应偏移处理方法及装置
EP3104615B1 (en) 2014-02-03 2019-03-27 Mitsubishi Electric Corporation Moving image encoding device and moving image encoding method
US20150365703A1 (en) * 2014-06-13 2015-12-17 Atul Puri System and method for highly content adaptive quality restoration filtering for video coding
CN104837015B (zh) * 2015-04-30 2017-11-17 电子科技大学 低延迟编码自适应QP Offset调节方法
CN114827601A (zh) 2015-09-11 2022-07-29 株式会社Kt 对视频进行解码的方法和设备以及对视频进行编码的方法和设备
KR101981687B1 (ko) * 2016-05-04 2019-05-24 한국항공대학교산학협력단 오프셋 정보 부호화 및 복호화 방법 및 장치
US20170359575A1 (en) * 2016-06-09 2017-12-14 Apple Inc. Non-Uniform Digital Image Fidelity and Video Coding
JP2020025150A (ja) * 2016-12-01 2020-02-13 シャープ株式会社 画像フィルタ装置
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
CN116233422A (zh) * 2017-03-22 2023-06-06 汉阳大学校产学协力团 基于自适应像素分类基准的环路滤波方法
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
CN107277508B (zh) * 2017-07-25 2020-04-24 哈尔滨工业大学 一种采用自适应模式选择的像素级两向帧内预测方法
EP3471413A1 (en) * 2017-10-10 2019-04-17 Thomson Licensing Encoding and decoding methods and corresponding devices
GB2568039B (en) * 2017-10-30 2020-10-28 Imagination Tech Ltd Systems and methods for processing a stream of data values
GB2567881B (en) 2017-10-30 2021-02-10 Imagination Tech Ltd Systems and methods for processing a stream of data values
GB2568038B (en) 2017-10-30 2020-12-02 Imagination Tech Ltd Systems and methods for processing a stream of data values
CN109660808B (zh) * 2018-12-21 2020-05-05 信通达智能科技有限公司 基于大数据存储的视频编码器以及相应终端
US20220337824A1 (en) * 2021-04-07 2022-10-20 Beijing Dajia Internet Information Technology Co., Ltd. System and method for applying neural network based sample adaptive offset for video coding
CN114885165B (zh) * 2022-06-30 2023-04-04 深圳比特微电子科技有限公司 图像帧的环路滤波方法、装置及电子设备和存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5021891A (en) * 1990-02-27 1991-06-04 Qualcomm, Inc. Adaptive block size image compression method and system
US20030053637A1 (en) * 2001-09-14 2003-03-20 Michael Rodemer Audio distributor
AU2003238771A1 (en) 2002-05-29 2003-12-19 Simon Butler Predictive interpolation of a video signal
JP2004032551A (ja) * 2002-06-27 2004-01-29 Seiko Epson Corp 画像処理方法、画像処理装置及びプロジェクタ
US20060093232A1 (en) 2002-12-10 2006-05-04 Koninkjkle Phillips Electronics N.V Unified metric for digital video processing (umdvp)
KR20050105268A (ko) * 2003-03-03 2005-11-03 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 인코딩
EP1771818A4 (en) * 2004-07-30 2011-07-27 Algolith Inc DEVICE AND METHOD FOR ADAPTIVE 3D ARTIFACT REDUCTION FOR A CODED IMAGE SIGNAL
JP2007134755A (ja) * 2005-11-08 2007-05-31 Hitachi Ltd 動画像符号化装置及び画像記録再生装置
WO2007081908A1 (en) 2006-01-09 2007-07-19 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multi-view video coding
JP5224458B2 (ja) 2006-01-09 2013-07-03 トムソン ライセンシング マルチビュービデオ符号化のための低解像度アップデートモードを提供する方法及び装置
CN101855911B (zh) * 2007-09-28 2013-06-19 杜比实验室特许公司 处理视频信息
US8345763B2 (en) * 2007-11-27 2013-01-01 Mediatek Inc. Motion compensation method and integrated circuit utilizing the same

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
McCann et al., "Samsung's Response to the Call for Proposals on Video Compression Technology, document JCTVC-A124, 2010, April. *
McCann et al., "Samsung's Response to the Call for Proposals on Video Compression Technology, document JCTVC-A124, 2010, April.*

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017179960A1 (ko) * 2016-04-15 2017-10-19 삼성전자 주식회사 인코딩 장치, 디코딩 장치 및 이의 제어 방법
US10944995B2 (en) 2016-04-15 2021-03-09 Samsung Electronics Co., Ltd. Encoding apparatus, decoding apparatus, and control methods therefor

Also Published As

Publication number Publication date
TWI491263B (zh) 2015-07-01
US20110305274A1 (en) 2011-12-15
ES2898660T3 (es) 2022-03-08
BR112012026492B1 (pt) 2021-12-14
DK3082339T3 (da) 2021-10-11
WO2011157084A1 (en) 2011-12-22
KR20130019423A (ko) 2013-02-26
US8660174B2 (en) 2014-02-25
AU2011267667A1 (en) 2012-10-18
PL3082339T3 (pl) 2022-01-24
BR112012026492A2 (ko) 2017-09-05
AU2011267667B2 (en) 2014-09-18
CN102742275A (zh) 2012-10-17
CN102742275B (zh) 2014-09-10
TW201223291A (en) 2012-06-01
HUE056653T2 (hu) 2022-03-28
EP3082339A1 (en) 2016-10-19
EP3082339B1 (en) 2021-08-25
EP2458862A3 (en) 2012-10-31
BR112012026492A8 (pt) 2017-10-10
EP2458862A2 (en) 2012-05-30

Similar Documents

Publication Publication Date Title
KR101433501B1 (ko) 비디오 코딩을 위한 적응적 오프셋 복원 장치 및 방법
JP5165083B2 (ja) ビデオコーディングの適応オフセットに用いる装置および方法
US11064209B2 (en) System and method for content adaptive clipping
KR101547201B1 (ko) 비디오 부호화를 위한 샘플 적응 오프셋의 장치 및 방법
EP2708027B1 (en) Method and apparatus for reduction of in-loop filter buffer
CN106131552B (zh) 采用自适应偏置处理编码视频的方法和装置
KR101752612B1 (ko) 비디오 코딩을 위한 샘플 적응적 오프셋 프로세싱의 방법
AU2013248857B2 (en) Method and apparatus for loop filtering across slice or tile boundaries
AU2012327672B2 (en) Method and apparatus for non-cross-tile loop filtering
JP5763210B2 (ja) 改良されたループ型フィルタリング処理のための方法と装置
EP2625860A1 (en) Method and apparatus of adaptive loop filtering
KR20190065620A (ko) 양방향 필터를 사용하는 비디오 코딩 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170809

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180807

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190806

Year of fee payment: 6