KR20180054751A - 예측 코딩을 위한 적응 선명화 필터 - Google Patents
예측 코딩을 위한 적응 선명화 필터 Download PDFInfo
- Publication number
- KR20180054751A KR20180054751A KR1020187010790A KR20187010790A KR20180054751A KR 20180054751 A KR20180054751 A KR 20180054751A KR 1020187010790 A KR1020187010790 A KR 1020187010790A KR 20187010790 A KR20187010790 A KR 20187010790A KR 20180054751 A KR20180054751 A KR 20180054751A
- Authority
- KR
- South Korea
- Prior art keywords
- block
- adaptive
- frame
- sharpening filter
- prediction block
- Prior art date
Links
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 215
- 238000001914 filtration Methods 0.000 claims abstract description 27
- 239000010410 layer Substances 0.000 claims description 84
- 238000000034 method Methods 0.000 claims description 51
- 239000013598 vector Substances 0.000 claims description 50
- 239000000872 buffer Substances 0.000 claims description 38
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 26
- 239000011229 interlayer Substances 0.000 claims description 24
- 238000006073 displacement reaction Methods 0.000 claims description 15
- 230000006978 adaptation Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 230000011664 signaling Effects 0.000 description 16
- 238000013139 quantization Methods 0.000 description 10
- 238000012935 Averaging Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013442 quality metrics Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 참조 프레임으로부터 획득된 예측 블록에 기초해서 원래 프레임의 원래 블록을 인코딩된 비디오 비트 스트림으로 예측 코딩하기 위한 비디오 코더(400, 600)에 관한 것이며, 상기 비디오 코더는 상기 원래 블록을 저장하도록 구성되어 있는 버퍼(401, 601), 상기 예측 블록을 저장하도록 구성되어 있는 버퍼(408, 608), 및 상기 예측 블록에 공간적 적응성 선명화 필터링을 적용하도록 구성되어 있는 적응성 선명화 필터(409, 609)를 포함한다.
Description
본 발명은 비디오 처리 분야에 관한 것이며, 구체적으로 예측 코딩을 지원하는 비디오 코더 및 비디오 디코더에 관한 것이다. 본 발명은 비디오를 예측 코딩하는 방법 및 예측 코딩에 의해 획득된 인코딩된 비디오 비트 스트림을 디코딩하는 방법에 추가로 관한 것이다. 마지막으로, 본 발명은 이러한 방법을 수행하기 위한 프로그램 코드를 가지는 컴퓨터 프로그램에 관한 것이다.
알려진 비디오 시스템들은 코딩 및 디코딩 효율성을 증가시키기 위해 예측 코딩을 사용한다. 예측 코딩의 예로는 스케일러블 비디오 코딩의 인터 레이어 예측 및 인터 프레임 예측을 들 수 있다.
스케일러블 비디오 코덱은 스마트 폰, 태블릿 또는 노트북을 비롯한 모바일 장치뿐만 아니라 다양한 화면 크기 및 컴퓨팅 기능을 갖춘 기타 장비에 대한 비디오 스트리밍 수요 증가에 대한 통신 업계의 응답이다. 또한 인터넷과 모바일 네트워크를 사용하는 현대의 비디오 전송 시스템은 통상적으로 적응형 자원 공유 메커니즘에 의존하는 폭넓은 접속 품질을 특징으로 한다. 다양한 접속 품질과 서로 다른 수신 장치의 이러한 이질적인 환경에서는, 1회 인코딩 콘텐츠의 융통성 있는 적응이 바람직하다.
이 관점에서, 스케일러블 비디오 코덱은 계층화된 비트 스트림(layered bit-stream)을 생성한다. 임의의 스케일러블 비디오 콘텐츠의 계층화된 구조는 베이스 계층과 적어도 하나의 추가적인 강화 계층의 조합으로 정의될 수 있다. 베이스 계층은 최저 지원 비디오 성능에 대응하는 반면 강화 계층은 언급된 베이스 계층의 세분화를 허용한다. 강화 계층에 의해 달성될 수 있는 개선은 품질, 프레임 레이트 또는 공간적 해상도가 높은 공간적 세분화에 관련될 수 있다.
도 1은 예를 들어 H.265/SHVC 스케일러블 비디오 코딩으로 공지된 기술의 상태에 따른 일련의 비디오 프레임(101)의 인터 레이어 예측 코딩을 위한 비디오 코더(100)를 도시한다. 코더(100)는 비디오 프레임(101)을 수신하고 인코딩된 강화 계층 비트스트림을 생성하는 공간 강화 계층(102)을 포함한다. 코더(100)는 비디오 프레임(101)으로부터 다운샘플링된 비디오 프레임(111)을 생성하는 다운샘플링 필터(107) 및 다운샘플링된 비디오 프레임(111)을 수신하고 인코딩된 베이스 계층 비트스트림을 생성하기 위한 공간적 베이스 계층(112)을 더 포함한다. 코더(100)는 인코딩된 강화 계층 비트스트림과 인코딩된 베이스 계층 비트스트림을 다중화하고 인코딩된 비디오 비트 스트림을 생성하기 위한 멀티플렉스 유닛(118)을 더 포함한다.
공간적 베이스 계층(112)은 다운샘플링된 비디오 프레임(111)을 수신하는 시간적 스케일러블 코딩 유닛(113), 예측 유닛(114), 베이스 계층 코딩 유닛(115), SNR 스케일러블 코딩 유닛(116) 및 업샘플링 필터(117)의 연속적인 유닛을 포함한다. 베이스 계층 코딩 유닛(115)과 SNR 스케일러블 코딩 유닛(116)의 각각의 출력이 멀티플렉스 유닛(118)에 제공된다. 공간적 강화 계층(102)은 비디오 프레임(101)을 수신하는 시간적 스케일러블 코딩 유닛(103), 예측 유닛(104), 베이스 계층 코딩 유닛(105), 및 SNR 스케일러블 코딩 유닛(106)의 연속적인 유닛을 포함한다. 베이스 계층 코딩 유닛(105)과 SNR 스케일러블 코딩 유닛(106)의 각각의 출력이 멀티플렉스 유닛(118)에 제공된다.
공간적 베이스 계층(112)의 업샘플링 필터(117)의 출력은 인터 레이어 예측을 위한 예측 블록에 대응하고 공간 강화 계층의 예측 유닛(104)에 공급된다. 베이스 계층으로부터의 정보는 강화 계층의 압축비를 증가시키는 데 사용된다. 이것은 비디오 신호의 비트 레이트를 감소시킬 수 있는 효과가 있다.
그렇지만, 공간적 강화 계층의 이러한 공지의 계층 예측은 베이스 레이어 프레임의 업샘플링을 사용한다. 이에 의해 업샘플링된 베이스 레이어 프레임은 베이스 계층 참조 프레임에는 고주파 세부 사항이 존재하기 않기 때문에 가장자리가 흐려지고 고주파 세부 사항의 양이 적다. 또한, 업샘플링 프레임의 품질 역시 업샘플링 필터(117)의 속성에 의존한다. 숏탭 필터(short-tap)는 고주파수를 억제하고 보간된 프레임을 더 흐려지게 한다. 이와는 반대로, 롱탭 필터(long-tap)는 고주파수를 유지할 수는 있으나 예리한 가장자리 근처에 링잉 아티팩트(ringing artifacts)를 생성한다.
전술한 단점과 문제를 인식하여 본 발명은 종래기술의 상태를 개선하는 것을 목적으로 한다. 특히, 본 발명의 목적은 비디오 스트림의 코딩 및 디코딩을 개선하기 위한 비디오 코더, 코딩 방법, 비디오 디코더 및 디코딩 방법을 제공하는 것이다.
본 발명은 특히 예측 코딩의 효율성을 개선하려는 것이다. 특히, 본 발명은 로컬 이미지 특징에 더 적합하도록 의도된다. 본 발명의 추가의 목적은 가장자리의 선명화를 높이고 로컬 이미지 콘텐츠에 적응적으로 링잉 아티팩트를 감소시킴으로써 예측 코딩을 개선하는 것이다.
본 발명의 전술한 목적은 첨부된 독립 청구항에 제공된 솔루션에 의해 달성된다. 본 바렴의 이로운 실시는 각각의 종속항에 추가로 정의된다.
본 발명의 제1 관점은 참조 프레임으로부터 획득된 예측 블록에 기초해서 원래 프레임의 원래 블록을 인코딩된 비디오 비트 스트림으로 예측 코딩하기 위한 비디오 코더를 제공한다. 비디오 코더는 상기 원래 블록을 저장하도록 구성되어 있는 버퍼를 포함한다. 비디오 코더는 예측 블록을 저장하도록 구성되어 있는 버퍼를 포함한다. 비디오 코더는 예측 블록에 공간적 적응성 선명화 필터링을 적용하도록 구성되어 있는 적응성 선명화 필터를 포함한다.
이에 의해, 공간적 적응성 선명화 필터를 적용함으로써 예측 효율, 예를 들어, 인터 레이어 또는 인터 프레임 예측 효율이 증가한다. 아티팩트의 존재가 가장자와 그 길이에 의존하는 한, 로컬 이미지 콘텐츠에 적응되는, 즉 블록 내의 가장자리의 존재 및 강도에 적응하는 필터를 제공하는 것이 이롭다. 이 솔루션으로 코딩 프레임의 작은 영역에 대한 국부적 특징에 대한 적응이 허용된다. 인터 레이어 예측에서, 업샘플링 필터에 의해 생기는 링잉 아티팩트는 가장자리의 품질을 유지하는 동안 감소될 수 있다. 저 해상도 프레임으로부터 예측에 의해 생기는 가장자리 흐림은 감소될 수 있다. 하나의 적응성 계수만을 가지는 적응성 선명화 필터를 사용함으로써 시그널링 오버헤드로 감소될 수 있다. 시그널링 오버헤드는 이미 전송된 베이스 계층 픽처로부터 계산된 가장자리 강도에 관한 정보를 활용함으로써 감소될 수 있다. 가장자리의 주관적 품질은 재구성된 프레임에서 증가될 수 있다.
제1 관점에 따른 비디오 코더의 실시 형태에서, 참조 프레임으로부터 획득된 복수의 예측 블록에 각각 기초해서 원래 프레임의 복수의 원래 블록을 인코딩된 비디오 비트 스트림으로 예측 코딩하기 위해, 적응성 선명화 필터는 복수의 예측 블록의 각각에 상이한 선명화 필터링을 적용하도록 구성되어 있다. 이에 의해 필터는 로컬 이미지 콘텐츠에 적응될 수 있고, 즉 블록 내의 가장자리의 존재 및 강도에 적응될 수 있다.
제1 관점에 따른 비디오 코더의 실시 형태에서, 비디오 코더는 베이스 계층 및 적어도 하나의 강화 계층을 포함하는 스케일러블 비디오 콘텐츠의 인터 레이어 예측 코딩에 적합하다. 원래 프레임은 강화 계층의 프레임이다. 참조 프레임은 재구성된 베이스 계층의 프레임이다. 비디오 코더는 참조 프레임을 업샘플링하도록 구성되어 있는 업샘플링 필터를 포함하며, 상기 예측 블록은 상기 업샘플링된 참조 프레임의 블록이다. 이에 의해 인터 레이어 예측 효율이 향상될 수 있다.
제1 관점에 따른 비디오 코더의 실시 형태에서, 비디오 코더는 후속의 프레임을 포함하는 비디오 콘텐츠의 인터 프레임 예측 코딩에 적합하다. 원래 프레임은 상기 후속의 프레임 중 하나이다. 참조 프레임은 재구성된 후속의 프레임 중 하나이다. 비디오 코더는 참조 프레임의 참조 블록을 저장하도록 구성되어 있는 버퍼를 포함한다. 비디오 코더는 상기 참조 블록과 상기 원래 블록 간의 모션을 반영하는 모션 벡터를 획득하도록 구성되어 있는 모션 추정 유닛을 포함하다. 비디오 코더는 상기 모션 벡터에 기초해서 참조 블록으로부터 예측 블록을 생성하도록 구성되어 있는 모션 보상 유닛을 포함한다. 이에 의해 인터 프레임 예측 효율이 향상될 수 있다.
제1 관점에 따른 비디오 코더의 실시 형태에서, 비디오 코더는 적응성 선명화 필터의 선택적 우회와 적응성 선명화 필터의 선택적 적용 중 적어도 하나를 제어하도록 구성되어 있는 제어 유닛을 포함한다. 비디오 코더는 적응성 선명화 필터의 선택적 우회와 선택적 적용 중 적어도 하나를 반영하는 인코딩된 비디오 비트 스트림 선명화 필터 정보에 부가하도록 구성되어 있는 인코딩 유닛을 포함한다. 제어 유닛(410)에 의해 선명화 필터를 적용 또는 우회하는 결정이 취해질 수 있다. 그런 다음 결정은 각각의 특정한 경우, 예를 들어 인코딩될 특정 비디오에 적응될 수 있다. 또한, 적응성 선명화 필터는 비디오 코더 내의 계산 자원을 절감하도록 우회될 수 있다. 다른 한편, 적응성 선명화 필터는 예를 들어 아티팩트의 감소에 대한 우선순위가 주어지면 적용될 수 있다.
제1 관점에 따른 비디오 코더의 실시 형태에서, 인코딩 유닛은 컨텍스트-적응 이진 산술 코딩(context-adaptive binary arithmetic coding, CABAC)을 사용해서 선명화 필터 정보를 인코딩하도록 구성되어 있다. 비디오 코더는 상기 예측 블록 또는 상기 참조 프레임의 참조 블록의 가장자리 강도를 추정하도록 구성되어 있는 가장자리 강도 추정 유닛을 포함한다. 비디오 코더는 상기 추정된 가장자리 강도에 의존해서 CABAC의 컨텍스트를 선택하도록 구성되어 있는 CABAC 컨텍스트 스위치를 포함한다.
제1 관점에 따른 비디오 코더의 실시 형태에서, 상기 제어 유닛은 상기 원래 블록과 상기 예측 블록 간의 차이인 잔여 블록의 최소화에 기초하거나, 예를 들어 레이트 왜곡 최적화인 비용 기준에 기초해서, 선택적 우회와 선택적 적용 중 적어도 하나를 제어하도록 구성되어 있다. 이에 의해 선명화 필터를 우회 또는 적용하는 가능성이 추가로 사용되어 예측 코딩을 향상시킬 수 있다. 자원 블록을 최소화한 대안을 선택하고 그에 따라 선명화 필터를 적용 또는 우회함으로써, 데이터의 품질, 예를 들어 인코딩될 변환 계수의 수량이 감소될 수 있다.
제1 관점에 따른 비디오 코더의 실시 형태에서, 상기 적응성 선명화 필터는 적어도 하나의 적응성 파라미터에 의해 제어되도록 구성되어 있다. 비디오 코더는 상기 적응성 파라미터의 파라미터 값을 결정하고 상기 결정된 파라미터 값을 적응성 선명화 필터에 제공하도록 구성되어 있는 제어 유닛을 포함한다. 비디오 코더는 상기 적응성 파라미터의 결정된 파라미터 값에 관한 인코딩된 비디오 비트 스트림 적응성 파라미터 정보에 부가하도록 구성되어 있는 인코딩 유닛을 포함한다. 이에 의해 적응성 선명화 파라미터는 최적화될 수 있고 동일한 필터링이 코더 및 디코더에 적용될 수 있다.
제1 관점에 따른 비디오 코더의 실시 형태에서, 제어 유닛은 적응성 파라미터에 대해 상이한 파라미터 값을 제공하고, 상기 원래 블록과 상기 예측 블록 간의 차이인 잔여 블록의 최소화에 기초하거나, 예를 들어 레이트 왜곡 최적화와 같은 비용 기준에 기초해서 상기 상이한 파라미터 값 중 하나를 선택하도록 구성되어 있다. 이에 의해 적응성 선명화 필터가 추가로 최적화될 수 있다.
제1 관점에 따른 비디오 코더의 실시 형태에서, 적응성 선명화 필터는 단일 적응성 파라미터에 의해 제어되도록 구성되어 있는 비선형 필터이다. 이에 의해 시그널링 오버헤드가 감소될 수 있다.
제1 관점에 따른 비디오 코더의 실시 형태에서, 적응성 선명화 필터는 상기 예측 블록 또는 상기 참조 프레임의 참조 블록인 소스 블록의 가장자리 지도를 생성하도록 구성된 가장자리 지도 계산 유닛을 포함한다. 적응성 선명화 필터는 상기 소스 블록의 가장자리 지도를 흐릿하게 처리하도록 구성된 블러링 필터를 포함한다. 적응성 선명화 필터는 상기 흐릿한 가장자리 지도를 하이 패스 필터링함으로써, 상기 소스 블록의 각각의 위치에 대한 미분 벡터를 생성하도록 구성된 하이 패스 필터를 포함한다. 적응성 선명화 필터는 상기 미분 벡터를 선명화 강도 계수(K)로 스케일링함으로써 변위 벡터를 생성하도록 구성된 스케일링 유닛을 포함한다. 적응성 선명화 필터는 상기 변위 벡터에 기초해서 상기 예측 블록을 왜곡하도록 구성된 워핑 유닛을 포함한다. 상기 적응성 파라미터는 선명화 강도 계수를 포함한다. 이에 의해 이러한 적응성 선명화 필터의 구조는 링잉 아티팩트의 추정과 관련해서 더 나은 결과를 이롭게 제공할 수 있는 비선형 선명화 필터를 정의한다. 또한, 적응성 파라미터로서 선명화 강도 계수의 사용은 하나의 적응성 파라미터만이 요구된다는 것을 의미하고, 이것은 시그널링 오버헤드를 감소시킨다.
제1 관점에 따른 비디오 코더의 실시 형태에서, 상기 적응성 파라미터 정보 및/또는 상기 선명화 필터 정보는 각각의 예측 블록에 대해서는 블록 레벨로 부가되고, 프레임의 임의의 영역 또는 규칙적 영역에 대해서는 프레임 레벨, 픽처의 그룹(group of pictures, GOP) 레벨, 픽처 파라미터 집합(picture parameter set, PPS) 레벨 또는 순서 파라미터 집합(sequence parameter set, SPS) 레벨로 부가된다.
제2 관점은 참조 프레임으로부터 획득된 예측 블록에 기초해서 원래 프레임의 원래 블록을 인코딩된 비디오 비트 스트림으로 예측 코딩하기 위한 방법을 제공한다. 상기 방법은 원래 블록을 저장하는 단계를 포함한다. 상기 방법은 상기 예측 블록을 저장하는 단계를 포함한다. 상기 방법은 상기 예측 블록에 공간적 적응성 선명화 필터링을 적용하는 단계를 포함하는 적응성 선명화 필터 단계를 포함한다.
본 발명의 제2 관점에 따른 방법의 추가의 특징 또는 실시는 본 발명의 제1 관점 및 그 다른 실시 형태에 따라 비디오 코더의 기능을 수행할 수 있다.
제3 관점은 재구성된 참조 프레임으로부터 획득된 예측 블록에 기초해서 원래 프레임의 원래 블록의 예측 코딩에 의해 획득된 인코딩된 비디오 비트 스트림을 디코딩하기 위한 비디오 디코더를 제공한다. 비디오 디코더는 상기 인코딩된 비디오 비트 스트림으로부터 예측 프레임을 재구성하도록 구성되어 있는 디코딩 유닛을 포함한다. 비디오 디코더는 상기 재구성된 참조 프레임으로부터 획득된 예측 블록을 저장하도록 구성되어 있는 버퍼를 포함한다. 비디오 디코더는 상기 예측 블록에 공간 적응성 선명화 필터링을 적용하도록 구성되어 있는 적응성 선명화 필터를 포함한다.
이에 의해 제1 관점에 따른 비디오 코더와 관련해서 획득된 이점 역시 제3 관점에 따른 비디오 디코더와 관련해서 주어진다.
제3 관점에 따른 비디오 디코더의 실시 형태에서, 비디오 디코더는 베이스 계층 및 적어도 하나의 강화 계층을 포함하는 스케일러블 비디오 콘텐츠의 인터 레이어 예측 코딩에 의해 획득된 인코딩된 비디오 비트 스트림을 디코딩에 적합하다. 원래 프레임은 강화 계층의 프레임이다. 참조 프레임은 재구성된 베이스 계층의 프레임이다. 비디오 디코더는 상기 재구성된 참조 프레임을 업샘플링하도록 구성되어 있는 업샘플링 필터를 포함하며, 상기 예측 블록은 상기 업샘플링된 참조 프레임의 블록이다.
제3 관점에 따른 비디오 디코더의 실시 형태에서, 비디오 디코더는 후속의 프레임을 포함하는 비디오 콘텐츠의 인터 프레임 예측 코딩에 의해 획득된 인코딩된 비디오 비트 스트림을 디코딩하는 데 적합하다. 원래 프레임은 후속의 프레임 중 하나이다. 참조 프레임은 재구성된 후속의 프레임 중 하나이다. 비디오 디코더는 추출된 참조 프레임의 참조 블록을 저장하도록 구성되어 있는 버퍼를 포함한다. 비디오 디코더는 상기 참조 블록과 상기 원래 블록 간의 모션을 반영하는 모션 벡터를 상기 인코딩된 비디오 비트 스트림으로부터 추출하도록 구성되어 있는 디코딩 유닛을 포함한다. 비디오 디코더는 상기 모션 벡터에 기초해서 참조 블록으로부터 예측 블록을 생성하도록 구성되어 있는 모션 보상 유닛을 포함한다.
제3 관점에 따른 비디오 디코더의 실시 형태에서, 비디오 디코더는 적응성 선명화 필터의 선택적 우회와 적응성 선명화 필터의 선택적 적용 중 적어도 하나를 반영하는 선명화 필터 정보를 인코딩된 비디오 비트 스트림으로부터 추출하도록 구성되어 있는 디코딩 유닛을 포함한다. 비디오 디코더는 상기 추출된 선명화 필터 정보에 의존해서 선택적 우회와 선택적 적용 중 적어도 하나를 제어하도록 구성되어 있는 제어 유닛을 포함한다. 이에 의해 비디오 코더 및 비디오 디코더 모두는 동일한 예측을 수행하는 것이 보장될 수 있다.
제3 관점에 따른 비디오 디코더의 실시 형태에서, 디코딩 유닛은 컨텍스트-적응 이진 산술 코딩(context-adaptive binary arithmetic coding, CABAC)에 따라 상기 선명화 필터 정보를 디코딩하도록 구성되어 있다. 비디오 디코더는 예측 블록 또는 참조 프레임의 참조 블록의 가장자리 강도를 추정하도록 구성되어 있는 가장자리 강도 추정 유닛을 포함한다. 비디오 디코더는 추정된 가장자리 강도에 의존해서 CABAC의 컨텍스트를 선택하도록 구성되어 있는 CABAC 컨텍스트 스위치를 포함한다.
제3 관점에 따른 비디오 디코더의 실시 형태에서, 적응성 선명화 필터는 적어도 하나의 적응성 파라미터에 의해 제어되도록 구성되어 있다. 비디오 디코더는 적응성 파라미터의 파라미터 값에 관한 적응성 파라미터 정보를 상기 인코딩된 비디오 비트 스트림으로부터 추출하도록 구성되어 있는 디코딩 유닛을 포함한다. 비디오 디코더는 추출된 적응성 파라미터 정보에 따라 적응성 선명화 필터(507, 707)를 제어하도록 구성되어 있는 제어 유닛을 포함한다. 이에 의해 비디오 코더 및 비디오 디코더 모두는 선명화 필터의 동일한 적응을 수행하는 것과 비디오 디코더에 의해 획득된 비디오가 비디오 코더에 의해 획득된 비디오와 대응하는 것을 보장할 수 있다.
제3 관점에 따른 비디오 디코더의 실시 형태에서, 적응성 선명화 필터는 단일 적응성 파라미터에 의해 제어되도록 구성되어 있는 비선형 필터이다. 이에 의해 시그널링 오버헤드가 감소될 수 있다.
제3 관점에 따른 비디오 디코더의 실시 형태에서, 적응성 선명화 필터는 예측 블록 또는 참조 프레임의 참조 블록인 소스 블록의 가장자리 지도를 생성하도록 구성된 가장자리 지도 계산(301, 302) 유닛을 포함한다. 적응성 선명화 필터는 소스 블록의 가장자리 지도를 흐릿하게 처리하도록 구성된 블러링 필터를 포함한다. 적응성 선명화 필터는 흐릿한 가장자리 지도를 하이 패스 필터링함으로써, 소스 블록의 각각의 위치에 대한 미분 벡터를 생성하도록 구성된 하이 패스 필터를 포함한다. 적응성 선명화 필터는 미분 벡터를 선명화 강도 계수로 스케일링함으로써 변위 벡터를 생성하도록 구성된 스케일링 유닛을 포함한다. 적응성 선명화 필터는 변위 벡터에 기초해서 상기 예측 블록을 왜곡하도록 구성된 워핑 유닛을 포함한다. 상기 적응성 파라미터는 선명화 강도 계수를 포함한다. 이에 의해 아티팩트는 시그널링 오버헤드가 제한되고 있는 동안 감소될 수 있다.
제3 관점에 따른 비디오 디코더의 실시 형태에서, 적응성 파라미터 정보 및/또는 상기 선명화 필터 정보는 각각의 예측 블록에 대해서는 블록 레벨로 부가되고, 프레임의 임의의 영역 또는 규칙적 영역에 대해서는 프레임 레벨, 픽처의 그룹(group of pictures, GOP) 레벨, 픽처 파라미터 집합(picture parameter set, PPS) 레벨 또는 순서 파라미터 집합(sequence parameter set, SPS) 레벨로 부가된다. 이에 의해 시그널링이 최적화될 수 있도록 선명화 필터 정보 및/또는 적응성 파라미터 정보를 원하는 그래뉼래리티에 설정할 수 있다.
본 발명의 제4 관점은 재구성된 참조 프레임으로부터 획득된 예측 블록에 기초해서 원래 프레임의 원래 블록의 예측 코딩에 의해 획득된 인코딩된 비디오 비트 스트림을 디코딩하는 방법을 제공한다. 상기 방법은 인코딩된 비디오 비트 스트림으로부터 참조 프레임을 재구성하는 단계를 포함하는 디코딩 단계를 포함한다. 상기 방법은 재구성된 참조 프레임으로부터 획득된 예측 블록을 저장하는 단계를 포함한다. 상기 방법은 상기 예측 블록에 공간 적응성 선명화 필터링을 적용하는 단계를 포함하는 적응성 선명화 필터 단계를 포함한다.
본 발명의 제4 관점에 따른 방법의 추가의 특징 또는 실시는 본 발명의 제3 관점 및 그 다른 실시 형태에 따라 비디오 디코더의 기능을 수행할 수 있다.
본 발명의 제5 관점은 컴퓨터 프로그램이 컴퓨팅 장치 상에서 실행될 때, 코딩 방법 및/또는 디코딩 방법을 수행하기 위한 프로그램 코드를 가지는 컴퓨터 프로그램을 제공한다.
본 출원에서 설명된 모든 장치, 요소, 유닛 및 수단은 소프트웨어 또는 하드웨어 요소 또는 이들의 임의의 조합으로 구현될 수 있다는 것을 알아야 한다. 본 출원에서 설명된 다양한 실체에 의해 수행되는 모든 단계뿐만 아니라 이러한 다양한 실체에 의해 수행되는 것으로 설명된 기능들은 각각의 실체가 각각의 단계 및 기능을 수행하도록 적합되거나 구성되도록 의도된다. 특정 실시예에 대한 다음의 설명에서, 특정 단계 또는 기능을 수행하는 영원한 실체의 특정 상세 요소의 설명에 반영되지 않은 그 실체에 의해 완전하게 형성되는 특정 기능 또는 단계라도, 당업자는 이러한 방법 및 기능이 각각의 소프트웨어 또는 하드웨어 요소 또는 이들의 임의의 조합으로 구현될 수 있음을 이해할 것이다.
본 발명의 전술한 관점 및 실시 형태에 대해 첨부된 도면을 참조해서 이하의 특정한 실시예의 상세한 설명에서 설명한다.
도 1은 종래 기술에 따른 인터 레이어 예측 코딩을 위한 비디오 코더의 개요도이다.
도 2는 본 발명의 실시예에 따른 인터 레이어 예측 코딩을 위한 비디오 코더의 개요도이다.
도 3은 본 발명의 실시예에 따른 적응성 선명화 필터에 대한 도면이다.
도 4는 본 발명의 실시예에 따른 인터 레이어 예측 코딩을 위한 비디오 코더를 도시한다.
도 5는 본 발명의 실시예에 따른 인터 레이어 예측 코딩을 위한 비디오 디코더를 도시한다.
도 6은 본 발명의 실시예에 따른 인터 프레임 예측 코딩을 위한 비디오 코더를 도시한다.
도 7은 본 발명의 실시예에 따른 인터 프레임 예측 코딩을 위한 비디오 디코더를 도시한다.
도 8은 본 발명의 실시예에 따른 비디오 코딩 방법을 도시한다.
도 9는 본 발명의 실시예에 따른 비디오 디코딩 방법을 도시한다.
도 1은 종래 기술에 따른 인터 레이어 예측 코딩을 위한 비디오 코더의 개요도이다.
도 2는 본 발명의 실시예에 따른 인터 레이어 예측 코딩을 위한 비디오 코더의 개요도이다.
도 3은 본 발명의 실시예에 따른 적응성 선명화 필터에 대한 도면이다.
도 4는 본 발명의 실시예에 따른 인터 레이어 예측 코딩을 위한 비디오 코더를 도시한다.
도 5는 본 발명의 실시예에 따른 인터 레이어 예측 코딩을 위한 비디오 디코더를 도시한다.
도 6은 본 발명의 실시예에 따른 인터 프레임 예측 코딩을 위한 비디오 코더를 도시한다.
도 7은 본 발명의 실시예에 따른 인터 프레임 예측 코딩을 위한 비디오 디코더를 도시한다.
도 8은 본 발명의 실시예에 따른 비디오 코딩 방법을 도시한다.
도 9는 본 발명의 실시예에 따른 비디오 디코딩 방법을 도시한다.
본 발명의 일반적인 실시예에 따르면, 참조 프레임으로부터 획득된 예측 블록에 기초해서 원래 프레임의 원래 블록을 인코딩된 비디오 비트 스트림으로 예측 코딩하기 위한 비디오 코더가 제안된다. 비디오 코더는 원래 블록을 저장하도록 구성된 버퍼, 예측 블록을 저장하도록 구성된 버퍼 및 예측 블록에 공간적 적응 선명화 필터링을 적용하도록 구성된 적응성 선명화 필터를 포함한다.
특히, 참조 프레임으로부터 획득된 복수의 예측 블록에 각각 기초해서 원래 프레임의 복수의 원래 블록을 인코딩된 비디오 비트 스트림으로 예측 코딩하기 위해, 상기 적응성 선명화 필터는 상기 복수의 예측 블록의 각각에 상이한 선명화 필터링을 적용할 가능성을 가지도록 구성되어 있다.
본 발명의 일반적인 실시예에 따르면, 재구성된 참조 프레임으로부터 획득된 예측 블록에 기초해서 원래 프레임의 원래 블록의 예측 코딩에 의해 획득된 인코딩된 비디오 비트 스트림을 디코딩하기 위한 비디오 디코더가 제안된다. 상기 비디오 디코더는 인코딩된 비디오 비트 스트림으로부터 예측 프레임을 재구성하도록 구성되어 있는 디코딩 유닛, 상기 재구성된 참조 프레임으로부터 획득된 예측 블록을 저장하도록 구성되어 있는 버퍼, 및 - 상기 예측 블록에 공간 적응성 선명화 필터링을 적용하도록 구성되어 있는 적응성 선명화 필터를 포함한다.
마찬가지로, 재구성된 참조 프레임으로부터 획득된 복수의 예측 블록에 각각 기초해서 원래 프레임의 복수의 원래 블록의 예측 디코딩을 위해, 상기 적응성 선명화 필터는 상기 복수의 예측 블록의 각각에 상이한 선명화 필터링을 적용할 가능성을 가지도록 구성되어 있다.
도 2는 본 발명의 실시예에 따른 인터 레이어 예측 코딩을 위한 비디오 코더(200)의 개요도를 도시한다. 도 2는 베이스 계층과 적어도 하나의 강화 계층을 포함하는 스케일러블 비디오 콘텐츠의 인터 레이어 예측 코딩을 위한 비디오 코더(200)를 도시한다.
비디오 코더(200)는 비디오 프레임(201)을 수신하고 인코딩된 강화 계층 비트스트림을 생성하는 공간적 강화 계층(202)을 포함한다. 코더(200)는 비디오 프레임(201)으로부터 다운샘플링된 비디오 프레임(211)을 생성하는 다운샘플링 필터(208) 및 다운샘플링된 비디오 프레임(211)을 수신하고 인코딩된 베이스 계층 비트스트림을 생성하는 공간적 베이스 계층(212)을 더 포함한다. 코더(200)는 인코딩된 베이스 계층 비트스트림과 인코딩된 베이스 계층 비트스트림을 다중화하고 인코딩된 비디오 비트스트림을 생성하는 멀티플렉스 유닛(218)을 더 포함한다.
공간적 베이스 계층(212)은 다운샘플링된 비디오 프레임(211)을 수신하는 시간적 스케일러블 코딩 유닛(213)을 포함하고, 다운샘플링된 비디오 프레임(211)은 비디오 프레임(201)보다 낮은 해상도를 제공한다. 시간적 스케일러블 코딩 유닛(213)의 출력은 다운샘플링된 비디오 프레임(211)의 시간적 스케일링된 코딩된 버전에 기초해서 예측 신호를 베이스 계층 코딩 유닛(215)에 제공하는 예측 유닛(214)에 제공된다. 베이스 계층 코딩 유닛(215)의 출력은 SNR 스케일러블 코딩 유닛(216)에 제공된다. 베이스 계층 코딩 유닛(215)의 출력 및 SNR 스케일러블 코딩 유닛(216)의 출력은 각각 멀티플렉스 유닛(218)에 제공된다.
공간적 강화 계층(202)은 비디오 프레임(201)을 수신하는 시간적 스케일러블 코딩 유닛(203), 예측 유닛(204), 베이스 계층 코딩 유닛(205) 및 SNR 스케일러블 코딩 유닛(206)의 연속적인 유닛을 포함한다. 베이스 계층 코딩 유닛(205)의 출력 및 SNR 스케일러블 코딩 유닛(206)의 출력은 각각 멀티플렉스 유닛(218)에 제공된다. 멀티플렉스 유닛(218)은 베이스 계층 코딩 유닛(215)의 출력, SNR 스케일러블 코딩 유닛(216)의 출력, 베이스 계층 코딩 유닛(205)의 출력 및 SNR 스케일러블 코딩 유닛(206)의 출력을 다중화함으로써 인코딩된 비디오 비트 스트림을 생성한다.
본 발명에 따르면, 업샘플링 필터(217)에 의해 생성된 예측 블록은 예측 블록에 공간적 적응성 선명화 필터링을 적용하도록 구성된 적응성 선명화 필터(219)에 제공된다. 공간적 베이스 계층(212)의 업샘플링 필터(217)의 출력은 공간적 강화 계층(202)의 비디오 프레임(201)의 인터 레이어 예측 코딩을 위한 예측 블록이다. 적응성 선명화 필터(219)에 의해 생성된 선명화된 예측 블록뿐만 아니라 업샘플링 필터(217)에 의해 생성된 예측 블록은 모두 공간적 강화 계층(202)의 예측 유닛(204)에 연결되어 있는 스위치(220)에 우선적으로 전송된다. 공간적 강화 계층(202)의 비디오 프레임(201의 예측 코딩은 업샘플링 필터(217)의 출력 또는 적응성 선명화 필터(219)의 출력에 선택적으로 기초할 수 있다.
이하에서는 본 발명의 실시예에 따른 인터 레이어 예측 코딩을 위한 비디오 코더 및 비디오 디코더를 각각 도시하는 도 4 및 도 5 및 본 발명의 실시예에 따른 인터 프레임 예측 코딩을 위한 비디오 코더 및 비디오 디코더를 각각 도시하는 도 6 및 도 7과 관련해서 본 발명을 설명한다. 도 3은 예를 들어 도 4 및 도 5의 인터 레이어 예측 코딩을 위한 비디오 코더 또는 인터 프레임 예측 코딩을 위한 비디오 코더의 적응성 선명화 필터의 실시예를 도시한다.
도 4는 본 발명의 실시예에 따른 비디오 코더(400)를 도시하며, 특히 베이스 계층 및 적어도 하나의 강화 계층을 포함하는 스케일러블 비디오 콘텐츠의 인터 레이어 예측 코딩을 위한 비디오 코더(400)를 도시한다.
비디오 코더(400)는 참조 프레임으로부터 획득된 예측 블록에 기초해서 원래 프레임의 원래 블록의, 인코딩된 비디오 비트 스트림으로의 예측 코딩에 적합하다. 비디오 코더(400)는 원래 블록을 저장하도록 구성되어 있는 버퍼(401), 예측 블록을 저장하도록 구성되어 있는 버퍼(408), 및 예측 블록에 공간적 적응성 선명화 필터링을 적용하도록 구성되어 있는 적응성 선명화 필터(409)를 포함한다.
인터 레이어 예측 코딩의 맥락에서, 원래 프레임은 강화 계층의 프레임이고, 참조 프레임은 재구성된 베이스 계층의 프레임이다. 비디오 코더(400)는 재구성된 베이스 계층을 업샘플링하도록 구성된, 즉 참조 프레임을 업샘플링하도록 구성된 업샘플링 필터(407)를 더 포함한다. 버퍼(408)에 저장된 예측 블록은 업샘플링된 참조 프레임의 블록이다.
특히, 원래 프레임은 현재 인코딩되고 있는, 예를 들어, 도 2의 비디오 코더(200)의 비디오 프레임(201)으로부터 획득될 수 있는 강화 계층의 프레임이다. 다른 한편, 참조 프레임은 인코딩되어 재구성된 베이스 계층의 프레임이다. 재구성된 베이스 계층은 다운샘플링된 비디오 프레임(211)으로부터 공간적 베이스 계층(212)에 의해 도 2의 비디오 코더(200)에서 획득될 수 있다. 이하에서는 특징 "프레임"에 대한 모든 참조는 특징 "픽처"를 참조하는 것으로 대체될 수 있다. 버퍼(401)에 저장된 원래 블록 및 버퍼(408)에 저장된 예측 블록, 및 더 일반적으로 본 발명의 모든 블록은 바람직하게 프레임의 각각의 영역 또는 하위 영역이다. 예를 들어, 원래 블록은 원래 프레임의 영역 또는 하위 영역이며, 예측 블록은 업샘플링 필터(407)에 의해 생성된 것처럼 업샘플링 참조 프레임의 영역 또는 하위 영역이다. 이러한 블록은 직사각형과 같은 사각형 형상이나 불규칙한 형상을 가질 수 있다. 대안으로, 블록은 프레임과 동일한 크기를 가질 수 있다. 모든 블록, 특히 원래 블록 및 예측 블록은 동일한 크기를 가진다. 블록의 크기는 인코딩된 비디오 비트 스트림의 사이드 정보 또는 시그널링 데이터와 같이 디코더에 전송된 블록 모드 정보에 의해 정해질 수 있다. 블록은 프레임의 일부, 예를 들어 64x64 픽셀을 포함하는, 미리 정해진 크기의 비디오 시퀀스의 기본적인 코딩 구조인 코딩 유닛에 대응할 수 있다.
특히, 비디오 코더(400)는 예측 비디오 코딩을 지원하기 위한 추가의 유닛을 포함한다. 예를 들어, 비디오 코더(400)는 주파수 도메인으로의 변환을 통해 변환 계수 및 양자화 계수를 생성하기 위한 변환 및 양자화 유닛(404)뿐만 아니라 양자화된 계수를 예를 들어 시그널링 데이터와 함께 엔트로피 코딩하기 위한 엔트로피 인코더 또는 엔트로피 인코딩 유닛(405)을 포함한다. 변환 및 양자화 유닛(404)의 입력은 전용의 버퍼(403)에 저장될 수 있는 잔여 블록이다. 잔여 블록은 감산 유닛(402)에 의해 생성되고 버퍼(401)에 저장된 원래 블록과 버퍼(408)에 저장된 예측 블록 또는 적응성 선명화 필터(409)에 의해 생성된 선명화된 예측 블록 간의 차이로 정의된다.
비디오 코더(400)는 제어 유닛(410)과 인코딩 유닛(414)을 더 포함한다. 제어 유닛(410)은 적응성 선명화 필터(409)의 선택적 우회와 적응성 선명화 필터(409)의 선택적 적용 중 적어도 하나를 제어하도록 구성되어 있다. 인코딩 유닛(414)은 적응성 선명화 필터(409)의 선택적 우회와 선택적 적용 중 적어도 하나를 반영하는 인코딩된 비디오 비트 스트림 선명화 필터 정보에 부가하도록 구성되어 있다. 선명화 필터 정보는 바람직하게 선명화 적용/우회 플래그의 형태이다.
적응성 선명화 필터(409)는 제어 유닛(410)에 의해 선택적으로 우회 및/또는 선택적으로 적용될 수 있다. 적응성 선명화 필터(409)가 적용되는 경우, 적응성 선명화 필터(409)는 선명화된 예측 블록을 생성하고 잔여 블록은 적응성 선명화 필터(409)에 의해 출력되는, 원래 블록과 선명화된 예측 블록의 차이에 의해 획득된다. 적응성 선명화 필터(409)가 우회되는 경우, 잔여 블록은 버퍼(408)에 저장되어 있는, 원래 블록과 예측 블록의 차이에 의해 획득된다.
특히, 제어 유닛(410)은 잔여 블록의 최소화에 기초해서, 또는 비용 기준, 즉 예를 들어, 레이트 왜곡 최적화에 기초해서 선택적 우회와 선택적 적용 중 적어도 하나를 제어하도록 구성되어 있다. 비용 기준은 특히, 적응성 선명화 필터(409)에 의해 출력되는 선명화된 예측 블록으로부터 획득된 잔여 블록에 적용될 수 있고 버퍼(408)에 저장된 예측 블록으로부터 획득된 잔여 블록에 적용될 수 있다. 비용 기능의 결과에 의존해서, 적응성 선명화 필터(409)는 적용될 수도 있고 우회될 수도 있다.
적응성 선명화 필터(409)를 우회하는지 또는 적용하는지에 대한 제어 유닛(410)의 결정은 인코딩 유닛 또는 엔트로피 인코딩 유닛(405)에 의해 생성된 인코딩된 비디오 비트 스트림 내에서 시그널링 데이터로서 전송될 수 있다. 제어 유닛(410)은 인코딩 유닛(414)에 선명화 필터 정보를 전송하는데, 이 인코딩 유닛(414)은 인코딩 유닛(405)에 의해 생성된 인터 레이어 예측 코딩 내의 시그널링 데이터로서 선명화 필터 정보를 부가한다.
대안으로, 적응성 선명화 필터(409)는 항상 적용될 수 있다. 이것은 잔여 블록이 적응성 선명화 필터(409)에 의해 출력되는 선명화된 예측 블록과 원래 블록 간의 차이에 의해 항상 획득된다는 것을 의미한다. 이 경우 어플라이언스에 관한 추가의 시그널링이나 적응성 선명화 필터의 우회는 요구되지 않음이 자명하다.
인코딩 유닛(414)은 특히 컨텍스트-적응 이진 산술 코딩(context-adaptive binary arithmetic coding, CABAC)을 사용해서 선명화 필터 정보를 인코딩하도록 구성되어 있다. 비디오 코더(400)는 예측 블록의 가장자리 강도를 추정하도록 구성되어 있는 가장자리 강도 추정 유닛(411, 412) 및 추정된 가장자리 강도에 의존해서 CABAC의 컨텍스트를 선택하도록 구성되어 있는 CABAC 컨텍스트 스위치(413)를 더 포함한다. 예를 들어, 가장자리 강도 추정 유닛(411, 412)은 예측 블록의 가장자리 지도를 작성하기 위한 제1 유닛(411) 및 가장자리 지도의 가장자리 강도를 추정하기 위한 제2 유닛(412)을 포함한다.
또한, 적응성 선명화 필터(409)는 적어도 하나의 적응성 파라미터에 의해 제어되도록 구성되어 있다. 제어 유닛(410)은 적응성 파라미터의 파라미터 값을 결정하고 그 결정된 파라미터 값을 적응성 선명화 필터(409)에 제공하도록 구성되어 있다. 비디오 코더(400)는 또한 적응성 파라미터의 결정된 파라미터 값에 관한 인코딩된 비디오 비트 스트림 적응성 파라미터에 부가하도록 구성되어 있다.
특히, 제어 유닛(410)은 잔여 블록의 최소화에 기초하거나, 예를 들어 레이트 왜곡 최적화와 같은 비용 기준에 기초해서, 적응성 파라미터에 다른 파라미터 값을 제공하고 그 다른 파라미터 값 중 하나를 선택하도록 구성되어 있다.
적응성 선명화 필터(409)를 적용 또는 우회하는 것에 관한 결정은 및 선명화 필터를 적용하는 경우의 적응성 파라미터의 값에 관한 결정은 선명화 필터 정보 및 적응형 파라미터 정보에 의해 인코딩된 비디오 비트 스트림의 디코더에 시그널링된다. 이 시그널링은 다른 부분 또는 비디오 콘텐츠에 대해 수행될 수 있다. 그러므로 적응성 파라미터 정보 및/또는 상기 선명화 필터 정보는 각각의 예측 블록에 대해서는 블록 레벨로 부가되고, 프레임의 임의의 영역 또는 규칙적 영역에 대해서는 프레임 레벨, 픽처의 그룹(group of pictures, GOP) 레벨, 픽처 파라미터 집합(picture parameter set, PPS) 레벨 또는 순서 파라미터 집합(sequence parameter set, SPS) 레벨로 부가된다. 적응형 파라미터 정보 및/또는 선명화 필터 정보의 그래뉼래리티는 변할 수 있다.
적응성 선명화 필터(409)의 실시예가 도 3에 도시되어 있다. 도 3에 도시된 적응성 선명화 필터(300)는 바람직하게 비선형 필터이다. 선형 필터 대신 비선형 선명화 필터의 사용은 리샘플링 필터와 참조 프레임의 양자화에 의해 생기는 아티팩트를 제거하는 데 바람직하다. 비선형 필터의 선택으로 적응성 선명화 필터(300)의 적응성 파라미터의 수를 감소할 수 있다. 특히, 비선형 필터는 하나의 적응성 파라미터만을 사용할 수 있으므로 인코딩된 비디오 비트 스트림의 시그널링 오버헤드가 감소된다. 본 발명은 적응성 선명화 필터를 제어하는 데 하나 이상의 적응성 파라미터의 사용을 망라하지만, 하나의 적응성 파라미터만을 사용하는 적응성 선명화 필터는 특히 이로운 실시예이다.
특히, 적응성 선명화 필터(300)는 가장자리 지도 계산 유닛(301, 302), 블러링 필터(blurring filter)(304), 하이 패스 필터(305), 스케일링 유닛(306) 및 워핑 유닛(warping unit)(307)을 포함한다.
가장자리 지도 계산 유닛(301, 302)은 소스 블록의 가장자리 지도를 생성하도록 구성되어 있으며, 상기 소스 블록은 버퍼(408)에 저장된 예측 블록이고 도 3에서의 업샘플링된 베이스 계층 블록으로 지칭된다. 블러링 필터(304)는 소스 블록의 가장자리 지도를 흐릿하게 하도록 구성되어 있다. 하이 패스 필터(305)는 흐릿해진 가장자리 지도를 하이 패스 필터링함으로써, 소스 블록의 각각의 위치에 대한 미분 벡터(d2x, d2y)를 생성하도록 구성되어 있다. 스케일링 유닛(306)은 미분 벡터(d2x, d2y)를 선명화 강도 계수 k로 스케일링함으로써 변위 벡터(wx, wy)를 생성하도록 구성되어 있다. 워핑 유닛(307)은 변위 벡터(wx, wy)에 기초해서 예측 블록을 왜곡하도록 구성되어 있다.
이에 의해 적응성 선명화 필터(300)를 제어하는 적응성 파라미터는 선명화 강도 계수 k이다. 도 3에 도시된 적응성 선명화 필터(300)는 하나의 적응성 파라미터만을 사용하는 본 발명의 실시예이다.
가장자리 지도 계산 유닛(301, 302)은 소스 블록의 각각의 위치에 대해 기울기 벡터(gradient vector)(dx, dy)를 생성하도록 구성된 기울기 벡터 유닛(301) 및 소스 블록의 가장자리 지도를 생성하기 위해 각각의 위치에 대해 기울기 벡터(dx, dy)의 길이를 계산하도록 구성된 기울기 벡터 길이 유닛(302)을 포함할 수 있다. 이에 의해, 이 구조에서는 블러링 필터, 하이 패스 필터 및 스케일링 유닛에 의해 워핑 변위 벡터를 생성하도록 추가로 처리될 수 있는 가장자리 지도를 생성할 수 있다.
기울기 벡터는 다음의 식에 따라 대응하는 프리위트 필터(Prewitt filter)를 적용함으로써 dx 및 dy에 대해 개별적으로, 즉 소스 블록의 수평 방향 및 수직 방향 모두에 대해 개별적으로 1차 미분을 취함으로써 획득될 수 있다:
가장자리 지도는 다음의 식에 따라 기울기 벡터 길이를 계산함으로써 기울기 벡터 길이 유닛(302)에 의해 획득될 수 있다:
이롭게도, 선명화 필터(300)는 소스 블록의 가장자리 지도를 클립하도록 구성된 클리핑 유닛(303)을 포함하고, 상기 클리핑 유닛(303)은 가장자리 지도 계산 유닛(301, 302)과 블러링 필터(304) 사이에 위치한다. 이에 의해 임계값을 가진 가장자리 지도를 클리핑하면 워핑 벡터의 극히 높고 낮은 값들을 처리하지 않아도 되는 이점이 있다.
클리핑된 가장자리 지도의 블러링 단계는 다음과 같이 정의될 수 있는 가우시안 필터의 형태로 블러링 필터(304)에 의해 획득될 수 있다:
하이 패스 필터는 예를 들어 다음의 식에 따라 d2x 및 d2y에 대해 개별적으로 2차 미분을 획득하는 데 사용된다:
변위 벡터(wx, wy)는 2차 미분 벡터(d2x, d2y)를 계수 k로 스케일링함으로써 획득되며, 계수 k는 다음의 식에 따라 선형화 강도로 간주될 수 있다:
워핑 유닛(307)은 예를 들어 이중 선형 보간 필터(bi-linear interpolation filter)인 보간 필터를 포함한다. 워핑 유닛(307)은 스케일링 유닛(306)에 의해 생성된 변위 벡터를 사용한다.
감산 유닛(308)은 워핑 유닛(307)에 의해 생성된 선명화된 예측 블록과 버퍼(401)에 저장된 원래 블록 간의 차이를 작성하도록 구성되어 있으며, 상기 원래 블록은 인코딩될 블록에 대응한다. 감산 유닛(308)은 사실 잔여 블록을 생성한다. 적응성 선명화 필터(300), 또는 적응성 선명화 필터(300)를 제어하는 제어 유닛(410)은 최적의 선명화 강도 k를, 레이트 왜곡에 기초하여 비용 기준에 의하거나 잔여 블록을 최소화함으로써 찾아내도록 구성되어 있다.
도 4로 되돌아가서, 비디오 코더(400)는 최적화 동안 적응성 선명화 필터(409)의 가장 최적의 적응성 파라미터를 선택하도록 구성되어 있으며, 인터 레이어 예측을 위한 적응성 선명화 필터를 적용 또는 우회하는 것에 관한 결정은 예측 오차의 최솟값 또는 비용 (레이트/왜곡) 기준에 의해 수행될 수 있다.
비디오 코더(400)는 특히 다음과 같이 될 수 있는 처리 흐름을 제공한다:
- 예측 블록은 베이스 계층 프레임을 재구성하고 업샘플링함으로써 획득된다.
- 예측 블록의 가장자리 지도는 예를 들어 적응성 선명화 필터의 가장자리 지도 계산 유닛(301, 302)에 의해 생성된다. 대안으로, 가장자리 지도는 가장자리 강도 추정 유닛(411, 412) 중 유닛(411)에 의해 생성될 수 있으며, 상기 유닛(411)은 적응성 선명화 필터(409)의 외측에 위치한다.
- 선명화 필터 적응, 즉 적응성 파라미터의 선택이 수행된다. 이롭게도, 생성된 가장자리 지도는 필터링 적응에 사용될 수 있다.
- 제어 유닛(410)에 의해 예측 유형에 관한 결정이 취해지고, 예측 유형은 적응성 선명화 필터(409)를 적용 또는 우회하는 것으로 구성된다. 결정은 예측 품질 메트릭, 예를 들어 잔여 오차의 최솟값 또는 비용 기준, 예를 들어, 레이트/왜곡 기반 비용 기준을 기반으로 할 수 있다.
- 이미 생성된 가장자리 지도는 예측 블록 내의 가장자리 강도를 추정하는 데 사용된다. 가장자리 강도는 예측 블록의 가장자리 지도의 값들을 평균화함으로써 추정된다.
- 추정된 가장자리 강도는 CABAC를 위한 컨텍스트 스위치에 사용되고 적응성 선명화 필터(409)를 적용 또는 우회하는 것으로 구성되는 예측 유형은 선명화 필터 정보로 인코딩된다. 환언하면, 예측 유형은 컨텍스트 스위치가 가장자리 강도에 의해 제어되는 CABAC를 사용해서 압축된다. 컨텍스트 스위치는 추정된 가장자리 강도와 주어진 임계값과의 비교에 의해 수행될 수 있다. 추정된 가장자리 강도가 임계값보다 높으면 제1 컨텍스트가 사용된다. 추정된 가장자리 강도가 임계값보다 낮으면 제2 컨텍스트가 사용된다. 이로운 실시예에서 2개 레벨 이상의 가장자리 강도 및 더 많은 대응하는 CABAC가 사용될 수 있다.
- 적응성 선명화 필터(409)가 적용되면, 선명화 강도는 적응성 파라미터 정보로서 인코딩된다.
- 계수는 변환 및 양자화 유닛(404)에 의해 잔여 블록에 대해 계산되고, 계수는 인코딩 유닛(405)에 의해 인코딩된다.
도 5는 본 발명의 실시예에 따른 비디오 디코더를 도시하고, 특히 인터 레이어 예측 디코딩을 위한 비디오 디코더(500)를 도시한다.
비디오 디코더(500)는 재구성된 참조 프레임으로부터 획득된 예측 블록에 기초해서 원래 프레임의 원래 블록의 예측 코딩에 의해 획득된 인코딩된 비디오 비트 스트림을 디코딩하는 데 적합하다. 비디오 디코더(500)는 인코딩된 비디오 비트 스트림으로부터 예측 프레임을 재구성하도록 구성되어 있는 디코딩 유닛, 상기 재구성된 참조 프레임으로부터 획득된 예측 블록을 저장하도록 구성되어 있는 버퍼(514), 및 상기 예측 블록에 공간 적응성 선명화 필터링을 적용하도록 구성되어 있는 적응성 선명화 필터(507)를 포함한다.
인터 레이어 예측 디코딩의 맥락에서, 원래 프레임은 원래 프레임은 강화 계층의 프레임이고, 참조 프레임은 재구성된 베이스 계층의 프레임이다. 비디오 디코더(500)는 재구성된 베이스 계층을 업샘플링하도록, 즉 참조 프레임을 업샘플링하도록 구성된 업샘플링 필터(513)를 포함한다. 버퍼(514)에 저장된 예측 블록은 업샘플링된 참조 프레임의 블록이다.
비디오 디코더(500)는 적응성 선명화 필터(507)의 선택적 우회와 적응성 선명화 필터(507)의 선택적 적용 중 적어도 하나를 반영하는 선명화 필터 정보를 인코딩된 비디오 비트 스트림으로부터 추출하도록 구성되어 있는 디코딩 유닛(512)을 더 포함한다. 비디오 디코더(500)는 추출된 선명화 필터 정보에 의존해서 선택적 우회와 선택적 적용 중 적어도 하나를 제어하도록 구성되어 있는 제어 유닛(508)을 포함한다. 선명화 필터 정보는 선명화 적용/우회 플래그의 형태일 수 있다. 대안으로, 적응성 선명화 필터(507)는 항상 적용될 수 있다.
특히, 디코딩 유닛(512)은 CABAC에 따라 선명화 필터 정보를 디코딩하도록 구성되어 있다. 비디오 디코더는 예측 블록 내의 가장자리 강도를 추정하도록 구성된 가장자리 강도 추정 유닛(510, 511)을 포함한다. 비디오 디코더는 추정된 가장자리 강도에 의존해서 CABAC의 컨텍스트를 선택하도록 구성된 CABAC 컨텍스트 스위치(509)를 포함한다. 특히, 가장자리 강도 추정 유닛(510, 511)은 예측 블록의 가장자리 지도를 작성하기 위한 제1 유닛(511) 및 가장자리 지도에 기초하여 가장자리 강도를 추정하기 위한 제2 유닛(510)을 포함할 수 있다.
적응성 선명화 필터(507)는 특히 적어도 하나의 적응성 파라미터에 의해 제어되도록 구성되어 있다. 또한, 비디오 디코더는 인코딩된 비디오 비트 스트림으로부터 특히 인코딩된 강화 계층 비트 스트림으로부터, 적응성 파라미터의 파라미터 값에 관한 적응성 파라미터 정보를 추출하도록 구성된 디코딩 유닛(506)을 포함한다. 제어 유닛(508)은 추출된 적응성 파라미터 정보에 따라 적응성 선명화 필터(507)를 제어하도록 구성되어 있다.
비디오 디코더(500)의 적응성 선명화 필터(507)는 도 3에 도시된 적응성 선명화 필터(300)와 동일한 구조 및 동일한 유닛을 바람직하게 제공하되, 다음의 차이를 가진다. 이 두 필터 간의 차이는 적응성 선명화 필터(507)가 감산 유닛(308)을 우선적으로 포함하지 않는다는 점이다. 또한, 비디오 디코더(500)에서, 적응성 파라미터, 즉 계수 k는 감산 유닛(308) 및 잔여 블록의 최소화에 의해 설정되지 않는다. 대신, 적응성 파라미터는 인코딩된 비트 스트림으로부터 시그널링 데이터로서 추출된 적응성 파라미터 정보에 의존해서 바람직하게 비디오 디코더(500)에 설정된다.
비디오 디코더(500)는 수신된 인코딩된 강화 비트 스트림을 디코딩하고 그에 대응해서 양자화된 잔여 변환 계수를 획득하기 위한 디코딩 유닛인 유닛을 더 포함할 수 있다. 양자화된 잔여 변환 계수는 역 양자화 및 역변환 유닛(502)에 제공되어 버퍼(503)에 저장된 잔여 블록을 생성한다. 자연 블록은 가산기(504)에 의해 제어 유닛(508)의 출력에 부가된다. 추출된 선명화 필터 정보에 의존해서, 잔여 블록은 그런 다음 버퍼(514)에 저장된 예측 블록에 부가되거나 적응성 선명화 필터(507)에 의해 출력된 선명화된 예측 블록에 부가된다. 이때 가산기(504)의 출력은 강화 계층의 재구성된 블록이다.
비디오 디코더(500)는 특히 다음과 같을 수 있는 처리 흐름을 제공한다:
- 예측 블록은 베이스 계층 프레임을 재구성 및 업샘플링함으로써 획득된다.
- 예측 블록의 가장자리 지도는 예를 들어 적응성 선명화 필터의 가장자리 지도 계산 유닛(301, 302)에 의해 생성된다. 대안으로, 가장자리 지도는 가장자리 강도 추정 유닛(511, 512) 중 유닛(511)에 의해 생성될 수 있으며, 상기 유닛(511)은 적응성 선명화 필터(509)의 외측에 위치한다.
- 생성된 가장자리 지도는 예측 블록 내의 가장자리 강도를 추정하는 데 사용된다. 가장자리 강도는 예를 들어 예측 블록의 가장자리 지도의 값들을 평균화함으로써 추정된다.
- 추정된 가장자리 강도는 CABAC를 위한 컨텍스트 스위치에 사용되고 적응성 선명화 필터(507)를 적용 또는 우회하는 것으로 구성되는 예측 유형, 즉 선명화 필터 정보는 디코딩된다. 컨텍스트 스위치는 추정된 가장자리 강도와 주어진 임계값과의 비교에 의해 수행될 수 있다. 추정된 가장자리 강도가 임계값보다 높으면 제1 컨텍스트가 사용된다. 추정된 가장자리 강도가 임계값보다 낮으면 제2 컨텍스트가 사용된다. 이로운 실시예에서 2개 레벨 이상의 가장자리 강도 및 더 많은 대응하는 CABAC가 사용될 수 있다.
- 선명화 필터 정보에 기초해서, 적응성 선명화 필터(507)가 적용되는 것으로 결정되면, 선명화 강도, 즉, 적응성 파라미터 정보가 디코딩된다. 적응성 선명화 필터(507)는 디코딩된 선명화 강도와 함께 적용된다. 이미 생성된 가장자리 지도는 자원을 절감하기 위해 선명화에 사용될 수 있다.
- 자연 블록은 유닛(501, 502, 503)에 의해 디코딩된다. 선명화 필터 정보에 의존해서, 잔여 블록은 예측 블록 또는 선명화된 예측 블록에 부가되어 강화 계층의 재구성된 블록을 획득한다.
도 6은 본 발명의 실시예에 따른 인터 프레임 예측 코딩을 위한 비디오 코더(600)를 도시한다.
비디오 코더(600)는 참조 프레임으로부터 획득된 예측 블록에 기초해서 원래 프레임의 원래 블록의, 인코딩된 비디오 비트 스트림으로의 예측 코딩에 적합하다. 비디오 코더(600)는 원래 블록을 저장하도록 구성되어 있는 버퍼(601), 예측 블록을 저장하도록 구성되어 있는 버퍼(608), 및 상기 예측 블록에 공간적 적응성 선명화 필터링을 적용하도록 구성되어 있는 적응성 선명화 필터(609)를 포함한다.
후속의 프레임을 포함하는 비디오 콘텐츠의 인터 프레임 예측 코딩의 맥락에서, 원래 프레임은 후속의 프레임 중 하나이고, 참조 프레임은 재구성된 후속의 프레임 중 하나이다. 비디오 코더(600)는 참조 프레임의 참조 블록을 저장하도록 구성되어 있는 버퍼(606)를 포함한다. 비디오 코더(600)는 참조 블록과 원래 블록 간의 모션을 반영하는 모션 벡터를 획득하도록 구성되어 있는 모션 추정 유닛(616) 및 상기 모션 벡터에 기초해서 참조 블록으로부터 예측 블록을 생성하도록 구성되어 있는 모션 보상 유닛(607)을 포함한다.
비디오 코더(600)의 나머지 구조 및 유닛들은 비디오 코더(400)의 구조 및 유닛과 유사하다. 비디오 코더(600)는 제어 유닛(410)과 유사한 제어 유닛(610)을 포함하다. 비디오 코더(600)는 인코딩 유닛(414)과 유사한 인코딩 유닛(614)을 포함한다. 비디오 코더(600)는 가장자리 강도 추정 유닛(411, 412)과 유사한 가장자리 강도 추정 유닛(611, 612) 및 CABAC 컨텍스트 스위치(413)와 유사한 CABAC 컨텍스트 스위치(613)를 포함한다. 비디오 코더(600)는 인코딩 유닛(415)과 유사한 인코딩 유닛(615)을 포함한다. 비디오는 또한 마찬가지로 잔여 블록을 생성하기 위한 감산 블록(602), 잔여 블록을 위한 버퍼(603), 변환 및 양자화 유닛(604) 및 양자화된 계수를 코딩하기 위한 인코딩 유닛(605)을 포함한다.
비디오 코더(600)와 비디오 코더(400) 간의 차이점은 업샘플링된 베이스 계층 프레임 대신, 이전에 인코딩된 프레임이 참조 프레임으로 사용된다는 점이다. 또한, 예측 블록을 획득하기 위해 모션 보상이 적용된다. 모션 보상은 모션 보간을 이롭게 포함한다.
비디오 코더(400)의 구조 대신, 가장자리 추정 유닛(611, 612)은 예측 블록의 가장자리 강도를 추정하는 대신 참조 블록의 가장자리 강도를 추정할 수 있다.
또한, 도 3의 적응성 선명화 필터는 비디오 코더(600)의 적응성 선명화 필터(609)로 사용될 수 있다. 비디오 코더(400)의 가장자리 지도 계산 유닛(301, 302)이 예측 블록인 소스 블록의 가장자리 지도를 생성하는 데 적합하지만, 비디오 코더(600)의 적응성 선명화 필터의 소스 블록은 예측 블록일 수도 있고 대안으로 참조 블록일 수도 있다. 이 대안에 따라, 참조 블록으로부터 변위 벡터(wx, wy)가 유도되고, 그런 다음 그 획득된 변위 벡터를 사용해서 예측 블록에 워핑이 적용되는데, 이것은 코더 측 상의 계산 자원을 절감한다는 점에서 이롭다.
비디오 코더(400)와 비디오 코더(600) 간의 이러한 차이 및 대안 외에, 비디오 코더(400)를 참조해서 위에서 설명된 추가의 관점 역시 비디오 코더(600)에 적용된다.
비디오 코더(600)는 특히 다음과 같을 수 있는 처리 흐름을 제공한다:
- 모션 벡터는 모션 추정 과정에 의해 획득된다.
- 참조 블록의 가장자리 지도가 생성된다.
- 선명화 필터 적응, 즉 적응성 파라미터의 선택이 수행된다. 이롭게도, 생성된 가장자리 지도는 필터링에 사용될 수 있다.
- 제어 유닛(610)에 의해 예측 유형에 관한 결정이 취해지고, 예측 유형은 적응성 선명화 필터(609)를 적용 또는 우회하는 것으로 구성된다. 결정은 예측 품질 메트릭, 예를 들어 잔여 오차의 최솟값 또는 비용 기준, 예를 들어, 레이트/왜곡 기반 비용 기준을 기반으로 할 수 있다.
- 이미 생성된 가장자리 지도는 참조 블록의 가장자리 강도를 추정하는 데 사용된다. 가장자리 강도는 참조 블록의 가장자리 지도의 값들을 평균화함으로써 추정된다.
- 추정된 가장자리 강도는 CABAC를 위한 컨텍스트 스위치에 사용되고 적응성 선명화 필터(609)를 적용 또는 우회하는 것으로 구성되는 예측 유형은 선명화 필터 정보로 인코딩된다. 컨텍스트 스위치는 추정된 가장자리 강도와 주어진 임계값과의 비교에 의해 수행될 수 있다. 추정된 가장자리 강도가 임계값보다 높으면 제1 컨텍스트가 사용된다. 추정된 가장자리 강도가 임계값보다 낮으면 제2 컨텍스트가 사용된다. 이로운 실시예에서 2개 레벨 이상의 가장자리 강도 및 더 많은 대응하는 CABAC가 사용될 수 있다.
- 적응성 선명화 필터(609)가 적용되면, 선명화 강도가 적응성 파라미터 정보로서 인코딩된다.
- 계수는 변환 및 양자화 유닛(604)에 의해 잔여 블록에 대해 계산되고, 계수는 인코딩 유닛(605)에 의해 인코딩된다.
도 7은 본 발명의 실시예에 따른 비디오 디코더를 도시하며, 특히 인터 프레임 예측 코딩을 위한 비디오 디코더(700)를 도시한다.
비디오 디코더(700)는 재구성된 참조 프레임으로부터 획득된 예측 블록에 기초해서 원래 프레임의 원래 블록의 예측 코딩에 의해 획득된 인코딩된 비디오 비트 스트림을 디코딩하는 데 적합하다. 비디오 디코더(700)는 인코딩된 비디오 비트 스트림으로부터 참조 프레임을 재구성하도록 구성되어 있는 디코딩 유닛, 상기 재구성된 참조 프레임으로부터 획득된 예측 블록을 저장하도록 구성되어 있는 버퍼(714), 및 상기 예측 블록에 공간 적응성 선명화 필터링을 적용하도록 구성되어 있는 적응성 선명화 필터(707)를 포함한다.
후속의 프레임을 포함하는 비디오 콘텐츠의 인터 프레임 예측 코딩에 의해 획득된 인코딩된 비디오 비트 스트림을 디코딩하는 맥락에서, 원래 프레임은 후속의 프레임 중 하나이고, 참조 프레임은 재구성된 후속의 프레임 중 하나이다. 비디오 디코더(700)는 추출된 참조 프레임의 참조 블록을 저장하도록 구성되어 있는 버퍼(715), 상기 참조 블록과 상기 원래 블록 간의 모션을 반영하는 모션 벡터를 상기 인코딩된 비디오 비트 스트림으로부터 추출하도록 구성되어 있는 디코딩 유닛(716), 및 상기 모션 벡터에 기초해서 참조 블록으로부터 예측 블록을 생성하도록 구성되어 있는 모션 보상 유닛(713)을 포함한다.
비디오 디코더(700)는 적응성 선명화 필터(707)의 선택적 우회와 적응성 선명화 필터(707)의 선택적 적용 중 적어도 하나를 반영하는 선명화 필터 정보를 상기 인코딩된 비디오 비트 스트림으로부터 추출하도록 구성되어 있는 디코딩 유닛(712)을 포함한다. 비디오 디코더(700)는 상기 추출된 선명화 필터 정보에 의존해서 선택적 우회와 선택적 적용 중 적어도 하나를 제어하도록 구성되어 있는 제어 유닛(708)을 포함한다. 선명화 필터 정보는 선명화 적용/우회 플래그의 형태일 수 있다. 대안으로, 적응성 선명화 필터(707)는 항상 적용될 수 있다.
특히, 디코딩 유닛(712)은 CABAC에 따라 선명화 필터 정보를 디코딩하도록 구성되어 있다. 비디오 디코더는 버퍼(715)에 저장된 참조 블록을 사용해서 유닛(711)에 의해 계산된 가장자리 지도에 기초해서 가장자리 강도를 추정하도록 구성된 가장자리 강도 추정 유닛(710)을 포함한다. 비디오 디코더(700)는 추정된 가장자리 강도에 의존해서 CABAC의 컨텍스트를 선택하도록 구성된 CABAC 컨텍스트 스위치(709)를 포함한다. 특히, 가장자리 강도 추정 유닛(710, 711)은 참조 블록의 가장자리 지도를 작성하기 위한 제1 유닛(711) 및 가장자리 지도에 기초하여 가장자리 강도를 추정하기 위한 제2 유닛(710)을 포함할 수 있다.
적응성 선명화 필터(707)는 특히 적어도 하나의 적응성 파라미터에 의해 제어되도록 구성되어 있다. 또한, 비디오 디코더는 인코딩된 비디오 비트 스트림으로부터, 적응성 파라미터의 파라미터 값에 관한 적응성 파라미터 정보를 추출하도록 구성된 디코딩 유닛(706)을 포함한다. 제어 유닛(708)은 추출된 적응성 파라미터 정보에 따라 적응성 선명화 필터(707)를 제어하도록 구성되어 있다.
비디오 디코더(700)의 적응성 선명화 필터(707)는 비디오 디코더(700)의 적응성 선명화 필터(609)와 동일한 구조를 바람직하게 제공하되, 다음의 차이를 가진다. 이 두 필터 간의 차이는 적응성 선명화 필터(707)가 감산 유닛(308)을 우선적으로 포함하지 않는다는 점이다. 또한, 비디오 디코더(700)에서, 적응성 파라미터, 즉 계수 k는 감산 유닛(708) 및 잔여 블록의 최소화에 의해 설정되지 않는다. 대신, 적응성 파라미터는 인코딩된 비트 스트림으로부터 시그널링 데이터로서 추출된 적응성 파라미터 정보에 바람직하게 의존해서 비디오 디코더(700)에 설정된다.
비디오 디코더(700)는 수신된 인코딩된 비디오 비트 스트림을 디코딩하고 그에 대응해서 양자화된 잔여 변환 계수를 획득하기 위한 디코딩 유닛(701)인 유닛을 더 포함할 수 있다. 양자화된 잔여 변환 계수는 역 양자화 및 역변환 유닛(702)에 제공되어 버퍼(703)에 저장된 잔여 블록을 생성한다. 자연 블록은 가산기(704)에 의해 제어 유닛(708)의 출력에 부가된다. 추출된 선명화 필터 정보에 의존해서, 잔여 블록은 그런 다음 버퍼(714)에 저장된 예측 블록에 부가되거나 적응성 선명화 필터(707)에 의해 출력된 선명화된 예측 블록에 부가된다. 이때 가산기(704)의 출력은 강화 계층의 재구성된 블록이다.
비디오 디코더(700)는 특히 다음과 같이 될 수 있는 처리 흐름을 제공한다:
- 모션 벡터는 인코딩된 비디오 비트 스트림으로부터 시그널링 데이터로서 획득된다.
- 가장자리 지도는 참조 블록으로부터 생성된다.
- 이미 생성된 가장자리 지도는 참조 블록의 가장자리 강도를 추정하는 데 사용된다. 가장자리 강도는 예측 블록의 가장자리 지도의 값들을 평균화함으로써 추정된다.
- 추정된 가장자리 강도는 CABAC를 위한 컨텍스트 스위치에 사용되고 적응성 선명화 필터(707)를 적용 또는 우회하는 것으로 구성되는 예측 유형, 즉 선명화 필터 정보는 디코딩된다. 컨텍스트 스위치는 추정된 가장자리 강도와 주어진 임계값과의 비교에 의해 수행될 수 있다. 추정된 가장자리 강도가 임계값보다 높으면 제1 컨텍스트가 사용된다. 추정된 가장자리 강도가 임계값보다 낮으면 제2 컨텍스트가 사용된다. 이로운 실시예에서 2개 레벨 이상의 가장자리 강도 및 더 많은 대응하는 CABAC가 사용될 수 있다.
- 선명화 필터 정보에 기초해서, 적응성 선명화 필터(707)가 적용되는 것으로 결정되면, 선명화 강도, 즉, 적응성 파라미터 정보가 디코딩된다. 적응성 선명화 필터(707)는 디코딩된 선명화 강도와 함께 적용된다. 이미 생성된 가장자리 지도는 자원을 절감하기 위해 선명화에 사용될 수 있다.
- 자연 블록은 유닛(701, 702, 703)에 의해 디코딩된다. 선명화 필터 정보에 의존해서, 잔여 블록은 예측 블록 또는 선명화된 예측 블록에 부가되어 강화 계층의 재구성된 블록을 획득한다.
도 8은 본 발명의 실시예에 따른 비디오 코딩 방법을 도시한다.
비디오 코딩 방법은 참조 프레임으로부터 획득된 예측 블록에 기초해서 원래 프레임의 원래 블록을 인코딩된 비디오 비트 스트림으로 예측 코딩하기 위한 방법이다.
상기 방법은 원래 블록을 저장하는 단계(801)를 포함한다.
상기 방법은 예측 블록을 저장하는 단계(802)를 포함한다.
상기 방법은 예측 블록에 공간적 적응성 선명화 필터링을 적용하는 단계(803)를 포함하는 적응성 선명화 필터 단계를 포함한다.
도 9는 본 발명의 실시예에 따른 비디오 디코딩 방법을 도시한다.
비디오 코딩 방법은 재구성된 참조 프레임으로부터 획득된 예측 블록에 기초해서 원래 프레임의 원래 블록의 예측 코딩에 의해 획득된 인코딩된 비디오 비트 스트림을 디코딩하는 방법이다.
상기 방법은 인코딩된 비디오 비트 스트림으로부터 참조 프레임을 재구성하는 단계를 포함하는 디코딩 단계(901)를 포함한다.
상기 방법은 재구성된 참조 프레임으로부터 획득된 예측 블록을 저장하는 단계(902)를 포함한다.
상기 방법은 예측 블록에 공간 적응성 선명화 필터링을 적용하는 단계를 포함하는 적응성 선명화 필터 단계(903)를 포함한다.
본 발명은 예뿐만 아니라 구현예로서 다양한 실시예와 관련하여 설명되었다. 그렇지만, 당업자는 도면, 본 개시 및 독립 청구항의 연구로부터 다른 변형을 이해하고 청구된 발명을 실시할 수 있다. 명세서뿐만 아니라 청구범위에서 용어 "포함하는"은 다른 요소 또는 단계를 배제하지 않으며, 부정된 조항 "a" 또는 "an"은 복수를 배제하지 않는다. 단일 요소 또는 다른 유닛은 청구범위에 기재된 여러 실체 또는 항목의 기능을 수행할 수 있다. 서로 다른 종속항에서 소정의 측정값이 인용된다는 단순한 사실만으로 이 측정값의 조합이 유리한 구현에 사용될 수 없다는 것을 나타내지는 않는다.
Claims (24)
- 참조 프레임으로부터 획득된 예측 블록에 기초해서 원래 프레임의 원래 블록을 인코딩된 비디오 비트 스트림으로 예측 코딩하기 위한 비디오 코더(400, 600)로서,
- 상기 원래 블록을 저장하도록 구성되어 있는 버퍼(401, 601),
- 상기 예측 블록을 저장하도록 구성되어 있는 버퍼(408, 608), 및
- 상기 예측 블록에 공간적 적응성 선명화 필터링을 적용하도록 구성되어 있는 적응성 선명화 필터(409, 609)
를 포함하는 비디오 코더. - 제1항에 있어서,
참조 프레임으로부터 획득된 복수의 예측 블록에 각각 기초해서 원래 프레임의 복수의 원래 블록을 인코딩된 비디오 비트 스트림으로 예측 코딩하기 위해, 상기 적응성 선명화 필터(409, 609)는 상기 복수의 예측 블록의 각각에 상이한 선명화 필터링을 적용하도록 구성되어 있는, 비디오 코더. - 베이스 계층 및 적어도 하나의 강화 계층을 포함하는 스케일러블 비디오 콘텐츠의 인터 레이어 예측 코딩을 위한 제1항 또는 제2항에 따른 비디오 코더(400)로서,
상기 원래 프레임은 강화 계층의 프레임이고, 상기 참조 프레임은 재구성된 베이스 계층의 프레임이며,
상기 비디오 코더(400)는,
참조 프레임을 업샘플링하도록 구성되어 있는 업샘플링 필터(407)
를 포함하며,
상기 예측 블록은 상기 업샘플링된 참조 프레임의 블록인, 비디오 코더. - 후속의 프레임을 포함하는 비디오 콘텐츠의 인터 프레임 예측 코딩을 위한 제1항 또는 제2항에 따른 비디오 코더(600)로서,
상기 원래 프레임은 상기 후속의 프레임 중 하나이고, 상기 참조 프레임은 재구성된 후속의 프레임 중 하나이며,
- 상기 참조 프레임의 참조 블록을 저장하도록 구성되어 있는 버퍼(606),
- 상기 참조 블록과 상기 원래 블록 간의 모션을 반영하는 모션 벡터를 획득하도록 구성되어 있는 모션 추정 유닛(616), 및
- 상기 모션 벡터에 기초해서 참조 블록으로부터 예측 블록을 생성하도록 구성되어 있는 모션 보상 유닛(607)
을 포함하는 비디오 코더. - 제1항 내지 제4항 중 어느 한 항에 따른 비디오 코더로서,
- 상기 적응성 선명화 필터(409, 609)의 선택적 우회와 상기 적응성 선명화 필터(409, 609)의 선택적 적용 중 적어도 하나를 제어하도록 구성되어 있는 제어 유닛(410, 610), 및
- 상기 적응성 선명화 필터(409, 609)의 선택적 우회와 선택적 적용 중 적어도 하나를 반영하는 인코딩된 비디오 비트 스트림 선명화 필터 정보에 부가하도록 구성되어 있는 인코딩 유닛(414, 614)
을 포함하는 비디오 코더. - 제5항에 있어서,
상기 인코딩 유닛(414, 614)은 컨텍스트-적응 이진 산술 코딩(context-adaptive binary arithmetic coding, CABAC)을 사용해서 선명화 필터 정보를 인코딩하도록 구성되어 있으며,
- 상기 예측 블록 또는 상기 참조 프레임의 참조 블록의 가장자리 강도를 추정하도록 구성되어 있는 가장자리 강도 추정 유닛(411, 412, 611, 612), 및
- 상기 추정된 가장자리 강도에 의존해서 CABAC의 컨텍스트를 선택하도록 구성되어 있는 CABAC 컨텍스트 스위치(413, 613)
를 포함하는 비디오 코더. - 제5항 내지 제6항 중 어느 한 항에 있어서,
상기 제어 유닛(410, 610)은 상기 원래 블록과 상기 예측 블록 간의 차이인 잔여 블록의 최소화에 기초하거나, 예를 들어 레이트 왜곡 최적화인 비용 기준에 기초해서, 선택적 우회와 선택적 적용 중 적어도 하나를 제어하도록 구성되어 있는, 비디오 코더. - 제1항 내지 제7항 중 어느 한 항에 따른 비디오 코더(400, 600)로서,
상기 적응성 선명화 필터(409, 609)는 적어도 하나의 적응성 파라미터에 의해 제어되도록 구성되어 있으며,
- 상기 적응성 파라미터의 파라미터 값을 결정하고 상기 결정된 파라미터 값을 적응성 선명화 필터(409, 609)에 제공하도록 구성되어 있는 제어 유닛(410, 600), 및
- 상기 적응성 파라미터의 상기 결정된 파라미터 값에 관한 인코딩된 비디오 비트 스트림 적응성 파라미터 정보에 부가하도록 구성되어 있는 인코딩 유닛(415, 615)
을 포함하는 비디오 코더. - 제8항에 있어서,
상기 제어 유닛(410, 610)은 상기 적응성 파라미터에 대해 상이한 파라미터 값을 제공하고, 상기 원래 블록과 상기 예측 블록 간의 차이인 잔여 블록의 최소화에 기초하거나, 예를 들어 레이트 왜곡 최적화와 같은 비용 기준에 기초해서 상기 상이한 파라미터 값 중 하나를 선택하도록 구성되어 있는, 비디오 코더. - 제8항 내지 제9항 중 어느 한 항에 있어서,
상기 적응성 선명화 필터(409, 609)는 단일 적응성 파라미터에 의해 제어되도록 구성되어 있는 비선형 필터인, 비디오 코더. - 제8항 내지 제10항 중 어느 한 항에 있어서,
상기 적응성 선명화 필터(409, 609)는,
- 상기 예측 블록 또는 상기 참조 프레임의 참조 블록인 소스 블록의 가장자리 지도를 생성하도록 구성된 가장자리 지도 계산(301, 302) 유닛,
- 상기 소스 블록의 가장자리 지도를 흐릿하게 처리하도록 구성된 블러링 필터(blurring filter)(304),
- 상기 흐릿한 가장자리 지도를 하이 패스 필터링함으로써, 상기 소스 블록의 각각의 위치에 대한 미분 벡터를 생성하도록 구성된 하이 패스 필터(305),
- 상기 미분 벡터를 선명화 강도 계수(K)로 스케일링함으로써 변위 벡터를 생성하도록 구성된 스케일링 유닛(306), 및
- 상기 변위 벡터에 기초해서 상기 예측 블록을 왜곡하도록 구성된 워핑 유닛(warping unit)(307)
을 포함하며,
상기 적응성 파라미터는 선명화 강도 계수(K)를 포함하는, 비디오 코더. - 제5항 내지 제11항 중 어느 한 항에 있어서,
상기 적응성 파라미터 정보 및/또는 상기 선명화 필터 정보는 각각의 예측 블록에 대해서는 블록 레벨로 부가되고, 프레임의 임의의 영역 또는 규칙적 영역에 대해서는 프레임 레벨, 픽처의 그룹(group of pictures, GOP) 레벨, 픽처 파라미터 집합(picture parameter set, PPS) 레벨 또는 순서 파라미터 집합(sequence parameter set, SPS) 레벨로 부가되는, 비디오 코더. - 참조 프레임으로부터 획득된 예측 블록에 기초해서 원래 프레임의 원래 블록을 인코딩된 비디오 비트 스트림으로 예측 코딩하기 위한 방법으로서,
- 상기 원래 블록을 저장하는 단계,
- 상기 예측 블록을 저장하는 단계, 및
- 상기 예측 블록에 공간적 적응성 선명화 필터링을 적용하는 단계를 포함하는 적응성 선명화 필터 단계
를 포함하는 방법. - 재구성된 참조 프레임으로부터 획득된 예측 블록에 기초해서 원래 프레임의 원래 블록의 예측 코딩에 의해 획득된 인코딩된 비디오 비트 스트림을 디코딩하기 위한 비디오 디코더(500, 700)로서,
- 상기 인코딩된 비디오 비트 스트림으로부터 예측 프레임을 재구성하도록 구성되어 있는 디코딩 유닛,
- 상기 재구성된 참조 프레임으로부터 획득된 예측 블록을 저장하도록 구성되어 있는 버퍼(514, 714), 및
- 상기 예측 블록에 공간 적응성 선명화 필터링을 적용하도록 구성되어 있는 적응성 선명화 필터(507, 707)
를 포함하는 비디오 디코더. - 베이스 계층 및 적어도 하나의 강화 계층을 포함하는 스케일러블 비디오 콘텐츠의 인터 레이어 예측 코딩에 의해 획득된 인코딩된 비디오 비트 스트림을 디코딩하기 위한 제14항에 따른 비디오 디코더(500)로서,
상기 원래 프레임은 강화 계층의 프레임이고, 상기 참조 프레임은 재구성된 베이스 계층의 프레임이며,
상기 비디오 디코더(500)는,
- 상기 재구성된 참조 프레임을 업샘플링하도록 구성되어 있는 업샘플링 필터(513)
를 포함하며,
상기 예측 블록은 상기 업샘플링된 참조 프레임의 블록인, 비디오 디코더. - 제14항에 있어서,
후속의 프레임을 포함하는 비디오 콘텐츠의 인터 프레임 예측 코딩에 의해 획득된 인코딩된 비디오 비트 스트림을 디코딩하기 위한 제14항에 따른 비디오 디코더(700)로서,
상기 원래 프레임은 상기 후속의 프레임 중 하나이고, 상기 참조 프레임은 재구성된 후속의 프레임 중 하나이며,
- 추출된 참조 프레임의 참조 블록을 저장하도록 구성되어 있는 버퍼(715),
- 상기 참조 블록과 상기 원래 블록 간의 모션을 반영하는 모션 벡터를 상기 인코딩된 비디오 비트 스트림으로부터 추출하도록 구성되어 있는 디코딩 유닛(716), 및
- 상기 모션 벡터에 기초해서 참조 블록으로부터 예측 블록을 생성하도록 구성되어 있는 모션 보상 유닛(713)
을 포함하는 비디오 디코더. - 제14항 내지 제16항 중 어느 한 항에 있어서,
- 상기 적응성 선명화 필터(507, 707)의 선택적 우회와 상기 적응성 선명화 필터(507, 707)의 선택적 적용 중 적어도 하나를 반영하는 선명화 필터 정보를 상기 인코딩된 비디오 비트 스트림으로부터 추출하도록 구성되어 있는 디코딩 유닛(512, 712), 및
- 상기 추출된 선명화 필터 정보에 의존해서 선택적 우회와 선택적 적용 중 적어도 하나를 제어하도록 구성되어 있는 제어 유닛(508, 708)
을 포함하는 비디오 디코더. - 제17항에 있어서,
상기 디코딩 유닛(512, 712)은 컨텍스트-적응 이진 산술 코딩(context-adaptive binary arithmetic coding, CABAC)에 따라 상기 선명화 필터 정보를 디코딩하도록 구성되어 있으며,
- 상기 예측 블록 또는 상기 참조 프레임의 참조 블록의 가장자리 강도를 추정하도록 구성되어 있는 가장자리 강도 추정 유닛(510, 511, 710, 711), 및
- 상기 추정된 가장자리 강도에 의존해서 CABAC의 컨텍스트를 선택하도록 구성되어 있는 CABAC 컨텍스트 스위치(509, 709)
를 포함하는 비디오 디코더. - 제14항 내지 제18항 중 어느 한 항에 있어서,
상기 적응성 선명화 필터(507, 707)는 적어도 하나의 적응성 파라미터에 의해 제어되도록 구성되어 있으며,
- 상기 적응성 파라미터의 파라미터 값에 관한 적응성 파라미터 정보를 상기 인코딩된 비디오 비트 스트림으로부터 추출하도록 구성되어 있는 디코딩 유닛(506, 706), 및
- 상기 추출된 적응성 파라미터 정보에 따라 적응성 선명화 필터(507, 707)를 제어하도록 구성되어 있는 제어 유닛(508, 708)
을 포함하는 비디오 디코더. - 제19항에 있어서,
상기 적응성 선명화 필터(507, 707)는 단일 적응성 파라미터에 의해 제어되도록 구성되어 있는 비선형 필터인, 비디오 디코더. - 제19항 내지 제20항 중 어느 한 항에 있어서,
상기 적응성 선명화 필터(507, 707)는,
- 상기 예측 블록 또는 상기 참조 프레임의 참조 블록인 소스 블록의 가장자리 지도를 생성하도록 구성된 가장자리 지도 계산(301, 302) 유닛,
- 상기 소스 블록의 가장자리 지도를 흐릿하게 처리하도록 구성된 블러링 필터(304),
- 상기 흐릿한 가장자리 지도를 하이 패스 필터링함으로써, 상기 소스 블록의 각각의 위치에 대한 미분 벡터를 생성하도록 구성된 하이 패스 필터(305),
- 상기 미분 벡터를 선명화 강도 계수(K)로 스케일링함으로써 변위 벡터를 생성하도록 구성된 스케일링 유닛(306), 및
- 상기 변위 벡터에 기초해서 상기 예측 블록을 왜곡하도록 구성된 워핑 유닛(307)
을 포함하며,
상기 적응성 파라미터는 선명화 강도 계수(K)를 포함하는, 비디오 디코더. - 제17항 내지 제21항 중 어느 한 항에 있어서,
상기 적응성 파라미터 정보 및/또는 상기 선명화 필터 정보는 각각의 예측 블록에 대해서는 블록 레벨로 부가되고, 프레임의 임의의 영역 또는 규칙적 영역에 대해서는 프레임 레벨, 픽처의 그룹(group of pictures, GOP) 레벨, 픽처 파라미터 집합(picture parameter set, PPS) 레벨 또는 순서 파라미터 집합(sequence parameter set, SPS) 레벨로 부가되는, 비디오 디코더. - 재구성된 참조 프레임으로부터 획득된 예측 블록에 기초해서 원래 프레임의 원래 블록의 예측 코딩에 의해 획득된 인코딩된 비디오 비트 스트림을 디코딩하는 방법으로서,
- 상기 인코딩된 비디오 비트 스트림으로부터 참조 프레임을 재구성하는 단계를 포함하는 디코딩 단계,
- 상기 재구성된 참조 프레임으로부터 획득된 예측 블록을 저장하는 단계, 및
- 상기 예측 블록에 공간 적응성 선명화 필터링을 적용하는 단계를 포함하는 적응성 선명화 필터 단계
를 포함하는 방법. - 컴퓨터 프로그램이 컴퓨팅 장치 상에서 실행될 때, 제13항 또는 제23항에 따른 방법을 수행하기 위한 프로그램 코드를 가지는 컴퓨터 프로그램.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/RU2015/000612 WO2017052407A1 (en) | 2015-09-25 | 2015-09-25 | Adaptive sharpening filter for predictive coding |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20180054751A true KR20180054751A (ko) | 2018-05-24 |
Family
ID=55754393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187010790A KR20180054751A (ko) | 2015-09-25 | 2015-09-25 | 예측 코딩을 위한 적응 선명화 필터 |
Country Status (14)
| Country | Link |
|---|---|
| US (1) | US10863205B2 (ko) |
| EP (1) | EP3348058B1 (ko) |
| JP (1) | JP6678735B2 (ko) |
| KR (1) | KR20180054751A (ko) |
| CN (1) | CN108370445B (ko) |
| AU (1) | AU2015410095C1 (ko) |
| CA (1) | CA2999872C (ko) |
| HK (1) | HK1250292A1 (ko) |
| MX (1) | MX2018003762A (ko) |
| MY (1) | MY190412A (ko) |
| NZ (1) | NZ741321A (ko) |
| RU (1) | RU2696316C1 (ko) |
| WO (1) | WO2017052407A1 (ko) |
| ZA (1) | ZA201802149B (ko) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106846270B (zh) * | 2017-01-05 | 2020-02-14 | 浙江大华技术股份有限公司 | 一种图像边缘增强方法及装置 |
| EP3799692A4 (en) * | 2018-06-13 | 2021-08-04 | Huawei Technologies Co., Ltd. | INTRA ENHANCEMENT AND / OR CONTOUR CORRECTION FILTER FOR VIDEO CODING ON THE BASIS OF A BIT TRAIN FLAG |
| CN112272951A (zh) | 2018-06-13 | 2021-01-26 | 华为技术有限公司 | 用于视频编码的帧内锐化滤波器和/或去振铃滤波器 |
| CN112950491B (zh) * | 2021-01-26 | 2024-02-13 | 上海视龙软件有限公司 | 一种视频处理的方法及设备 |
| KR20220124031A (ko) * | 2021-03-02 | 2022-09-13 | 삼성전자주식회사 | 영상 패킷을 송수신하는 전자 장치 및 이의 동작 방법 |
| CN112702604B (zh) * | 2021-03-25 | 2021-06-29 | 北京达佳互联信息技术有限公司 | 用于分层视频的编码方法和装置以及解码方法和装置 |
| US20220405889A1 (en) * | 2021-06-22 | 2022-12-22 | Ati Technologies Ulc | Sharpening of images in non-linear and linear formats |
Family Cites Families (51)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6175656B1 (en) | 1999-03-25 | 2001-01-16 | Sony Corporation | Non-linear video sharpening filter |
| US20020063807A1 (en) * | 1999-04-19 | 2002-05-30 | Neal Margulis | Method for Performing Image Transforms in a Digital Display System |
| US6864916B1 (en) | 1999-06-04 | 2005-03-08 | The Trustees Of Columbia University In The City Of New York | Apparatus and method for high dynamic range imaging using spatially varying exposures |
| JP3995854B2 (ja) | 1999-06-10 | 2007-10-24 | 富士フイルム株式会社 | 画像処理方法および装置並びに記録媒体 |
| FI117533B (fi) * | 2000-01-20 | 2006-11-15 | Nokia Corp | Menetelmä digitaalisten videokuvien suodattamiseksi |
| US7266150B2 (en) | 2001-07-11 | 2007-09-04 | Dolby Laboratories, Inc. | Interpolation of video compression frames |
| US7116831B2 (en) | 2002-04-10 | 2006-10-03 | Microsoft Corporation | Chrominance motion vector rounding |
| JP4120301B2 (ja) | 2002-04-25 | 2008-07-16 | ソニー株式会社 | 画像処理装置およびその方法 |
| US20130107938A9 (en) | 2003-05-28 | 2013-05-02 | Chad Fogg | Method And Apparatus For Scalable Video Decoder Using An Enhancement Stream |
| US7471845B2 (en) | 2004-01-06 | 2008-12-30 | Sharp Laboratories Of America, Inc. | De-ringing filter |
| US7397853B2 (en) * | 2004-04-29 | 2008-07-08 | Mediatek Incorporation | Adaptive de-blocking filtering apparatus and method for MPEG video decoder |
| JP4576930B2 (ja) | 2004-08-26 | 2010-11-10 | カシオ計算機株式会社 | 動きベクトル検出装置、および、プログラム |
| RU2008106939A (ru) * | 2005-04-19 | 2009-08-27 | Самсунг Электроникс Ко., Лтд. (KR) | Способ и устройство адаптивного выбора контекстной модели для кодирования по энтропии |
| EP1841230A1 (en) | 2006-03-27 | 2007-10-03 | Matsushita Electric Industrial Co., Ltd. | Adaptive wiener filter for video coding |
| JP2008054267A (ja) | 2006-07-28 | 2008-03-06 | Hitachi Ltd | 画像処理装置、画像符号化装置及び画像復号化装置 |
| US9014280B2 (en) | 2006-10-13 | 2015-04-21 | Qualcomm Incorporated | Video coding with adaptive filtering for motion compensated prediction |
| US7751873B2 (en) | 2006-11-08 | 2010-07-06 | Biotronik Crm Patent Ag | Wavelet based feature extraction and dimension reduction for the classification of human cardiac electrogram depolarization waveforms |
| US8199812B2 (en) * | 2007-01-09 | 2012-06-12 | Qualcomm Incorporated | Adaptive upsampling for scalable video coding |
| US20080205508A1 (en) | 2007-02-22 | 2008-08-28 | Streaming Networks (Pvt.) Ltd. | Method and apparatus for low complexity video encoding and decoding |
| US8576906B2 (en) | 2008-01-08 | 2013-11-05 | Telefonaktiebolaget L M Ericsson (Publ) | Adaptive filtering |
| EP2081386A1 (en) | 2008-01-18 | 2009-07-22 | Panasonic Corporation | High precision edge prediction for intracoding |
| US20090257499A1 (en) | 2008-04-10 | 2009-10-15 | Qualcomm Incorporated | Advanced interpolation techniques for motion compensation in video coding |
| US8705622B2 (en) | 2008-04-10 | 2014-04-22 | Qualcomm Incorporated | Interpolation filter support for sub-pixel resolution in video coding |
| US8811484B2 (en) | 2008-07-07 | 2014-08-19 | Qualcomm Incorporated | Video encoding by filter selection |
| US10123050B2 (en) | 2008-07-11 | 2018-11-06 | Qualcomm Incorporated | Filtering video data using a plurality of filters |
| JP4763026B2 (ja) | 2008-08-27 | 2011-08-31 | シャープ株式会社 | 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム及びコンピュータ読み取り可能な記録媒体 |
| US9078007B2 (en) | 2008-10-03 | 2015-07-07 | Qualcomm Incorporated | Digital video coding with interpolation filters and offsets |
| KR101807886B1 (ko) | 2009-10-14 | 2017-12-11 | 돌비 인터네셔널 에이비 | 깊이 맵 처리를 위한 방법 및 디바이스 |
| US8548065B2 (en) | 2009-10-22 | 2013-10-01 | The Chinese University Of Hong Kong | Parametric interpolation filter for motion-compensated prediction |
| WO2011129100A1 (ja) * | 2010-04-13 | 2011-10-20 | パナソニック株式会社 | 画像符号化方法および画像復号化方法 |
| US20110299604A1 (en) | 2010-06-04 | 2011-12-08 | Apple Inc. | Method and apparatus for adaptive video sharpening |
| US9154807B2 (en) | 2010-06-25 | 2015-10-06 | Qualcomm Incorporated | Inclusion of switched interpolation filter coefficients in a compressed bit-stream |
| EP4318277A3 (en) | 2010-09-30 | 2024-02-28 | Samsung Electronics Co., Ltd. | Method and device for interpolating images by using a smoothing interpolation filter |
| US8761245B2 (en) | 2010-12-21 | 2014-06-24 | Intel Corporation | Content adaptive motion compensation filtering for high efficiency video coding |
| US9172972B2 (en) | 2011-01-05 | 2015-10-27 | Qualcomm Incorporated | Low complexity interpolation filtering with adaptive tap size |
| TW201301199A (zh) | 2011-02-11 | 2013-01-01 | Vid Scale Inc | 視訊及影像放大以邊為基礎之視訊內插 |
| US8780971B1 (en) | 2011-04-07 | 2014-07-15 | Google, Inc. | System and method of encoding using selectable loop filters |
| JP5552092B2 (ja) | 2011-06-13 | 2014-07-16 | 日本電信電話株式会社 | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム |
| US9232233B2 (en) | 2011-07-01 | 2016-01-05 | Apple Inc. | Adaptive configuration of reference frame buffer based on camera and background motion |
| US9432700B2 (en) | 2011-09-27 | 2016-08-30 | Broadcom Corporation | Adaptive loop filtering in accordance with video coding |
| US9462298B2 (en) * | 2011-10-21 | 2016-10-04 | Qualcomm Incorporated | Loop filtering around slice boundaries or tile boundaries in video coding |
| US9596463B2 (en) | 2012-02-22 | 2017-03-14 | Qualcomm Incorporated | Coding of loop filter parameters using a codebook in video coding |
| WO2013147495A1 (ko) | 2012-03-26 | 2013-10-03 | 엘지전자 주식회사 | 스케일러블 비디오 인코딩/디코딩 방법 및 장치 |
| CN104335585B (zh) | 2012-06-24 | 2019-02-19 | Lg 电子株式会社 | 图像解码方法和使用其的装置 |
| US9344718B2 (en) | 2012-08-08 | 2016-05-17 | Qualcomm Incorporated | Adaptive up-sampling filter for scalable video coding |
| US20140072048A1 (en) | 2012-09-13 | 2014-03-13 | Samsung Electronics Co., Ltd | Method and apparatus for a switchable de-ringing filter for image/video coding |
| US9596465B2 (en) | 2013-01-04 | 2017-03-14 | Intel Corporation | Refining filter for inter layer prediction of scalable video coding |
| US20140192862A1 (en) | 2013-01-07 | 2014-07-10 | Research In Motion Limited | Methods and systems for prediction filtering in video coding |
| US20140254659A1 (en) | 2013-03-11 | 2014-09-11 | Mediatek Inc. | Video coding method using at least evaluated visual quality and related video coding apparatus |
| EP2979447B1 (en) | 2013-03-28 | 2018-01-03 | Huawei Technologies Co., Ltd. | Method for determining predictor blocks for a spatially scalable video codec |
| US20160105685A1 (en) | 2014-10-08 | 2016-04-14 | Qualcomm Incorporated | Boundary filtering and cross-component prediction in video coding |
-
2015
- 2015-09-25 JP JP2018515526A patent/JP6678735B2/ja active Active
- 2015-09-25 NZ NZ74132115A patent/NZ741321A/en unknown
- 2015-09-25 KR KR1020187010790A patent/KR20180054751A/ko not_active Application Discontinuation
- 2015-09-25 MY MYPI2018701180A patent/MY190412A/en unknown
- 2015-09-25 CA CA2999872A patent/CA2999872C/en active Active
- 2015-09-25 MX MX2018003762A patent/MX2018003762A/es unknown
- 2015-09-25 WO PCT/RU2015/000612 patent/WO2017052407A1/en active Application Filing
- 2015-09-25 AU AU2015410095A patent/AU2015410095C1/en active Active
- 2015-09-25 EP EP15851637.7A patent/EP3348058B1/en active Active
- 2015-09-25 RU RU2018114669A patent/RU2696316C1/ru active
- 2015-09-25 CN CN201580083395.9A patent/CN108370445B/zh active Active
-
2018
- 2018-03-23 US US15/934,628 patent/US10863205B2/en active Active
- 2018-04-03 ZA ZA2018/02149A patent/ZA201802149B/en unknown
- 2018-07-26 HK HK18109667.3A patent/HK1250292A1/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017052407A1 (en) | 2017-03-30 |
| NZ741321A (en) | 2019-10-25 |
| JP6678735B2 (ja) | 2020-04-08 |
| AU2015410095A1 (en) | 2018-04-26 |
| BR112018005997A2 (pt) | 2018-10-23 |
| EP3348058B1 (en) | 2021-09-15 |
| CN108370445A (zh) | 2018-08-03 |
| US20180220162A1 (en) | 2018-08-02 |
| US10863205B2 (en) | 2020-12-08 |
| AU2015410095B2 (en) | 2019-08-29 |
| RU2696316C1 (ru) | 2019-08-01 |
| CN108370445B (zh) | 2020-02-21 |
| EP3348058A1 (en) | 2018-07-18 |
| WO2017052407A8 (en) | 2017-10-26 |
| HK1250292A1 (zh) | 2018-12-07 |
| CA2999872C (en) | 2020-08-18 |
| MY190412A (en) | 2022-04-21 |
| JP2018533292A (ja) | 2018-11-08 |
| AU2015410095C1 (en) | 2020-01-16 |
| CA2999872A1 (en) | 2017-03-30 |
| ZA201802149B (en) | 2023-01-25 |
| MX2018003762A (es) | 2018-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102192778B1 (ko) | 선택 가능한 보간 필터를 구비한 비디오 모션 보상 장치 및 방법 | |
| US10820008B2 (en) | Apparatus and method for video motion compensation | |
| US10863205B2 (en) | Adaptive sharpening filter for predictive coding | |
| US10834416B2 (en) | Apparatus and method for video motion compensation | |
| US10848784B2 (en) | Apparatus and method for video motion compensation | |
| JP6797247B2 (ja) | ビデオ動き補償用の装置および方法 | |
| BR112018005997B1 (pt) | Codificador de vídeo, decodificador de vídeo, métodos para a codificação e a decodificação preditivas e meio de armazenamento legível em computador |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |