KR20200013240A - 고-품질 비디오 재생을 위한 애플리케이션 특정 필터 - Google Patents
고-품질 비디오 재생을 위한 애플리케이션 특정 필터 Download PDFInfo
- Publication number
- KR20200013240A KR20200013240A KR1020197037614A KR20197037614A KR20200013240A KR 20200013240 A KR20200013240 A KR 20200013240A KR 1020197037614 A KR1020197037614 A KR 1020197037614A KR 20197037614 A KR20197037614 A KR 20197037614A KR 20200013240 A KR20200013240 A KR 20200013240A
- Authority
- KR
- South Korea
- Prior art keywords
- filter
- frame
- compressed video
- video stream
- use case
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000001914 filtration Methods 0.000 claims abstract description 16
- 230000006835 compression Effects 0.000 claims abstract description 15
- 238000007906 compression Methods 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000006837 decompression Effects 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 11
- 238000012805 post-processing Methods 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 6
- 238000013139 quantization Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
압축된 비디오 스트림의 적응적 사용-사례 기반 필터링을 위한 시스템, 장치 및 방법이 개시된다. 일 실시형태에서, 시스템은 적어도 디스플레이 및 적어도 하나의 메모리 디바이스에 결합된 프로세서를 포함한다. 시스템은 압축된 비디오 스트림을 수신하도록 구성된다. 압축된 비디오 스트림의 각각의 수신된 프레임에 대해, 시스템은 압축된 비디오 프레임을 필터링되지 않은 프레임으로 압축 해제한다. 그 후, 시스템은 제1 필터를 이용해서 필터링되지 않은 프레임을 필터링하여 필터링된 프레임을 생성할 수 있다. 일 실시형태에서, 제1 필터는 샘플 적응적 오프셋(SAO) 필터와 조합된 디블로킹 필터(DBF)이다. 또한, 이 실시형태에서, 제1 필터는 비디오 압축 표준을 준수한다. 필터링되지 않은 프레임 및 필터링된 프레임은 입력으로서 제2 필터에 제공되며, 해당 제2 필터는 입력의 사용-사례 특정 잡음-제거를 수행하여 감소된 아티펙트를 가진 잡음 제거된 프레임을 생성한다.
Description
관련 기술에 대한 설명
디지털 비디오 스트리밍의 대역폭 요건은 시간 경과에 따라 계속해서 증가하고 있다. 다양한 애플리케이션이 아카이빙된 비디오 정보에 대한 더 적은 저장 공간 및/또는 비디오 정보의 송신을 위한 더 적은 대역폭을 요구하는 비디오 압축으로부터 이익을 얻는다. 따라서, 디지털 비디오의 품질 및 접근 가능성을 개선하기 위한 다양한 기술이 개발되어 왔다. 이러한 기술의 예는, JVT(Joint Video Team)에 의해 제안된, 비디오 압축 표준, 또는 코덱인 H.264이다. 오늘날의 멀티미디어-가능 디지털 디바이스의 대다수는 H.264를 따르는 디지털 비디오 코덱을 통합한다.
고효율 비디오 코딩(HEVC)은 H.264의 뒤를 잇는 또 다른 비디오 압축 표준이다. HEVC는 순차적으로 적용되는 두 개의 루프 필터를 특정하며, 디블로킹 필터(deblocking filter: DBF)가 먼저 적용되고 샘플 적응적 오프셋(sample adaptive offset: SAO) 필터가 두 번째로 적용된다. 루프 필터는 둘 다 화상-간 예측 루프에서 이용되며, 필터링된 이미지는 화상-간 예측을 위한 잠재적인 기준으로서 디코딩된 화상 버퍼에 저장된다. 그러나, 상이한 유형의 비디오 스트리밍 애플리케이션에 대한 많은 경우에, 상당한 양의 시각적 아티팩트가 DBF 및 SAO 필터가 압축 해제된 비디오 프레임에 적용된 후 남아있을 수 있다.
본 명세서에서 설명된 방법 및 메커니즘의 이점은 수반된 도면과 함께 다음의 설명을 참조함으로써 보다 잘 이해될 수 있다:
도 1은 비디오 스트림을 인코딩하고 디코딩하기 위한 시스템의 일 실시형태의 블록도이다.
도 2는 디코더의 일부분의 일 실시형태의 블록도이다.
도 3은 애플리케이션 특정 잡음-제거 필터의 일 실시형태의 블록도이다.
도 4는 필터링된 프레임과 필터링되지 않은 프레임 간의 절대값을 생성하기 위한 기술의 일 실시형태의 블록도이다.
도 5는 압축된 비디오 프레임을 디코딩할 때 개선된 아티팩트 감소를 달성하기 위한 방법의 일 실시형태를 예시한 일반화된 흐름도이다.
도 6은 사용-사례 특정 필터를 구현하기 위한 방법의 또 다른 실시형태를 예시한 일반화된 흐름도이다.
도 7은 애플리케이션 특정 잡음-제거 필터를 이용해서 필터링된 프레임 및 필터링되지 않은 프레임을 처리하기 위한 방법의 일 실시형태를 예시한 일반화된 흐름도이다.
도 1은 비디오 스트림을 인코딩하고 디코딩하기 위한 시스템의 일 실시형태의 블록도이다.
도 2는 디코더의 일부분의 일 실시형태의 블록도이다.
도 3은 애플리케이션 특정 잡음-제거 필터의 일 실시형태의 블록도이다.
도 4는 필터링된 프레임과 필터링되지 않은 프레임 간의 절대값을 생성하기 위한 기술의 일 실시형태의 블록도이다.
도 5는 압축된 비디오 프레임을 디코딩할 때 개선된 아티팩트 감소를 달성하기 위한 방법의 일 실시형태를 예시한 일반화된 흐름도이다.
도 6은 사용-사례 특정 필터를 구현하기 위한 방법의 또 다른 실시형태를 예시한 일반화된 흐름도이다.
도 7은 애플리케이션 특정 잡음-제거 필터를 이용해서 필터링된 프레임 및 필터링되지 않은 프레임을 처리하기 위한 방법의 일 실시형태를 예시한 일반화된 흐름도이다.
다음의 설명에서, 다수의 특정 세부사항은 본 명세서에서 제공된 방법 및 메커니즘의 철저한 이해를 제공하기 위해 제시된다. 그러나, 이 기술분야에서의 통상의 기술자는 다양한 실시형태가 이들 특정 세부사항 없이 실시될 수 있다는 것을 인식해야 한다. 몇몇 경우에, 잘 알려진 구조, 구성요소, 신호, 컴퓨터 프로그램 명령어, 및 기술은 본 명세서에서 설명된 접근법을 모호하게 하는 것을 피하기 위해 상세하게 도시되지 않았다. 예시의 단순성 및 명료성을 위해, 도면에 도시된 요소는 반드시 일정한 비율로 그려진 것은 아니라는 것이 이해될 것이다. 예를 들어, 요소 중 일부의 치수는 다른 요소에 대해 과장될 수 있다.
비디오 스트림의 적응적 사용-사례 기반 필터링을 위한 시스템, 장치, 및 방법이 본 명세서에서 개시된다. 일 실시형태에서, 시스템은 적어도 디스플레이 및 적어도 하나의 메모리 디바이스에 결합된 프로세서를 포함한다. 일 실시형태에서, 시스템은 압축된 비디오 스트림을 수신하도록 구성된다. 압축된 비디오 스트림의 각각의 수신된 프레임에 대해, 시스템은 압축된 비디오 프레임을, 원래, 필터링되지 않은 프레임으로 압축 해제한다. 그 후, 시스템은 원래, 필터링되지 않은 프레임을 필터링된 프레임으로 필터링하기 위해 제1 필터를 이용한다. 일 실시형태에서, 제1 필터는 샘플 적응적 오프셋(SAO) 필터와 조합된 디-블로킹 필터이다. 또한, 이 실시형태에서, 제1 필터는 비디오 압축 표준을 준수한다. 일 실시형태에서, 필터링된 프레임은 인-루프 필터에 대한 기준 프레임으로서 이용된다.
다음에, 시스템은 필터링되지 않은 프레임 및 필터링된 프레임을 제2 필터에 제공한다. 일 실시형태에서, 제2 필터는 압축된 비디오 스트림의 특정 사용 사례에 대해 맞춤화되는 프로그램 가능한 필터이다. 예를 들어, 사용 사례는, 이에 제한되지 않지만, 스크린 콘텐트, 비디오 컨퍼린싱, 게이밍, 비디오 스트리밍, 클라우드 게이밍, 및 기타를 포함한다. 제2 필터는 필터링되지 않은 프레임 및 필터링된 프레임을 필터링하여 잡음-제거된 프레임을 생성한다. 몇몇 부가적인 후-처리 후, 시스템은 잡음-제거된 프레임을 디스플레이로 유도한다(drive).
일 실시형태에서, 시스템은 제1 압축된 비디오 스트림을 수신한다. 일 실시형태에서, 시스템은 제1 압축된 비디오 스트림의 사용 사례를 결정하도록 구성된다. 일 실시형태에서, 시스템은 제1 압축된 비디오 스트림의 사용 사례의 유형을 특정하는 표시를 수신한다. 또 다른 실시형태에서, 시스템은 사용 사례의 유형을 결정하기 위해 제1 압축된 비디오 스트림을 분석한다. 시스템이 제1 압축된 비디오 스트림이 제1 사용 사례에 대응한다고 결정하면, 시스템은 제1 사용 사례에 맞춤화된 제1 세트의 파라미터로 제2 필터를 프로그래밍한다. 그 후, 시스템은 프레임을 디스플레이로 유도하기 전에 제1 압축된 비디오 스트림의 프레임을 필터링하고 잡음-제거하기 위해, 제1 세트의 파라미터로 프로그래밍된 제2 필터를 이용한다.
나중에, 시스템은 제2 압축된 비디오 스트림을 수신한다. 시스템이, 제2 압축된 비디오 스트림이 제2 사용 사례에 대응한다고 결정하면, 시스템은 제2 사용 사례에 맞춤화된 제2 세트의 파라미터로 제2 필터를 프로그래밍한다. 그 후, 시스템은, 프레임을 디스플레이로 유도하기 전에 제2 압축된 비디오 스트림의 프레임을 필터링하고 잡음-제거하기 위해, 제2 세트의 파라미터로 프로그래밍된 제2 필터를 이용한다.
이제 도 1을 참조하면, 비디오 스트림을 인코딩하고 디코딩하기 위한 시스템(100)의 일 실시형태의 블록도가 도시되어 있다. 일 실시형태에서, 인코더(102) 및 디코더(104)는 동일한 시스템(100)의 부분이다. 또 다른 실시형태에서, 인코더(102) 및 디코더(104)는 별개의 시스템의 부분이다. 일 실시형태에서, 인코더(102)는 원래의 비디오(108)를 압축하도록 구성된다. 인코더(102)는 변환 및 양자화 블록(110), 엔트로피 블록(122), 역양자화 및 역변환 블록(112), 예측 모듈(116), 및 조합된 디블로킹 필터(DBF) 및 샘플 적응화 오프셋(SAO) 필터(120)를 포함한다. 재구성된 비디오(118)는 입력으로서 예측 모듈(116)로 제공된다. 다른 실시형태에서, 인코더(102)는 다른 구성요소를 포함하고/하거나 상이하게 구조화될 수 있다. 인코더(102)의 출력은 저장되거나 또는 디코더(104)로 송신될 수 있는 비트스트림(124)이다.
디코더(104)가 비트스트림(124)을 수신할 때, 역 엔트로피 블록(126)은 역양자화 및 역변환 블록(128)에 앞서 비트스트림(124)을 처리할 수 있다. 그 후, 역양자화 및 역변환 블록(128)의 출력은 보상 블록(134)의 출력과 조합된다. 블록(126, 128, 및 134)은 "압축 해제 유닛"으로도 지칭될 수 있음에 유의한다. 다른 실시형태에서, 압축 해제 유닛은 다른 블록을 포함하고/하거나 상이하게 구조화될 수 있다. 디블로킹 필터(DBF) 및 샘플 적응적 오프셋(SAO) 필터(130)는 디코딩된 비디오(132)를 생성하기 위해 원래, 필터링되지 않은 프레임을 처리하도록 구성된다. 일 실시형태에서, DBF/SAO 필터(130)는 인코더(102)에서 DBF/SAO 필터(120)에 의해 적용된 필터링을 반전시킨다. 몇몇 실시형태에서, DBF/SAO 필터링은 인코더(102) 및 디코더(104) 둘 다에서 불능될 수 있다.
일 실시형태에서, 애플리케이션 특정 잡음-제거 필터(136)로의 두 개의 입력이 있다. 이들 입력은 경로(135A) 및 경로(135B)를 통해 애플리케이션 특정 잡음-제거 필터(136)에 결합된다. 원래, 필터링되지 않은 프레임은 경로(135A)를 통해 애플리케이션 특정 잡음-제거 필터(136)로 운반되며 필터링된 프레임은 경로(135B)를 통해 애플리케이션 특정 잡음-제거 필터(136)로 운반된다. 애플리케이션 특정 잡음-제거 필터(136)는 감소된 아티팩트를 가진 잡음-감소된 프레임을 생성하기 위해 이들 프레임 중 하나 또는 둘 다를 필터링하도록 구성된다. 애플리케이션 특정 잡음-제거 필터(136)는 또한 "디블로킹 필터", "아티팩트 감소 필터", 또는 다른 유사한 용어로 지칭될 수 있다.
잡음-제거 프레임은 그 후 애플리케이션 특정 잡음-제거 필터(136)로부터 통상의 후-처리 블록(138)으로 운반된다. 일 실시형태에서, 통상의 후-처리 블록(138)은 디스플레이(140)의 특성을 매칭시키기 위해 크기 재조절 및 컬러 공간 변환을 수행한다. 다른 실시형태에서, 통상의 후-처리 블록(138)은 잡음-제거된 프레임에 대해 다른 유형의 후-처리 동작을 수행할 수 있다. 그 후, 프레임은 통상의 후-처리 블록(138)으로부터 디스플레이(140)로 유도된다. 이러한 프로세스는 수신된 비디오 스트림의 후속 프레임에 대해 반복될 수 있다.
일 실시형태에서, 애플리케이션 특정 잡음-제거 필터(136)는 수신된 비디오 스트림을 생성한 특정 애플리케이션에 대해 맞춤화되는 잡음-제거 알고리즘을 이용하도록 구성된다. 비디오 스트림을 생성하기 위해 이용될 수 있는 상이한 애플리케이션의 예는 비디오 컨퍼런싱, 스크린 콘텐트(예컨대, 원격 컴퓨터 데스크탑 액세스, 실시간 스크린 공유), 게이밍, 영화 제작, 비디오 스트리밍, 클라우드 게이밍, 및 기타를 포함한다. 이들 상이한 유형의 애플리케이션의 각각에 대해, 애플리케이션 특정 잡음-제거 필터(136)는 시각적 아티팩트를 감소시키기 위해 특정 애플리케이션에 적응되는 필터링 및/또는 잡음-제거 알고리즘을 이용하도록 구성된다.
일 실시형태에서, 애플리케이션 특정 잡음-제거 필터(136)는 수신된 비디오 스트림의 필터링 및/또는 잡음-제거를 수행하기 위해 기계 학습 알고리즘을 이용한다. 일 실시형태에서, 애플리케이션 특정 잡음-제거 필터(136)는 트레이닝된 신경망을 사용하여 구현된다. 다른 실시형태에서, 애플리케이션 특정 잡음-제거 필터(136)는 다른 유형의 기계 학습 알고리즘을 사용하여 구현할 수 있다.
실시형태에 따라서, 디코더(104)는 하드웨어 및/또는 소프트웨어의 임의의 적절한 조합을 사용하여 구현될 수 있다. 예를 들어, 디코더(104)는 중앙 처리 유닛(CPU), 그래픽 처리 유닛(GPU), 디지털 신호 프로세서(DSP), 필드 프로그램 가능한 게이트 어레이(FPGA), 애플리케이션 특정 집적 회로(ASIC), 또는 임의의 다른 적절한 하드웨어 디바이스를 이용하여 컴퓨팅 시스템에서 구현될 수 있다. 하드웨어 디바이스(들)는 하드웨어 디바이스(들)에 의해 실행 가능한 프로그램 명령어를 포함하는 하나 이상의 메모리 디바이스에 결합될 수 있다.
이제 도 2로 가면, 디코더(200)의 일부분의 일 실시형태의 블록도가 도시되어 있다. 디코더(200)는 압축된 비디오 스트림의 프레임을 수신하고, 디코더(200)는 프레임을 압축 해제하여 필터링되지 않은 프레임(205)을 생성하도록 구성된다. 일 실시형태에서, 압축된 비디오 스트림은 비디오 압축 표준(예컨대, HEVC)을 준수한다. 이 실시형태에서, 압축된 비디오 스트림은 DBF/SAO 필터로 인코딩된다. 따라서, 디코더(200)는 필터링되지 않은 프레임(205)으로부터 필터링된 프레임(215)을 생성하기 위해 인코더에서 수행된 DBF/SAO 필터링을 반전시키는 DBF/SAO 필터(210)를 포함한다. 필터링된 프레임(215)은 또한 "기준 프레임"으로도 지칭될 수 있다. 이러한 기준 프레임은 후속 프레임의 생성을 위해 사용될 디코더(200)의 인-루프 필터(도시되지 않음)로 운반될 수 있다.
필터링되지 않은 프레임(205) 및 필터링된 프레임(215)은 둘 다 애플리케이션 특정 잡음-제거 필터(220)로 운반된다. 애플리케이션 특정 잡음-제거 필터(220)는 필터링되지 않은 프레임(205) 및 필터링된 프레임(215) 중 하나 또는 둘 다를 이용하고 입력(들)에 대해 잡음-제거 필터링을 수행하여 잡음-제거된 프레임(225)을 생성한다. 용어 "잡음-제거된 프레임"는 애플리케이션 특정 잡음-제거 필터의 출력으로서 정의된다. 잡음-제거된 프레임(225)은 필터링되지 않은 프레임(205) 및 필터링된 프레임(215)과 비교해서 더 적은 시각적 아티팩트를 포함한다.
일 실시형태에서, 애플리케이션 특정 잡음-제거 필터(220)는 필터링되지 않은 프레임(205)과 필터링된 프레임(215)의 픽셀 간의 차이를 산출한다. 그 후, 애플리케이션 특정 잡음-제거 필터(220)는 필터링되지 않은 프레임(205) 및/또는 필터링된 프레임(215)을 어떻게 필터링할지를 결정하기 위해 픽셀에 대한 차이 값을 이용한다. 일 실시형태에서, 애플리케이션 특정-잡음 제거 필터(220)는 수신된 압축 비디오 스트림의 프레임을 생성한 애플리케이션을 결정하며, 그 후 애플리케이션 특정 잡음-제거 필터(220)는 특정 애플리케이션에 대해 맞춤화된 필터링을 수행한다.
이제 도 3을 참조하면, 애플리케이션 특정 잡음-제거 필터(305)의 일 실시형태의 블록도가 도시되어 있다. 일 실시형태에서, 애플리케이션 특정 잡음-제거 필터(305)는 메모리(310)에 결합된다. 메모리(310)는 임의의 유형의 메모리 디바이스 또는 저장 요소의 모음을 나타낸다. 애플리케이션 특정 잡음-제거 필터(305)가 압축된 비디오 스트림을 수신할 때, 애플리케이션 특정 잡음-제거 필터(305)는 압축된 비디오 스트림의 애플리케이션(즉, 사용 사례)의 표시를 결정하거나 또는 수신하도록 구성된다. 일 실시형태에서, 애플리케이션 특정 잡음-제거 필터(305)는 애플리케이션의 유형의 표시를 수신한다. 표시는 압축된 비디오 스트림의 헤더 내에 포함될 수 있거나, 또는 표시는 압축된 비디오 스트림으로부터 별개의 채널 상에서 전송된 별개의 신호 또는 데이터일 수 있다. 또 다른 실시형태에서, 애플리케이션 특정 잡음-제거 필터(305)는 압축된 비디오 스트림을 생성한 애플리케이션의 유형을 결정하기 위해 압축된 비디오 스트림을 분석한다. 다른 실시형태에서, 압축된 비디오 스트림을 생성한 애플리케이션의 유형을 결정하기 위한 다른 기술이 이용될 수 있다.
일 실시형태에서, 애플리케이션 특정 잡음-제거 필터(305)는 압축된 비디오 스트림의 수신된 프레임의 잡음-제거 필터링을 수행할 때 어떤 파라미터의 세트를 이용할지를 결정하기 위해 애플리케이션 유형으로 표(325)에 질의한다. 예를 들어, 애플리케이션 유형이 스크린 콘텐트이면, 애플리케이션 특정 잡음-제거 필터(305)는 잡음-제거 필터링 요소를 프로그래밍하기 위해 이용할 제2 세트의 파라미터(320B)를 검색할 것이다. 대안적으로, 애플리케이션 유형이 비디오 컨퍼런싱이면, 애플리케이션 특정 잡음-제거 필터(305)는 제N 세트의 파라미터(320N)를 검색할 것이며, 애플리케이션 유형이 스트리밍이면, 애플리케이션 특정 잡음-제거 필터(305)는 제1 세트의 파라미터(320A)를 검색할 것이다. 일 실시형태에서, 애플리케이션 특정 잡음-제거 필터(305)는 기계 학습 모델을 포함하며, 메모리(310)로부터 검색된 파라미터의 세트는 잡음-제거 필터링을 수행하기 위한 기계 학습 모델을 프로그래밍하기 위해 이용된다. 예를 들어, 기계 학습 모델은 서포트 벡터 머신, 회귀 모델, 신경망, 또는 다른 유형의 모델일 수 있다. 실시형태에 의존하여, 기계 학습 모델은 트레이닝되거나 또는 트레이닝되지 않을 수 있다. 다른 실시형태에서, 애플리케이션 특정 잡음-제거 필터(305)는 입력 비디오 스트림의 잡음-제거를 수행하기 위해 다른 유형의 필터를 이용할 수 있다.
이제 도 4로 가면, 필터링된 프레임과 필터링되지 않은 프레임 간의 절대값을 생성하는 일 실시형태의 블록도가 도시되어 있다. 일 실시형태에서, 애플리케이션 특정 잡음-제거 필터(예컨대, 도 1의 애플리케이션 특정 잡음-제거 필터(136))는 필터링되지 않은 프레임(405) 및 필터링된 프레임(410)을 수신한다. 일 실시형태에서, 필터링된 프레임(410)은 비디오 압축 표준을 준수하는 조합된 디블로킹 필터(DBF) 및 샘플 적응적 오프셋(SAO) 필터에 의해 생성된다. 필터링되지 않은 프레임(405)은 DBF/SAO 필터로의 입력을 나타낸다. 필터링되지 않은 프레임(405) 및 필터링된 프레임(410) 둘 다는 입력으로서 애플리케이션 특정 잡음-제거 필터로 제공된다.
일 실시형태에서, 애플리케이션 특정 잡음-제거 필터는 프레임의 각각의 픽셀에 대해 필터링되지 않은 프레임(405)과 필터링된 프레임(410) 간의 차이를 산출한다. 차이 프레임(415)은 프레임의 픽셀에 대한 차이의 일례로서 도 4에 도시되어 있다. 차이 프레임(415)에 도시된 값은 단지 예이며 각각의 픽셀이 어떻게 필터링되지 않은 프레임(405)과 필터링된 프레임(410)에서의 대응 픽셀 간의 차이와 동일한 값을 할당받을 수 있는지를 나타내도록 의도된다. 일 실시형태에서, 애플리케이션 특정 잡음-제거 필터는 필터링되지 않은 프레임(405) 및 필터링된 프레임의 잡음-제거 필터링을 수행하기 위해 차이 프레임(415)에서의 값을 이용한다. 차이 프레임(415)에서의 비-제로 값은 어떤 픽셀 값이 DBF/SAO 필터에 의해 변경되는지를 나타낸다.
이제 도 5를 참조하면, 압축된 비디오 프레임을 디코딩할 때 개선된 아티팩트 감소를 달성하기 위한 방법(500)의 일 실시형태가 도시되어 있다. 논의의 목적을 위해, 이 실시형태에서의 단계 및 도 6과 도 7의 단계가 순차적인 순서로 도시되어 있다. 그러나, 설명된 방법의 다양한 실시형태에서, 설명된 요소 중 하나 이상은 동시에, 도시된 것과 상이한 순서로 수행되거나, 또는 전적으로 생략되는 것에 유의한다. 다른 부가적인 요소가 또한 원하는 대로 수행된다. 본 명세서에서 설명된 다양한 시스템 또는 장치 중 임의의 것은 방법(500)을 구현하도록 구성된다.
디코더는 압축된 비디오 스트림의 프레임을 수신한다(블록 505). 일 실시형태에서, 디코더는 적어도 하나의 메모리 디바이스에 결합된 적어도 하나의 프로세서를 갖고 시스템상에 구현된다. 일 실시형태에서, 비디오 스트림은 비디오 압축 표준(예컨대, HEVC)에 따라 압축된다. 디코더는 압축된 프레임을 생성하기 위해 수신된 프레임을 압축 해제한다(블록 510). 다음에, 디코더는 제1 필터를 이용해서 압축 해제된 프레임을 필터링하여 필터링된 프레임을 생성한다(블록 515). 일 실시형태에서, 제1 필터는 디-블로킹 및 샘플 적응적 오프셋 필터링을 수행한다. 이 실시형태에서, 제1 필터는 또한 비디오 압축 표준을 준수한다.
그 후, 디코더는 압축 해제된 프레임 및 필터링된 프레임을 입력으로서 제2 필터에 제공한다(블록 520). 다음에, 제2 필터는 압축 해제된 프레임 및/또는 필터링된 프레임을 필터링하여 감소된 아티팩트를 가진 잡음-제거된 프레임을 생성한다(블록 525). 그 후, 잡음-제거된 프레임은 선택적인 통상의 후-처리 모듈을 통해 전달된다(블록 530). 일 실시형태에서, 통상의 후-처리 모듈은 잡음-제거된 프레임에 대해 크기 재조절하고 컬러 공간 변환을 수행한다. 다음에, 프레임은 디스플레이로 유도된다(블록 535). 블록 535 후, 방법(500)은 종료된다.
이제 도 6으로 가면, 사용-사례 특정 필터를 구현하기 위한 방법(600)의 일 실시형태가 도시되어 있다. 디코더는 제1 압축된 비디오 스트림을 수신한다(블록 605). 다음에, 디코더는 제1 압축된 비디오 스트림의 사용 사례를 결정하며, 상기 제1 압축된 비디오 스트림은 제1 사용 사례에 대응한다(블록 610). 다음에, 디코더는 제1 사용 사례에 대해 맞춤화된 제1 세트의 파라미터로 잡음-제거 필터를 프로그래밍한다(블록 615). 그 후, 디코더는 프로그래밍된 잡음-제거 필터를 사용하여 제1 압축된 비디오 스트림의 프레임을 필터링한다(블록 620).
나중에, 디코더는 제2 압축된 비디오 스트림을 수신한다(블록 625). 일반적으로, 디코더는 임의의 수의 상이한 압축된 비디오 스트림을 수신할 수 있다. 다음에, 디코더는 제2 압축된 비디오 스트림의 사용 사례를 결정하며, 상기 제2 압축된 비디오 스트림은 제2 사용 사례에 대응한다(블록 630). 이러한 논의의 목적을 위해, 제2 사용 사례는 제1 사용 사례와는 상이하다고 가정된다. 다음에, 디코더는 제2 사용 사례에 대해 맞춤화된 제2 세트의 파라미터로 잡음-제거 필터를 프로그래밍한다(블록 635). 이러한 논의의 목적을 위해 제2 세트의 파라미터는 제1 세트의 파라미터와는 상이하다고 가정된다. 그 후, 디코더는 프로그래밍된 잡음-제거 필터를 사용하여 제2 압축된 비디오 스트림의 프레임을 필터링한다(블록 640). 블록 640 후에, 방법(600)은 종료된다. 방법(600)은 디코더에 의해 수신되는 임의의 수의 상이한 압축된 비디오 스트림에 대해 임의의 횟수로 반복될 수도 있음에 유의한다.
이제 도 7을 참조하면, 애플리케이션 특정 잡음-제거 필터를 이용해서 필터링된 및 필터링되지 않은 프레임을 처리하기 위한 방법(700)의 일 실시형태가 도시되어 있다. 디코더는 압축된 비디오 스트림의 프레임을 수신한다(블록 705). 디코더는 수신된 프레임을 압축 해제한다(블록 710). 이러한 압축 해제된 프레임은, 디-블로킹 필터에 의해 처리되기 전에, 필터링되지 않은 프레임으로 지칭된다. 디코더는 필터링되지 않은 프레임을 애플리케이션 특정 잡음-제거 필터로 운반한다(블록 715). 또한, 디코더는 디-블로킹 및 SAO 필터를 이용해서 프레임을 필터링하고 그 후 필터링된 프레임을 애플리케이션 특정 잡음-제거 필터로 운반한다(블록 720). 그 후, 애플리케이션 특정 잡음-제거 필터는 필터링되지 않은 프레임의 픽셀과 필터링된 프레임의 픽셀 간의 절대차를 산출한다(블록 725).
다음에, 애플리케이션 특정 잡음-제거 필터는 필터링되지 않은 프레임과 필터링된 프레임 간의 절대차에 적어도 부분적으로 기초하여 어떻게 필터링되지 않은 프레임을 필터링할지를 결정한다(블록 730). 그 후, 애플리케이션 특정 잡음-제거 필터는 선택적으로 필터링되지 않은 프레임과 필터링된 프레임 간의 절대차에 적어도 부분적으로 기초하는 애플리케이션 특정 필터링을 수행한다(블록 735). 다음에, 통상의 후-처리(예컨대, 크기 재조절, 컬러 공간 변환)는 애플리케이션 특정 잡음-제거 필터의 출력에 적용된다(블록 740). 그 후, 프레임은 디스플레이로 유도된다(블록 745). 블록 745 후, 방법(700)은 종료된다. 대안적으로, 방법(700)은 압축된 비디오 스트림의 다음 프레임에 대해 반복될 수 있다.
다양한 실시형태에서, 소프트웨어 애플리케이션의 프로그램 명령어는 이전에 설명된 방법 및/또는 메커니즘을 구현하기 위해 사용된다. 프로그램 명령어는 C와 같은 상위-레벨 프로그래밍 언어로 하드웨어의 거동을 서술한다. 대안적으로, Verilog와 같은 하드웨어 설계 언어(HDL)가 사용된다. 프로그램 명령어는 비-일시적 컴퓨터 판독 가능한 저장 매체상에 저장된다. 다수의 유형의 저장 미디어가 이용 가능하다. 저장 매체는 프로그램 실행을 위해 프로그램 명령어 및 수반된 데이터를 컴퓨팅 시스템으로 제공하기 위해 사용 동안 컴퓨팅 시스템에 의해 액세스 가능하다. 컴퓨팅 시스템은 적어도 하나 이상의 메모리 및 프로그램 명령어를 실행하도록 구성된 하나 이상의 프로세서를 포함한다.
상기 설명된 실시형태는 단지 구현의 비-제한적인 예임이 강조되어야 한다. 일단 상기 개시가 완전히 이해되면, 이 기술분야의 숙련자에게 다수의 변형 및 수정은 명백할 것이다. 다음의 청구범위는 모든 이러한 변형 및 수정을 포괄하는 것으로 해석된다는 것이 의도된다.
Claims (20)
- 시스템으로서,
제1 필터;
제2 필터; 및
디스플레이를 포함하되;
상기 시스템은,
제1 압축된 비디오 스트림의 프레임을 수신하도록;
상기 프레임을 압축 해제하여 압축 해제된 프레임을 생성하도록;
상기 제1 필터로 상기 압축 해제된 프레임을 필터링하여 필터링된 프레임을 생성하도록;
상기 압축 해제된 프레임 및 상기 필터링된 프레임을 상기 제2 필터에서 수신하도록;
상기 제2 필터를 이용해서, 상기 압축-해제된 프레임 및 상기 필터링된 프레임을 처리하여 잡음-제거된 프레임을 생성하도록; 그리고
상기 잡음-제거된 프레임을 상기 디스플레이로 유도하도록
구성되는, 시스템. - 제1항에 있어서, 상기 제1 필터는 비디오 압축 표준을 준수하는, 시스템.
- 제1항에 있어서, 상기 제2 필터는 프로그램 가능한 필터인, 시스템.
- 제1항에 있어서, 상기 제2 필터는 상기 압축 해제된 프레임의 픽셀과 상기 필터링된 프레임의 대응 픽셀 간의 차이에 적어도 부분적으로 기초하여 상기 잡음-제거된 프레임을 생성하는, 시스템.
- 제1항에 있어서, 상기 시스템은,
상기 제1 압축된 비디오 스트림의 사용 사례를 결정하는 것으로서, 상기 제1 압축된 비디오 스트림은 제1 사용 사례에 대응하는, 상기 제1 압축된 비디오 스트림의 사용 사례 결정하도록;
상기 제1 사용 사례에 대해 맞춤화된 제1 세트의 파라미터로 상기 제2 필터를 프로그램하도록;
제2 압축된 비디오 스트림을 수신하도록;
상기 제2 압축된 비디오 스트림의 사용 사례를 결정하는 것으로서, 상기 제2 압축된 비디오 스트림은 제2 사용 사례에 대응하는, 상기 제2 압축된 비디오 스트림의 사용 사례를 결정하도록;
상기 제2 사용 사례에 대해 맞춤화된 제2 세트의 파라미터로 상기 제2 필터를 프로그래밍하는 것으로서, 상기 제2 세트의 파라미터는 상기 제1 세트의 파라미터와는 상이하며, 상기 제2 사용 사례는 상기 제1 사용 사례와는 상이한, 상기 제2 세트의 파라미터로 상기 제2 필터를 프로그램하도록
더 구성되는, 시스템. - 제1항에 있어서, 상기 압축된 비디오 데이터는 비디오 압축 표준을 준수하는, 시스템.
- 제1항에 있어서, 상기 제2 필터는 상기 압축 해제된 프레임의 픽셀과 상기 필터링된 프레임의 대응 픽셀에 대한 차이를 산출하도록 구성되는, 시스템.
- 방법으로서,
압축 해제된 프레임을 생성하기 위해 제1 압축된 비디오 스트림의 프레임을 수신하고 압축 해제하는 단계;
필터링된 프레임을 생성하기 위해 상기 압축 해제된 프레임을, 제1 필터로, 필터링하는 단계;
제2 필터에서 상기 압축 해제된 프레임 및 상기 필터링된 프레임을 수신하는 단계; 및
상기 제 2 필터를 이용해서, 잡음-제거된 프레임을 생성하기 위해 상기 압축 해제된 프레임 및 필터링된 프레임을 처리하는 단계를 포함하는, 방법. - 제8항에 있어서, 상기 제1 필터는 비디오 압축 표준을 준수하는, 방법.
- 제8항에 있어서, 상기 제2 필터는 프로그램 가능한 필터인, 방법.
- 제8항에 있어서, 상기 제2 필터는 상기 압축 해제된 프레임의 픽셀과 상기 필터링된 프레임의 대응 픽셀 간의 차이에 적어도 부분적으로 기초하여 상기 잡음-제거된 프레임을 생성하는, 방법.
- 제8항에 있어서,
제1 압축된 비디오 스트림의 사용 사례를 결정하는 단계로서, 상기 제1 압축된 비디오 스트림은 제1 사용 사례에 대응하는, 상기 제1 압축된 비디오 스트림의 사용 사례를 결정하는 단계;
상기 제1 사용 사례에 대해 맞춤화된 제1 세트의 파라미터로 상기 제 2 필터를 프로그래밍하는 단계;
제2 압축된 비디오 스트림을 수신하는 단계;
상기 제2 압축된 비디오 스트림의 사용 사례를 결정하는 단계로서, 상기 제2 압축된 비디오 스트림은 제2 사용 사례에 대응하는, 상기 제2 압축된 비디오 스트림의 사용 사례를 결정하는 단계;
상기 제2 사용 사례에 대해 맞춤화된 제2 세트의 파라미터로 상기 제2 필터를 프로그래밍하는 단계로서, 상기 제2 세트의 파라미터는 상기 제1 세트의 파라미터와는 상이하며, 상기 제2 사용 사례는 상기 제1 사용 사례와는 상이한, 상기 제2 필터를 프로그래밍하는 단계를 더 포함하는, 방법. - 제8항에 있어서, 상기 압축된 비디오 데이터는 비디오 압축 표준을 준수하는, 방법.
- 제8항에 있어서, 상기 제2 필터에 의해, 상기 압축 해제된 프레임의 픽셀과 상기 필터링된 프레임의 대응 픽셀에 대한 차이를 산출하는 단계를 더 포함하는, 방법.
- 장치로서,
압축 해제된 프레임을 생성하기 위해, 제1 압축된 비디오 스트림의 프레임을 수신하고 압축 해제하도록 구성된 압축 해제 유닛;
필터링된 프레임을 생성하기 위해 상기 압축 해제된 프레임을 필터링하도록 구성된 제1 필터; 및
제2 필터로서,
상기 압축 해제된 프레임 및 상기 필터링된 프레임을 수신하도록;
잡음-제거된 프레임을 생성하기 위해 상기 압축 해제된 프레임 및 상기 필터링된 프레임을 처리하도록 구성된, 상기 제2 필터를 포함하는, 장치. - 제15항에 있어서, 상기 제1 필터는 비디오 압축 표준을 준수하는, 장치.
- 제15항에 있어서, 상기 제2 필터는 프로그램 가능한 필터인, 장치.
- 제15항에 있어서, 상기 제2 필터는 상기 압축 해제된 프레임의 픽셀과 상기 필터링된 프레임의 대응 픽셀 간의 차이에 적어도 부분적으로 기초하여 상기 잡음-제거된 프레임을 생성하는, 장치.
- 제15항에 있어서, 상기 장치는,
상기 제1 압축된 비디오 스트림의 사용 사례를 결정하는 것으로서, 상기 제1 압축된 비디오 스트림은 제1 사용 사례에 대응하는, 상기 제1 압축된 비디오 스트림의 사용 사례를 결정하도록;
상기 제1 사용 사례에 대해 맞춤화된 제1 세트의 파라미터로 상기 제2 필터를 프로그램하도록;
제2 압축된 비디오 스트림을 수신하도록;
상기 제2 압축된 비디오 스트림의 사용 사례를 결정하는 것으로서, 상기 제2 압축된 비디오 스트림은 제2 사용 사례에 대응하는, 상기 제2 압축된 비디오 스트림의 사용 사례를 결정하도록;
상기 제2 사용 사례에 대해 맞춤화된 제2 세트의 파라미터로 상기 제2 필터를 프로그래밍하는 것으로서, 상기 제2 세트의 파라미터는 상기 제1 세트의 파라미터와는 상이하며, 상기 제2 사용 사례는 상기 제1 사용 사례와는 상이한, 상기 제2 필터를 프로그램하도록
더 구성되는, 장치. - 제15항에 있어서, 상기 압축된 비디오 데이터는 비디오 압축 표준을 준수하는, 장치.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/606,851 US20180343449A1 (en) | 2017-05-26 | 2017-05-26 | Application specific filters for high-quality video playback |
| US15/606,851 | 2017-05-26 | ||
| PCT/IB2018/053718 WO2018215976A1 (en) | 2017-05-26 | 2018-05-24 | Application specific filters for high-quality video playback |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200013240A true KR20200013240A (ko) | 2020-02-06 |
Family
ID=64396277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197037614A KR20200013240A (ko) | 2017-05-26 | 2018-05-24 | 고-품질 비디오 재생을 위한 애플리케이션 특정 필터 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20180343449A1 (ko) |
| EP (1) | EP3632115A4 (ko) |
| JP (1) | JP2020522175A (ko) |
| KR (1) | KR20200013240A (ko) |
| CN (1) | CN110710218B (ko) |
| WO (1) | WO2018215976A1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11039146B2 (en) * | 2018-03-01 | 2021-06-15 | Arris Enterprises Llc | Visual artifact detector |
| US11843772B2 (en) | 2019-12-06 | 2023-12-12 | Ati Technologies Ulc | Video encode pre-analysis bit budgeting based on context and features |
| WO2023223901A1 (ja) * | 2022-05-17 | 2023-11-23 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 画像符号化装置、画像復号装置、画像符号化方法、及び画像復号方法 |
| WO2023238772A1 (ja) * | 2022-06-08 | 2023-12-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 画像符号化装置、画像復号装置、画像符号化方法、及び画像復号方法 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7054500B1 (en) * | 2000-12-06 | 2006-05-30 | Realnetworks, Inc. | Video compression and decompression system with postfilter to filter coding artifacts |
| US7362810B2 (en) * | 2003-05-13 | 2008-04-22 | Sigmatel, Inc. | Post-filter for deblocking and deringing of video data |
| WO2006089557A1 (en) * | 2005-02-24 | 2006-08-31 | Bang & Olufsen A/S | A filter for adaptive noise reduction and sharpness enhancement for electronically displayed pictures |
| US8681867B2 (en) * | 2005-10-18 | 2014-03-25 | Qualcomm Incorporated | Selective deblock filtering techniques for video coding based on motion compensation resulting in a coded block pattern value |
| US8285068B2 (en) * | 2008-06-25 | 2012-10-09 | Cisco Technology, Inc. | Combined deblocking and denoising filter |
| EP2351374A1 (en) * | 2008-11-25 | 2011-08-03 | Thomson Licensing | Methods and apparatus for sparsity-based de-artifact filtering for video encoding and decoding |
| EP2237557A1 (en) * | 2009-04-03 | 2010-10-06 | Panasonic Corporation | Coding for filter coefficients |
| US8805100B2 (en) * | 2010-06-03 | 2014-08-12 | Sharp Kabushiki Kaisha | Filter device, image decoding device, image encoding device, and filter parameter data structure |
| JP2013201467A (ja) * | 2010-07-15 | 2013-10-03 | Sharp Corp | 動画像符号化装置および動画像復号装置および符号化データ構造 |
| US20120044986A1 (en) * | 2010-08-17 | 2012-02-23 | Qualcomm Incorporated | Low complexity adaptive filter |
| US9247265B2 (en) * | 2010-09-01 | 2016-01-26 | Qualcomm Incorporated | Multi-input adaptive filter based on combination of sum-modified Laplacian filter indexing and quadtree partitioning |
| US9819966B2 (en) * | 2010-09-01 | 2017-11-14 | Qualcomm Incorporated | Filter description signaling for multi-filter adaptive filtering |
| WO2012071417A1 (en) * | 2010-11-24 | 2012-05-31 | Thomson Licensing | Adaptive loop filtering |
| WO2013010248A1 (en) * | 2011-07-21 | 2013-01-24 | Research In Motion | Adaptive filtering based on pattern information |
| EP2767089A4 (en) * | 2011-10-14 | 2016-03-09 | Mediatek Inc | METHOD AND APPARATUS FOR LOOP FILTERING |
| US10044913B2 (en) * | 2012-11-07 | 2018-08-07 | Vid Scale, Inc. | Temporal filter for denoising a high dynamic range video |
| US9374506B2 (en) * | 2013-01-04 | 2016-06-21 | Qualcomm Incorporated | Method and apparatus of reducing random noise in digital video streams |
| US9854201B2 (en) * | 2015-01-16 | 2017-12-26 | Microsoft Technology Licensing, Llc | Dynamically updating quality to higher chroma sampling rate |
| US20160212423A1 (en) * | 2015-01-16 | 2016-07-21 | Microsoft Technology Licensing, Llc | Filtering to mitigate artifacts when changing chroma sampling rates |
-
2017
- 2017-05-26 US US15/606,851 patent/US20180343449A1/en not_active Abandoned
-
2018
- 2018-05-24 WO PCT/IB2018/053718 patent/WO2018215976A1/en active Application Filing
- 2018-05-24 EP EP18805286.4A patent/EP3632115A4/en not_active Withdrawn
- 2018-05-24 JP JP2019565379A patent/JP2020522175A/ja not_active Ceased
- 2018-05-24 KR KR1020197037614A patent/KR20200013240A/ko not_active Application Discontinuation
- 2018-05-24 CN CN201880034722.5A patent/CN110710218B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018215976A1 (en) | 2018-11-29 |
| EP3632115A4 (en) | 2021-02-24 |
| CN110710218B (zh) | 2023-03-28 |
| US20180343449A1 (en) | 2018-11-29 |
| CN110710218A (zh) | 2020-01-17 |
| EP3632115A1 (en) | 2020-04-08 |
| JP2020522175A (ja) | 2020-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20200013240A (ko) | 고-품질 비디오 재생을 위한 애플리케이션 특정 필터 | |
| EP1513349B1 (en) | Bitstream-controlled post-processing video filtering | |
| JP4847890B2 (ja) | 符号化方式変換装置 | |
| US8787449B2 (en) | Optimal separable adaptive loop filter | |
| TWI792149B (zh) | 量化相關參數之傳訊技術 | |
| US20230188733A1 (en) | Video display preference filtering | |
| US20090097542A1 (en) | Signal coding and decoding with pre- and post-processing | |
| US8121189B2 (en) | Video decoding using created reference pictures | |
| KR20070033417A (ko) | 디블록킹 필터링을 수행하는 방법 및 시스템 | |
| TWI549483B (zh) | 用來動態地調整視訊解碼複雜度之裝置與方法 | |
| KR20150068402A (ko) | 동영상 압축 방법 | |
| US20120263225A1 (en) | Apparatus and method for encoding moving picture | |
| US7676099B2 (en) | Method of down-sampling data values | |
| US10523958B1 (en) | Parallel compression of image data in a compression device | |
| KR20080045516A (ko) | Ｒｇｂ 영상의 부호화 및 복호화 방법과 그 장치 | |
| KR20190098634A (ko) | 인코딩, 디코딩 방법 및 장치 | |
| EP3991410B1 (en) | Video decoder, video encoder, methods for encoding and decoding video signals and computer program adjusting one or more denoising operations | |
| KR100757734B1 (ko) | 비디오 영상 후처리 장치 및 방법 | |
| KR102192980B1 (ko) | 기계 학습 기반으로 파라미터를 학습하는 영상 처리 장치 및 동작 방법 | |
| US20210152832A1 (en) | Reconstructing transformed domain information in encoded video streams | |
| EP2498496A1 (en) | Multi-format video decoder and methods for use therewith | |
| JP6423680B2 (ja) | 画質改善装置、画質改善システム、及び画質改善プログラム | |
| KR102398232B1 (ko) | 참조 영상 필터링을 통한 비디오 신호 복호화 방법 및 장치 | |
| US10110928B2 (en) | Video processing apparatus and video processing circuits thereof | |
| US20160150245A1 (en) | System and a method for video encoding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |